)
【免費(fèi)下載鏈接】PRISM-VLPRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.項(xiàng)目地址https://gitcode.com/gh_mirrors/pr/PRISM-VL點(diǎn)擊查看免費(fèi)下載PRISM-VL 是一個(gè)測(cè)量域視覺(jué)語(yǔ)言模型研究項(xiàng)目它把經(jīng)過(guò) ISP 處理的 RGB 圖像替換為RAW 派生的 Meas.-XYZ加上相機(jī)元數(shù)據(jù)ISO、曝光時(shí)間、光圈作為視覺(jué)輸入讓 Qwen3-VL 基于傳感器原始測(cè)量而非面向顯示的渲染結(jié)果回答問(wèn)題。項(xiàng)目同時(shí)發(fā)布了 MeasL-Bench-V1 評(píng)測(cè)基準(zhǔn)、MeasL-150K-V1 訓(xùn)練集和 Qwen3-VL 2B / 4B / 8B 的 LoRA 適配器。 先問(wèn)一個(gè)問(wèn)題RGB 渲染已經(jīng)丟了什么證據(jù)項(xiàng)目名取自洞穴寓言Allegory of the Cave我們習(xí)慣看到的 RGB 圖像更像是投射在洞穴墻上的影子——它是圖像信號(hào)處理器ISP生成的面向顯示的產(chǎn)品而不是相機(jī)傳感器最初記錄的東西。從傳感器到 RGB 之間ISP 會(huì)做一連串讓它對(duì)人眼更好看的操作裁剪Clipping過(guò)曝的高光區(qū)域直接變成純白細(xì)節(jié)歸零降噪Denoising傳感器的原始紋理和弱信號(hào)被平滑掉色調(diào)映射Tone mapping線(xiàn)性亮度關(guān)系被重寫(xiě)成非線(xiàn)性曲線(xiàn)量化Quantization高位深傳感器數(shù)據(jù)壓縮成 8-bit。問(wèn)題在于對(duì)于證據(jù)類(lèi)問(wèn)題讀文字、判斷明暗、區(qū)分顏色模型需要的信息可能恰好在這四步里被抹掉。只看 RGB 的模型只能對(duì)著影子猜。PRISM-VL 的做法是把相機(jī)測(cè)量當(dāng)作一等觀(guān)察對(duì)象在模型看到圖像之前先讓它看 RAW 派生的 Meas.-XYZ——一種保留原始測(cè)量線(xiàn)性關(guān)系的三通道表示——再配上拍攝元數(shù)據(jù)讓模型以更接近物理世界的方式獲取證據(jù)。上圖是 PRISM-VL 的整體框架左側(cè)將 RAW 派生 Meas.-XYZ 與相機(jī)元數(shù)據(jù)注入視覺(jué)編碼器右側(cè)由 Qwen3-VL 完成測(cè)量域視覺(jué)語(yǔ)言推理。 真實(shí)低照案例RGB 如何帶偏模型項(xiàng)目用兩個(gè)低照度文本案例LERLow-Illumination Evidence Recovery直觀(guān)展示兩種輸入的差異案例RGB 輸入下的回答Meas.-XYZ 輸入下的回答亮燈店鋪招牌答成Hua Tian Hua?答出正美口腔?黃色招牌文字答成diamond?答出BLACK?同一張場(chǎng)景兩種看法RGB 渲染暴露的是誤導(dǎo)性證據(jù)答案區(qū)域已經(jīng)不可恢復(fù)而 Meas.-XYZ 保留了該區(qū)域的線(xiàn)性測(cè)量關(guān)系模型仍能讀出正確答案。? 怎么訓(xùn)練、怎么衡量15萬(wàn)訓(xùn)練樣本 2183條基準(zhǔn)PRISM-VL不改動(dòng) Qwen3-VL 的訓(xùn)練與推理流程只替換視覺(jué)接口。實(shí)現(xiàn)上用輕量的殘差注入相機(jī)元數(shù)據(jù)經(jīng)photographic_log歸一化后以殘差形式疊加進(jìn) ViT 隱藏層避免對(duì)主干模型做大手術(shù)。配置細(xì)節(jié)見(jiàn) sft_qwen3_vl_2b_prsimvl_v1.yaml。材料內(nèi)容訓(xùn)練集 MeasL-150K-V1152,517 條指令微調(diào)樣本、48,000 張發(fā)布圖像由約 70 萬(wàn)條自動(dòng)標(biāo)注候選經(jīng)打分過(guò)濾、來(lái)源平衡并對(duì)基準(zhǔn)做去污染后發(fā)布基準(zhǔn) MeasL-Bench-V12,183 條 held-out 匹配樣本覆蓋 LER、HER、STR、GVG 等 14 個(gè)測(cè)量敏感能力切片提供 Meas.-XYZ 與 RGB 兩套匹配 JSONL模型權(quán)重Qwen3-VL 2B / 4B / 8B 對(duì)應(yīng)的 PRSIMVL LoRA 適配器 主結(jié)果Meas.-XYZ 的提升來(lái)自哪里在 held-out MeasL-Bench 協(xié)議下同尺寸模型Meas.-XYZ 對(duì)比 RGB 輸入模型視覺(jué)輸入BLEUROUGE-LLLM-JudgeQwen3-VL-8BRGB0.50460.350078.20PRSIMVL-8BMeas.-XYZ 元數(shù)據(jù)0.61200.457182.66Qwen3-VL-2BRGB0.34070.317169.54PRSIMVL-2BMeas.-XYZ 元數(shù)據(jù)0.58650.424477.998B 版本相比同尺寸 RGB 版本提升0.1074 BLEU、0.1071 ROUGE-L、4.46 LLM-Judge 分2B 版本更是全面超越 4B / 8B 的 RGB 版本。增益集中在證據(jù)敏感型能力上能力切片RGB Qwen3-VL-8BBLEU / ROUGE-LPRSIMVL-2BBLEU / ROUGE-LLER 低照度證據(jù)恢復(fù)0.3470 / 0.28510.5174 / 0.4249STR 場(chǎng)景文字識(shí)別0.3719 / 0.36040.5084 / 0.4669HER HDR 證據(jù)恢復(fù)0.5343 / 0.36140.6066 / 0.4533 上手三步走本地問(wèn)一張圖安裝 release 快照運(yùn)行 install_editable.sh用swift deploy加載基座模型 對(duì)應(yīng) PRSIMVL LoRA 適配器啟動(dòng) OpenAI 兼容服務(wù)用 inference/ask_service.py 發(fā)送本地圖像和問(wèn)題——問(wèn)題里帶上 ISO / 曝光 / 光圈格式的拍攝元數(shù)據(jù)與訓(xùn)練提示風(fēng)格保持一致。要復(fù)現(xiàn)完整基準(zhǔn)一條命令即可MODEL_SIZE2b CUDA_VISIBLE_DEVICES0 bash eval/run_infer_and_eval.sh評(píng)估入口會(huì)自動(dòng)校驗(yàn)question_type標(biāo)簽、檢查圖像存在性再經(jīng)由 scripts/test_raw_eval_pipeline_opt/pipeline.py 的共享管線(xiàn)完成推理與離線(xiàn)指標(biāo)計(jì)算結(jié)果寫(xiě)入eval/output_benchmark/。全部參數(shù)說(shuō)明見(jiàn) eval/README.md 與 inference/README.md。 項(xiàng)目文件導(dǎo)讀路徑說(shuō)明assets/框架圖、能力雷達(dá)圖、RGB 與 Meas.-XYZ 對(duì)比示例eval/基準(zhǔn)推理與離線(xiàn)評(píng)估入口inference/服務(wù)化 VQA 演示與 demo 數(shù)據(jù)configs/qwen3_vl_150k_llmmeta_vit_proxy/2B / 4B / 8B 的 SFT 訓(xùn)練配置與啟動(dòng)腳本scripts/test_raw_eval_pipeline_opt/共享推理 / 評(píng)估管線(xiàn)實(shí)現(xiàn)swift/訓(xùn)練與推理代碼快照LoRA、SFT、deploy一句話(huà)總結(jié) PRISM-VL 的回答是別讓模型對(duì)著影子猜把測(cè)量還給它。用 RAW 派生 Meas.-XYZ 相機(jī)元數(shù)據(jù)配合最小成本的 LoRA 微調(diào)即可顯著找回被 RGB 渲染抹掉的低照度文字、HDR 與場(chǎng)景識(shí)別等敏感證據(jù)。贊分享【免費(fèi)下載鏈接】PRISM-VLPRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.項(xiàng)目地址https://gitcode.com/gh_mirrors/pr/PRISM-VL點(diǎn)擊查看免費(fèi)下載相關(guān)推薦為什么RT64能讓N64游戲煥發(fā)新生底層渲染原理詳解為什么RT64能讓N64游戲煥發(fā)新生底層渲染原理詳解 RT64是一款專(zhuān)為N64游戲打造的現(xiàn)代圖形渲染器它通過(guò)創(chuàng)新的底層技術(shù)和架構(gòu)設(shè)計(jì)為經(jīng)典游戲帶來(lái)畫(huà)質(zhì)增強(qiáng)為什么你的動(dòng)畫(huà)代碼會(huì)渲染失敗remocn 的確定性渲染原理深度剖析為什么你的動(dòng)畫(huà)代碼會(huì)渲染失敗remocn 的確定性渲染原理深度剖析 你是否遇到過(guò)這種情況Remotion 預(yù)覽里動(dòng)畫(huà)流暢完美一鍵渲染成 MP4 后卻出現(xiàn)閃為什么KnowStreaming是云原生Kafka管理的終極選擇7大核心優(yōu)勢(shì)詳解為什么KnowStreaming是云原生Kafka管理的終極選擇7大核心優(yōu)勢(shì)詳解 KnowStreaming作為一站式云原生實(shí)時(shí)流數(shù)據(jù)平臺(tái)通過(guò)0侵入、插件化后端消息隊(duì)列運(yùn)維可觀(guān)測(cè)性創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 PRISM-VL核心原理詳解：為什么RAW派生的Meas.-XYZ能找回RGB渲染丟失的證據(jù)
【免費(fèi)下載鏈接】PRISM-VLPRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.項(xiàng)目地址https://gitcode.com/gh_mirrors/pr/PRISM-VL點(diǎn)擊查看免費(fèi)下載PRISM-VL 是一個(gè)測(cè)量域視覺(jué)語(yǔ)言模型研究項(xiàng)目它把經(jīng)過(guò) ISP 處理的 RGB 圖像替換為RAW 派生的 Meas.-XYZ加上相機(jī)元數(shù)據(jù)ISO、曝光時(shí)間、光圈作為視覺(jué)輸入讓 Qwen3-VL 基于傳感器原始測(cè)量而非面向顯示的渲染結(jié)果回答問(wèn)題。項(xiàng)目同時(shí)發(fā)布了 MeasL-Bench-V1 評(píng)測(cè)基準(zhǔn)、MeasL-150K-V1 訓(xùn)練集和 Qwen3-VL 2B / 4B / 8B 的 LoRA 適配器。 先問(wèn)一個(gè)問(wèn)題RGB 渲染已經(jīng)丟了什么證據(jù)項(xiàng)目名取自洞穴寓言Allegory of the Cave我們習(xí)慣看到的 RGB 圖像更像是投射在洞穴墻上的影子——它是圖像信號(hào)處理器ISP生成的面向顯示的產(chǎn)品而不是相機(jī)傳感器最初記錄的東西。從傳感器到 RGB 之間ISP 會(huì)做一連串讓它對(duì)人眼更好看的操作裁剪Clipping過(guò)曝的高光區(qū)域直接變成純白細(xì)節(jié)歸零降噪Denoising傳感器的原始紋理和弱信號(hào)被平滑掉色調(diào)映射Tone mapping線(xiàn)性亮度關(guān)系被重寫(xiě)成非線(xiàn)性曲線(xiàn)量化Quantization高位深傳感器數(shù)據(jù)壓縮成 8-bit。問(wèn)題在于對(duì)于證據(jù)類(lèi)問(wèn)題讀文字、判斷明暗、區(qū)分顏色模型需要的信息可能恰好在這四步里被抹掉。只看 RGB 的模型只能對(duì)著影子猜。PRISM-VL 的做法是把相機(jī)測(cè)量當(dāng)作一等觀(guān)察對(duì)象在模型看到圖像之前先讓它看 RAW 派生的 Meas.-XYZ——一種保留原始測(cè)量線(xiàn)性關(guān)系的三通道表示——再配上拍攝元數(shù)據(jù)讓模型以更接近物理世界的方式獲取證據(jù)。上圖是 PRISM-VL 的整體框架左側(cè)將 RAW 派生 Meas.-XYZ 與相機(jī)元數(shù)據(jù)注入視覺(jué)編碼器右側(cè)由 Qwen3-VL 完成測(cè)量域視覺(jué)語(yǔ)言推理。 真實(shí)低照案例RGB 如何帶偏模型項(xiàng)目用兩個(gè)低照度文本案例LERLow-Illumination Evidence Recovery直觀(guān)展示兩種輸入的差異案例RGB 輸入下的回答Meas.-XYZ 輸入下的回答亮燈店鋪招牌答成Hua Tian Hua?答出正美口腔?黃色招牌文字答成diamond?答出BLACK?同一張場(chǎng)景兩種看法RGB 渲染暴露的是誤導(dǎo)性證據(jù)答案區(qū)域已經(jīng)不可恢復(fù)而 Meas.-XYZ 保留了該區(qū)域的線(xiàn)性測(cè)量關(guān)系模型仍能讀出正確答案。? 怎么訓(xùn)練、怎么衡量15萬(wàn)訓(xùn)練樣本 2183條基準(zhǔn)PRISM-VL不改動(dòng) Qwen3-VL 的訓(xùn)練與推理流程只替換視覺(jué)接口。實(shí)現(xiàn)上用輕量的殘差注入相機(jī)元數(shù)據(jù)經(jīng)photographic_log歸一化后以殘差形式疊加進(jìn) ViT 隱藏層避免對(duì)主干模型做大手術(shù)。配置細(xì)節(jié)見(jiàn) sft_qwen3_vl_2b_prsimvl_v1.yaml。材料內(nèi)容訓(xùn)練集 MeasL-150K-V1152,517 條指令微調(diào)樣本、48,000 張發(fā)布圖像由約 70 萬(wàn)條自動(dòng)標(biāo)注候選經(jīng)打分過(guò)濾、來(lái)源平衡并對(duì)基準(zhǔn)做去污染后發(fā)布基準(zhǔn) MeasL-Bench-V12,183 條 held-out 匹配樣本覆蓋 LER、HER、STR、GVG 等 14 個(gè)測(cè)量敏感能力切片提供 Meas.-XYZ 與 RGB 兩套匹配 JSONL模型權(quán)重Qwen3-VL 2B / 4B / 8B 對(duì)應(yīng)的 PRSIMVL LoRA 適配器 主結(jié)果Meas.-XYZ 的提升來(lái)自哪里在 held-out MeasL-Bench 協(xié)議下同尺寸模型Meas.-XYZ 對(duì)比 RGB 輸入模型視覺(jué)輸入BLEUROUGE-LLLM-JudgeQwen3-VL-8BRGB0.50460.350078.20PRSIMVL-8BMeas.-XYZ 元數(shù)據(jù)0.61200.457182.66Qwen3-VL-2BRGB0.34070.317169.54PRSIMVL-2BMeas.-XYZ 元數(shù)據(jù)0.58650.424477.998B 版本相比同尺寸 RGB 版本提升0.1074 BLEU、0.1071 ROUGE-L、4.46 LLM-Judge 分2B 版本更是全面超越 4B / 8B 的 RGB 版本。增益集中在證據(jù)敏感型能力上能力切片RGB Qwen3-VL-8BBLEU / ROUGE-LPRSIMVL-2BBLEU / ROUGE-LLER 低照度證據(jù)恢復(fù)0.3470 / 0.28510.5174 / 0.4249STR 場(chǎng)景文字識(shí)別0.3719 / 0.36040.5084 / 0.4669HER HDR 證據(jù)恢復(fù)0.5343 / 0.36140.6066 / 0.4533 上手三步走本地問(wèn)一張圖安裝 release 快照運(yùn)行 install_editable.sh用swift deploy加載基座模型 對(duì)應(yīng) PRSIMVL LoRA 適配器啟動(dòng) OpenAI 兼容服務(wù)用 inference/ask_service.py 發(fā)送本地圖像和問(wèn)題——問(wèn)題里帶上 ISO / 曝光 / 光圈格式的拍攝元數(shù)據(jù)與訓(xùn)練提示風(fēng)格保持一致。要復(fù)現(xiàn)完整基準(zhǔn)一條命令即可MODEL_SIZE2b CUDA_VISIBLE_DEVICES0 bash eval/run_infer_and_eval.sh評(píng)估入口會(huì)自動(dòng)校驗(yàn)question_type標(biāo)簽、檢查圖像存在性再經(jīng)由 scripts/test_raw_eval_pipeline_opt/pipeline.py 的共享管線(xiàn)完成推理與離線(xiàn)指標(biāo)計(jì)算結(jié)果寫(xiě)入eval/output_benchmark/。全部參數(shù)說(shuō)明見(jiàn) eval/README.md 與 inference/README.md。 項(xiàng)目文件導(dǎo)讀路徑說(shuō)明assets/框架圖、能力雷達(dá)圖、RGB 與 Meas.-XYZ 對(duì)比示例eval/基準(zhǔn)推理與離線(xiàn)評(píng)估入口inference/服務(wù)化 VQA 演示與 demo 數(shù)據(jù)configs/qwen3_vl_150k_llmmeta_vit_proxy/2B / 4B / 8B 的 SFT 訓(xùn)練配置與啟動(dòng)腳本scripts/test_raw_eval_pipeline_opt/共享推理 / 評(píng)估管線(xiàn)實(shí)現(xiàn)swift/訓(xùn)練與推理代碼快照LoRA、SFT、deploy一句話(huà)總結(jié) PRISM-VL 的回答是別讓模型對(duì)著影子猜把測(cè)量還給它。用 RAW 派生 Meas.-XYZ 相機(jī)元數(shù)據(jù)配合最小成本的 LoRA 微調(diào)即可顯著找回被 RGB 渲染抹掉的低照度文字、HDR 與場(chǎng)景識(shí)別等敏感證據(jù)。贊分享【免費(fèi)下載鏈接】PRISM-VLPRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.項(xiàng)目地址https://gitcode.com/gh_mirrors/pr/PRISM-VL點(diǎn)擊查看免費(fèi)下載相關(guān)推薦為什么RT64能讓N64游戲煥發(fā)新生底層渲染原理詳解為什么RT64能讓N64游戲煥發(fā)新生底層渲染原理詳解 RT64是一款專(zhuān)為N64游戲打造的現(xiàn)代圖形渲染器它通過(guò)創(chuàng)新的底層技術(shù)和架構(gòu)設(shè)計(jì)為經(jīng)典游戲帶來(lái)畫(huà)質(zhì)增強(qiáng)為什么你的動(dòng)畫(huà)代碼會(huì)渲染失敗remocn 的確定性渲染原理深度剖析為什么你的動(dòng)畫(huà)代碼會(huì)渲染失敗remocn 的確定性渲染原理深度剖析 你是否遇到過(guò)這種情況Remotion 預(yù)覽里動(dòng)畫(huà)流暢完美一鍵渲染成 MP4 后卻出現(xiàn)閃為什么KnowStreaming是云原生Kafka管理的終極選擇7大核心優(yōu)勢(shì)詳解為什么KnowStreaming是云原生Kafka管理的終極選擇7大核心優(yōu)勢(shì)詳解 KnowStreaming作為一站式云原生實(shí)時(shí)流數(shù)據(jù)平臺(tái)通過(guò)0侵入、插件化后端消息隊(duì)列運(yùn)維可觀(guān)測(cè)性創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考