【免費(fèi)下載鏈接】InternVL3-9B-Instruct項(xiàng)目地址https://ai.gitcode.com/OpenGVLab/InternVL3-9B-Instruct點(diǎn)擊查看免費(fèi)下載InternVL3-9B-Instruct是開(kāi)源多模態(tài)大語(yǔ)言模型MLLMInternVL3-9B 的SFT監(jiān)督微調(diào)版本它已完成原生多模態(tài)預(yù)訓(xùn)練和 SFT但尚未進(jìn)行 MPO混合偏好優(yōu)化。而 InternVL3-9B不帶 Instruct 后綴的版本是走完全部訓(xùn)練流程的完整版。兩者參數(shù)量同為 9B、架構(gòu)完全相同差異只在訓(xùn)練階段——本文帶你 5 分鐘看懂區(qū)別并給出選型建議。 一句話(huà)結(jié)論拿不準(zhǔn)就選 InternVL3-9B項(xiàng)目官方在 README.md 中明確寫(xiě)道This is the SFT version of InternVL3-9B, which has undergone native multimodal pre-training and SFT but has not undergone MPO. If youre unsure which version to use, please use the InternVL3-9B version.也就是說(shuō)日常直接拿來(lái)用、跑推理優(yōu)先選 InternVL3-9BMPO 版只有在你想繼續(xù)訓(xùn)練、做二次開(kāi)發(fā)時(shí)SFT 版才有獨(dú)特價(jià)值。上圖項(xiàng)目倉(cāng)庫(kù)examples/目錄自帶的示例圖片常用于測(cè)試 InternVL3 的圖像描述能力 先搞懂背景InternVL3 的訓(xùn)練流水線InternVL3 遵循「ViT - MLP - LLM」經(jīng)典多模態(tài)架構(gòu)訓(xùn)練分三個(gè)階段階段做什么SFT 版本倉(cāng)庫(kù)完整版 InternVL3-9B① 原生多模態(tài)預(yù)訓(xùn)練圖文視頻數(shù)據(jù)與文本語(yǔ)料混合預(yù)訓(xùn)練??② SFT 監(jiān)督微調(diào)高質(zhì)量、多樣化指令數(shù)據(jù)微調(diào)??③ MPO 混合偏好優(yōu)化引入正/負(fù)樣本對(duì)齊輸出分布??所以?xún)蓚€(gè)版本的權(quán)重規(guī)模、模型結(jié)構(gòu)、視覺(jué)編碼器InternViT-300M-448px和語(yǔ)言底座internlm3-8b完全一致區(qū)別就是那個(gè)? vs ?。?? 核心差異一MPO 帶來(lái)的推理能力躍升MPOMixed Preference Optimization混合偏好優(yōu)化是兩者最本質(zhì)的區(qū)別。在預(yù)訓(xùn)練和 SFT 階段模型學(xué)習(xí)的是給定標(biāo)準(zhǔn)答案的前文預(yù)測(cè)下一個(gè) token但推理時(shí)模型只能基于自己生成的上文繼續(xù)預(yù)測(cè)——訓(xùn)練與推理之間的這種分布偏移會(huì)削弱鏈?zhǔn)剿季SCoT推理表現(xiàn)。MPO 通過(guò)引入正樣本 負(fù)樣本雙重監(jiān)督來(lái)對(duì)齊這種偏移其訓(xùn)練目標(biāo)是三項(xiàng)損失的加權(quán)組合L w_p·L_p(偏好損失) w_q·L_q(質(zhì)量損失) w_g·L_g(生成損失)實(shí)際效果如何官方消融實(shí)驗(yàn)顯示經(jīng)過(guò) MPO 的模型在7 個(gè)多模態(tài)推理基準(zhǔn)上全面領(lǐng)先未經(jīng) MPO 的對(duì)應(yīng)版本其中 InternVL3-78B、38B 分別提升4.1 分和 4.5 分。更關(guān)鍵的是MPO 的訓(xùn)練數(shù)據(jù)只是 SFT 數(shù)據(jù)的子集——提升來(lái)自算法本身而非更多數(shù)據(jù)。 結(jié)論如果你的任務(wù)涉及數(shù)學(xué)、邏輯推理、復(fù)雜圖表分析、長(zhǎng)鏈 CoTMPO 版的優(yōu)勢(shì)是實(shí)打?qū)嵉摹?? 核心差異二SFT 版更適合再訓(xùn)練為什么還有人需要 SFT 版答案是一類(lèi)典型場(chǎng)景繼續(xù)訓(xùn)練 / 二次開(kāi)發(fā)。在你自己的領(lǐng)域數(shù)據(jù)上 SFTSFT 版停在監(jiān)督微調(diào)階段沒(méi)有經(jīng)過(guò)偏好對(duì)齊行為上更接近毛坯繼續(xù)訓(xùn)練時(shí)你可以完全掌控訓(xùn)練階段與數(shù)據(jù)配比做蒸餾或下游定制從 SFT 版出發(fā)后續(xù)接 MPO、DPO 等偏好訓(xùn)練的流程更干凈避免在已對(duì)齊的模型上疊加對(duì)齊帶來(lái)的偏置。當(dāng)然這也意味著 SFT 版在開(kāi)箱即用的推理/數(shù)學(xué)任務(wù)上會(huì)弱于 MPO 版——這是毛坯與精裝的天然取舍。 怎么選一張決策表搞定使用場(chǎng)景推薦版本理由直接部署、日常對(duì)話(huà)、圖像問(wèn)答InternVL3-9BMPO 版推理能力更強(qiáng)官方推薦數(shù)學(xué) / 邏輯 / 圖表等強(qiáng)推理任務(wù)InternVL3-9BMPO 版MPO 專(zhuān)治 CoT 分布偏移用自己的數(shù)據(jù)繼續(xù) SFT / LoRA 微調(diào)InternVL3-9B-InstructSFT 版訓(xùn)練階段可控?zé)o偏好對(duì)齊干擾蒸餾、構(gòu)建私有領(lǐng)域多模態(tài)模型InternVL3-9B-InstructSFT 版起點(diǎn)干凈流水線自由度高拿不準(zhǔn)InternVL3-9B官方建議不確定就用完整版 另外提示推理階段還可疊加Test-Time ScalingBest-of-N 策略配合 VisualPRM-8B 評(píng)審模型挑選最佳答案在數(shù)學(xué)與推理評(píng)測(cè)上能再漲一截兩個(gè)版本均可受益。 模型本體速覽兩個(gè)版本共通的技術(shù)細(xì)節(jié)如果你想驗(yàn)證或研究模型本身本倉(cāng)庫(kù)即 SFT 版的完整權(quán)重關(guān)鍵文件config.json模型主配置?？梢钥吹秸Z(yǔ)言底座model_type: internlm2、48 層、上下文max_position_embeddings: 32768視覺(jué)側(cè)采用448px 動(dòng)態(tài)分辨率force_image_size: 448、max_dynamic_patch: 12最多切 12 個(gè)圖像塊modeling_internvl_chat.pyInternVLChatModel 主模型實(shí)現(xiàn)負(fù)責(zé)圖文融合與對(duì)話(huà)生成modeling_intern_vit.pyInternViT 視覺(jué)編碼器實(shí)現(xiàn)model.safetensors.index.json4 個(gè)分片權(quán)重的索引文件。值得一提的是InternVL3 引入了V2PE可變視覺(jué)位置編碼使用更小更靈活的視覺(jué) token 位置增量顯著增強(qiáng)了長(zhǎng)上下文理解能力——這也是 SFT 版與 MPO 版共同享有的能力。? 快速上手5 行代碼加載 SFT 版使用transformers需transformers4.37.2加載本倉(cāng)庫(kù)模型即可體驗(yàn)import torch from transformers import AutoModel model AutoModel.from_pretrained( OpenGVLab/InternVL3-9B-Instruct, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, trust_remote_codeTrue).eval().cuda()需要生產(chǎn)部署時(shí)推薦 README.md 中的LMDeploy方案Turbomind 引擎 兼容 OpenAI 接口的 API Server多卡推理與批處理都有現(xiàn)成示例可直接參考 README 的 Quick Start 與 Deployment 章節(jié)。? 總結(jié)InternVL3-9B-Instruct SFT 版完成了原生多模態(tài)預(yù)訓(xùn)練 SFT沒(méi)有 MPOInternVL3-9B MPO 版完整版在 SFT 基礎(chǔ)上追加混合偏好優(yōu)化推理能力更強(qiáng)選型口訣直接推理用 MPO 版繼續(xù)訓(xùn)練用 SFT 版拿不準(zhǔn)就用 MPO 版兩者架構(gòu)、參數(shù)量、視覺(jué)編碼器完全相同切換成本幾乎為零可以放心按場(chǎng)景選用。贊分享【免費(fèi)下載鏈接】InternVL3-9B-Instruct項(xiàng)目地址https://ai.gitcode.com/OpenGVLab/InternVL3-9B-Instruct點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Phaser 4 Sprite 動(dòng)畫(huà)完整指南從 AnimationManager 到 AnimationState 的實(shí)戰(zhàn)全解Phaser 4 Sprite 動(dòng)畫(huà)完整指南從 AnimationManager 到 AnimationState 的實(shí)戰(zhàn)全解 本篇技術(shù)指南圍繞 Phaser最全面Manim版本解析社區(qū)版vs原版核心差異與選擇指南最全面Manim版本解析社區(qū)版vs原版核心差異與選擇指南 你還在為選擇Manim版本發(fā)愁嗎作為創(chuàng)建數(shù)學(xué)解釋視頻的頂級(jí)動(dòng)畫(huà)引擎Animation engin圖形學(xué)教育Kavita 社區(qū)版 vs 商業(yè)版5大核心差異與最佳選擇指南Kavita 社區(qū)版 vs 商業(yè)版5大核心差異與最佳選擇指南 Kavita是一款快速、功能豐富的跨平臺(tái)閱讀服務(wù)器專(zhuān)注于漫畫(huà)閱讀體驗(yàn)旨在為用戶(hù)提供完整的閱讀后端前端上一篇終極鼠標(biāo)革命如何用Mac Mouse Fix讓普通鼠標(biāo)在macOS上超越蘋(píng)果觸控板下一篇使用 ChatterBot 構(gòu)建 Python 聊天機(jī)器人從零訓(xùn)練到接入本地大模型Ollama的完整實(shí)戰(zhàn)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 InternVL3-9B-Instruct vs InternVL3-9B如何選？SFT版與MPO版核心差異全解讀
【免費(fèi)下載鏈接】InternVL3-9B-Instruct項(xiàng)目地址https://ai.gitcode.com/OpenGVLab/InternVL3-9B-Instruct點(diǎn)擊查看免費(fèi)下載InternVL3-9B-Instruct是開(kāi)源多模態(tài)大語(yǔ)言模型MLLMInternVL3-9B 的SFT監(jiān)督微調(diào)版本它已完成原生多模態(tài)預(yù)訓(xùn)練和 SFT但尚未進(jìn)行 MPO混合偏好優(yōu)化。而 InternVL3-9B不帶 Instruct 后綴的版本是走完全部訓(xùn)練流程的完整版。兩者參數(shù)量同為 9B、架構(gòu)完全相同差異只在訓(xùn)練階段——本文帶你 5 分鐘看懂區(qū)別并給出選型建議。 一句話(huà)結(jié)論拿不準(zhǔn)就選 InternVL3-9B項(xiàng)目官方在 README.md 中明確寫(xiě)道This is the SFT version of InternVL3-9B, which has undergone native multimodal pre-training and SFT but has not undergone MPO. If youre unsure which version to use, please use the InternVL3-9B version.也就是說(shuō)日常直接拿來(lái)用、跑推理優(yōu)先選 InternVL3-9BMPO 版只有在你想繼續(xù)訓(xùn)練、做二次開(kāi)發(fā)時(shí)SFT 版才有獨(dú)特價(jià)值。上圖項(xiàng)目倉(cāng)庫(kù)examples/目錄自帶的示例圖片常用于測(cè)試 InternVL3 的圖像描述能力 先搞懂背景InternVL3 的訓(xùn)練流水線InternVL3 遵循「ViT - MLP - LLM」經(jīng)典多模態(tài)架構(gòu)訓(xùn)練分三個(gè)階段階段做什么SFT 版本倉(cāng)庫(kù)完整版 InternVL3-9B① 原生多模態(tài)預(yù)訓(xùn)練圖文視頻數(shù)據(jù)與文本語(yǔ)料混合預(yù)訓(xùn)練??② SFT 監(jiān)督微調(diào)高質(zhì)量、多樣化指令數(shù)據(jù)微調(diào)??③ MPO 混合偏好優(yōu)化引入正/負(fù)樣本對(duì)齊輸出分布??所以?xún)蓚€(gè)版本的權(quán)重規(guī)模、模型結(jié)構(gòu)、視覺(jué)編碼器InternViT-300M-448px和語(yǔ)言底座internlm3-8b完全一致區(qū)別就是那個(gè)? vs ?。?? 核心差異一MPO 帶來(lái)的推理能力躍升MPOMixed Preference Optimization混合偏好優(yōu)化是兩者最本質(zhì)的區(qū)別。在預(yù)訓(xùn)練和 SFT 階段模型學(xué)習(xí)的是給定標(biāo)準(zhǔn)答案的前文預(yù)測(cè)下一個(gè) token但推理時(shí)模型只能基于自己生成的上文繼續(xù)預(yù)測(cè)——訓(xùn)練與推理之間的這種分布偏移會(huì)削弱鏈?zhǔn)剿季SCoT推理表現(xiàn)。MPO 通過(guò)引入正樣本 負(fù)樣本雙重監(jiān)督來(lái)對(duì)齊這種偏移其訓(xùn)練目標(biāo)是三項(xiàng)損失的加權(quán)組合L w_p·L_p(偏好損失) w_q·L_q(質(zhì)量損失) w_g·L_g(生成損失)實(shí)際效果如何官方消融實(shí)驗(yàn)顯示經(jīng)過(guò) MPO 的模型在7 個(gè)多模態(tài)推理基準(zhǔn)上全面領(lǐng)先未經(jīng) MPO 的對(duì)應(yīng)版本其中 InternVL3-78B、38B 分別提升4.1 分和 4.5 分。更關(guān)鍵的是MPO 的訓(xùn)練數(shù)據(jù)只是 SFT 數(shù)據(jù)的子集——提升來(lái)自算法本身而非更多數(shù)據(jù)。 結(jié)論如果你的任務(wù)涉及數(shù)學(xué)、邏輯推理、復(fù)雜圖表分析、長(zhǎng)鏈 CoTMPO 版的優(yōu)勢(shì)是實(shí)打?qū)嵉摹?? 核心差異二SFT 版更適合再訓(xùn)練為什么還有人需要 SFT 版答案是一類(lèi)典型場(chǎng)景繼續(xù)訓(xùn)練 / 二次開(kāi)發(fā)。在你自己的領(lǐng)域數(shù)據(jù)上 SFTSFT 版停在監(jiān)督微調(diào)階段沒(méi)有經(jīng)過(guò)偏好對(duì)齊行為上更接近毛坯繼續(xù)訓(xùn)練時(shí)你可以完全掌控訓(xùn)練階段與數(shù)據(jù)配比做蒸餾或下游定制從 SFT 版出發(fā)后續(xù)接 MPO、DPO 等偏好訓(xùn)練的流程更干凈避免在已對(duì)齊的模型上疊加對(duì)齊帶來(lái)的偏置。當(dāng)然這也意味著 SFT 版在開(kāi)箱即用的推理/數(shù)學(xué)任務(wù)上會(huì)弱于 MPO 版——這是毛坯與精裝的天然取舍。 怎么選一張決策表搞定使用場(chǎng)景推薦版本理由直接部署、日常對(duì)話(huà)、圖像問(wèn)答InternVL3-9BMPO 版推理能力更強(qiáng)官方推薦數(shù)學(xué) / 邏輯 / 圖表等強(qiáng)推理任務(wù)InternVL3-9BMPO 版MPO 專(zhuān)治 CoT 分布偏移用自己的數(shù)據(jù)繼續(xù) SFT / LoRA 微調(diào)InternVL3-9B-InstructSFT 版訓(xùn)練階段可控?zé)o偏好對(duì)齊干擾蒸餾、構(gòu)建私有領(lǐng)域多模態(tài)模型InternVL3-9B-InstructSFT 版起點(diǎn)干凈流水線自由度高拿不準(zhǔn)InternVL3-9B官方建議不確定就用完整版 另外提示推理階段還可疊加Test-Time ScalingBest-of-N 策略配合 VisualPRM-8B 評(píng)審模型挑選最佳答案在數(shù)學(xué)與推理評(píng)測(cè)上能再漲一截兩個(gè)版本均可受益。 模型本體速覽兩個(gè)版本共通的技術(shù)細(xì)節(jié)如果你想驗(yàn)證或研究模型本身本倉(cāng)庫(kù)即 SFT 版的完整權(quán)重關(guān)鍵文件config.json模型主配置?？梢钥吹秸Z(yǔ)言底座model_type: internlm2、48 層、上下文max_position_embeddings: 32768視覺(jué)側(cè)采用448px 動(dòng)態(tài)分辨率force_image_size: 448、max_dynamic_patch: 12最多切 12 個(gè)圖像塊modeling_internvl_chat.pyInternVLChatModel 主模型實(shí)現(xiàn)負(fù)責(zé)圖文融合與對(duì)話(huà)生成modeling_intern_vit.pyInternViT 視覺(jué)編碼器實(shí)現(xiàn)model.safetensors.index.json4 個(gè)分片權(quán)重的索引文件。值得一提的是InternVL3 引入了V2PE可變視覺(jué)位置編碼使用更小更靈活的視覺(jué) token 位置增量顯著增強(qiáng)了長(zhǎng)上下文理解能力——這也是 SFT 版與 MPO 版共同享有的能力。? 快速上手5 行代碼加載 SFT 版使用transformers需transformers4.37.2加載本倉(cāng)庫(kù)模型即可體驗(yàn)import torch from transformers import AutoModel model AutoModel.from_pretrained( OpenGVLab/InternVL3-9B-Instruct, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, trust_remote_codeTrue).eval().cuda()需要生產(chǎn)部署時(shí)推薦 README.md 中的LMDeploy方案Turbomind 引擎 兼容 OpenAI 接口的 API Server多卡推理與批處理都有現(xiàn)成示例可直接參考 README 的 Quick Start 與 Deployment 章節(jié)。? 總結(jié)InternVL3-9B-Instruct SFT 版完成了原生多模態(tài)預(yù)訓(xùn)練 SFT沒(méi)有 MPOInternVL3-9B MPO 版完整版在 SFT 基礎(chǔ)上追加混合偏好優(yōu)化推理能力更強(qiáng)選型口訣直接推理用 MPO 版繼續(xù)訓(xùn)練用 SFT 版拿不準(zhǔn)就用 MPO 版兩者架構(gòu)、參數(shù)量、視覺(jué)編碼器完全相同切換成本幾乎為零可以放心按場(chǎng)景選用。贊分享【免費(fèi)下載鏈接】InternVL3-9B-Instruct項(xiàng)目地址https://ai.gitcode.com/OpenGVLab/InternVL3-9B-Instruct點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Phaser 4 Sprite 動(dòng)畫(huà)完整指南從 AnimationManager 到 AnimationState 的實(shí)戰(zhàn)全解Phaser 4 Sprite 動(dòng)畫(huà)完整指南從 AnimationManager 到 AnimationState 的實(shí)戰(zhàn)全解 本篇技術(shù)指南圍繞 Phaser最全面Manim版本解析社區(qū)版vs原版核心差異與選擇指南最全面Manim版本解析社區(qū)版vs原版核心差異與選擇指南 你還在為選擇Manim版本發(fā)愁嗎作為創(chuàng)建數(shù)學(xué)解釋視頻的頂級(jí)動(dòng)畫(huà)引擎Animation engin圖形學(xué)教育Kavita 社區(qū)版 vs 商業(yè)版5大核心差異與最佳選擇指南Kavita 社區(qū)版 vs 商業(yè)版5大核心差異與最佳選擇指南 Kavita是一款快速、功能豐富的跨平臺(tái)閱讀服務(wù)器專(zhuān)注于漫畫(huà)閱讀體驗(yàn)旨在為用戶(hù)提供完整的閱讀后端前端上一篇終極鼠標(biāo)革命如何用Mac Mouse Fix讓普通鼠標(biāo)在macOS上超越蘋(píng)果觸控板下一篇使用 ChatterBot 構(gòu)建 Python 聊天機(jī)器人從零訓(xùn)練到接入本地大模型Ollama的完整實(shí)戰(zhàn)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考