1. 多模態(tài)研究的版圖為什么需要重新梳理過去兩年多模態(tài)大模型MLLM的論文數(shù)量幾乎是以季度為單位翻倍。2024年初大家還在討論“視覺指令微調(diào)怎么做”到了2024年中LLaVA、Qwen-VL、InternVL 這類工作已經(jīng)把圖文對齊做成了標(biāo)配2025年開始單純的圖文問答已經(jīng)不夠看了視頻理解、音頻-視覺聯(lián)合推理、GUI Agent、具身智能里的世界模型World Model開始成為頂會的主力方向。到了2026年如果你還在用“多模態(tài)圖文對齊”這個等式去理解這個領(lǐng)域基本等于用功能機的思路去理解智能手機。我自己從2023年底開始系統(tǒng)跟蹤這個方向前后精讀了大概兩百多篇相關(guān)論文踩過不少坑有些工作看起來是“新架構(gòu)”拆開一看只是換了投影層的初始化方式有些號稱“統(tǒng)一多模態(tài)”實際上只是把多個模態(tài)的編碼器拼在一起做了個拼接。所以這篇梳理不是簡單的論文列表而是按照技術(shù)演進的邏輯把2024到2026年多模態(tài)研究的幾條主線拆開來講——從最基礎(chǔ)的 Fusion 機制到 Reasoning Agent 的構(gòu)建再到 World Model 這個更大的框架。每一塊我都會說清楚它解決什么問題、核心方法是什么、實際復(fù)現(xiàn)時要注意什么、以及我踩過的坑。適合誰看如果你是多模態(tài)方向的研究生正在找選題或者需要快速補齊某個子方向的認(rèn)知這篇可以直接當(dāng)路線圖用。如果你是工程師想把多模態(tài)能力落地到產(chǎn)品里里面關(guān)于 Fusion 選型、Agent 架構(gòu)、評測陷阱的部分會幫你省掉大量試錯時間。如果你只是對這個領(lǐng)域好奇我也會盡量用生活化的類比把核心概念講清楚不堆公式。2. Fusion 機制從“拼接”到“深度融合”的三年演進2.1 早期 Fusion 的本質(zhì)問題模態(tài)之間的“語言不通”多模態(tài) Fusion 要解決的核心問題說白了就是圖像、文本、音頻這些不同模態(tài)的信息怎么讓模型“同時理解”。早期最直接的做法是早期融合Early Fusion——把圖像特征和文本特征在輸入層就拼在一起送進同一個 Transformer。聽起來很合理但實際效果往往很差原因在于不同模態(tài)的特征分布差異太大。圖像經(jīng)過 ViT 編碼后每個 token 的數(shù)值范圍、語義密度和文本 token 完全不在一個尺度上。直接拼接相當(dāng)于讓一個只會中文的人和一個只會阿拉伯語的人強行對話中間沒有翻譯。晚期融合Late Fusion則是另一個極端每個模態(tài)各自過自己的模型最后在輸出層做加權(quán)或投票。這種做法在分類任務(wù)上還能用但一旦涉及跨模態(tài)推理——比如“圖中這個人在做什么他手里的工具是用來干什么的”——就完全無能為力因為模態(tài)之間的交互只發(fā)生在最后一步中間沒有任何信息交換。2024年之前大多數(shù)工作其實是在這兩個極端之間找平衡點。BLIP-2 的 Q-Former 是一個標(biāo)志性的中間路線用一組可學(xué)習(xí)的 query token 去“抽取”視覺特征再把這些 query 送進語言模型。這個設(shè)計的巧妙之處在于它把視覺信息壓縮成了一個固定長度的序列語言模型不需要直接處理原始視覺 token降低了模態(tài)對齊的難度。但 Q-Former 的問題也很明顯query 的數(shù)量是固定的對于信息量大的圖像比如密集文本的文檔截圖壓縮會丟失細節(jié)。2.2 2024年的關(guān)鍵轉(zhuǎn)折投影層設(shè)計的“軍備競賽”2024年多模態(tài) Fusion 最大的變化是大家開始意識到投影層Projection Layer的設(shè)計遠比想象中重要。LLaVA 用的是最簡單的兩層 MLP把 ViT 的輸出直接映射到語言模型的 embedding 空間。這個方案簡單到令人發(fā)指但效果出奇地好原因在于它配合了高質(zhì)量的視覺指令微調(diào)數(shù)據(jù)。這給整個領(lǐng)域上了一課Fusion 的效果不只取決于架構(gòu)數(shù)據(jù)質(zhì)量和訓(xùn)練策略同樣關(guān)鍵。隨后出現(xiàn)了一批改進投影層的工作。有把 MLP 換成 Transformer 的有引入可變形注意力Deformable Attention讓投影層能自適應(yīng)地關(guān)注圖像的不同區(qū)域還有在投影層里加入門控機制的。我復(fù)現(xiàn)過其中幾個實測下來投影層的復(fù)雜度提升帶來的收益在大多數(shù)基準(zhǔn)上其實很有限——除非你的任務(wù)對細粒度視覺信息特別敏感比如 OCR 密集的文檔理解否則兩層 MLP 加上足夠好的數(shù)據(jù)性價比是最高的。這里有一個容易被忽略的細節(jié)投影層的初始化方式。很多論文不寫這一點但實際訓(xùn)練時如果投影層初始化不當(dāng)訓(xùn)練初期會出現(xiàn)嚴(yán)重的梯度爆炸或梯度消失。我自己的經(jīng)驗是用較小的方差初始化投影層權(quán)重同時在訓(xùn)練前幾百步凍結(jié)語言模型只訓(xùn)練投影層等 loss 穩(wěn)定后再解凍。這個技巧在多個復(fù)現(xiàn)中都幫我省掉了大量調(diào)參時間。2.3 2025年的深度融合Cross-Attention 的回歸與改進到了2025年Cross-Attention 重新成為 Fusion 的主流方案但和早期的 Cross-Attention 有本質(zhì)區(qū)別。早期的 Cross-Attention 是單向的——語言模型去 attend 視覺特征視覺特征本身不更新。2025年的工作開始做雙向交互視覺 token 和文本 token 在每一層都互相 attend形成真正的“聯(lián)合表示”。這個方向上有兩個代表性思路。一個是 Flamingo 系列的延續(xù)在語言模型的每一層插入 gated cross-attention 層視覺信息通過門控機制逐步注入。另一個是更激進的方案直接把視覺 token 和文本 token 拼成一個長序列送進同一個 Transformer不做任何模態(tài)區(qū)分。后者在 2025 年下半年開始流行因為隨著上下文窗口的擴大從 4K 到 128K 甚至更長拼接帶來的計算開銷變得可以接受而效果提升是實打?qū)嵉摹５@里有一個坑拼接方案對位置編碼非常敏感。視覺 token 和文本 token 的位置編碼如果處理不當(dāng)模型會混淆“圖像中左上角的物體”和“文本中第一個詞”的位置關(guān)系。我試過幾種方案比較穩(wěn)的做法是給視覺 token 和文本 token 分別使用不同的位置編碼區(qū)間同時在 attention mask 里顯式標(biāo)注模態(tài)邊界。2.4 Fusion 選型的實操建議如果你現(xiàn)在要做一個多模態(tài)項目Fusion 方案怎么選我的建議是按任務(wù)復(fù)雜度分三檔任務(wù)類型推薦 Fusion 方案理由簡單圖文分類/檢索晚期融合 對比學(xué)習(xí)訓(xùn)練成本低模態(tài)間交互需求弱圖文問答/描述生成投影層 語言模型成熟方案生態(tài)完善復(fù)現(xiàn)成本低視頻理解/多輪推理雙向 Cross-Attention 或拼接需要細粒度跨模態(tài)交互計算換效果還有一個容易被忽略的點Fusion 方案的選擇要和預(yù)訓(xùn)練數(shù)據(jù)匹配。如果你用的是 LLaVA 系列的預(yù)訓(xùn)練權(quán)重強行換成拼接方案效果可能反而不如原版投影層因為權(quán)重里學(xué)到的模態(tài)對齊模式和新的 Fusion 方式不兼容。這種情況下要么從頭預(yù)訓(xùn)練要么至少做一輪大規(guī)模的指令微調(diào)來重新對齊。3. Reasoning Agent多模態(tài)模型從“看懂”到“做事”的關(guān)鍵一躍3.1 為什么 Reasoning Agent 是多模態(tài)的下一站2024年的多模態(tài)模型核心能力是“看懂”——給一張圖能描述、能問答、能定位。但“看懂”和“做事”之間有一條巨大的鴻溝。舉個例子你給模型一張廚房的照片問“怎么做番茄炒蛋”模型可以告訴你步驟。但如果你說“幫我把番茄炒蛋做出來”模型需要做的就遠不止理解圖片——它需要規(guī)劃步驟、操作工具、根據(jù)實時反饋調(diào)整動作。這就是 Reasoning Agent 要解決的問題。Reasoning Agent 的核心思路是把多模態(tài)模型從“感知器”升級為“決策器”。它不僅要理解視覺輸入還要基于理解進行推理、規(guī)劃、調(diào)用工具、執(zhí)行動作并根據(jù)執(zhí)行結(jié)果進行反思和調(diào)整。2025年開始這個方向上的論文數(shù)量激增但質(zhì)量參差不齊。很多工作只是把 LLM 的 Agent 框架套了一個視覺編碼器并沒有真正解決多模態(tài)場景下的特殊挑戰(zhàn)。3.2 多模態(tài) Agent 的架構(gòu)拆解一個完整的多模態(tài) Reasoning Agent通常包含四個核心模塊感知模塊負責(zé)把原始的多模態(tài)輸入圖像、視頻、音頻、傳感器數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化的表示。這個模塊的關(guān)鍵挑戰(zhàn)是實時性——如果 Agent 需要在動態(tài)環(huán)境中做決策感知延遲必須控制在毫秒級。我見過一些工作用 ViT 做感知單幀推理就要幾十毫秒在需要高頻決策的場景比如機器人控制里根本不可用。實際落地時通常會用輕量級的檢測模型如 YOLO 系列做第一層過濾只把關(guān)鍵區(qū)域送給大模型做精細理解。推理模塊是 Agent 的“大腦”負責(zé)基于感知結(jié)果進行邏輯推理和任務(wù)規(guī)劃。這里的一個核心問題是推理過程要不要顯式輸出早期工作傾向于讓模型直接輸出動作但 2025 年的趨勢是讓模型先輸出推理鏈Chain-of-Thought再輸出動作。這個改變帶來的效果提升非常明顯因為顯式的推理鏈讓模型的決策過程可解釋、可調(diào)試也方便人類在關(guān)鍵步驟進行干預(yù)。工具調(diào)用模塊讓 Agent 能夠使用外部工具——計算器、搜索引擎、代碼執(zhí)行器、API 接口等。多模態(tài)場景下的工具調(diào)用有一個特殊挑戰(zhàn)工具的輸出往往是文本或結(jié)構(gòu)化數(shù)據(jù)Agent 需要把這些輸出重新“翻譯”回多模態(tài)空間。比如 Agent 調(diào)用了一個物體檢測 API返回的是邊界框坐標(biāo)Agent 需要把這些坐標(biāo)和原始圖像對應(yīng)起來才能繼續(xù)推理。記憶模塊負責(zé)存儲和檢索歷史信息。多模態(tài) Agent 的記憶比純文本 Agent 復(fù)雜得多因為需要同時存儲視覺特征、文本描述、動作歷史等多種信息。我試過幾種方案比較實用的是用向量數(shù)據(jù)庫存儲視覺特征的 embedding同時用結(jié)構(gòu)化數(shù)據(jù)庫存儲動作和狀態(tài)信息檢索時做混合查詢。3.3 訓(xùn)練多模態(tài) Agent 的數(shù)據(jù)難題多模態(tài) Agent 的訓(xùn)練數(shù)據(jù)是最大的瓶頸。純文本 Agent 可以用互聯(lián)網(wǎng)上的海量文本做預(yù)訓(xùn)練但多模態(tài) Agent 需要的是“多模態(tài)輸入 動作序列 結(jié)果反饋”的三元組數(shù)據(jù)這種數(shù)據(jù)在互聯(lián)網(wǎng)上幾乎不存在。目前主流的解決方案有三種。第一種是用模擬環(huán)境生成數(shù)據(jù)比如在虛擬廚房、虛擬辦公室等場景里讓 Agent 執(zhí)行任務(wù)自動記錄軌跡。這種方案的數(shù)據(jù)量大、成本低但模擬環(huán)境和真實世界的差距sim-to-real gap是繞不開的問題。第二種是用人類演示數(shù)據(jù)讓真人操作并記錄多模態(tài)輸入和動作序列。這種數(shù)據(jù)質(zhì)量高但采集成本極高而且規(guī)模有限。第三種是用模型自己生成數(shù)據(jù)——讓一個較強的模型在環(huán)境中探索把成功的軌跡保存下來作為訓(xùn)練數(shù)據(jù)。這種方案在 2025 年下半年開始流行但需要解決“冷啟動”問題模型一開始什么都不會怎么探索出成功的軌跡我自己的經(jīng)驗是三種方案結(jié)合使用效果最好先用模擬環(huán)境做大規(guī)模預(yù)訓(xùn)練再用人類演示數(shù)據(jù)做精調(diào)最后用模型自生成數(shù)據(jù)做迭代優(yōu)化。這個流程聽起來簡單但每一步都有大量細節(jié)需要調(diào)。3.4 實操中的常見陷阱做多模態(tài) Agent 最容易踩的坑是低估了“模態(tài)對齊”在動態(tài)環(huán)境中的難度。在靜態(tài)圖文任務(wù)里模態(tài)對齊是一次性的——圖像編碼一次文本編碼一次然后做交互。但在 Agent 場景里環(huán)境是動態(tài)變化的每一幀的視覺輸入都在變Agent 需要持續(xù)地重新對齊視覺和文本表示。如果對齊模塊的更新頻率跟不上環(huán)境變化的速度Agent 的決策就會基于過時的信息。另一個坑是動作空間的設(shè)計。多模態(tài) Agent 的動作空間可以是離散的從預(yù)定義的動作列表里選一個也可以是連續(xù)的輸出具體的控制信號。離散動作空間容易訓(xùn)練但靈活性差連續(xù)動作空間靈活但訓(xùn)練難度大。我的建議是如果任務(wù)的動作類型有限比如 GUI 操作只有點擊、輸入、滾動幾種用離散空間如果是機器人控制這類需要精細連續(xù)控制的任務(wù)再考慮連續(xù)空間。4. World Model多模態(tài)研究的終極框架還是過度包裝4.1 World Model 到底在說什么World Model 這個概念在 2024 年之前主要出現(xiàn)在強化學(xué)習(xí)和機器人領(lǐng)域指的是一個能夠模擬環(huán)境動態(tài)的模型——給定當(dāng)前狀態(tài)和動作預(yù)測下一個狀態(tài)。2025 年開始多模態(tài)社區(qū)開始把 World Model 和 MLLM 結(jié)合起來思路是如果多模態(tài)模型能夠理解世界的視覺和文本信息那它是不是也能預(yù)測世界的未來狀態(tài)這個思路的吸引力在于它把多模態(tài)模型從“被動理解”推向了“主動預(yù)測”。一個真正的 World Model 不僅能描述當(dāng)前圖像里有什么還能預(yù)測“如果執(zhí)行某個動作下一幀圖像會變成什么樣”。這種能力對于規(guī)劃、決策、仿真都有巨大價值。但這里有一個需要警惕的問題很多號稱“World Model”的多模態(tài)工作實際上只是做了視頻預(yù)測——給定前幾幀預(yù)測下一幀。視頻預(yù)測和 World Model 有本質(zhì)區(qū)別視頻預(yù)測只關(guān)心像素級的未來幀而 World Model 需要理解動作和狀態(tài)之間的因果關(guān)系。一個只會做視頻預(yù)測的模型你給它一個“拿起杯子”的動作它可能會生成一個杯子移動的畫面但如果你問它“杯子會不會掉”它可能完全無法回答。4.2 多模態(tài) World Model 的核心組件一個完整的多模態(tài) World Model通常包含三個核心組件狀態(tài)編碼器負責(zé)把多模態(tài)觀測圖像、文本、傳感器數(shù)據(jù)壓縮成一個緊湊的狀態(tài)表示。這個狀態(tài)表示需要包含足夠的信息來支持未來預(yù)測同時又要足夠緊湊以便高效計算。這里的一個關(guān)鍵設(shè)計選擇是狀態(tài)表示是顯式的還是隱式的顯式狀態(tài)比如物體列表、位置坐標(biāo)可解釋性強但需要人工設(shè)計隱式狀態(tài)比如神經(jīng)網(wǎng)絡(luò) embedding表達能力強但難以調(diào)試。動態(tài)模型負責(zé)根據(jù)當(dāng)前狀態(tài)和動作預(yù)測下一個狀態(tài)。這是 World Model 最核心的部分也是訓(xùn)練難度最大的部分。動態(tài)模型需要學(xué)習(xí)環(huán)境的物理規(guī)律、因果關(guān)系、以及動作的影響。在視覺豐富的環(huán)境中動態(tài)模型還需要處理遮擋、光照變化、物體形變等復(fù)雜因素。解碼器負責(zé)把預(yù)測的狀態(tài)表示還原成可觀測的多模態(tài)輸出圖像、文本描述等。解碼器的質(zhì)量直接影響 World Model 的可用性——如果預(yù)測的狀態(tài)很準(zhǔn)但解碼出來的圖像模糊不清那這個 World Model 在實際應(yīng)用中價值有限。4.3 訓(xùn)練 World Model 的實操挑戰(zhàn)訓(xùn)練多模態(tài) World Model 最大的挑戰(zhàn)是數(shù)據(jù)。你需要的是“多模態(tài)觀測 動作 下一時刻觀測”的三元組數(shù)據(jù)而且這些數(shù)據(jù)需要覆蓋足夠多的場景和動作類型。在機器人領(lǐng)域這類數(shù)據(jù)可以通過遙操作采集在自動駕駛領(lǐng)域可以通過實車路測采集但在通用場景下數(shù)據(jù)獲取極其困難。我試過用視頻數(shù)據(jù)來訓(xùn)練 World Model思路是把視頻的相鄰幀當(dāng)作“當(dāng)前觀測”和“下一時刻觀測”把幀間的變化當(dāng)作“動作”。這個方案的問題在于視頻里的變化往往不是由單一動作引起的——光照變化、物體自身運動、相機移動都會導(dǎo)致幀間差異。模型很難從這些混雜因素中分離出“動作”的影響。另一個挑戰(zhàn)是長期預(yù)測的誤差累積。World Model 做單步預(yù)測時可能很準(zhǔn)但做多步預(yù)測時每一步的小誤差會累積幾步之后預(yù)測結(jié)果就完全偏離了。解決這個問題的方法通常有兩種一種是在訓(xùn)練時加入多步預(yù)測的損失讓模型學(xué)會糾正自己的誤差另一種是在推理時用滾動時域控制Receding Horizon Control只信預(yù)測的前幾步然后重新觀測、重新預(yù)測。4.4 World Model 的實際價值判斷World Model 目前還處于早期階段實際落地的案例很少。我的判斷是短期內(nèi) World Model 最有價值的應(yīng)用場景是仿真和規(guī)劃——用 World Model 生成大量虛擬場景來訓(xùn)練下游 Agent或者用 World Model 做模型預(yù)測控制MPC。在這些場景里World Model 不需要完美只需要比隨機猜測好就行。長期來看World Model 如果真能做到“理解世界的因果結(jié)構(gòu)”那它的價值是巨大的。但目前的 MLLM 離這個目標(biāo)還有相當(dāng)距離。我見過一些工作聲稱自己的模型“理解了物理規(guī)律”但仔細看實驗往往只是在特定數(shù)據(jù)集上過擬合了。真正的物理理解需要模型能夠泛化到未見過的場景和動作組合這需要全新的架構(gòu)和訓(xùn)練范式。5. 多模態(tài)研究的工程化落地從論文到產(chǎn)品的距離5.1 評測基準(zhǔn)的陷阱多模態(tài)論文里最常見的評測方式是刷 MMBench、MME、SEED 這些基準(zhǔn)。但如果你真的要把模型落地到產(chǎn)品里這些基準(zhǔn)的參考價值有限。原因很簡單這些基準(zhǔn)的題目大多是“這張圖里有什么”“這個物體是什么顏色”這類感知層面的問題而產(chǎn)品里用戶真正關(guān)心的是“這張圖里的商品能不能退貨”“這個文檔里的關(guān)鍵信息是什么”這類任務(wù)層面的問題。我自己的做法是在選型階段用公開基準(zhǔn)做初篩但最終決策一定要用自己業(yè)務(wù)場景的數(shù)據(jù)做評測。而且評測指標(biāo)不能只看準(zhǔn)確率還要看延遲、吞吐、顯存占用這些工程指標(biāo)。我見過一個模型在 MMBench 上比另一個模型高 5 個點但推理延遲是后者的 3 倍在實際產(chǎn)品里根本不可用。5.2 數(shù)據(jù)管線的搭建多模態(tài)產(chǎn)品的數(shù)據(jù)管線比純文本產(chǎn)品復(fù)雜得多。文本數(shù)據(jù)可以簡單地做分詞、去重、過濾但多模態(tài)數(shù)據(jù)需要處理圖像分辨率、格式轉(zhuǎn)換、模態(tài)對齊、標(biāo)注質(zhì)量等一系列問題。我踩過的一個坑是訓(xùn)練時用的圖像是 224x224 的但產(chǎn)品里用戶上傳的圖像是 4000x3000 的直接 resize 會導(dǎo)致細節(jié)丟失模型效果大幅下降。后來改成先做目標(biāo)檢測把關(guān)鍵區(qū)域裁剪出來再送進模型效果才恢復(fù)。另一個坑是模態(tài)缺失的處理。產(chǎn)品里經(jīng)常出現(xiàn)用戶只上傳了圖像沒寫文字或者只寫了文字沒上傳圖像的情況。如果模型訓(xùn)練時只見過“圖像文本”的配對數(shù)據(jù)遇到模態(tài)缺失就會崩潰。解決方案是在訓(xùn)練時隨機丟棄某個模態(tài)讓模型學(xué)會在模態(tài)不完整的情況下也能工作。5.3 推理優(yōu)化多模態(tài)模型的推理成本遠高于純文本模型因為視覺編碼器的計算量很大。優(yōu)化推理的常見手段包括用更小的視覺編碼器比如用 ViT-S 代替 ViT-L、降低圖像分辨率、用量化技術(shù)壓縮模型、用緩存機制避免重復(fù)編碼。我實測下來把視覺編碼器從 ViT-L 換成 ViT-B精度損失通常在 1-2 個點以內(nèi)但推理速度能提升 2-3 倍性價比很高。還有一個容易被忽略的優(yōu)化點批處理。多模態(tài)模型的輸入長度差異很大有的圖像編碼后只有幾十個 token有的有上千個如果直接做批處理padding 會浪費大量計算。更好的做法是按輸入長度分桶把長度相近的樣本放在同一個 batch 里。6. 幾個實操中總結(jié)的避坑經(jīng)驗6.1 不要迷信“統(tǒng)一多模態(tài)”2025 年很多論文在推“統(tǒng)一多模態(tài)”——用一個模型處理所有模態(tài)。聽起來很美好但實際落地時統(tǒng)一模型往往在每個單獨模態(tài)上的表現(xiàn)都不如專用模型。原因很簡單不同模態(tài)的數(shù)據(jù)分布和任務(wù)特性差異太大強行用一個模型處理會導(dǎo)致模型容量被分散。我的建議是除非你的產(chǎn)品確實需要跨模態(tài)的深度交互否則用“專用模型 融合層”的方案更務(wù)實。6.2 訓(xùn)練數(shù)據(jù)的質(zhì)量比數(shù)量重要多模態(tài)領(lǐng)域有一個常見的誤區(qū)以為數(shù)據(jù)越多越好。但實際上低質(zhì)量的圖文對比如圖像和文本不相關(guān)、文本描述過于簡單對模型的傷害很大。我做過一個對比實驗用 100 萬條高質(zhì)量圖文對訓(xùn)練效果明顯好于用 500 萬條混雜數(shù)據(jù)訓(xùn)練。篩選高質(zhì)量數(shù)據(jù)的方法包括用 CLIP 分?jǐn)?shù)過濾、用 LLM 評估文本描述的質(zhì)量、人工抽檢等。6.3 注意模態(tài)偏差多模態(tài)模型很容易學(xué)到模態(tài)偏差——比如在訓(xùn)練數(shù)據(jù)里如果“狗”這個物體總是出現(xiàn)在室外場景模型可能會把“室外”和“狗”關(guān)聯(lián)起來導(dǎo)致在室內(nèi)場景里識別不出狗。這種偏差在基準(zhǔn)測試?yán)锿床怀鰜淼趯嶋H應(yīng)用中會導(dǎo)致嚴(yán)重的錯誤。檢測模態(tài)偏差的方法是做反事實測試把同一個物體放在不同背景下看模型的預(yù)測是否一致。6.4 小模型也有大用處不是所有場景都需要 70B 參數(shù)的多模態(tài)大模型。在很多垂直場景里比如工業(yè)質(zhì)檢、醫(yī)療影像初篩一個經(jīng)過精調(diào)的小模型比如 7B 甚至更小就能達到很好的效果而且推理成本低、部署方便。我見過一個團隊用 3B 的模型做商品圖像分類效果和 70B 模型差不多但推理速度快了 20 倍。7. 這個方向后續(xù)可以怎么跟如果你正在找多模態(tài)方向的研究選題我的建議是關(guān)注三個交叉點。第一個是 Agent 和 World Model 的結(jié)合——讓 Agent 在 World Model 生成的虛擬環(huán)境里訓(xùn)練再把學(xué)到的策略遷移到真實環(huán)境。這個方向的數(shù)據(jù)效率潛力很大但 sim-to-real 的問題需要認(rèn)真解決。第二個是多模態(tài)推理的效率優(yōu)化——現(xiàn)在的多模態(tài)模型推理成本還是太高如何在保持效果的前提下大幅降低計算量是一個有實際價值的問題。第三個是多模態(tài)評測的革新——現(xiàn)有的基準(zhǔn)已經(jīng)跟不上模型的發(fā)展需要更貼近真實任務(wù)、更能反映模型實際能力的評測方案。如果你是從工程落地的角度跟這個方向我的建議是不要追最新的論文而是把注意力放在數(shù)據(jù)管線和推理優(yōu)化上。多模態(tài)產(chǎn)品的核心競爭力往往不在模型架構(gòu)而在數(shù)據(jù)質(zhì)量和工程效率。我見過太多團隊在模型選型上反復(fù)折騰卻忽略了數(shù)據(jù)清洗和推理優(yōu)化最后產(chǎn)品效果上不去還找不到原因。最后分享一個我自己的習(xí)慣每讀一篇多模態(tài)論文我都會問三個問題——它解決了什么之前解決不了的問題它的方法在什么條件下會失效如果我要復(fù)現(xiàn)最小的可行實驗是什么這三個問題能幫我過濾掉大量“看起來很美但實際沒用”的工作也能幫我把真正有價值的方法快速落地。