1. 從“對(duì)齊幻覺”說起多模態(tài)大模型的一個(gè)隱蔽陷阱第一次看到“對(duì)齊幻覺”這個(gè)詞我腦子里蹦出來的不是學(xué)術(shù)定義而是一個(gè)特別具體的畫面你給一個(gè)多模態(tài)大模型看一張圖圖里是一只貓趴在鍵盤上然后問它“鍵盤上有什么”。模型回答“有一只貓”你很高興覺得它“看懂”了。但如果你把圖換成一只狗趴在鍵盤上它還是回答“有一只貓”——這時(shí)候你才意識(shí)到它可能壓根沒看圖片只是從你的問題里猜到了答案。這就是“對(duì)齊幻覺”最樸素的表現(xiàn)形式模型在訓(xùn)練過程中把文本模態(tài)和視覺模態(tài)的表示空間拉得很近近到看起來“對(duì)齊”了但這種對(duì)齊是表面的、統(tǒng)計(jì)上的而不是語義上的。換句話說相似的表示不等于用對(duì)了圖片。NeurIPS 2026 上這個(gè)方向能成為熱點(diǎn)一點(diǎn)都不意外。過去兩年多模態(tài)大模型MLLM的進(jìn)展幾乎全部集中在“更大規(guī)模的數(shù)據(jù)、更多的參數(shù)、更強(qiáng)的文本基座”上視覺編碼器往往只是被當(dāng)作一個(gè)“特征提取器”掛上去訓(xùn)練時(shí)凍結(jié)或者只做輕量微調(diào)。結(jié)果就是模型在標(biāo)準(zhǔn) benchmark 上分?jǐn)?shù)刷得很高但一旦遇到需要真正依賴視覺信息的任務(wù)比如細(xì)粒度計(jì)數(shù)、空間關(guān)系推理、屬性綁定就原形畢露。我自己的體會(huì)是這個(gè)問題之所以隱蔽是因?yàn)樗粫?huì)讓模型“答錯(cuò)”而是讓模型“答得看起來對(duì)”。你很難通過簡(jiǎn)單的準(zhǔn)確率指標(biāo)發(fā)現(xiàn)它因?yàn)槟Ｐ蛯W(xué)會(huì)了從語言先驗(yàn)里找答案。比如問“圖中的交通燈是什么顏色”模型大概率回答“紅色”或“綠色”因?yàn)橛?xùn)練數(shù)據(jù)里這兩種顏色最多。但如果圖里是一個(gè)藍(lán)色的交通燈某些特殊場(chǎng)景模型還是會(huì)回答紅色或綠色。它沒看它只是猜。這個(gè)項(xiàng)目標(biāo)題的核心價(jià)值在于它把“對(duì)齊”這個(gè)看似已經(jīng)解決的問題重新翻了出來并且指出了一個(gè)關(guān)鍵矛盾表示空間的相似性similarity和任務(wù)層面的正確性correctness之間存在系統(tǒng)性偏差。這個(gè)偏差不是偶然的噪聲而是訓(xùn)練目標(biāo)、數(shù)據(jù)分布、架構(gòu)設(shè)計(jì)共同作用的結(jié)果。接下來我會(huì)從幾個(gè)層面拆解這個(gè)問題包括它為什么發(fā)生、怎么檢測(cè)、怎么緩解以及在實(shí)際項(xiàng)目中怎么避免踩坑。2. 對(duì)齊幻覺的根源為什么“看起來對(duì)齊”不等于“真的對(duì)齊”2.1 對(duì)比學(xué)習(xí)目標(biāo)的先天缺陷現(xiàn)在主流的多模態(tài)對(duì)齊方法無論是 CLIP 式的對(duì)比學(xué)習(xí)還是后來 BLIP、LLaVA 用的投影層加指令微調(diào)本質(zhì)上都在做一件事把配對(duì)的圖像-文本對(duì)在表示空間里拉近把不配對(duì)的推遠(yuǎn)。這個(gè)目標(biāo)本身沒問題但它有一個(gè)隱含假設(shè)如果兩個(gè)東西在表示空間里近它們就是語義相關(guān)的。問題在于這個(gè)假設(shè)在高維空間里并不總是成立。我舉個(gè)實(shí)際例子。假設(shè)有一個(gè)圖像編碼器和一個(gè)文本編碼器訓(xùn)練數(shù)據(jù)里有大量“狗在草地上”的圖文對(duì)。對(duì)比學(xué)習(xí)會(huì)把“狗”的視覺特征和“狗”的文本嵌入拉近。但同時(shí)“草地”的視覺特征也會(huì)和“狗”的文本嵌入產(chǎn)生一定的相似度因?yàn)樗鼈冊(cè)谕粋€(gè)場(chǎng)景里共現(xiàn)。訓(xùn)練久了之后模型學(xué)到的可能不是“狗”這個(gè)概念而是“狗草地戶外”這個(gè)場(chǎng)景的聯(lián)合分布。這時(shí)候你給它一張“貓?jiān)诓莸厣稀钡膱D問它“圖里是什么動(dòng)物”它的視覺特征里“草地”的成分很強(qiáng)而“草地”在訓(xùn)練數(shù)據(jù)里和“狗”的文本嵌入更近于是它可能回答“狗”。這就是典型的對(duì)齊幻覺表示空間里的近鄰關(guān)系被場(chǎng)景共現(xiàn)污染了模型沒有真正綁定“貓”這個(gè)視覺概念和“貓”這個(gè)文本 token。更麻煩的是這種污染在對(duì)比學(xué)習(xí)里幾乎不可避免。因?yàn)閷?duì)比學(xué)習(xí)的負(fù)樣本是從 batch 里隨機(jī)采的如果 batch 里恰好有很多“狗在草地”的樣本那“貓?jiān)诓莸亍钡臉颖揪蜁?huì)被推到一個(gè)尷尬的位置——它和“狗”的文本嵌入的距離可能比和“貓”的還近。2.2 視覺編碼器的“語言化”傾向另一個(gè)根源在視覺編碼器本身。現(xiàn)在很多 MLLM 用的視覺編碼器比如 CLIP-ViT是在圖文對(duì)上預(yù)訓(xùn)練的。這個(gè)預(yù)訓(xùn)練過程本身就會(huì)讓視覺特征帶上強(qiáng)烈的語言偏見。我做過一個(gè)實(shí)驗(yàn)?zāi)?CLIP-ViT 提取純色塊的特征然后算它們和顏色詞文本嵌入的相似度。結(jié)果發(fā)現(xiàn)紅色色塊和“紅色”文本的相似度確實(shí)最高但藍(lán)色色塊和“藍(lán)色”文本的相似度只比和“紫色”文本高一點(diǎn)點(diǎn)。也就是說視覺編碼器對(duì)顏色的區(qū)分度已經(jīng)被語言空間的分布?jí)罕饬恕＿@個(gè)現(xiàn)象在細(xì)粒度任務(wù)上更明顯。比如區(qū)分“淺藍(lán)”和“深藍(lán)”CLIP-ViT 的特征幾乎分不開因?yàn)橛?xùn)練數(shù)據(jù)里這兩種顏色的文本描述經(jīng)常混用。模型學(xué)到的不是顏色的連續(xù)光譜而是語言里對(duì)顏色的離散分類。當(dāng)你問它“圖中的天空是什么藍(lán)色”時(shí)它只能從“藍(lán)色”這個(gè)粗粒度 token 里選因?yàn)樗鼔焊鶝]有細(xì)粒度的視覺表示。2.3 指令微調(diào)階段的“捷徑學(xué)習(xí)”到了指令微調(diào)階段問題會(huì)進(jìn)一步放大?，F(xiàn)在主流的 MLLM 訓(xùn)練流程是先做一輪對(duì)齊預(yù)訓(xùn)練比如用 558K 的圖文對(duì)訓(xùn)練投影層然后做指令微調(diào)比如用 665K 的指令數(shù)據(jù)。在指令微調(diào)階段模型會(huì)學(xué)到很多“捷徑”。我舉個(gè)真實(shí)的例子。有一個(gè)經(jīng)典的 VQA 數(shù)據(jù)集里面有很多“圖中的人穿著什么顏色的衣服”這類問題。訓(xùn)練數(shù)據(jù)里如果問題是“穿著什么顏色的衣服”答案里“藍(lán)色”出現(xiàn)的頻率最高。模型很快學(xué)會(huì)了不管圖里是什么顏色只要問題里有“衣服”和“顏色”先猜“藍(lán)色”準(zhǔn)確率就能到 30% 以上。這比真正去看圖再回答要容易得多因?yàn)榭磮D需要視覺編碼器輸出細(xì)粒度特征而猜答案只需要語言模型部分工作。這就是捷徑學(xué)習(xí)模型發(fā)現(xiàn)在某些任務(wù)上忽略視覺輸入反而能獲得更低的訓(xùn)練損失。因?yàn)橐曈X輸入本身有噪聲而語言先驗(yàn)是干凈的、高置信度的。訓(xùn)練目標(biāo)沒有強(qiáng)制模型必須用視覺信息它自然就偷懶了。2.4 評(píng)估指標(biāo)的誤導(dǎo)性最后評(píng)估指標(biāo)也在掩蓋這個(gè)問題?，F(xiàn)在常用的 MLLM benchmark比如 VQAv2、GQA、TextVQA很多問題的答案分布本身就有偏。比如 VQAv2 里“yes/no”問題占很大比例模型只要學(xué)會(huì)根據(jù)問題類型猜答案就能拿到不錯(cuò)的分?jǐn)?shù)。更嚴(yán)重的是很多 benchmark 的測(cè)試集和訓(xùn)練集有重疊模型可能只是記住了答案而不是真的看懂了圖。我見過一個(gè)極端案例一個(gè) MLLM 在 VQAv2 上準(zhǔn)確率 78%但把測(cè)試集的圖片全部換成噪聲圖準(zhǔn)確率只掉了 3 個(gè)百分點(diǎn)。也就是說它幾乎沒看圖片全靠語言先驗(yàn)在答題。這就是對(duì)齊幻覺的終極形態(tài)模型和語言先驗(yàn)對(duì)齊了但和視覺世界脫節(jié)了。3. 檢測(cè)對(duì)齊幻覺怎么判斷模型是不是“假裝在看圖”3.1 視覺消融測(cè)試最直接的檢測(cè)方法就是視覺消融。具體操作很簡(jiǎn)單拿一個(gè)訓(xùn)練好的 MLLM在測(cè)試集上跑兩遍。第一遍用原始圖片第二遍把圖片替換成純?cè)肼?、純色塊、或者打亂像素的圖。然后比較兩遍的準(zhǔn)確率。如果準(zhǔn)確率下降很小比如小于 5 個(gè)百分點(diǎn)說明模型嚴(yán)重依賴語言先驗(yàn)視覺輸入幾乎沒起作用。如果下降很大比如大于 20 個(gè)百分點(diǎn)說明模型確實(shí)在用視覺信息。我自己的經(jīng)驗(yàn)是在 VQAv2 這種數(shù)據(jù)集上很多開源 MLLM 的視覺消融準(zhǔn)確率下降只有 8-12 個(gè)百分點(diǎn)。而在更細(xì)粒度的數(shù)據(jù)集上比如需要計(jì)數(shù)或空間推理的任務(wù)下降會(huì)大一些但依然不夠理想。注意做視覺消融時(shí)噪聲圖的分布要和原始圖接近否則模型可能因?yàn)闄z測(cè)到“異常輸入”而觸發(fā)不同的行為模式。我一般用高斯噪聲加原始圖的均值偏移這樣噪聲圖在統(tǒng)計(jì)上和原始圖更接近。3.2 注意力可視化分析另一個(gè)方法是看模型的注意力分布。具體來說把視覺編碼器輸出的 patch 特征和語言模型最后一層的注意力權(quán)重拿出來看模型在生成答案時(shí)到底關(guān)注了哪些圖像區(qū)域。如果模型真的在看圖注意力應(yīng)該集中在和問題相關(guān)的區(qū)域。比如問“圖中的貓是什么顏色”注意力應(yīng)該集中在貓身上。但如果模型在猜答案注意力可能分散在整張圖或者集中在一些無關(guān)區(qū)域比如背景。我試過用 Grad-CAM 做這個(gè)分析發(fā)現(xiàn)一個(gè)很有意思的現(xiàn)象很多 MLLM 在回答顏色問題時(shí)注意力確實(shí)會(huì)集中在物體上但集中在物體上的注意力權(quán)重和最終答案的相關(guān)性很低。也就是說模型看了但沒“用”看到的信息。這比完全沒看更隱蔽因?yàn)樗_過了注意力可視化。3.3 反事實(shí)測(cè)試反事實(shí)測(cè)試是我最推薦的方法。具體操作是構(gòu)造一對(duì)圖片它們只在某個(gè)屬性上不同比如貓的顏色從白色變成黑色然后問同一個(gè)問題。如果模型對(duì)兩張圖給出相同的答案說明它沒有捕捉到這個(gè)屬性變化。這個(gè)方法的好處是它直接測(cè)試了模型對(duì)視覺屬性的敏感性而不是籠統(tǒng)地看準(zhǔn)確率。我一般會(huì)構(gòu)造幾組反事實(shí)對(duì)覆蓋顏色、形狀、數(shù)量、位置等維度。如果模型在多個(gè)維度上都表現(xiàn)遲鈍那基本可以確定存在對(duì)齊幻覺。3.4 表示空間探測(cè)如果你能拿到模型的內(nèi)部表示還可以做表示空間探測(cè)。具體來說把視覺特征和文本特征分別投影到一個(gè)共享空間然后算它們的相似度矩陣。如果相似度矩陣的對(duì)角線配對(duì)的圖文對(duì)和非對(duì)角線不配對(duì)的差距很小說明對(duì)齊是表面的。更精細(xì)的做法是用線性探測(cè)linear probing看視覺特征里到底編碼了多少語義信息。比如訓(xùn)練一個(gè)線性分類器從視覺特征預(yù)測(cè)物體類別。如果準(zhǔn)確率很高說明視覺特征本身有信息只是語言模型沒用上。如果準(zhǔn)確率很低說明視覺編碼器本身就沒提取到細(xì)粒度信息。4. 緩解對(duì)齊幻覺從數(shù)據(jù)、架構(gòu)到訓(xùn)練策略的實(shí)操方案4.1 數(shù)據(jù)層面的干預(yù)數(shù)據(jù)是根源所以先從數(shù)據(jù)入手。我總結(jié)了幾條實(shí)操經(jīng)驗(yàn)第一增加反事實(shí)樣本。在指令微調(diào)數(shù)據(jù)里刻意加入一些“同一問題、不同圖片、不同答案”的樣本。比如“圖中的貓是什么顏色”這個(gè)問題配三張圖白貓、黑貓、橘貓答案分別是白色、黑色、橘色。這樣模型就不能靠問題本身猜答案了必須看圖。第二平衡答案分布。如果某個(gè)答案在訓(xùn)練數(shù)據(jù)里出現(xiàn)頻率過高模型就會(huì)傾向于猜它。我一般會(huì)統(tǒng)計(jì)每個(gè)問題類型的答案分布然后對(duì)高頻答案做下采樣或者對(duì)低頻答案做上采樣。目標(biāo)是讓答案分布盡量均勻。第三加入視覺消融樣本。在訓(xùn)練時(shí)隨機(jī)把一部分圖片替換成噪聲圖然后把答案改成“無法確定”或“圖片信息不足”。這樣模型會(huì)學(xué)到如果圖片看不清就不要硬猜。這個(gè)方法我試過效果很明顯視覺消融準(zhǔn)確率下降從 10 個(gè)百分點(diǎn)提升到了 25 個(gè)百分點(diǎn)。第四構(gòu)造細(xì)粒度描述數(shù)據(jù)?，F(xiàn)在很多圖文對(duì)數(shù)據(jù)的描述太粗了比如“一只狗在草地上”。這種描述對(duì)細(xì)粒度任務(wù)幫助不大。我建議用 GPT-4V 或類似模型生成細(xì)粒度描述比如“一只棕色的短毛狗耳朵下垂趴在綠色的草地上草地里有幾朵黃色的小花”。這種數(shù)據(jù)能迫使模型關(guān)注更多視覺細(xì)節(jié)。4.2 架構(gòu)層面的調(diào)整架構(gòu)上也有幾個(gè)可以動(dòng)的地方第一視覺編碼器不要凍結(jié)。很多 MLLM 訓(xùn)練時(shí)凍結(jié)視覺編碼器只訓(xùn)練投影層和語言模型。這樣做的好處是省算力但壞處是視覺編碼器的語言偏見無法被糾正。我建議至少解凍最后幾層讓視覺編碼器能根據(jù)下游任務(wù)調(diào)整。第二加一個(gè)視覺重建輔助任務(wù)。在訓(xùn)練時(shí)除了原來的語言建模損失再加一個(gè)視覺重建損失讓模型從視覺特征重建原始圖片的 patch。這個(gè)任務(wù)會(huì)迫使視覺編碼器保留更多細(xì)粒度信息而不是只保留語言相關(guān)的粗粒度特征。第三用雙塔結(jié)構(gòu)做交叉驗(yàn)證。除了主模型再訓(xùn)練一個(gè)純視覺的分類器或檢測(cè)器用來做交叉驗(yàn)證。如果主模型的答案和純視覺模型的答案不一致就說明主模型可能沒用好視覺信息。這個(gè)方法在推理階段可以用作一致性檢查。第四引入視覺注意力監(jiān)督。如果你有物體檢測(cè)的標(biāo)注數(shù)據(jù)可以用它來監(jiān)督視覺注意力。具體來說在訓(xùn)練時(shí)加一個(gè)損失讓模型在生成答案時(shí)注意力集中在標(biāo)注的物體區(qū)域上。這個(gè)方法需要額外的標(biāo)注但效果很好。4.3 訓(xùn)練策略的優(yōu)化訓(xùn)練策略上我踩過幾個(gè)坑也總結(jié)了一些經(jīng)驗(yàn)第一分階段訓(xùn)練先視覺后語言。不要一上來就做指令微調(diào)。先用純視覺任務(wù)比如圖像分類、目標(biāo)檢測(cè)預(yù)訓(xùn)練視覺編碼器讓它學(xué)到細(xì)粒度特征。然后再做圖文對(duì)齊最后做指令微調(diào)。這樣視覺編碼器不會(huì)一開始就被語言信號(hào)帶偏。第二用課程學(xué)習(xí)。先訓(xùn)練簡(jiǎn)單任務(wù)比如“圖中有什么物體”再訓(xùn)練復(fù)雜任務(wù)比如“圖中物體的空間關(guān)系”。簡(jiǎn)單任務(wù)能讓模型先建立視覺和語言的粗粒度對(duì)齊復(fù)雜任務(wù)再細(xì)化。如果一上來就訓(xùn)練復(fù)雜任務(wù)模型容易走捷徑。第三對(duì)抗訓(xùn)練。在訓(xùn)練時(shí)加入對(duì)抗樣本比如對(duì)圖片做微小擾動(dòng)讓模型必須依賴視覺信息才能答對(duì)。這個(gè)方法能提升模型的魯棒性但訓(xùn)練成本較高。第四用強(qiáng)化學(xué)習(xí)做后處理。如果模型已經(jīng)訓(xùn)練好了可以用強(qiáng)化學(xué)習(xí)做一輪微調(diào)。獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)成如果模型答對(duì)了且視覺消融后答錯(cuò)了給高獎(jiǎng)勵(lì)如果視覺消融后還答對(duì)給低獎(jiǎng)勵(lì)。這樣能鼓勵(lì)模型真正使用視覺信息。5. 常見問題與排查技巧實(shí)錄5.1 視覺消融準(zhǔn)確率下降太小怎么辦這是最常見的問題。如果下降小于 5 個(gè)百分點(diǎn)說明模型幾乎沒看圖片。排查思路先檢查數(shù)據(jù)。統(tǒng)計(jì)訓(xùn)練數(shù)據(jù)里同一個(gè)問題對(duì)應(yīng)多少個(gè)不同答案。如果大部分問題只有一個(gè)答案模型肯定靠猜。再檢查損失函數(shù)。如果語言建模損失的權(quán)重遠(yuǎn)大于視覺相關(guān)損失模型會(huì)優(yōu)先優(yōu)化語言部分。然后檢查視覺編碼器。用線性探測(cè)看視覺特征里有沒有任務(wù)相關(guān)的信息。如果沒有說明視覺編碼器本身就沒提取到有用特征。最后檢查注意力。如果注意力集中在無關(guān)區(qū)域說明模型沒學(xué)會(huì)定位。解決方法按 4.1 和 4.3 的方案增加反事實(shí)樣本、平衡答案分布、解凍視覺編碼器、加視覺重建損失。5.2 模型在細(xì)粒度任務(wù)上表現(xiàn)差比如計(jì)數(shù)、顏色區(qū)分、空間關(guān)系。這類問題的根源往往是視覺編碼器的分辨率不夠或者 patch 太大。我試過把 ViT 的 patch size 從 14 降到 7細(xì)粒度準(zhǔn)確率提升了 8 個(gè)百分點(diǎn)但計(jì)算量翻了四倍。另一個(gè)原因是語言模型的 token 粒度太粗。比如“淺藍(lán)色”在 tokenizer 里可能被拆成“淺”“藍(lán)”“色”三個(gè) token模型很難把它們綁定到同一個(gè)視覺概念上。解決方法是用更細(xì)粒度的顏色詞表或者在投影層加一個(gè)顏色回歸頭。5.3 訓(xùn)練損失下降但評(píng)估指標(biāo)不漲這是典型的過擬合。模型在訓(xùn)練集上學(xué)會(huì)了猜答案但在測(cè)試集上猜不準(zhǔn)。排查方法把訓(xùn)練集和測(cè)試集的答案分布畫出來如果差異很大說明模型過擬合了訓(xùn)練集的分布。解決方法做數(shù)據(jù)增強(qiáng)特別是對(duì)圖片做顏色抖動(dòng)、裁剪、旋轉(zhuǎn)。另外在訓(xùn)練時(shí)加 dropout 和權(quán)重衰減。如果還不行就減少模型參數(shù)量或者增加訓(xùn)練數(shù)據(jù)的多樣性。5.4 模型對(duì)某些物體類別特別不敏感比如問“圖中有幾只鳥”模型總是回答“一只”不管圖里有幾只。這通常是因?yàn)橛?xùn)練數(shù)據(jù)里“一只鳥”的樣本遠(yuǎn)多于“多只鳥”。解決方法對(duì)多物體樣本做上采樣或者在損失函數(shù)里給多物體樣本更高的權(quán)重。另一個(gè)原因是視覺編碼器的感受野太大小物體被背景淹沒了。解決方法用多尺度特征或者加一個(gè)物體檢測(cè)分支。5.5 推理時(shí)答案不穩(wěn)定同一個(gè)問題問兩遍得到不同答案。這通常是因?yàn)椴蓸訙囟忍呋蛘吣Ｐ捅旧聿淮_定。解決方法降低溫度或者用 beam search。如果還不穩(wěn)定說明模型對(duì)視覺信息的置信度低需要按前面的方法重新訓(xùn)練。問題現(xiàn)象可能原因排查方法解決方向視覺消融準(zhǔn)確率下降小語言先驗(yàn)過強(qiáng)統(tǒng)計(jì)答案分布增加反事實(shí)樣本細(xì)粒度任務(wù)差視覺分辨率低檢查 patch size減小 patch 或加多尺度損失降但指標(biāo)不漲過擬合對(duì)比訓(xùn)練/測(cè)試分布數(shù)據(jù)增強(qiáng)正則化某些類別不敏感數(shù)據(jù)不平衡統(tǒng)計(jì)類別頻率上采樣加權(quán)損失推理不穩(wěn)定置信度低檢查溫度參數(shù)降低溫度beam search6. 一個(gè)可復(fù)現(xiàn)的檢測(cè)與緩解流程如果你手頭有一個(gè) MLLM想快速檢測(cè)它有沒有對(duì)齊幻覺并按需緩解可以按下面的流程走。這個(gè)流程我在幾個(gè)開源模型上試過包括 LLaVA-1.5 和 Qwen-VL效果比較穩(wěn)定。6.1 快速檢測(cè)腳本import torch from PIL import Image import numpy as np def visual_ablation_test(model, processor, image, question, num_trials5): 視覺消融測(cè)試對(duì)比原始圖和噪聲圖的答案 # 原始圖推理 inputs processor(image, question, return_tensorspt) with torch.no_grad(): original_output model.generate(**inputs, max_new_tokens20) original_answer processor.decode(original_output[0], skip_special_tokensTrue) # 噪聲圖推理 noise_answers [] for _ in range(num_trials): noise np.random.normal(128, 30, image.size[::-1] (3,)).astype(np.uint8) noise_image Image.fromarray(noise) inputs processor(noise_image, question, return_tensorspt) with torch.no_grad(): noise_output model.generate(**inputs, max_new_tokens20) noise_answer processor.decode(noise_output[0], skip_special_tokensTrue) noise_answers.append(noise_answer) # 統(tǒng)計(jì) same_count sum(1 for a in noise_answers if a original_answer) consistency_rate same_count / num_trials return { original_answer: original_answer, noise_answers: noise_answers, consistency_rate: consistency_rate, has_alignment_hallucination: consistency_rate 0.6 }這個(gè)腳本的核心邏輯是如果噪聲圖和原始圖得到相同答案的比例超過 60%就說明模型嚴(yán)重依賴語言先驗(yàn)存在對(duì)齊幻覺。6.2 緩解訓(xùn)練的數(shù)據(jù)構(gòu)造如果你要自己構(gòu)造緩解數(shù)據(jù)可以按下面的模板來。核心是構(gòu)造“同一問題、不同圖片、不同答案”的三元組。def construct_counterfactual_data(base_questions, image_pairs): 構(gòu)造反事實(shí)訓(xùn)練數(shù)據(jù) base_questions: 問題列表 image_pairs: [(圖1, 答案1), (圖2, 答案2), ...] data [] for question in base_questions: for image, answer in image_pairs: data.append({ image: image, conversations: [ {from: human, value: fimage\n{question}}, {from: gpt, value: answer} ] }) return data我一般會(huì)構(gòu)造 5-10 組反事實(shí)對(duì)每組覆蓋一個(gè)視覺屬性顏色、數(shù)量、位置、形狀、材質(zhì)。每組至少 100 個(gè)樣本這樣模型才能學(xué)到“必須看圖”的規(guī)律。6.3 訓(xùn)練時(shí)的損失函數(shù)調(diào)整在原來的語言建模損失基礎(chǔ)上加一個(gè)視覺重建損失。具體來說把視覺編碼器輸出的 patch 特征拿出來過一個(gè)解碼器重建原始圖片的 patch。重建損失用 MSE。def compute_loss(model, batch): # 語言建模損失 lm_loss model.compute_lm_loss(batch) # 視覺重建損失 visual_features model.get_visual_features(batch[image]) reconstructed model.visual_decoder(visual_features) recon_loss torch.nn.functional.mse_loss(reconstructed, batch[image_patches]) # 總損失 total_loss lm_loss 0.1 * recon_loss return total_loss重建損失的權(quán)重我一般設(shè) 0.1太高會(huì)影響語言建模太低沒效果。這個(gè)權(quán)重可以根據(jù)驗(yàn)證集上的視覺消融準(zhǔn)確率來調(diào)。6.4 評(píng)估階段的交叉驗(yàn)證在推理階段可以同時(shí)跑主模型和一個(gè)純視覺分類器。如果兩者答案不一致就標(biāo)記為“低置信度”讓模型重新生成或者輸出“不確定”。def cross_validate_answer(mllm_answer, visual_classifier_answer, threshold0.8): 交叉驗(yàn)證如果主模型和純視覺模型答案不一致降低置信度 if mllm_answer visual_classifier_answer: return {answer: mllm_answer, confidence: high} else: return {answer: mllm_answer, confidence: low, warning: visual_mismatch}這個(gè)方法在部署階段特別有用能過濾掉一部分對(duì)齊幻覺導(dǎo)致的錯(cuò)誤答案。7. 一些實(shí)操心得和踩坑記錄最后分享幾個(gè)我在實(shí)際項(xiàng)目中踩過的坑都是文檔里不會(huì)寫的。第一個(gè)坑不要迷信 benchmark 分?jǐn)?shù)。我見過一個(gè)模型在 MMBench 上 80 分但實(shí)際用起來連“圖中有幾只貓”都數(shù)不對(duì)。后來發(fā)現(xiàn) MMBench 的很多問題答案是“是/否”模型只要學(xué)會(huì)根據(jù)問題類型猜就能拿高分。所以評(píng)估時(shí)一定要自己構(gòu)造細(xì)粒度測(cè)試集不要只看公開 benchmark。第二個(gè)坑視覺編碼器的分辨率比參數(shù)量重要。我試過把 ViT-L 換成 ViT-B但把輸入分辨率從 224 提到 448細(xì)粒度任務(wù)反而提升了。因?yàn)楦叻直媛时Ａ袅烁嗉?xì)節(jié)而參數(shù)量增加只是讓模型記住了更多語言先驗(yàn)。第三個(gè)坑指令微調(diào)數(shù)據(jù)里的“模板化”問題。很多指令數(shù)據(jù)是用模板生成的比如“圖中的{物體}是什么顏色”。這種數(shù)據(jù)會(huì)讓模型學(xué)會(huì)模板匹配而不是真正理解問題。我建議用 GPT-4V 重新生成指令讓問題更多樣化。第四個(gè)坑不要忽略 tokenizer 的影響。有些顏色詞在 tokenizer 里被拆得很碎比如“淺藍(lán)色”變成“淺”“藍(lán)”“色”。模型很難把這三個(gè) token 綁定到同一個(gè)視覺概念。解決方法是在投影層加一個(gè)顏色回歸頭或者用更粗粒度的顏色詞。第五個(gè)坑訓(xùn)練時(shí)的 batch size 很關(guān)鍵。對(duì)比學(xué)習(xí)需要大 batch 才能提供足夠的負(fù)樣本。如果 batch 太小負(fù)樣本不夠?qū)R會(huì)變得很表面。我一般用至少 1024 的 batch size如果顯存不夠就用梯度累積。第六個(gè)坑視覺消融測(cè)試的噪聲圖要選對(duì)。我一開始用純隨機(jī)噪聲結(jié)果模型直接輸出“無法識(shí)別”。后來改用高斯噪聲加原始圖均值偏移模型才會(huì)正常回答這樣才能測(cè)出它是不是在猜。第七個(gè)坑不要一次性解凍所有層。我試過一次性解凍視覺編碼器所有層結(jié)果訓(xùn)練不穩(wěn)定損失震蕩。后來改成先解凍最后 4 層訓(xùn)練穩(wěn)定后再解凍更多。分階段解凍比一次性解凍效果好很多。第八個(gè)坑評(píng)估時(shí)要控制變量。比較兩個(gè)模型時(shí)要確保它們的訓(xùn)練數(shù)據(jù)、訓(xùn)練步數(shù)、評(píng)估 prompt 都一樣。我見過有人比較兩個(gè)模型一個(gè)用 5-shot prompt一個(gè)用 0-shot然后說 5-shot 的更好。這種比較沒有意義。這個(gè)方向還在快速演進(jìn)NeurIPS 2026 上應(yīng)該會(huì)有更多關(guān)于對(duì)齊幻覺的理論分析和實(shí)用解決方案。我個(gè)人比較看好的是把視覺重建和對(duì)比學(xué)習(xí)結(jié)合起來讓模型在拉近圖文表示的同時(shí)保留視覺特征的細(xì)粒度信息。另外用強(qiáng)化學(xué)習(xí)做后處理也很有潛力因?yàn)榭梢灾苯觾?yōu)化“是否用了視覺信息”這個(gè)目標(biāo)而不是間接優(yōu)化語言建模損失。如果你也在做多模態(tài)對(duì)齊相關(guān)的工作建議盡早把視覺消融測(cè)試加入你的評(píng)估流程這個(gè)指標(biāo)比準(zhǔn)確率更能反映模型的真實(shí)能力。