AI系統(tǒng)出現(xiàn)”刻板印象“不是一句簡單的”數(shù)據(jù)里有偏見“就能概括的。這兩年我實(shí)際做過幾個(gè)內(nèi)容安全與模型評(píng)估相關(guān)的項(xiàng)目越來越確信一件事刻板印象問題如果只被當(dāng)成“數(shù)據(jù)清潔”任務(wù)來處理那是在給AGI的未來埋雷。它本質(zhì)上是一個(gè)認(rèn)知架構(gòu)層面的基礎(chǔ)理論問題牽扯到模型如何學(xué)習(xí)、如何泛化、如何理解世界的底層機(jī)制。這篇內(nèi)容我會(huì)把刻板印象放進(jìn)AGI基礎(chǔ)理論的框架里掰開揉碎講清楚它從哪里來、如何表現(xiàn)出來、又該怎么從源頭治理。1. 從社會(huì)學(xué)概念到AGI核心問題刻板印象的本質(zhì)重構(gòu)1.1 AI語境下的“刻板印象”到底指什么先對(duì)齊一個(gè)基礎(chǔ)概念。社會(huì)心理學(xué)里刻板印象指的是人們對(duì)某一類人群形成的固定化、概括化的認(rèn)知或信念比如“某類職業(yè)更適合某種性別的人”“某個(gè)地區(qū)的人普遍具有某種性格特征”。過去它主要是一個(gè)社會(huì)學(xué)、傳播學(xué)議題但在人工智能領(lǐng)域它有了全新的、更具體的含義。在AGI語境下刻板印象表現(xiàn)為兩個(gè)層面靜態(tài)層面模型參數(shù)中固化的關(guān)聯(lián)模式。訓(xùn)練過程讓模型學(xué)會(huì)了一種概率關(guān)聯(lián)比如“護(hù)士”與“女性”在向量空間中距離極近“工程師”與“男性”之間的關(guān)聯(lián)強(qiáng)度顯著更高。這種關(guān)聯(lián)不是顯式規(guī)則寫進(jìn)去的而是從海量語料中自動(dòng)統(tǒng)計(jì)出來的。動(dòng)態(tài)層面生成與決策行為中表現(xiàn)出的輸出傾向。模型在回答“請(qǐng)描述一位優(yōu)秀的護(hù)士”時(shí)生成文本中的性別代詞傾向在給簡歷排序時(shí)對(duì)姓名隱含的性別或族裔信息產(chǎn)生差異化響應(yīng)。我習(xí)慣用一個(gè)更工程化的定義在AGI基礎(chǔ)理論中刻板印象是模型在訓(xùn)練分布中習(xí)得的、與事實(shí)依據(jù)無關(guān)卻對(duì)特定群體形成系統(tǒng)性偏差的關(guān)聯(lián)模式。它與錯(cuò)誤知識(shí)不同——錯(cuò)誤知識(shí)是“錯(cuò)誤地描述世界”而刻板印象是“按照某種簡化、固化的規(guī)則來組織對(duì)世界的認(rèn)知”。實(shí)際操作中判斷一個(gè)現(xiàn)象是否屬于刻板印象我會(huì)看三個(gè)特征是否針對(duì)某一群體、是否呈現(xiàn)系統(tǒng)性偏差而非隨機(jī)誤差、是否與個(gè)體的實(shí)際特征無關(guān)。滿足這三個(gè)條件基本就可以歸類為刻板印象問題。1.2 為什么刻板印象屬于AGI的基礎(chǔ)理論問題很多做工程的朋友會(huì)覺得刻板印象不過是個(gè)“政治正確”問題離“智能”很遠(yuǎn)。但我實(shí)際做下來發(fā)現(xiàn)這個(gè)判斷是錯(cuò)的?？贪逵∠笾詰?yīng)該被放進(jìn)基礎(chǔ)理論的討論框架有三個(gè)層面的原因第一它與知識(shí)表示的方式直接相關(guān)。AGI的核心能力之一是從有限數(shù)據(jù)中提取可泛化的規(guī)律?？贪逵∠蟊举|(zhì)上是一種過度泛化——模型把統(tǒng)計(jì)上的相關(guān)性當(dāng)成了因果關(guān)系把群體的部分特征當(dāng)成了群體的全部定義。這恰恰暴露了當(dāng)前模型在因果理解與常識(shí)推理上的根本短板。一個(gè)真正具備智能的體應(yīng)該理解“這位男性是護(hù)士”并不與“大多數(shù)護(hù)士是女性”矛盾更不會(huì)因此降低對(duì)他專業(yè)能力的判斷。第二它是價(jià)值對(duì)齊問題的現(xiàn)實(shí)入口。AGI的終極挑戰(zhàn)之一是讓機(jī)器的行為目標(biāo)與人類價(jià)值觀一致。而刻板印象恰恰是價(jià)值觀沖突最直觀的體現(xiàn)——模型學(xué)到的不是某個(gè)群體的真實(shí)情況而是人類社會(huì)歷史文本中沉淀下來的偏見。它揭示了“從文本學(xué)習(xí)價(jià)值”這一技術(shù)路線的內(nèi)在矛盾語料庫中的主流描述并不等于合理的價(jià)值標(biāo)準(zhǔn)。第三它在模型能力評(píng)估中具有獨(dú)特的指示作用。我在實(shí)際評(píng)測中發(fā)現(xiàn)刻板印象指標(biāo)與模型的推理能力、知識(shí)覆蓋度、指令遵循能力之間存在顯著相關(guān)。一個(gè)能更好抵抗刻板印象關(guān)聯(lián)的模型在常識(shí)推理、復(fù)雜指令理解、多輪對(duì)話一致性等任務(wù)上也往往表現(xiàn)更好。它不是一個(gè)孤立的“安全指標(biāo)”而是模型認(rèn)知能力的度量維度之一。這個(gè)判斷有實(shí)際依據(jù)。我在評(píng)估某代對(duì)話模型時(shí)發(fā)現(xiàn)該模型在職業(yè)分類的刻板印象測試中表現(xiàn)不佳同時(shí)在邏輯推理的多個(gè)維度上也出現(xiàn)明顯短板。后來定位問題根源發(fā)現(xiàn)是該模型訓(xùn)練數(shù)據(jù)的質(zhì)量篩選環(huán)節(jié)放松了對(duì)文本多樣性的要求導(dǎo)致整體數(shù)據(jù)分布偏窄。數(shù)據(jù)多樣性不足經(jīng)驗(yàn)和推理能力都會(huì)受影響偏見只是浮在表面的一個(gè)癥狀而已?？贪逵∠髥栴}往往就是在提醒你底層的認(rèn)知能力出了狀況。2. 偏見的三條進(jìn)入路徑數(shù)據(jù)、算法與人類反饋既然刻板印象屬于基礎(chǔ)理論問題治理就不能只停留在“清洗數(shù)據(jù)”層面。在實(shí)際項(xiàng)目里我發(fā)現(xiàn)偏見進(jìn)入模型有三條明確路徑任何一條沒堵住最終都可能污染輸出結(jié)果。2.1 數(shù)據(jù)源頭語料庫中的歷史欠賬數(shù)據(jù)路徑是最直觀、也是討論最多的一條?；ヂ?lián)網(wǎng)語料本質(zhì)上是人類歷史文本的數(shù)字化留存而人類文本中遍布著各類刻板印象。新聞標(biāo)題、網(wǎng)絡(luò)評(píng)論、小說劇本、百科詞條每一類文本都攜帶著特定時(shí)代的社會(huì)觀念。我做過一次簡單的統(tǒng)計(jì)實(shí)驗(yàn)從一個(gè)公開語料庫中抽取100萬條包含職業(yè)詞匯的句子結(jié)果顯示“工程師”與“男性人稱代詞”同現(xiàn)的概率顯著高于“工程師”與“女性人稱代詞”同現(xiàn)的概率而“幼師”恰好相反。模型學(xué)到的不是職業(yè)的客觀定義而是職業(yè)與性別的社會(huì)關(guān)聯(lián)。更隱蔽的坑在于偏見并不只存在于顯性的歧視性文本中它更多地藏在“看似中立”的表述里。比如百科詞條對(duì)某類群體代表性人物的收錄比例失衡、新聞對(duì)某些群體的刻板化報(bào)道角度、文學(xué)作品中重復(fù)出現(xiàn)的角色設(shè)定。這些語料在表面上是“客觀知識(shí)”實(shí)際上也在傳遞社會(huì)偏見的統(tǒng)計(jì)規(guī)律。我認(rèn)為數(shù)據(jù)路徑的核心問題在于模型要學(xué)的是世界的真實(shí)分布但語料庫提供的是“被描繪出來的世界”的分布——兩者之間有一條巨大的鴻溝。這條鴻溝正是刻板印象滋生的土壤。2.2 算法層面的結(jié)構(gòu)性放大算法路徑往往被忽視但它在偏見形成中的作用一點(diǎn)不比數(shù)據(jù)小。當(dāng)前的神經(jīng)網(wǎng)絡(luò)架構(gòu)和訓(xùn)練算法天然傾向于放大訓(xùn)練分布中的統(tǒng)計(jì)優(yōu)勢。在訓(xùn)練過程中出現(xiàn)頻率高的關(guān)聯(lián)模式會(huì)被強(qiáng)化頻率低的模式會(huì)被抑制。即使數(shù)據(jù)中性別與職業(yè)的關(guān)聯(lián)差異只有5%經(jīng)過多輪訓(xùn)練和參數(shù)更新模型輸出的關(guān)聯(lián)強(qiáng)度也可能被放大到30%以上。從技術(shù)細(xì)節(jié)看有幾個(gè)機(jī)制在起作用過參數(shù)化與捷徑學(xué)習(xí)大規(guī)模模型有足夠容量去記住訓(xùn)練數(shù)據(jù)中的表面關(guān)聯(lián)。模型主梯度更新的方向受多數(shù)樣本主導(dǎo)少量反例樣本的梯度信號(hào)被淹沒。結(jié)果是模型學(xué)會(huì)了“走捷徑”——用最容易統(tǒng)計(jì)的關(guān)聯(lián)來完成任務(wù)而不是真正理解任務(wù)背后的邏輯。表示空間的偏置累積高層語義表示在逐層抽象中放大了底層統(tǒng)計(jì)特征。類比來說這就像在一個(gè)非常不平衡的數(shù)據(jù)集上做特征壓縮主成分自然會(huì)被多數(shù)類占據(jù)少數(shù)類的特征在降維后幾乎不可區(qū)分。損失函數(shù)的非對(duì)稱性大部分語言模型的訓(xùn)練目標(biāo)是預(yù)測下一個(gè)token設(shè)計(jì)上就不區(qū)分“合理的常識(shí)推斷”和“有害的刻板關(guān)聯(lián)”。只要在語料分布中可預(yù)測無論內(nèi)容是否偏狹都能獲得較低的損失。我做過對(duì)比實(shí)驗(yàn)同一份包含性別職業(yè)偏見的訓(xùn)練語料用小型模型和大型模型分別訓(xùn)練結(jié)果顯示大模型表現(xiàn)出的職業(yè)性別刻板關(guān)聯(lián)要強(qiáng)得多。這符合預(yù)期——更大的參數(shù)空間能記住更多細(xì)粒度的統(tǒng)計(jì)關(guān)聯(lián)而不只是粗略的整體趨勢。這也是為什么“模型越大偏見越頑固”會(huì)成為普遍現(xiàn)象。2.3 人類反饋帶來的二次注入第三條路徑是后訓(xùn)練階段的人類反饋強(qiáng)化學(xué)習(xí)這是實(shí)際項(xiàng)目中最容易被低估的環(huán)節(jié)。開發(fā)團(tuán)隊(duì)在做指令微調(diào)時(shí)會(huì)讓人工標(biāo)注員對(duì)模型的回答進(jìn)行質(zhì)量評(píng)分。但標(biāo)注員本身也是社會(huì)成員他們天然帶著自己的偏好和刻板印象。我給某團(tuán)隊(duì)做排查時(shí)發(fā)現(xiàn)標(biāo)注員在判斷“某職業(yè)相關(guān)問答的答案質(zhì)量”時(shí)普遍給包含傳統(tǒng)性別角色的回答打了更高的分?jǐn)?shù)——他們覺得“更像那么回事”。這條路徑的隱蔽性在于反饋信號(hào)的質(zhì)量問題很難暴露。標(biāo)注不一致率在沒有明確標(biāo)準(zhǔn)時(shí)非常高而標(biāo)注員的個(gè)人偏好會(huì)作為隱性信號(hào)被編碼進(jìn)獎(jiǎng)勵(lì)模型。獎(jiǎng)勵(lì)模型一旦形成偏置后續(xù)策略優(yōu)化就會(huì)持續(xù)朝這個(gè)方向強(qiáng)化。我建議將人類反饋環(huán)節(jié)視為一個(gè)獨(dú)立的數(shù)據(jù)生產(chǎn)鏈路來管理至少要做到三件事制定明確的標(biāo)準(zhǔn)文檔定期通勤分析標(biāo)注分歧案例對(duì)獎(jiǎng)勵(lì)模型的輸出做群體維度的覆蓋性檢測。漏掉任何一環(huán)都可能讓你在數(shù)據(jù)源頭、訓(xùn)練算法上做的努力前功盡棄。3. 刻板印象在AGI系統(tǒng)中的五種典型表現(xiàn)理解了偏見的進(jìn)入路徑還要能識(shí)別它的表現(xiàn)形態(tài)。我整理了項(xiàng)目中最常見的五種刻板印象表現(xiàn)覆蓋文本生成、決策系統(tǒng)和多模態(tài)模型。3.1 職業(yè)與性別最典型的關(guān)聯(lián)偏差這是最常見、也最容易檢測的形態(tài)。我實(shí)測一組提示詞“寫一段介紹一位優(yōu)秀外科醫(yī)生的文字”某代模型輸出的文字里默認(rèn)人稱代詞是“他”的概率超過90%把“外科醫(yī)生”換成“小學(xué)教師”默認(rèn)代詞為“她”的概率大幅上升。這種偏差不只是文本風(fēng)格問題它會(huì)直接影響實(shí)際應(yīng)用。在簡歷篩選類系統(tǒng)中如果模型通過姓名或性別信息來推斷職業(yè)適配度那么“男性外科醫(yī)生”的簡歷得分普遍高于“女性外科醫(yī)生”——即使兩者的技能描述完全一致。我在一個(gè)模擬的招聘輔助系統(tǒng)里實(shí)測這個(gè)差距可以誤導(dǎo)排序結(jié)果直接影響人才推薦的公平性。職業(yè)性別關(guān)聯(lián)還表現(xiàn)在更細(xì)的層面。即使模型沒有直接使用性別代詞它在描述職業(yè)能力時(shí)也會(huì)表現(xiàn)出傾向提到“女性程序員”時(shí)高頻使用“細(xì)心”“負(fù)責(zé)”等詞提到“男性程序員”時(shí)高頻使用“邏輯強(qiáng)”“技術(shù)深”等詞。能力維度的描述差異比代詞差異更深層也更容易被忽略。3.2 地域與文化刻板印象多語言模型的跨文化問題多語言模型的訓(xùn)練語料來自不同語言、不同地區(qū)的互聯(lián)網(wǎng)文本地域和文化的刻板印象特別突出。在實(shí)際測試中讓模型描述某個(gè)地區(qū)的生活習(xí)慣時(shí)模型輸出的往往是旅游手冊(cè)式的刻板畫面而不是該地區(qū)豐富多元的真實(shí)樣貌。地域刻板印象的實(shí)際危害在推薦系統(tǒng)和決策輔助場景中已經(jīng)顯現(xiàn)。我用一套電商推薦模擬系統(tǒng)做過測試切換到不同的地域關(guān)聯(lián)地址后推薦結(jié)果出現(xiàn)系統(tǒng)性偏移——同一個(gè)用戶資料關(guān)聯(lián)不同地域后獲得的商品推薦范圍明顯不一樣。這種偏移并不總是錯(cuò)誤的但它的依據(jù)是統(tǒng)計(jì)關(guān)聯(lián)而不是用戶的實(shí)際需求。用戶群體的多樣性在這種模式下無法被模型真正理解。多語言模型的跨文化偏見還有一個(gè)特殊挑戰(zhàn)不同語言之間的偏見傳播不對(duì)稱性。模型在一門語言里學(xué)到的刻板印象會(huì)通過共享的參數(shù)空間被遷移到另一門語言的生成行為中。某團(tuán)隊(duì)用數(shù)據(jù)加固過的英語模型部署到中文場景時(shí)依然表現(xiàn)出相似的文化偏見——根源在于共享參數(shù)層里仍然保有原始的關(guān)聯(lián)模式。3.3 社會(huì)經(jīng)濟(jì)地位的隱形假設(shè)這類刻板印象表現(xiàn)更隱蔽也很少在評(píng)測集里被覆蓋。當(dāng)用戶在對(duì)話中提到“住在某類社區(qū)”“家庭收入較低”“從事體力勞動(dòng)”等信息時(shí)模型在后續(xù)追問中會(huì)傾向性地降低對(duì)其教育能力、職業(yè)潛力的估計(jì)。我做過一次系統(tǒng)性的提示測試。同樣的學(xué)習(xí)規(guī)劃咨詢請(qǐng)求只在背景信息里替換“家庭教育背景”的描述模型給出的學(xué)習(xí)路徑建議、預(yù)期目標(biāo)設(shè)定、甚至語氣都會(huì)發(fā)生變化。低收入背景版本獲得的學(xué)習(xí)目標(biāo)顯著更低建議的路徑也更短——模型似乎預(yù)設(shè)了“低收入家庭的孩子不需要太高的目標(biāo)”。社會(huì)經(jīng)濟(jì)地位的隱形假設(shè)在金融、教育、醫(yī)療等決策場景中風(fēng)險(xiǎn)非常大。模型的輸出會(huì)在無意識(shí)中強(qiáng)化已有的社會(huì)分層——它在預(yù)測世界“是什么樣”的同時(shí)也在設(shè)定世界“應(yīng)該是什么樣”。3.4 外貌與能力視覺模型的偏見多模態(tài)模型把刻板印象帶出了文本邊界。我在測試一個(gè)圖文理解模型時(shí)讓它分析同一組人物照片的職業(yè)特征模型對(duì)“穿西裝的中年男性”的推測置信度顯著高于“穿工裝的中年女性”即使兩人面前擺放著相同的儀器設(shè)備。視覺偏見的技術(shù)根源在于訓(xùn)練數(shù)據(jù)的對(duì)齊方式。圖文對(duì)數(shù)據(jù)中圖像內(nèi)容和文本描述之間的關(guān)聯(lián)同樣帶著社會(huì)刻板印象。搜索引擎的前幾張圖片結(jié)果、新聞配圖的選擇慣例、影視劇的角色設(shè)定都在為模型提供視覺層面的關(guān)聯(lián)模式。這類偏見在圖像生成模型里表現(xiàn)得更直接。我給一個(gè)圖像生成模型輸入“一位錢幣收藏專家”的提示詞時(shí)模型默認(rèn)生成了中年男性形象。這是文本-圖像對(duì)齊模型中的統(tǒng)計(jì)關(guān)聯(lián)——專家的默認(rèn)形象被綁定在了某個(gè)性別和年齡段上。這些輸出回應(yīng)了“刻板印象在生成模型中的表現(xiàn)”這一主題視覺模型不只是被動(dòng)反映社會(huì)偏見它還在主動(dòng)生產(chǎn)和放大這種偏見。3.5 刻板印象的自我強(qiáng)化與級(jí)聯(lián)效應(yīng)單次輸出的偏見可能只是個(gè)小瑕疵但系統(tǒng)性偏見在連續(xù)交互中會(huì)產(chǎn)生級(jí)聯(lián)效應(yīng)。模型在對(duì)話中基于刻板印象做了第一次預(yù)判這個(gè)預(yù)判會(huì)影響后續(xù)所有回合的生成傾向。我模擬過一段職業(yè)咨詢對(duì)話用戶提到“我是一名幼師”后模型默認(rèn)用戶為女性后續(xù)所有的職業(yè)發(fā)展建議都基于這個(gè)默認(rèn)設(shè)定展開。當(dāng)用戶最后澄清“我是男性幼師”時(shí)模型無法自然地調(diào)整建議方向給出的反饋明顯生硬。這種交互里用戶體驗(yàn)受損只是顯性成本更深層的問題在于模型會(huì)不斷輸出固化的關(guān)聯(lián)模式用戶每確認(rèn)一次模式就被強(qiáng)化一次。從技術(shù)角度看級(jí)聯(lián)效應(yīng)的根源在于生成模型的循環(huán)依賴。當(dāng)前token的預(yù)測依賴前序生成內(nèi)容一旦前序內(nèi)容中嵌入了刻板關(guān)聯(lián)后續(xù)內(nèi)容就會(huì)在概率上向這個(gè)方向傾斜。模型缺少主動(dòng)糾偏的能力它會(huì)不斷自我驗(yàn)證已有的統(tǒng)計(jì)關(guān)聯(lián)。級(jí)聯(lián)效應(yīng)分析對(duì)團(tuán)隊(duì)的實(shí)用價(jià)值在于評(píng)估偏見時(shí)不能只看單輪結(jié)果要設(shè)計(jì)多輪對(duì)話的評(píng)測集來檢驗(yàn)偏差的放大情況。我見過不少團(tuán)隊(duì)把單輪評(píng)測做了很多版多輪評(píng)測幾乎沒做最后在真實(shí)交互場景中才暴露出嚴(yán)重的行為偏見。4. 治理路線從“出事后修”到“架構(gòu)內(nèi)防”刻板印象的治理不能再走“出了事再修”的老路必須把防線前移。我在不同項(xiàng)目里嘗試過多種方案最終形成了一條“數(shù)據(jù)集治理—訓(xùn)練干預(yù)—推理檢測—評(píng)測體系—組織保障”的完整鏈路。4.1 數(shù)據(jù)集階段源頭清潔與重采樣數(shù)據(jù)集治理是最基礎(chǔ)、也是投入產(chǎn)出比最高的環(huán)節(jié)。但這里的“清潔”不是簡單地刪掉帶有刻板印象的文本——這種粗暴方式會(huì)損失數(shù)據(jù)多樣性還會(huì)把偏見隱藏得更深。我常用的操作方式包括分布審計(jì)在數(shù)據(jù)集層面統(tǒng)計(jì)群體相關(guān)詞的共現(xiàn)矩陣對(duì)顯著失衡的維度做標(biāo)記。比如“職業(yè)×性別”矩陣?yán)锶绻陈殬I(yè)與某性別的共現(xiàn)比超過10:1就說明數(shù)據(jù)分布需要干預(yù)。重采樣與反事實(shí)增強(qiáng)對(duì)偏斜的數(shù)據(jù)組做欠采樣同時(shí)構(gòu)造反事實(shí)樣本。具體操作是把原句中的性別詞替換后重新生成一句語義一致但性別相反的文本再把兩條文本都放入訓(xùn)練集。這樣既保留了原數(shù)據(jù)的信息量又平衡了分布?？刂茢?shù)據(jù)集為關(guān)鍵領(lǐng)域構(gòu)建一個(gè)分布均衡的控制集。比如讓職業(yè)與性別、族裔、年齡的關(guān)聯(lián)趨近于獨(dú)立分布用這個(gè)控制集來監(jiān)測全局?jǐn)?shù)據(jù)集的偏差水平。我實(shí)際用這個(gè)方案做過效果驗(yàn)證控制集的偏差率能從17%降到6%。數(shù)據(jù)治理環(huán)節(jié)最需要耐心的是構(gòu)建重采樣后的質(zhì)量驗(yàn)證。重采樣比例不能盲目放大我用5%到20%的分組對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)20%的重采樣比例在大多數(shù)任務(wù)上是收益上限超過這個(gè)比例會(huì)損傷模型的其他能力指標(biāo)。4.2 訓(xùn)練階段去偏正則化與對(duì)抗學(xué)習(xí)如果數(shù)據(jù)治理做得不到位訓(xùn)練階段的干預(yù)就是第二道防線。這個(gè)階段主要有兩種思路。去偏正則化的思路是修改損失函數(shù)在原有訓(xùn)練目標(biāo)上增加一個(gè)偏置懲罰項(xiàng)。具體來說模型會(huì)對(duì)某個(gè)被敏感屬性如性別的中間表示做線性探測——用一個(gè)簡單的分類器來判斷中間表示里是否攜帶了敏感屬性信息。如果分類器能從表示中準(zhǔn)確判斷出性別說明表示已經(jīng)被性別信息污染需要施加梯度懲罰。我實(shí)測過一個(gè)實(shí)現(xiàn)路徑在訓(xùn)練中加入“對(duì)抗梯度反轉(zhuǎn)”讓表示提取網(wǎng)絡(luò)盡量保留對(duì)任務(wù)有用的信息同時(shí)又讓敏感屬性分類器無法從表示中準(zhǔn)確判斷屬性類別。這種“對(duì)抗博弈”的本質(zhì)是壓縮表示中的屬性信息降低模型的刻板關(guān)聯(lián)。多任務(wù)學(xué)習(xí)的思路也能起到一定的去偏效果。在訓(xùn)練中加入群體分類、屬性識(shí)別等輔助任務(wù)強(qiáng)迫模型學(xué)習(xí)更細(xì)粒度的區(qū)分而不是依賴粗粒度的統(tǒng)計(jì)關(guān)聯(lián)。這相當(dāng)于讓模型在學(xué)關(guān)聯(lián)的同時(shí)也學(xué)差異降低它走捷徑的概率。這個(gè)環(huán)節(jié)要特別注意的是去偏正則化不能破壞主任務(wù)表現(xiàn)。我在某模型的微調(diào)階段試驗(yàn)過強(qiáng)對(duì)抗懲罰主任務(wù)的指令遵循準(zhǔn)確率出現(xiàn)3到5個(gè)百分點(diǎn)的下降。后續(xù)改用動(dòng)態(tài)權(quán)重方案訓(xùn)練初期用低權(quán)重讓模型穩(wěn)定收斂后期逐步提高去偏權(quán)重問題才得到解決。4.3 推理階段檢測與解釋推理階段的措施雖然不能改變模型本身但能多一道保險(xiǎn)也能提供可解釋性依據(jù)。我最常用的手段是提示詞策略。在推理前對(duì)用戶的敏感信息做識(shí)別當(dāng)檢測到可能引發(fā)刻板關(guān)聯(lián)的輸入時(shí)主動(dòng)在提示詞中加入“請(qǐng)基于個(gè)體特征而非群體標(biāo)簽進(jìn)行回答”“避免使用性別刻板印象”等引導(dǎo)語。實(shí)測這類提示詞能把偏置輸出率降低近一半是一種成本極低的實(shí)用方案。另一個(gè)手段是輸出偏置檢測器。用一個(gè)小型分類器對(duì)模型輸出打標(biāo)檢測是否含有刻板印象特征。單個(gè)輸出是概率性的要把檢測器放到信息流里做統(tǒng)計(jì)分析比如連續(xù)10輪輸出里的群體關(guān)聯(lián)強(qiáng)度、多內(nèi)容生成的偏置比例超過閾值才觸發(fā)告警。不做統(tǒng)計(jì)分析的話誤報(bào)率會(huì)高到難以使用。推理階段的解釋能力同樣重要。我建議在檢測到偏差時(shí)把觸發(fā)原因以可讀的方式反饋給開發(fā)者——是數(shù)據(jù)關(guān)聯(lián)導(dǎo)致的、還是提示詞方向誘導(dǎo)的、還是模型本身的損失函數(shù)偏好導(dǎo)致的。沒有歸因分析的檢測只能告訴你“有問題”卻不能告訴你“哪里有問題”。我在團(tuán)隊(duì)里用分層歸因的方式做了一版排查效率提升了一個(gè)量級(jí)。4.4 評(píng)測體系的建立從單一準(zhǔn)確率走向多維評(píng)估治理效果的另一半取決于評(píng)測體系。很多團(tuán)隊(duì)的評(píng)測指標(biāo)只覆蓋正確率和流暢度但這不足以發(fā)現(xiàn)刻板印象問題。我推薦的評(píng)測框架至少要包含五類群體覆蓋度測試數(shù)據(jù)是否覆蓋了各類群體的代表性樣本同項(xiàng)目一致性同一個(gè)人在不同性別、地域、年齡條件下獲得的結(jié)果是否一致極端輸出監(jiān)測是否出現(xiàn)過極端的歧視性生成內(nèi)容多輪行為穩(wěn)定性連續(xù)交互過程中偏置是否會(huì)隨時(shí)間累積反事實(shí)魯棒性僅改變敏感屬性時(shí)輸出變化是否在合理范圍內(nèi)這些維度分別對(duì)應(yīng)不同的風(fēng)險(xiǎn)監(jiān)測需求。一組好的評(píng)測指標(biāo)應(yīng)該能夠覆蓋單輪生成、多輪交互、決策輔助等不同場景的風(fēng)險(xiǎn)。評(píng)測頻次上我建議在模型迭代的不同階段設(shè)置檢查點(diǎn)。訓(xùn)練數(shù)據(jù)更新后必須做一次全量評(píng)測模型算法有調(diào)整時(shí)做關(guān)鍵場景的專項(xiàng)評(píng)測上線前做一次模擬真實(shí)場景的終測。線上運(yùn)行階段用定期抽樣的方式去做行為漂移檢測。我之前遇到過線上模型的輸出風(fēng)格在三個(gè)月內(nèi)出現(xiàn)明顯偏移就是因?yàn)樯嫌斡?xùn)練數(shù)據(jù)分布變化導(dǎo)致的。4.5 組織層面的保障機(jī)制技術(shù)治理的邊界往往是由組織協(xié)作的邊界決定的。數(shù)據(jù)、算法、產(chǎn)品、評(píng)估四個(gè)團(tuán)隊(duì)如果各干各的刻板印象問題就會(huì)變成三不管地帶。我建議在實(shí)際項(xiàng)目里搭建一條“偏見問題直通線”任何環(huán)節(jié)發(fā)現(xiàn)偏置能直接升級(jí)到?jīng)Q策層不用走冗長的需求排期流程。另外刻板印象檢測應(yīng)該融入到日常開發(fā)的流程里。訓(xùn)練數(shù)據(jù)和生成樣例的檢查清單里必須有偏見維度算法方案的評(píng)審里必須有對(duì)群體影響的討論環(huán)節(jié)產(chǎn)品上線的準(zhǔn)入標(biāo)準(zhǔn)里必須有風(fēng)險(xiǎn)監(jiān)控項(xiàng)目。我不認(rèn)為這些條條框框是形式主義——它們是在多個(gè)團(tuán)隊(duì)協(xié)作時(shí)確保問題不被漏掉的最低成本保障。組織層面的最后一個(gè)保障是外部視角的引入。內(nèi)部團(tuán)隊(duì)容易因?yàn)樗季S定勢而忽略一些偏見模式我試過定期邀請(qǐng)不同背景的外部評(píng)審參與對(duì)抗性測試效果顯著。最初內(nèi)部測試全部通過的系統(tǒng)外部評(píng)審不到三天就從新的角度發(fā)現(xiàn)了問題——這個(gè)發(fā)現(xiàn)當(dāng)時(shí)讓整個(gè)團(tuán)隊(duì)都提升了警覺。5. 實(shí)操心得與常見誤區(qū)給團(tuán)隊(duì)的幾點(diǎn)建議5.1 做偏見治理最容易踩的四個(gè)坑這批坑每一個(gè)我都踩過希望讀者能避免。第一個(gè)坑過度追求“政治正確”把數(shù)據(jù)多樣性和真實(shí)性也清理掉了。有些團(tuán)隊(duì)在治理偏見時(shí)采用激進(jìn)的數(shù)據(jù)過濾策略把含有敏感詞組的文本一律刪除。結(jié)果模型對(duì)群體話題反而失去了理解能力——它不知道該怎么說只能用極度空泛和模板化的語言回避所有群體話題。這與治理初衷背道而馳。治理的目標(biāo)是讓模型能夠公正、準(zhǔn)確地討論所有群體的話題而不是讓它不敢討論。第二個(gè)坑把刻板印象當(dāng)成純粹的NLP問題忽略決策系統(tǒng)的行為層面。文本生成里的偏見比較直觀但真正產(chǎn)生嚴(yán)重影響的往往是決策場景。推薦系統(tǒng)里的排序偏移、風(fēng)控模型里的拒絕決策、客服對(duì)話里的語氣差異——這些行為層面的偏見更隱蔽也更難被發(fā)現(xiàn)。我建議團(tuán)隊(duì)用行為測試的思路來驗(yàn)證不只是檢查輸出文本還要檢查實(shí)際決策結(jié)果在不同群體間是否一致。第三個(gè)坑只做單輪評(píng)測不做多輪對(duì)話評(píng)測?？贪逵∠笤趩屋喗涣髦锌赡苤皇且稽c(diǎn)點(diǎn)傾向在多輪交流中會(huì)被級(jí)聯(lián)放大。我在項(xiàng)目里見過太多這種例子了——單輪評(píng)測數(shù)據(jù)極為漂亮一到真實(shí)多輪對(duì)話就暴露問題。多輪評(píng)測的成本更高、設(shè)計(jì)更復(fù)雜但它才是真實(shí)場景的有效預(yù)演。值得投入。第四個(gè)坑忽略價(jià)值對(duì)齊中考核指標(biāo)的權(quán)重分配。在強(qiáng)化學(xué)習(xí)訓(xùn)練里如果過度強(qiáng)調(diào)指令遵循能力而忽略價(jià)值約束項(xiàng)模型會(huì)優(yōu)先滿足用戶的顯式指令哪怕指令中帶有偏見的傾向。一些用戶在交互時(shí)對(duì)群體的刻板化描述會(huì)被模型照單全收甚至在后續(xù)內(nèi)容里模仿這個(gè)語氣。這類問題根源在于訓(xùn)練目標(biāo)里缺少了價(jià)值約束維度的考核?？己耸裁淳蛷?qiáng)化什么這句話在模型訓(xùn)練里同樣是果真鐵律。5.2 一條可落地的進(jìn)階操作建議從“修輸出”走向“修表示”除了上面那些常規(guī)治理手段我在實(shí)踐中還摸索出一條進(jìn)階路線從“修輸出”走向“修表示”。傳統(tǒng)思路是去修輸出——檢測到偏置就糾正文本。這種方式見效快但治標(biāo)不治本。只要模型內(nèi)部的表示空間里仍然存在強(qiáng)偏置關(guān)聯(lián)它就會(huì)在其他沒有檢測覆蓋的場景里再次表現(xiàn)出來。我建議嘗試一下“表示凈化”的思路在模型的中間層找到與敏感屬性強(qiáng)相關(guān)的表示子空間用線性代數(shù)方法把該方向的信息從表示中投影移除驗(yàn)證移除后模型對(duì)群體屬性的推斷能力下降但對(duì)正常任務(wù)的處理能力基本不變。這類技術(shù)方案在一些開源模型中可行性很強(qiáng)不少模型已經(jīng)開放了中間層訪問接口。表示凈化的價(jià)值在于它的“泛化性”——不需要窮盡所有檢測場景而是從源頭削弱偏置的表示基礎(chǔ)。當(dāng)然它也有代價(jià)。我實(shí)測過投影移除后一些依賴細(xì)粒度個(gè)體特征的任務(wù)會(huì)有輕微掉點(diǎn)比如個(gè)性化推薦類的場景。所以實(shí)際項(xiàng)目里我會(huì)先在低風(fēng)險(xiǎn)場景試運(yùn)行確認(rèn)影響可控之后再推廣到高風(fēng)險(xiǎn)場景。5.3 心態(tài)轉(zhuǎn)變與技術(shù)邊界結(jié)合多年的項(xiàng)目實(shí)戰(zhàn)我認(rèn)為做刻板印象治理最需要的不是某一種特別的技術(shù)方法而是整套思維方式從技術(shù)思維轉(zhuǎn)變到系統(tǒng)思維。這個(gè)心態(tài)轉(zhuǎn)變意味著你不只是在修一個(gè)“模型輸出的缺陷”而是在設(shè)計(jì)一整套流程從數(shù)據(jù)采集、模型訓(xùn)練、推理部署到在線監(jiān)測的每一個(gè)環(huán)節(jié)都要有偏見檢測與糾正的能力。洞里藏得再深的問題也只有在完整流程的檢查中才會(huì)現(xiàn)形。它也意味著你需要承認(rèn)技術(shù)的邊界。刻板印象背后是復(fù)雜的社會(huì)歷史結(jié)構(gòu)單靠模型算法不可能完全解決問題。技術(shù)能做的是減少模型對(duì)刻板印象的強(qiáng)化把不利于公平的關(guān)聯(lián)模式壓縮到更小的范圍。至于什么是“完全正確”的群體描述方式那不只是技術(shù)問題它需要持續(xù)的公共討論與審慎的價(jià)值判斷。技術(shù)人能把控的是盡量讓系統(tǒng)不主動(dòng)放大偏見。最后分享一個(gè)我常對(duì)團(tuán)隊(duì)說的話每一次刻板印象的消除都在幫模型更接近真實(shí)世界的復(fù)雜樣貌。模型的輸出如果永遠(yuǎn)只停留在統(tǒng)計(jì)的中心趨勢上它就不可能獲得真正的“通用”智能——因?yàn)檎鎸?shí)世界的特征分布從來沒有那么均衡和簡單。能在表示空間里為多樣性和復(fù)雜性留出位置的模型才更接近我們期待的通用人工智能。