這兩年只要聊大模型就繞不開“涌現(xiàn)能力”這個(gè)詞。我最早聽到它時(shí)第一反應(yīng)是這不就是把復(fù)雜性系統(tǒng)里的“涌現(xiàn)”概念搬到機(jī)器學(xué)習(xí)里了嗎后來看得越多越發(fā)現(xiàn)這個(gè)詞已經(jīng)被用得非常泛甚至互相矛盾。同一個(gè)能力有人說是涌現(xiàn)出來的有人說只是評價(jià)指標(biāo)造成的假象還有人認(rèn)為是模型內(nèi)部某種因果結(jié)構(gòu)在規(guī)模達(dá)到臨界點(diǎn)后突然形成。三種說法都有道理但它們說的根本不是同一件事。這就是上述標(biāo)題里那個(gè)“界定困境”的由來我們到底是在描述一個(gè)統(tǒng)計(jì)數(shù)據(jù)還是在斷言一個(gè)因果機(jī)制如果只是閑聊倒也無所謂但一旦涉及研究設(shè)計(jì)、基準(zhǔn)測試、產(chǎn)品選型就必須把這兩層分開。否則很容易做出一份“看起來發(fā)現(xiàn)巨大規(guī)律換了個(gè)場景就完全不復(fù)現(xiàn)”的實(shí)驗(yàn)。這篇文章想做的是把圍繞涌現(xiàn)能力的各種爭論拆開重新梳理“統(tǒng)計(jì)現(xiàn)象”和“因果機(jī)制”這兩個(gè)層面然后給出一套我在實(shí)際項(xiàng)目里常用的分析思路和實(shí)驗(yàn)框架。適合正在做大模型評測、可解釋性研究或模型選型評估的開發(fā)者參考。如果你只是對“涌現(xiàn)”這個(gè)概念好奇也可以從中學(xué)會一套分辨真?zhèn)文芰Φ姆椒ā?. 涌現(xiàn)能力為什么越聊越糊涂一個(gè)概念的三角困境1.1 從復(fù)雜性科學(xué)借來的概念到了大模型語境里已經(jīng)變味“涌現(xiàn)”這個(gè)詞原本來自復(fù)雜性科學(xué)。螞蟻群體能構(gòu)建復(fù)雜巢穴單個(gè)螞蟻沒有設(shè)計(jì)圖紙神經(jīng)元單個(gè)放電不產(chǎn)生意識但海量神經(jīng)元的集體活動形成了主觀體驗(yàn)。這類現(xiàn)象的共同點(diǎn)是整體行為無法直接從局部規(guī)則簡單線性疊加得出宏觀上出現(xiàn)了新的結(jié)構(gòu)和規(guī)律而且這種規(guī)律很難被還原到某個(gè)單一微觀要素上。把這個(gè)詞搬到大模型領(lǐng)域之后含義發(fā)生了很大漂移?，F(xiàn)在大多數(shù)人說“模型涌現(xiàn)了某種能力”其實(shí)是在說在模型規(guī)模或訓(xùn)練數(shù)據(jù)量達(dá)到某個(gè)閾值之前某個(gè)任務(wù)上的性能幾乎為零而一旦跨過閾值性能突然跳到可用甚至優(yōu)秀水平。這種“突然出現(xiàn)”的感覺和復(fù)雜性科學(xué)里那個(gè)“整體大于部分之和”有點(diǎn)像但本質(zhì)上是兩種語言。前者是觀察層面的性能變化后者是機(jī)制層面的新質(zhì)產(chǎn)生。二者不一定對應(yīng)。而這種不對應(yīng)正是“涌現(xiàn)能力”界定困境的根源。如果我們把測量結(jié)果直接等同于機(jī)制發(fā)生就會在理論上留下一個(gè)大坑一個(gè)任務(wù)上出現(xiàn)性能躍遷究竟是模型真的長出了新的計(jì)算能力還是我們選的尺子剛好在某個(gè)位置發(fā)生了非線性扭曲1.2 三種主流定義方式各有各的硬傷我平時(shí)看相關(guān)論文和討論發(fā)現(xiàn)“涌現(xiàn)能力”大體上有三種定義方式。每一種看起來都能用但操作化之后都有問題。第一種是最常見的統(tǒng)計(jì)定義以模型參數(shù)量為自變量以某個(gè)基準(zhǔn)任務(wù)的準(zhǔn)確率為因變量如果曲線的形態(tài)是“先在低位平緩然后在某個(gè)規(guī)模附近突然上升”就認(rèn)為出現(xiàn)了涌現(xiàn)。這種定義的最大問題在于自變量和因變量都不是純函數(shù)關(guān)系。參數(shù)量增加往往伴隨訓(xùn)練數(shù)據(jù)量、訓(xùn)練時(shí)長、架構(gòu)細(xì)節(jié)一起變你很難說清楚“突然上升”到底是誰引起的。再加上很多基準(zhǔn)任務(wù)本身題目數(shù)量有限準(zhǔn)確率的取值是離散的曲線的突變幅度會被放大。第二種是能力定義模型在某個(gè)任務(wù)上從“看似完全不會”到“竟然會了”而且這種“會”不是死記硬背而是表現(xiàn)出了泛化性。比如換了新題、換了措辭依然能完成。這個(gè)定義比指標(biāo)曲線更有說服力但它仍然停留在行為層面。你無法從行為判斷內(nèi)部發(fā)生了什么只能推斷。更麻煩的是“泛化”和“記憶”的邊界本身就模糊大模型訓(xùn)練數(shù)據(jù)規(guī)模巨大你怎么證明一個(gè)新任務(wù)從未出現(xiàn)在訓(xùn)練集里幾乎不可能。第三種是機(jī)制定義模型內(nèi)部形成了某種新的表征或計(jì)算策略比如在隱藏層中出現(xiàn)了對“數(shù)數(shù)”的編碼或者注意力頭開始執(zhí)行某種可理解的算法。只有機(jī)制上的新變化才配叫涌現(xiàn)。這個(gè)定義在科學(xué)上更嚴(yán)格但在實(shí)際操作上極難驗(yàn)證。因?yàn)榇笠?guī)模模型的內(nèi)部狀態(tài)是高維、分布式的所謂“某種新的表征”很難和“規(guī)模增長后原有表征精度更高”區(qū)分開。這三種定義各有各的立場但放在同一場討論里概念就會錯(cuò)位。你說統(tǒng)計(jì)涌現(xiàn)他說機(jī)制涌現(xiàn)互相之間根本沒有共同度量。1.3 統(tǒng)計(jì)現(xiàn)象與因果機(jī)制是兩套完全不同的語言我特別想用一個(gè)生活場景來類比。假設(shè)你讓孩子練習(xí)投籃每周記錄命中率。前五周命中率一直停在5%左右第六周突然到了40%第七周能到60%。你會說“投籃能力涌現(xiàn)了嗎”從統(tǒng)計(jì)現(xiàn)象看確實(shí)像突變練習(xí)量跨過某個(gè)點(diǎn)后成績突然從接近零跳到穩(wěn)定命中。但從因果機(jī)制看可能有幾種完全不同的解釋?？赡苁呛⒆由砀咄蝗婚L了手臂力量上來了可能是他某天掌握了屈膝發(fā)力的感覺也可能是我們換了更矮的籃筐或者把一個(gè)目標(biāo)從“十個(gè)球連續(xù)命中三次”調(diào)整成了“投十個(gè)球不看結(jié)果”。在涌現(xiàn)能力討論里這種混淆隨處可見。模型的參數(shù)量、訓(xùn)練步數(shù)、數(shù)據(jù)構(gòu)成、評價(jià)指標(biāo)、prompt形式任何一個(gè)變量變化都可能造成“突然變強(qiáng)”的錯(cuò)覺。而真正的問題——模型內(nèi)部是否出現(xiàn)了新的因果結(jié)構(gòu)——需要更精細(xì)的手段才能回答。統(tǒng)計(jì)語言回答的是“相關(guān)和預(yù)測”因果語言回答的是“機(jī)制和干預(yù)”。兩者缺一不可但不能混為一談。2. 統(tǒng)計(jì)現(xiàn)象視角那些看似“涌現(xiàn)”的曲線可能只是測量幻覺2.1 準(zhǔn)確率曲線為什么會“跳崖”指標(biāo)本身的離散化效應(yīng)有一個(gè)現(xiàn)象很多做評測的人都遇到過某個(gè)模型卡在30%準(zhǔn)確率很久你增大一個(gè)規(guī)模檔位它突然到了85%。直覺上這是涌現(xiàn)但先別激動看看評測集是怎么構(gòu)成的。假如一個(gè)任務(wù)有20道二選一題隨機(jī)概率是50%。模型的能力其實(shí)是平滑上升的每道題的正確概率從50%漲到99%。如果評測指標(biāo)是“20道題全部正確才算通過”那么在最開始很長一段通過率都是0因?yàn)橹灰坏厘e(cuò)就不算通過。到了后期隨著單題正確率逼近1通過率才會快速爬升。這條通過率曲線會形成一個(gè)非常陡的拐點(diǎn)。但實(shí)際上單題正確率曲線是平滑的。反過來如果評測指標(biāo)是“20道題做對10道算及格”那么拐點(diǎn)會出現(xiàn)在能力剛超過隨機(jī)水平的時(shí)候。同一個(gè)模型、同一個(gè)能力僅僅因?yàn)橹笜?biāo)定義不同就會呈現(xiàn)出完全不同的“涌現(xiàn)規(guī)模閾值”。這個(gè)例子我在實(shí)際項(xiàng)目里反復(fù)遇到過。某開發(fā)者做評測時(shí)選擇了一道包含多步驟組合判斷的綜合題模型在較小規(guī)模上幾乎全錯(cuò)到較大規(guī)模時(shí)正確率暴增。他非常興奮地說是涌現(xiàn)。可我們把這個(gè)綜合題拆成20個(gè)原子子題分別統(tǒng)計(jì)正確率后每條子能力曲線都是平滑上升的。所謂“涌現(xiàn)”只是“全部答對”這個(gè)復(fù)合條件的非線性投影。2.2 規(guī)模、數(shù)據(jù)、訓(xùn)練步數(shù)三條曲線疊在一起即使指標(biāo)本身平滑另一個(gè)混淆來源是訓(xùn)練配置。很多“涌現(xiàn)”現(xiàn)象是在最終模型checkpoint上觀察到的但“模型更大”這個(gè)變量往往同時(shí)意味著“訓(xùn)練步數(shù)更多”“學(xué)習(xí)率調(diào)度方式不同”“數(shù)據(jù)順序不同”。這些因素同樣可能產(chǎn)生性能突躍。舉一個(gè)我處理過的模擬項(xiàng)目X一組實(shí)驗(yàn)里小模型訓(xùn)練了30萬步大模型訓(xùn)練了40萬步因?yàn)轭A(yù)算允許。結(jié)果大模型在某個(gè)推理任務(wù)上從差勁變?yōu)閮?yōu)秀看起來是涌現(xiàn)。但把訓(xùn)練步數(shù)對齊到小模型30萬步時(shí)大模型其實(shí)還不強(qiáng)多出的10萬步正好跨過了某個(gè)任務(wù)的學(xué)習(xí)拐點(diǎn)。換句話說這更像是“訓(xùn)練時(shí)間不夠”而不是“隨規(guī)模涌現(xiàn)”。要避免這種誤判標(biāo)準(zhǔn)做法是保留多個(gè)中間checkpoint畫出“訓(xùn)練步數(shù)-性能”曲線而不是只看最終精度。如果規(guī)模產(chǎn)生的涌現(xiàn)是系統(tǒng)性的它應(yīng)該在不同訓(xùn)練步數(shù)下反復(fù)出現(xiàn)如果只是某個(gè)配置到達(dá)閾值的假象換幾個(gè)隨機(jī)種子或訓(xùn)練步數(shù)后涌現(xiàn)點(diǎn)就會漂移甚至消失。我在自己的實(shí)驗(yàn)里經(jīng)常用“同規(guī)模多隨機(jī)種子”和“同總計(jì)算量不同規(guī)模”兩種方式交叉驗(yàn)證能篩掉一大半偽涌現(xiàn)。2.3 統(tǒng)計(jì)視角能給我們什么預(yù)測和工程選型統(tǒng)計(jì)層面的涌現(xiàn)并不全是壞事。只要觀測協(xié)議穩(wěn)定即使我們說不清機(jī)制也可以用它來指導(dǎo)工程決策。比如在某個(gè)任務(wù)上固定某模型族繪制“規(guī)模-性能”曲線找到性能突然滿足產(chǎn)品需求的規(guī)模區(qū)間。這本身就是一種有用的模型選型方法。它回答的是“多大才能用”不回答“為什么到這么大就會用”。但如果把統(tǒng)計(jì)現(xiàn)象直接包裝成科學(xué)結(jié)論很容易被反噬。我見過不止一次有人拿著一條從0跳到100的準(zhǔn)確率曲線宣稱發(fā)現(xiàn)了新的涌現(xiàn)能力結(jié)果換一個(gè)評測模板或者換一個(gè)同規(guī)模另類模型現(xiàn)象完全消失。問題不在于觀測不真實(shí)而在于觀測協(xié)議里混入了太多未控制的變量。所以在統(tǒng)計(jì)階段我們至少要記錄清楚評測集的題目數(shù)量、每題的評分方式、隨機(jī)基線水平、模型同規(guī)模下的多次運(yùn)行方差、訓(xùn)練數(shù)據(jù)和訓(xùn)練步數(shù)是否對齊。這些信息比那個(gè)“哇好厲害”的拐點(diǎn)圖重要得多。3. 因果機(jī)制視角真正需要回答的是“模型內(nèi)部發(fā)生了什么變化”3.1 從“能不能做”到“怎么做出來的”這一步必須跨過去如果只停留在統(tǒng)計(jì)層面我們永遠(yuǎn)無法回答涌現(xiàn)的本質(zhì)。要進(jìn)入因果機(jī)制層面核心問題是模型做到這個(gè)任務(wù)依賴的是內(nèi)部哪些表征、計(jì)算路徑或決策規(guī)則這些內(nèi)容在規(guī)模增長過程中是何時(shí)形成的它們的變化是斷崖式的還是漸進(jìn)式的這里我常用一個(gè)類比一個(gè)人從不會騎車到會騎車行為上確實(shí)存在一個(gè)“突然會了”的時(shí)刻。但你去看他的運(yùn)動控制不是某一塊肌肉憑空長出來而是神經(jīng)系統(tǒng)里原本就有的平衡控制回路通過反復(fù)練習(xí)形成了一種新的協(xié)調(diào)模式。大腦里沒有“會騎車”的開關(guān)是多個(gè)既有模塊之間的連接權(quán)重發(fā)生了連續(xù)調(diào)整。模型里的涌現(xiàn)可能也是類似的東西某種能力所需的計(jì)算機(jī)制早就部分存在只是規(guī)模增大后模型能更可靠地激活和組合這些機(jī)制。因此“涌現(xiàn)”不應(yīng)被理解成一個(gè)全有全無的屬性開關(guān)而更可能是多維連續(xù)變量共同演化到某個(gè)可觀測閾值的過程。機(jī)制層面的關(guān)鍵是找到那個(gè)“閾值”背后的可分解構(gòu)成要素。3.2 探測、干預(yù)、消融把隱藏機(jī)制“抓出來”的三個(gè)工具在實(shí)操中有三個(gè)工具組合起來非常有效。第一個(gè)是探針法。在模型隱藏層訓(xùn)練一個(gè)小的線性分類器去檢測某一層向量是否編碼了任務(wù)所需的概念。比如一個(gè)算術(shù)推理任務(wù)你可以檢測隱藏層中是否出現(xiàn)了“兩個(gè)對象的數(shù)量差”的線性表示。如果探測準(zhǔn)確率在小模型時(shí)就接近隨機(jī)到一定規(guī)模后明顯上升這說明新表征確實(shí)形成了但如果探測準(zhǔn)確率從一開始就很高只是下游輸出層不會用那就說明“能力”早就在內(nèi)部存在缺的是讀出機(jī)制。后者不能算嚴(yán)格意義上的機(jī)制涌現(xiàn)。第二個(gè)是因果干預(yù)也叫激活替換或路徑修復(fù)。核心思想是讓模型回答一個(gè)需要某能力的問題在中間某層替換一組神經(jīng)元激活值看輸出是否變化。如果替換的神經(jīng)通路對正確輸出是因果必需的那么破壞它之后模型應(yīng)該答錯(cuò)。這種方法能把“哪個(gè)部分真正參與決策”找出來。實(shí)際操作時(shí)可以先用注意力權(quán)重或集成梯度定位候選神經(jīng)元再對候選神經(jīng)元做激活擾動最后看答案被破壞的比例。第三個(gè)是消融實(shí)驗(yàn)。把候選模塊置零或者剪掉看能力是否下降。要注意的是消融掉一個(gè)模塊后能力消失只能說明該模塊是完成任務(wù)的必要條件不能說明它就是“涌現(xiàn)”的核心機(jī)制。可能某個(gè)無關(guān)模塊被剪掉后引發(fā)了全局表征崩塌。所以消融結(jié)果要和探針、干預(yù)結(jié)果互相佐證不要單獨(dú)下結(jié)論。3.3 機(jī)制視角下的“涌現(xiàn)”也許從來沒有非黑即白的開關(guān)我之前參與過一個(gè)跨領(lǐng)域研究性質(zhì)的模擬項(xiàng)目用一組不同規(guī)模的模型做組合規(guī)則推理。原始準(zhǔn)確率曲線確實(shí)出現(xiàn)了很漂亮的拐點(diǎn)小模型幾乎為0大模型一下子到了90%。但當(dāng)我們把探針插入中間層時(shí)發(fā)現(xiàn)“規(guī)則編碼”的線性表征分?jǐn)?shù)從最小模型開始就已經(jīng)顯著高于隨機(jī)而且?guī)缀蹼S規(guī)模線性上升。換句話說機(jī)制從一開始就在一點(diǎn)點(diǎn)形成只是在小模型上無法穩(wěn)定地被輸出層利用。后來我們做了進(jìn)一步的干預(yù)把輸出層之前的一小段前饋網(wǎng)絡(luò)替換成更簡單的投影小模型的準(zhǔn)確率也能大幅提升。這進(jìn)一步說明我們沒有觀察到“新機(jī)制的涌現(xiàn)”我們看到的是一個(gè)舊機(jī)制被更有效地讀取和路由的過程。這讓我對“涌現(xiàn)”這個(gè)詞變得非常謹(jǐn)慎。當(dāng)然這不是說所有涌現(xiàn)都一定是測量假象?？赡艽_實(shí)存在一些復(fù)雜能力比如多步規(guī)劃、組合性泛化需要多種機(jī)制在某個(gè)規(guī)模后同時(shí)成熟才會出現(xiàn)跨越式表現(xiàn)。只是要證明這種情況需要證據(jù)鏈條能夠說明新發(fā)生的不是單一機(jī)制而是機(jī)制間的某種組合并且這個(gè)組合在更小模型內(nèi)部無法穩(wěn)定實(shí)現(xiàn)。這樣的證據(jù)遠(yuǎn)比一條S型曲線有力得多。4. 工程與研究中的實(shí)操框架如何做一次不誤導(dǎo)人的“涌現(xiàn)能力”研究4.1 實(shí)驗(yàn)設(shè)計(jì)五步法從現(xiàn)象到機(jī)制逐層驗(yàn)證基于前面提到的兩類視角我在實(shí)際項(xiàng)目里總結(jié)了一套五步流程。第一步嚴(yán)格定義任務(wù)并構(gòu)建數(shù)據(jù)。要確保任務(wù)不是多項(xiàng)選擇題式的粗粒度指標(biāo)盡量拆解成原子子能力并明確隨機(jī)基線水平。如果可能用合成任務(wù)控制訓(xùn)練數(shù)據(jù)分布排除記憶泄露。第二步固定訓(xùn)練配置和評測條件。使用全周期日志保留中間checkpoint對齊訓(xùn)練步數(shù)和數(shù)據(jù)量至少跑3個(gè)隨機(jī)種子。第三步做統(tǒng)計(jì)躍遷判斷。看“規(guī)模-性能”曲線是否在多個(gè)種子里穩(wěn)定出現(xiàn)如果不穩(wěn)定先不要談涌現(xiàn)。第四步做機(jī)制歸因。用探針、激活干預(yù)、消融等手段定位任務(wù)所依賴的內(nèi)部表征看這些表征是漸進(jìn)形成還是突變出現(xiàn)。第五步跨任務(wù)、跨架構(gòu)交叉驗(yàn)證。如果某種涌現(xiàn)機(jī)制只在單一任務(wù)、單一模型族上成立結(jié)論就要打折扣。這套流程并不復(fù)雜但能擋住絕大多數(shù)“自以為發(fā)現(xiàn)了涌現(xiàn)”的研究。我自己做過一個(gè)對比同樣一組結(jié)果只跑第一到第三步結(jié)論是“在X規(guī)模時(shí)出現(xiàn)涌現(xiàn)”跑完第四和第五步后結(jié)論變成了“內(nèi)部表征是線性增長的行為突躍由讀出機(jī)制和指標(biāo)閾值共同導(dǎo)致”。兩者的科研價(jià)值完全不同。4.2 一個(gè)可復(fù)現(xiàn)的模擬案例合成規(guī)則推理實(shí)驗(yàn)為了讓這一步具象化我寫了一個(gè)合成任務(wù)示例給模型輸入若干條條件規(guī)則例如“如果紅色在左邊則圓在綠色旁邊”再給一組物體擺放狀態(tài)要求模型判斷某個(gè)結(jié)論是否成立。這個(gè)任務(wù)通過程序生成訓(xùn)練和測試集分布完全隔離不存在訓(xùn)練數(shù)據(jù)泄露的可能。我設(shè)置了三個(gè)模型規(guī)模檔位。結(jié)果顯示復(fù)合任務(wù)準(zhǔn)確率在小規(guī)模檔幾乎為0中規(guī)模檔約20%大規(guī)模檔跳到88%。單看這條曲線很容易得出“涌現(xiàn)”的結(jié)論。但同一個(gè)實(shí)驗(yàn)里我另外記錄了隱藏層中規(guī)則表征的探測分?jǐn)?shù)三條規(guī)模下的分?jǐn)?shù)分別是0.52、0.68、0.85接近線性上升。為了進(jìn)一步確認(rèn)我固定總參數(shù)量不變只增加訓(xùn)練數(shù)據(jù)中的規(guī)則組合密度小模型的復(fù)合準(zhǔn)確率從0提升到了57%這說明任務(wù)表現(xiàn)高度依賴數(shù)據(jù)覆蓋而非單純依賴規(guī)模。最終結(jié)論是該任務(wù)上觀察到的“涌現(xiàn)”主要是統(tǒng)計(jì)測量和訓(xùn)練覆蓋共同導(dǎo)致的機(jī)制層面并沒有非連續(xù)變化。這種實(shí)驗(yàn)設(shè)計(jì)的好處是把“涌現(xiàn)”從一句廣告詞變成一組可追問的實(shí)驗(yàn)現(xiàn)象。每個(gè)人都可以用自己的模型和數(shù)據(jù)復(fù)現(xiàn)只要把探測模塊和中間checkpoint接入訓(xùn)練流程就行。4.3 常見問題與排查技巧實(shí)錄我在做這類分析時(shí)踩過不少坑列幾個(gè)高頻問題供參考。疑問一準(zhǔn)確率曲線明明從0跳到90%“這不是涌現(xiàn)是什么”排查方向檢查評測集是否由少數(shù)復(fù)雜組合題構(gòu)成以及“通過”標(biāo)準(zhǔn)是不是連蒙帶猜很難碰到的閾值。把復(fù)合題拆成原子題畫曲線大概率會看到平滑上升。疑問二幾個(gè)不同規(guī)模模型的涌現(xiàn)點(diǎn)不一樣為什么排查方向比較它們的訓(xùn)練步數(shù)、數(shù)據(jù)總量、學(xué)習(xí)率和評測時(shí)的解碼參數(shù)。如果這些變量沒有對齊涌現(xiàn)點(diǎn)漂移不代表機(jī)制差異。疑問三同一個(gè)現(xiàn)象換一種prompt模板就消失了。排查方向這是典型的評測脆弱性。一個(gè)好的涌現(xiàn)結(jié)論應(yīng)該在多種prompt形式下都能復(fù)現(xiàn)。單模板上的突躍優(yōu)先懷疑測量噪聲。疑問四探針分?jǐn)?shù)和準(zhǔn)確率不匹配怎么解釋排查方向探針分?jǐn)?shù)高說明表征可用準(zhǔn)確率低說明下游解碼沒用好。這是“有機(jī)制但無行為表現(xiàn)”和“行為突躍但機(jī)制連續(xù)”正好相反。出現(xiàn)這種情況時(shí)你需要重新問自己你定義的涌現(xiàn)到底發(fā)生在哪一層我把這些整理成一個(gè)排查表你可以直接貼到實(shí)驗(yàn)記錄里。觀察現(xiàn)象可能原因排查手段準(zhǔn)確率突然跳高指標(biāo)離散、任務(wù)粒度太粗拆分原子子任務(wù)用連續(xù)指標(biāo)涌現(xiàn)點(diǎn)隨配置漂移訓(xùn)練步數(shù)/數(shù)據(jù)量未對齊固定總計(jì)算量對齊中間checkpoint換prompt后消失評測協(xié)議不穩(wěn)定多模板、多溫度報(bào)告方差機(jī)制探針連續(xù)上升能力早已存在只是讀出不足用激活干預(yù)驗(yàn)證下游依賴消融一個(gè)模塊能力消失全局表征崩塌結(jié)合干預(yù)和多模塊消融4.4 寫報(bào)告和評審時(shí)我常用的三句保守表達(dá)最后聊點(diǎn)方法論以外的東西。在實(shí)際項(xiàng)目報(bào)告和內(nèi)部評審里措辭會直接影響決策。我給自己定了幾條規(guī)則第一只說“觀察到性能躍遷”不說“模型涌現(xiàn)了新能力”。因?yàn)樾阅苘S遷是事實(shí)描述新能力是機(jī)制斷言證據(jù)不足時(shí)不能說。第二只說“該任務(wù)上表現(xiàn)隨規(guī)模顯著提升”不說“規(guī)?；瘞硗ㄓ糜楷F(xiàn)”。兼顧嚴(yán)謹(jǐn)與結(jié)論價(jià)值。第三如果說“初步證據(jù)支持某種機(jī)制假設(shè)”一定附上探針或干預(yù)的證據(jù)鏈而不是只放一條曲線。這些說法在內(nèi)部會被認(rèn)為“謹(jǐn)慎”但從效果看恰恰是它們幫我規(guī)避了大量后期返工。因?yàn)橐坏┌鸭僬f當(dāng)結(jié)論寫進(jìn)報(bào)告后續(xù)所有產(chǎn)品決策都會跟著偏。我自己干這行越久越覺得“涌現(xiàn)能力”這個(gè)詞應(yīng)該被拆成“涌現(xiàn)”和“能力”兩層來用。涌現(xiàn)描述的是觀察到的變化形態(tài)能力描述的是模型內(nèi)部可泛化的計(jì)算機(jī)制。兩者有關(guān)聯(lián)但從不默認(rèn)相等。如果你剛開始接觸這個(gè)概念不妨把每一次“看到涌現(xiàn)”都當(dāng)成一個(gè)待檢驗(yàn)的問題用統(tǒng)計(jì)工具確認(rèn)現(xiàn)象用機(jī)制工具尋找原因最后再決定要不要在對外說明里使用那個(gè)誘人的詞。我在實(shí)際項(xiàng)目里最深的體會是定義困境不是學(xué)術(shù)抬杠它直接決定了我們是把精力花在解釋真實(shí)機(jī)制上還是花在整理漂亮曲線上。與其尋找一個(gè)包羅萬象的涌現(xiàn)定義不如承認(rèn)它本質(zhì)上是多層級、多視角的然后在每項(xiàng)實(shí)驗(yàn)里明確說清楚自己站在哪個(gè)層級。這樣一來所謂“界定困境”反而變成了很好的科學(xué)訓(xùn)練逼著你想清楚你到底觀察到了什么以及你憑什么說它發(fā)生了質(zhì)變。這種思考方式比任何一份“涌現(xiàn)能力榜單”都有用得多。