最近圈里不少人在討論一個(gè)詞Autoresearch翻譯過(guò)來(lái)就是自主科研。這詞的傳播有一大半功勞要記在 Karpathy 頭上他在公開(kāi)場(chǎng)合反復(fù)表達(dá)過(guò)一個(gè)態(tài)度AI 的終極場(chǎng)景不該只是幫你寫(xiě)代碼、寫(xiě)郵件、做 PPT而是讓它自己當(dāng)研究員——自己讀文獻(xiàn)、自己提出假設(shè)、自己設(shè)計(jì)實(shí)驗(yàn)、自己分析數(shù)據(jù)、自己寫(xiě)論文像一位真正的科研人員一樣形成完整產(chǎn)出閉環(huán)。坦白說(shuō)我第一次看到這種表述時(shí)第一反應(yīng)是工程樂(lè)觀主義的又一次表演。因?yàn)檫^(guò)去兩年我也被各種AI 要取代某某職業(yè)的論調(diào)轟炸過(guò)多數(shù)后來(lái)都被證明是標(biāo)題黨。但這次不太一樣因?yàn)樘岢鲞@個(gè)觀點(diǎn)的人自己就是一線技術(shù)人而且他給出的理由其實(shí)非常樸素科研流程里大量環(huán)節(jié)是執(zhí)行不是創(chuàng)造而凡是執(zhí)行就有自動(dòng)化空間。所以這篇文章我想站在一個(gè)重度使用 AI 工具、同時(shí)自己也常年蹲在一線做研究的普通從業(yè)者角度把 Autoresearch 這個(gè)命題拆開(kāi)揉碎聊聊它到底有沒(méi)有戲、哪些環(huán)節(jié)真有戲、哪些環(huán)節(jié)短期內(nèi)基本沒(méi)戲。如果你也在關(guān)注 AI 與科研的結(jié)合想知道自主科研是不是又一個(gè)包裝出來(lái)的概念希望這篇文章能給你一個(gè)比熱搜更扎實(shí)的參考。1. 先搞明白Autoresearch 說(shuō)的不是助手是研究員1.1 從副駕駛到正駕駛一次徹底的定位切換過(guò)去兩年AI 產(chǎn)品給用戶最常見(jiàn)的身份設(shè)定是協(xié)作者。寫(xiě)代碼時(shí)它是 copilot寫(xiě)文檔時(shí)它是你的初稿機(jī)器人做數(shù)據(jù)分析時(shí)它幫你生成圖表和結(jié)論。這個(gè)模式下主線任務(wù)始終是人的人定義問(wèn)題、人驗(yàn)收結(jié)果、人來(lái)兜底。AI 的存在價(jià)值是把那些最消耗時(shí)間的執(zhí)行環(huán)節(jié)壓榨到分鐘級(jí)。坦白說(shuō)這種模式已經(jīng)讓我省下了大量時(shí)間但它本質(zhì)上還是人指揮、AI 執(zhí)行的單向關(guān)系。Autoresearch 的野心顯然不止于此。它想做的事情是把 AI 放到任務(wù)的中心位置讓 AI 成為正駕駛而人變成站在旁邊看儀表盤(pán)的乘客。這個(gè)切換絕不是換個(gè)提示詞那么輕松背后牽扯到整個(gè)系統(tǒng)的職責(zé)分配。你可以把現(xiàn)在的 AI 理解成一個(gè)很聰明但沒(méi)有方向感的實(shí)習(xí)生交給它一個(gè)明確的子任務(wù)它能做得又快又好可一旦沒(méi)有人給它下發(fā)指令、沒(méi)有人驗(yàn)收中間結(jié)果它很容易在錯(cuò)誤的路徑上自信地跑出很遠(yuǎn)。所以我的看法是Karpathy 關(guān)于AI 自主科研的表達(dá)真正的價(jià)值不在自動(dòng)兩個(gè)字而在閉環(huán)兩個(gè)字。人和 AI 的協(xié)作從每一步都需要人確認(rèn)變成一個(gè)可以長(zhǎng)期運(yùn)轉(zhuǎn)的自動(dòng)循環(huán)——人只需要在最開(kāi)始給出大方向、在最末尾做最終驗(yàn)收中間的過(guò)程完全交給 AI 去折騰。這個(gè)設(shè)想是否真正落地取決于技術(shù)棧的成熟度也是我下一章要拆的東西。1.2 它不是 AutoML也不是AI 科學(xué)家概念要分清Autoresearch 這個(gè)詞很容易和幾個(gè)聽(tīng)起來(lái)差不多的概念搞混。如果不先把這些概念梳理清楚后面的判斷就很容易被帶偏。AutoML 解決的是給定數(shù)據(jù)自動(dòng)搜索模型結(jié)構(gòu)、超參數(shù)的窄問(wèn)題。它本質(zhì)上是一個(gè)工程問(wèn)題評(píng)估標(biāo)準(zhǔn)極其明確——精度、召回、訓(xùn)練開(kāi)銷。它不需要管研究問(wèn)題里的創(chuàng)新性解釋力可遷移性這類軟指標(biāo)因?yàn)樗褪菫楣こ搪涞胤?wù)的。你可以把 AutoML 理解成一臺(tái)專門(mén)加工某個(gè)零件的機(jī)器臂它很擅長(zhǎng)它的那條流水線但從來(lái)沒(méi)打算接管整座工廠。最近社區(qū)里也出現(xiàn)了一批號(hào)稱AI 科學(xué)家的開(kāi)源項(xiàng)目這些項(xiàng)目大多只覆蓋了科研流程中的一小段給定一個(gè)研究主題AI 自動(dòng)生成方法、跑實(shí)驗(yàn)、產(chǎn)出論文初稿。這類項(xiàng)目的問(wèn)題在于它們把科研簡(jiǎn)化為把論文流程走一遍對(duì)科研真正的核心——判斷問(wèn)題的價(jià)值、識(shí)別實(shí)驗(yàn)中的異常信號(hào)、理解結(jié)果為什么不符合預(yù)期——其實(shí)沒(méi)有實(shí)際觸及。和這些概念相比Autoresearch 更像是一個(gè)總目標(biāo)它試圖把 AutoML 式的參數(shù)搜索、agent 式的工具調(diào)用、語(yǔ)言模型的知識(shí)推理全部串在同一個(gè)閉環(huán)里由 AI 自主決定下一步該做什么。我用一個(gè)比喻幫助你理解三者的區(qū)別AutoML 是流水線上的一臺(tái)機(jī)器臂AI 科學(xué)家項(xiàng)目是一個(gè)演示用的機(jī)器人模型而 Autoresearch 是描述整條智能流水線的系統(tǒng)愿景。如果你把這三者混為一談?dòng)懻撈饋?lái)就會(huì)各說(shuō)各話。維度AutoMLAI 科學(xué)家類項(xiàng)目Autoresearch目標(biāo)層級(jí)單一工程問(wèn)題演示型科研流水線系統(tǒng)性科研閉環(huán)核心能力參數(shù)搜索與模型選擇文本生成跑實(shí)驗(yàn)問(wèn)題發(fā)現(xiàn)實(shí)驗(yàn)設(shè)計(jì)失敗歸因評(píng)價(jià)指標(biāo)精度、開(kāi)銷論文格式完整度科研貢獻(xiàn)的真實(shí)價(jià)值當(dāng)前成熟度已工程化原型階段概念驗(yàn)證階段2. 一個(gè) AI 研究員要過(guò)五關(guān)斬六將拆解全流程技術(shù)棧如果把AI 自主科研當(dāng)成一個(gè)剛?cè)雽W(xué)的博士生來(lái)培養(yǎng)你會(huì)發(fā)現(xiàn)它要面對(duì)的學(xué)習(xí)曲線遠(yuǎn)比想象中陡峭。我用關(guān)卡的方式來(lái)拆解整個(gè)流程每一關(guān)都對(duì)應(yīng)一個(gè)目前還沒(méi)有被完全解決的技術(shù)問(wèn)題。2.1 第一關(guān)提出一個(gè)值得研究的問(wèn)題任何研究項(xiàng)目的起點(diǎn)都是提出好問(wèn)題。這一環(huán)在如今的大模型身上表現(xiàn)得最像人但也最容易被高估。模型訓(xùn)練過(guò)程中吸收了海量論文和學(xué)術(shù)討論確實(shí)對(duì)同一個(gè)領(lǐng)域里哪些話題熱度高、哪些矛盾沒(méi)有解決有很強(qiáng)的統(tǒng)計(jì)直覺(jué)。你問(wèn)它這個(gè)方向有什么值得研究的問(wèn)題它能給你列出一份看起來(lái)非常學(xué)術(shù)的清單。但看起來(lái)學(xué)術(shù)和真值得做之間隔著一條巨大的鴻溝。有價(jià)值的研究問(wèn)題通常需要同時(shí)滿足三個(gè)條件第一是新穎性也就是這個(gè)問(wèn)題沒(méi)有被其他團(tuán)隊(duì)在相似設(shè)定下回答過(guò)第二是可行性也就是以現(xiàn)有人力、數(shù)據(jù)和算力能夠真正開(kāi)展研究第三是影響力也就是回答之后對(duì)領(lǐng)域推進(jìn)有實(shí)際幫助。對(duì)大模型來(lái)說(shuō)第一條可以靠搜索歷史論文語(yǔ)義比對(duì)實(shí)現(xiàn)一個(gè)粗糙版本第二條比較難因?yàn)樗鼘?duì)真實(shí)資源的感知很差經(jīng)常提出一些需要一個(gè)超算集群才能驗(yàn)證的問(wèn)題第三條本質(zhì)上依賴科研品味而品味是長(zhǎng)年累月的負(fù)面反饋累積出來(lái)的當(dāng)前架構(gòu)很難在訓(xùn)練階段獲得這種信號(hào)。所以在這一關(guān)最現(xiàn)實(shí)的形態(tài)是人給方向、AI 給候選問(wèn)題列表AI 負(fù)責(zé)發(fā)散人負(fù)責(zé)收斂。如果要求 AI 自己完成發(fā)散加收斂它大概率會(huì)給你一個(gè)在統(tǒng)計(jì)意義上最安全的問(wèn)題——這類問(wèn)題往往已經(jīng)被大量團(tuán)隊(duì)做過(guò)了。換句話說(shuō)現(xiàn)階段它能給你的是參考系而不是指路明燈。2.2 第二關(guān)把自然語(yǔ)言假設(shè)翻譯成可執(zhí)行的實(shí)驗(yàn)假設(shè)一旦確定接下來(lái)就是把它變成一套實(shí)驗(yàn)方案。這一關(guān)是語(yǔ)言模型的主場(chǎng)也是 agent 框架目前進(jìn)展最明顯的環(huán)節(jié)。我這里說(shuō)的 agent 框架你可以理解為一個(gè)會(huì)使用外部工具的 AI 系統(tǒng)。它不再是你問(wèn)一句、它答一句的聊天框而是一個(gè)被賦予了任務(wù)目標(biāo)之后自己去調(diào)用代碼解釋器、跑環(huán)境、讀寫(xiě)文件、檢查報(bào)錯(cuò)、再做下一步?jīng)Q定的執(zhí)行器。function calling 機(jī)制讓模型可以輸出結(jié)構(gòu)化調(diào)用指令讓外部程序真正去操作數(shù)據(jù)庫(kù)、啟動(dòng)實(shí)驗(yàn)?zāi)_本、保存結(jié)果。在計(jì)算型學(xué)科里——比如計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)、計(jì)算物理、部分生物信息方向——大量實(shí)驗(yàn)本質(zhì)上就是寫(xiě)代碼、調(diào)模型、跑數(shù)值實(shí)驗(yàn)這個(gè)環(huán)節(jié)的自動(dòng)化程度已經(jīng)相當(dāng)高。我見(jiàn)過(guò)不少同行用 agent 自動(dòng)跑完一整條數(shù)據(jù)管線的預(yù)處理、特征工程和 baseline 對(duì)比中間反復(fù)報(bào)錯(cuò)它就反復(fù)修復(fù)人的參與只剩下給環(huán)境和預(yù)算設(shè)定邊界。這確實(shí)節(jié)省了大量時(shí)間而且效果比想象中穩(wěn)定。但要注意會(huì)執(zhí)行不等于會(huì)設(shè)計(jì)。語(yǔ)言模型拿到一個(gè)目標(biāo)時(shí)傾向于復(fù)用訓(xùn)練數(shù)據(jù)里最常見(jiàn)的方法組合而科研實(shí)驗(yàn)偏偏經(jīng)常需要反直覺(jué)的路線設(shè)計(jì)。這個(gè)問(wèn)題會(huì)在實(shí)驗(yàn)初始階段埋下隱患AI 會(huì)用一個(gè)看起來(lái)很合理的路徑錯(cuò)過(guò)真正可能出結(jié)果的方向。就好比給一個(gè)學(xué)生布置一道數(shù)學(xué)題他會(huì)用訓(xùn)練集里最常見(jiàn)的解法卻不一定能看出那道題需要換一個(gè)坐標(biāo)系才能解出來(lái)。2.3 第三關(guān)從失敗中學(xué)習(xí)而不是換一個(gè)提示詞這是整個(gè) Autoresearch 閉環(huán)里最硬的門(mén)檻我在實(shí)操中感受極深?？蒲泻凸こ滩煌瑢?shí)驗(yàn)的第一輪結(jié)果大概率是不符合預(yù)期的。人類研究者的能力體現(xiàn)恰恰在于面對(duì)不符合預(yù)期的結(jié)果時(shí)能判斷出問(wèn)題到底出在哪個(gè)環(huán)節(jié)是假設(shè)錯(cuò)了、實(shí)驗(yàn)設(shè)計(jì)有漏洞、數(shù)據(jù)有噪聲還是執(zhí)行代碼里有 bug。目前的大模型生態(tài)里這個(gè)歸因環(huán)節(jié)是最薄弱的。agent 在遇到報(bào)錯(cuò)時(shí)很擅長(zhǎng)修 bug因?yàn)殄e(cuò)誤信息明確、搜索空間小但遇到結(jié)果很差但程序沒(méi)報(bào)錯(cuò)的情況它往往會(huì)掉進(jìn)兩個(gè)坑。第一個(gè)坑是無(wú)限調(diào)參與過(guò)度搜索。模型會(huì)把結(jié)果不佳歸因于參數(shù)沒(méi)調(diào)好于是開(kāi)始一輪又一輪的網(wǎng)格搜索浪費(fèi)大量算力之后得出的結(jié)論可能依然不可靠。第二個(gè)坑更隱蔽模型會(huì)悄悄把結(jié)果往正向方向解釋。如果實(shí)驗(yàn)指標(biāo)沒(méi)提升它會(huì)生成一段性能沒(méi)有明顯下降說(shuō)明方法是魯棒的這樣的表述。這種表述在學(xué)術(shù)寫(xiě)作里偶爾確實(shí)成立但長(zhǎng)期來(lái)看一個(gè)系統(tǒng)如果總是給失敗找合理解釋它就永遠(yuǎn)無(wú)法學(xué)會(huì)如何避免失敗。真正的科研失敗閉環(huán)要求系統(tǒng)能夠區(qū)分實(shí)驗(yàn)失敗導(dǎo)致假設(shè)被證偽和實(shí)驗(yàn)失敗但假設(shè)仍可能成立兩種情況并據(jù)此決定是終止這個(gè)方向、調(diào)整實(shí)驗(yàn)設(shè)計(jì)還是修改核心假設(shè)。這個(gè)能力所需的推理復(fù)雜度遠(yuǎn)高于目前 agent 能穩(wěn)定做到的水平。我的判斷是短期內(nèi)這個(gè)環(huán)節(jié)仍然需要人作為失敗仲裁者介入這是自主科研無(wú)法繞開(kāi)的人工瓶頸。2.4 底層四張牌文獻(xiàn)、代碼、數(shù)據(jù)、算力如果把前三關(guān)當(dāng)作 AI 研究員的認(rèn)知能力那這一節(jié)說(shuō)的就是它的基礎(chǔ)設(shè)施。任何科研閉環(huán)的長(zhǎng)期穩(wěn)定運(yùn)行都依賴四張底牌。文獻(xiàn)層是它的大腦外接知識(shí)庫(kù)通過(guò)向量檢索和知識(shí)圖譜讓模型在提出假設(shè)、設(shè)計(jì)實(shí)驗(yàn)時(shí)能召回相關(guān)過(guò)往工作。代碼層是它的雙手決定它能調(diào)動(dòng)多少工具庫(kù)、多大范圍的實(shí)驗(yàn)框架。數(shù)據(jù)層是它的眼睛科學(xué)數(shù)據(jù)的質(zhì)量、版本管理、標(biāo)注可信度直接決定下游結(jié)論的可靠性。算力層是它的體能任何一個(gè)決策循環(huán)里模型自己推理要燒 token跑實(shí)驗(yàn)要燒 GPU兩者的消耗都遠(yuǎn)超普通對(duì)話場(chǎng)景。這四張牌缺一張整個(gè)閉環(huán)就會(huì)卡死。尤其數(shù)據(jù)層經(jīng)常被討論 Autoresearch 的人忽略。我現(xiàn)在做數(shù)據(jù)密集型研究時(shí)最耗時(shí)的環(huán)節(jié)其實(shí)是數(shù)據(jù)清洗和版本對(duì)齊而不是建模。如果 AI 連數(shù)據(jù)管線都無(wú)法自動(dòng)維護(hù)那自主科研就只是一個(gè)短暫的演示不可能長(zhǎng)期穩(wěn)定運(yùn)行。這也是為什么我不太擔(dān)心明天醒來(lái)全實(shí)驗(yàn)室都被 AI 接管那種敘事——因?yàn)榈讓踊A(chǔ)設(shè)施的自動(dòng)化還遠(yuǎn)沒(méi)有到位。技術(shù)圈里經(jīng)常出現(xiàn)一種現(xiàn)象Demo 看起來(lái)都完美一旦進(jìn)入長(zhǎng)期運(yùn)行各種邊角問(wèn)題就會(huì)把你拖回現(xiàn)實(shí)。Autoresearch 同理它目前更像一個(gè)漂亮的演示而不是一個(gè)能扛起科研大旗的穩(wěn)定系統(tǒng)。3. 理想很豐滿現(xiàn)實(shí)中的五個(gè)卡脖子問(wèn)題3.1 幻覺(jué)是默認(rèn)配置不是臨時(shí)故障語(yǔ)言模型在生成文本時(shí)可能以極高的流暢度說(shuō)出完全不成立的事實(shí)。日常對(duì)話里它是個(gè)偶爾編造但無(wú)傷大雅的聊天伙伴但放到科研流程里一次幻覺(jué)可能讓整個(gè)研究走向錯(cuò)誤的方向。最怕的不是那些明顯的胡說(shuō)八道而是看似合理、實(shí)則錯(cuò)誤的中間結(jié)論。比如讓 AI 去給一輪實(shí)驗(yàn)數(shù)據(jù)寫(xiě)分析報(bào)告它可能會(huì)平滑地補(bǔ)全實(shí)驗(yàn)中并不存在的趨勢(shì)甚至引用一篇不存在的文獻(xiàn)來(lái)支持自己的解釋。人類研究者看到這些內(nèi)容時(shí)如果沒(méi)有逐一核驗(yàn)很容易被看起來(lái)合理的敘述帶偏。我在自己的項(xiàng)目中就遇到過(guò)這樣的事讓 AI 幫忙整理文獻(xiàn)背景它引用了一篇標(biāo)題、作者、年份都完全一致的真實(shí)論文但結(jié)論被我核對(duì)之后發(fā)現(xiàn)根本不支持它在綜述里寫(xiě)的那個(gè)觀點(diǎn)。說(shuō)實(shí)話這個(gè)場(chǎng)景比它直接編一篇假文獻(xiàn)更危險(xiǎn)——因?yàn)樵旒倏梢员豢焖僮R(shí)破而半真半假的錯(cuò)誤會(huì)在寫(xiě)論文環(huán)節(jié)埋下一顆延遲爆炸的雷。所以任何聲稱能做自主科研的系統(tǒng)第一道質(zhì)檢關(guān)卡必須是對(duì)自己的論斷做事實(shí)核驗(yàn)這一步目前沒(méi)有現(xiàn)成方案能做好。3.2 可復(fù)現(xiàn)性AI 說(shuō)實(shí)驗(yàn)成功了你信嗎科研的生命線是可復(fù)現(xiàn)性。一個(gè)實(shí)驗(yàn)結(jié)論要是在同一條件下跑不出第二次基本就等于沒(méi)有結(jié)論。Autoresearch 系統(tǒng)的隱憂在于AI 在自動(dòng)執(zhí)行實(shí)驗(yàn)時(shí)每一次運(yùn)行的隨機(jī)種子、環(huán)境依賴版本、數(shù)據(jù)采樣都可能不同而它產(chǎn)出的實(shí)驗(yàn)記錄是否完整保留了這些信息完全取決于它的自我報(bào)告。這個(gè)問(wèn)題在AI 生成論文類項(xiàng)目里已經(jīng)暴露得很明顯了。那些項(xiàng)目的輸出看起來(lái)有完整的實(shí)驗(yàn)設(shè)置、指標(biāo)表格和顯著性分析但不少人嘗試復(fù)跑之后發(fā)現(xiàn)生成報(bào)告和真實(shí)日志之間會(huì)有各種微妙的不一致。這個(gè)現(xiàn)象其實(shí)不難理解模型在寫(xiě)實(shí)驗(yàn)章節(jié)的時(shí)候善于總結(jié)而不善于忠實(shí)轉(zhuǎn)錄它會(huì)用統(tǒng)計(jì)上最尋常的方式來(lái)描述結(jié)果哪怕真實(shí)日志里的數(shù)字并不支持。人類研究者犯這個(gè)錯(cuò)誤的概率也不低但人至少知道實(shí)驗(yàn)記錄要保留原始日志、代碼版本和隨機(jī)種子這本質(zhì)上是一種科研規(guī)范。讓 AI 遵守科研規(guī)范需要在 agent 的設(shè)計(jì)里把記錄原始數(shù)據(jù)設(shè)定為不可跳過(guò)的步驟。這中間涉及很多工程上的細(xì)節(jié)目前社區(qū)還沒(méi)有形成共識(shí)。換句話說(shuō)就算 AI 做實(shí)驗(yàn)的速度比人快一百倍如果它做完之后不能給你一份可信的記錄這些速度優(yōu)勢(shì)就全部失去了意義。3.3 成本賬自主科研不是免費(fèi)的聊技術(shù)問(wèn)題時(shí)很少有人認(rèn)真算一筆經(jīng)濟(jì)賬。一個(gè)自主科研 agent 要消耗的 token 量是普通問(wèn)答場(chǎng)景的幾百倍甚至上千倍。它要讀幾十篇文獻(xiàn)、生成多個(gè)候選方案、跑多輪實(shí)驗(yàn)、反復(fù)調(diào)試代碼、最終成文每一步對(duì)模型都是持續(xù)消耗。以目前的大模型 API 價(jià)格來(lái)估算最保守的小規(guī)模探索型實(shí)驗(yàn)單日運(yùn)行成本也不會(huì)太低如果全自主跑一個(gè)完整的小課題花費(fèi)輕易就能超過(guò)一個(gè)初級(jí)研究實(shí)習(xí)生一個(gè)月的人力成本?？紤]到 API 計(jì)算和 GPU 實(shí)驗(yàn)算力是疊加消耗總賬還會(huì)更高。有人會(huì)說(shuō)和博士生的工資成本比這些花銷也不算離譜。但問(wèn)題在于博士生不只會(huì)跑實(shí)驗(yàn)還會(huì)在實(shí)驗(yàn)室討論中產(chǎn)生靈感、在失敗中積累判斷力、在論文返修中打磨表達(dá)這些能力在當(dāng)前版本的 AI 系統(tǒng)里幾乎為零。所以用單位實(shí)驗(yàn)成本來(lái)對(duì)比人和 AI 的性價(jià)比其實(shí)是刻舟求劍?，F(xiàn)階段 AI 替代的只是最標(biāo)化的部分而那部分成本本身就不貴。3.4 評(píng)價(jià)閉環(huán)誰(shuí)來(lái)定義有貢獻(xiàn)很多人在唱衰 Autoresearch 時(shí)會(huì)抓住實(shí)驗(yàn)?zāi)芰Σ蛔銇?lái)說(shuō)事。但我反而覺(jué)得最要命的是評(píng)價(jià)環(huán)節(jié)缺位?？蒲欣镒罾щy的不是做實(shí)驗(yàn)而是判斷一個(gè)結(jié)果到底值不值得做成一篇論文。學(xué)術(shù)社區(qū)的價(jià)值認(rèn)定體系極其復(fù)雜審稿人看你的問(wèn)題是否重要、方法是否有洞察、實(shí)驗(yàn)是否扎實(shí)讀者關(guān)心你的結(jié)論能否遷移到他們的場(chǎng)景。一個(gè)自主科研系統(tǒng)要形成發(fā)現(xiàn)結(jié)果—評(píng)估價(jià)值—決定是否繼續(xù)投入的自我調(diào)節(jié)機(jī)制必須有品味這種看似玄學(xué)的量。你可以訓(xùn)練一個(gè)模型去預(yù)測(cè)什么樣的論文會(huì)被接受這確實(shí)能做到一定準(zhǔn)確率。但科研歷史上很多開(kāi)創(chuàng)性工作恰恰是違背當(dāng)時(shí)主流審美的。如果 Autoresearch 的評(píng)估器只學(xué)了過(guò)去的數(shù)據(jù)它只會(huì)產(chǎn)出越來(lái)越像過(guò)去主流論文的東西卻極大抑制了真正創(chuàng)新的可能性。換句話說(shuō)全自動(dòng)科研系統(tǒng)最大的風(fēng)險(xiǎn)不是做不出結(jié)果而是它做出的是統(tǒng)計(jì)意義上的安全結(jié)果——格式規(guī)范、邏輯通順、毫無(wú)驚喜。3.5 數(shù)據(jù)污染與安全邊界還有一個(gè)被討論得比較少的點(diǎn)數(shù)據(jù)污染?？茖W(xué)數(shù)據(jù)在過(guò)去幾年里大量涌入互聯(lián)網(wǎng)而大模型的訓(xùn)練語(yǔ)料幾乎覆蓋了整個(gè)公開(kāi)互聯(lián)網(wǎng)這意味著模型可能已經(jīng)記住了很多實(shí)驗(yàn)數(shù)據(jù)集和 benchmark 的結(jié)果。當(dāng)模型在沒(méi)有真正運(yùn)行實(shí)驗(yàn)的情況下憑記憶生成一份看起來(lái)符合預(yù)期的實(shí)驗(yàn)報(bào)告時(shí)這到底算不算學(xué)術(shù)不端我覺(jué)得這是 Autoresearch 落地之前必須正面回答的問(wèn)題。更尷尬的是如果社區(qū)里越來(lái)越多論文由這種系統(tǒng)生成它們又會(huì)成為下一代模型訓(xùn)練數(shù)據(jù)的來(lái)源形成質(zhì)量下降的循環(huán)污染——這個(gè)循環(huán)一旦開(kāi)始整個(gè)學(xué)術(shù)生態(tài)的信譽(yù)都會(huì)受影響。安全邊界也不容忽視。自主系統(tǒng)如果獲得調(diào)用外部工具的權(quán)限可以在互聯(lián)網(wǎng)上抓取數(shù)據(jù)、運(yùn)行代碼、甚至調(diào)用數(shù)據(jù)庫(kù)資源那么提示注入攻擊就是一個(gè)繞不開(kāi)的風(fēng)險(xiǎn)。惡意構(gòu)造的網(wǎng)頁(yè)內(nèi)容可能讓 agent 偏離原始目標(biāo)執(zhí)行危險(xiǎn)動(dòng)作這在封閉環(huán)境內(nèi)問(wèn)題還不大一旦放到開(kāi)放的科研網(wǎng)絡(luò)里就會(huì)成為體系級(jí)別的安全隱患。4. 我的判斷哪里會(huì)先跑通哪里十年都難4.1 最可能先跑的三個(gè)場(chǎng)景先給結(jié)論我不是AI 自主科研馬上要接管世界的樂(lè)觀派也不是AI 永遠(yuǎn)當(dāng)不了科學(xué)家的保守派。我的觀察是它會(huì)在特定場(chǎng)景里先跑通然后逐步擴(kuò)張。最先跑通的是文獻(xiàn)綜述類任務(wù)。給定一個(gè)主題AI 檢索、聚類、總結(jié)、找出研究空白這個(gè)流程已經(jīng)在很多商業(yè)化工具里實(shí)現(xiàn)得相當(dāng)不錯(cuò)。雖然會(huì)有幻覺(jué)問(wèn)題但評(píng)價(jià)標(biāo)準(zhǔn)很明確人工可以快速抽檢總體收益遠(yuǎn)大于風(fēng)險(xiǎn)。第二個(gè)場(chǎng)景是純計(jì)算型實(shí)驗(yàn)。只要實(shí)驗(yàn)全程都能數(shù)字化AI 就能通過(guò)代碼執(zhí)行完成閉環(huán)比如模型對(duì)比、消融實(shí)驗(yàn)、數(shù)據(jù)挖掘任務(wù)。這個(gè)場(chǎng)景不需要物理世界參與天然適合 agent 自動(dòng)化也是目前工程上最接近成熟的領(lǐng)域。第三個(gè)場(chǎng)景是數(shù)據(jù)流水線和復(fù)現(xiàn)工作。把一段已有論文的實(shí)驗(yàn)流程交給 AI讓它下載數(shù)據(jù)、寫(xiě)復(fù)現(xiàn)腳本、比對(duì)結(jié)果這類執(zhí)行型科研最容易被自動(dòng)化而且市場(chǎng)上這部分需求極大。我甚至覺(jué)得在 Autoresearch 真正成熟之前它能先以超級(jí)科研助理的形態(tài)養(yǎng)活一大批工具公司。4.2 十年內(nèi)很難突破的兩個(gè)禁區(qū)第一個(gè)禁區(qū)是閉環(huán)式物理實(shí)驗(yàn)。讓 AI 在實(shí)驗(yàn)室里操作移液槍、培養(yǎng)細(xì)胞、維護(hù)設(shè)備需要機(jī)器人技術(shù)和實(shí)驗(yàn)設(shè)計(jì)的深度耦合這已經(jīng)不是語(yǔ)言模型能力范圍內(nèi)的事了。目前的機(jī)器人精度和傳感器反饋也很難支撐自主長(zhǎng)流程實(shí)驗(yàn)。你可以讓 AI 生成一個(gè)完美的實(shí)驗(yàn)方案但完美方案和完美操作之間的距離要靠一整套硬件基礎(chǔ)設(shè)施來(lái)填平。第二個(gè)禁區(qū)是真正開(kāi)放性的科學(xué)問(wèn)題。那些可以問(wèn)十年、甚至耗盡幾代科學(xué)家的問(wèn)題——比如智能的本質(zhì)、宇宙運(yùn)行的基本規(guī)律、復(fù)雜疾病的根源——需要的不是更強(qiáng)的搜索能力和執(zhí)行效率而是打破已有認(rèn)知框架的能力。這種突破往往來(lái)自跨領(lǐng)域類比、看似無(wú)關(guān)的觀察以及被主流忽略的異常現(xiàn)象?，F(xiàn)有 AI 的評(píng)估機(jī)制和訓(xùn)練目標(biāo)天然不鼓勵(lì)這種偏航行為。4.3 形態(tài)預(yù)期從全自動(dòng)退到半自動(dòng)閉環(huán)基于上面的判斷我認(rèn)為 Autoresearch 未來(lái)五年內(nèi)最可能的產(chǎn)品形態(tài)不是一個(gè)輸入問(wèn)題、輸出論文的黑盒而是一個(gè)半自動(dòng)閉環(huán)。在這個(gè)閉環(huán)里AI 負(fù)責(zé)從文獻(xiàn)調(diào)研到實(shí)驗(yàn)初稿的全流程執(zhí)行人負(fù)責(zé)在三個(gè)關(guān)鍵節(jié)點(diǎn)介入課題選擇之前、失敗歸因之時(shí)、論文成稿之后。人不再動(dòng)手寫(xiě)大部分代碼和段落但人的判斷仍然是整個(gè)系統(tǒng)質(zhì)量的核心來(lái)源。我挺喜歡 Karpathy 討論這個(gè)話題時(shí)常給的一個(gè)樸素邏輯科研流程里的大部分環(huán)節(jié)是執(zhí)行不是創(chuàng)造而執(zhí)行是可以被自動(dòng)化的。這句話的實(shí)踐意義在于我們可以把精力從流程執(zhí)行中抽出來(lái)放到真正困難的價(jià)值判斷上。哪怕 Autoresearch 最終沒(méi)有成為一個(gè)全自主研究員它也會(huì)重塑科研工作者的定義——將來(lái)的一線研究者可能更像是科研導(dǎo)演而不是科研勞作者。5. 普通研究者現(xiàn)在就能用上的準(zhǔn)自主科研實(shí)操清單5.1 文獻(xiàn)工作流自動(dòng)化從讀論文到讓 AI 讀論文不需要等 Autoresearch 成熟現(xiàn)在就能把文獻(xiàn)處理流程做成準(zhǔn)閉環(huán)狀態(tài)。我用一個(gè)組合方式已經(jīng)跑了大半年把每個(gè)月新出的論文 PDF 丟進(jìn)本地文檔庫(kù)用向量化工具建立索引再用語(yǔ)言模型做結(jié)構(gòu)化摘要包括問(wèn)題、方法、數(shù)據(jù)集、核心結(jié)論、局限性以及和我的研究最相關(guān)的三個(gè)可借鑒點(diǎn)。然后我會(huì)讓模型順便生成一個(gè)這份摘要與我的研究主題的沖突點(diǎn)列表專門(mén)挑那些和我的既有假設(shè)不一致的地方。這個(gè)操作最大的價(jià)值不是省掉讀論文的時(shí)間而是讓模型主動(dòng)暴露矛盾。這點(diǎn)在自主科研里對(duì)應(yīng)的是發(fā)現(xiàn)問(wèn)題、提出新假設(shè)的能力。如果你只是讓 AI 幫你總結(jié)論文內(nèi)容你得到的是一份信息壓縮件但如果你讓它幫你找矛盾你得到的就是一個(gè)研究雷達(dá)。建議你把這一步也加入自己的工作流它會(huì)改變你對(duì) AI 的使用方式。5.2 讓 AI 當(dāng)魔鬼代言人我一個(gè)比較堅(jiān)持的工作習(xí)慣是在研究假設(shè)定稿之前先讓 AI 反駁我三輪。第一輪要求模型列出所有它認(rèn)為這個(gè)假設(shè)不成立的理由基于現(xiàn)有文獻(xiàn)和常識(shí)第二輪要求模型假設(shè)自己是持有相反觀點(diǎn)的審稿人寫(xiě)出一段三段式拒稿意見(jiàn)第三輪讓它給實(shí)驗(yàn)設(shè)計(jì)挑漏洞比如樣本量不足、混雜變量未控制、baseline 不公平。這個(gè)魔鬼代言人流程聽(tīng)起來(lái)很簡(jiǎn)單但執(zhí)行起來(lái)需要一些提示詞技巧。關(guān)鍵是要求模型找出盡可能多的問(wèn)題而不是給出全面評(píng)價(jià)。模型在給負(fù)面意見(jiàn)時(shí)容易因?yàn)槎Y貌性傾向而收斂你需要強(qiáng)迫它發(fā)散。我實(shí)測(cè)下來(lái)這個(gè)流程能發(fā)現(xiàn)一到兩個(gè)你沒(méi)想到的薄弱點(diǎn)成本只是幾次 API 調(diào)用比事后被審稿人抓住要?jiǎng)澦愕枚唷?.3 小規(guī)模 agent 實(shí)驗(yàn)記錄、匯報(bào)、復(fù)現(xiàn)如果你有一定編程基礎(chǔ)現(xiàn)在就可以搭一個(gè)小規(guī)模 agent 跑實(shí)驗(yàn)記錄閉環(huán)。做法很簡(jiǎn)單啟動(dòng)一個(gè)對(duì)話會(huì)話讓 AI 在每次實(shí)驗(yàn)結(jié)束后生成一份固定格式的實(shí)驗(yàn)日志包括超參數(shù)、運(yùn)行時(shí)間、指標(biāo)變化、錯(cuò)誤信息以及下一次實(shí)驗(yàn)的計(jì)劃。我在實(shí)踐中發(fā)現(xiàn)要讓這種 agent 真正可用核心不是讓模型多聰明而是把實(shí)驗(yàn)日志規(guī)范寫(xiě)在系統(tǒng)提示里甚至做成強(qiáng)制 JSON 模式輸出。日志規(guī)范的好處是讓 AI 的自我報(bào)告可結(jié)構(gòu)化復(fù)現(xiàn)不至于漏掉關(guān)鍵參數(shù)。順帶一提如果預(yù)算有限不要在對(duì)話歷史里無(wú)限累積上下文超過(guò)一定長(zhǎng)度后模型表現(xiàn)會(huì)明顯下降。我的做法是每三輪實(shí)驗(yàn)就讓 agent 把歷史總結(jié)成一份研究進(jìn)展摘要再清空上下文繼續(xù)。這個(gè)摘要化記憶機(jī)制很關(guān)鍵它其實(shí)就是模擬了人類研究者做實(shí)驗(yàn)筆記的做法。5.4 我踩過(guò)的坑不加核驗(yàn)是最大的坑最后講一個(gè)真實(shí)的教訓(xùn)也是我試用各種 AI 科研工具以來(lái)最貴的一次。有一陣子為了趕項(xiàng)目節(jié)點(diǎn)我讓 AI 直接生成了實(shí)驗(yàn)章節(jié)的初稿里面包含統(tǒng)計(jì)結(jié)果、顯著性差異以及一組看起來(lái)很完整的圖表描述。我當(dāng)時(shí)只檢查了圖表數(shù)字和日志基本對(duì)得上就提交了內(nèi)部版本。結(jié)果團(tuán)隊(duì)里做統(tǒng)計(jì)的同事在復(fù)核時(shí)發(fā)現(xiàn)那些顯著性檢驗(yàn)的 p 值被合理地調(diào)整過(guò)與原始統(tǒng)計(jì)結(jié)果存在不一致。倒不是模型故意造假而是它在生成敘述時(shí)自動(dòng)把結(jié)果往更好的方向規(guī)整了。那次之后我立了一個(gè)規(guī)矩凡是 AI 生成的任何數(shù)值結(jié)論一律要求附上原始日志路徑凡是 AI 引用的文獻(xiàn)必須點(diǎn)開(kāi)原文核驗(yàn)關(guān)鍵句凡是 AI 寫(xiě)出的成功實(shí)驗(yàn)都要重跑至少一次對(duì)比。這個(gè)規(guī)矩讓我的使用成本上升了大概三分之一但換來(lái)的是信任。提示信任模型輸出的每一個(gè)字是 AI 輔助科研里最貴的錯(cuò)覺(jué)。這個(gè)錯(cuò)覺(jué)我付出過(guò)學(xué)費(fèi)希望你不用。我在實(shí)際操作中的體會(huì)是Autoresearch 到底有沒(méi)有戲答案其實(shí)不是非黑即白的。它在文獻(xiàn)綜述、計(jì)算型實(shí)驗(yàn)、數(shù)據(jù)流水線這些環(huán)節(jié)已經(jīng)展現(xiàn)出遠(yuǎn)超人類的效率優(yōu)勢(shì)但在問(wèn)題發(fā)現(xiàn)、失敗歸因、價(jià)值判斷這些真正決定科研高度的環(huán)節(jié)它仍然需要人類坐在駕駛座上。與其爭(zhēng)論AI 能不能自主科研不如先把那些能自動(dòng)化的環(huán)節(jié)自動(dòng)化把自己從重復(fù)勞動(dòng)里解放出來(lái)把省下的時(shí)間用來(lái)做真正需要判斷力的事情。這可能才是AI 自主科研這個(gè)概念留給當(dāng)下研究者最現(xiàn)實(shí)也最有價(jià)值的遺產(chǎn)。