簡(jiǎn)介哈爾濱工業(yè)大學(xué)自然語(yǔ)言處理研究所集結(jié)多位老師和同學(xué)撰寫(xiě)的ChatGPT調(diào)研報(bào)告2023年3月6日版共94頁(yè)從技術(shù)原理、應(yīng)用場(chǎng)景到未來(lái)走向?qū)hatGPT進(jìn)行了系統(tǒng)梳理。報(bào)告不僅回顧了自然語(yǔ)言處理發(fā)展史和ChatGPT技術(shù)演進(jìn)還深入剖析了Transformer預(yù)訓(xùn)練模型、提示學(xué)習(xí)、指令精調(diào)、思維鏈、基于人類反饋的強(qiáng)化學(xué)習(xí)RLHF等核心算法同時(shí)覆蓋大模型并行訓(xùn)練、模型壓縮與部署優(yōu)化以及相關(guān)數(shù)據(jù)集整理。在此基礎(chǔ)上后續(xù)章節(jié)進(jìn)一步展開(kāi)應(yīng)用場(chǎng)景、技術(shù)發(fā)展方向、優(yōu)劣勢(shì)對(duì)比并討論了數(shù)據(jù)隱私、算法偏見(jiàn)、就業(yè)沖擊等風(fēng)險(xiǎn)與挑戰(zhàn)。資源以單個(gè)PDF文件打包壓縮包大小3.54MB便于下載后離線閱讀和歸檔。目前已有1509人學(xué)習(xí)適合NLP研究者、AI產(chǎn)品經(jīng)理及對(duì)AIGC感興趣的從業(yè)者作為快速了解ChatGPT的入門參考。1. 一份94頁(yè)的ChatGPT調(diào)研報(bào)告到底在回答什么問(wèn)題2023年3月初某高校發(fā)布了一份94頁(yè)的ChatGPT調(diào)研報(bào)告標(biāo)題傳開(kāi)后很多人第一時(shí)間去找PDF但真正讀完的人少得可憐。原因很簡(jiǎn)單大多數(shù)人把這份報(bào)告當(dāng)成入門教程翻了幾頁(yè)發(fā)現(xiàn)讀不進(jìn)去就放下了。其實(shí)這份報(bào)告不是科普讀物而是一份標(biāo)準(zhǔn)的決策材料——它要回答的是ChatGPT到底改變了什么、我們?cè)摬辉摳M(jìn)、跟進(jìn)該從哪里下手而不是ChatGPT是什么。對(duì)技術(shù)決策者、想立項(xiàng)的團(tuán)隊(duì)、以及想快速建立認(rèn)知地圖的工程師來(lái)說(shuō)這份報(bào)告最有價(jià)值的不是那94頁(yè)的體量而是它拆解一個(gè)陌生技術(shù)領(lǐng)域的方法先劃定能力邊界再拆技術(shù)棧再評(píng)估影響面最后落到行動(dòng)判斷。本文就把這套方法拆給你看并告訴你怎樣在兩天內(nèi)把94頁(yè)讀成自己的東西。2. 把94頁(yè)讀薄報(bào)告的結(jié)構(gòu)拆解與三類核心結(jié)論2.1 這類報(bào)告的三段式骨架背景、拆解、判斷我經(jīng)手過(guò)不少類似的調(diào)研報(bào)告某高校這份94頁(yè)的版本在結(jié)構(gòu)上很有代表性。它沒(méi)有按照ChatGPT的發(fā)展時(shí)間線平鋪而是先講了GPT系列模型的能力演進(jìn)再用大量篇幅拆解背后的大規(guī)模預(yù)訓(xùn)練、指令微調(diào)、人類反饋對(duì)齊這三條技術(shù)主線最后用整整一部分去討論應(yīng)用場(chǎng)景、產(chǎn)業(yè)影響和潛在風(fēng)險(xiǎn)。這個(gè)骨架幾乎成了后來(lái)同類報(bào)告的標(biāo)準(zhǔn)模板。理解這個(gè)骨架對(duì)讀者很重要。很多人讀報(bào)告讀不下去是因?yàn)榘阉?dāng)成線性文檔從第一頁(yè)往后翻。實(shí)際上這類報(bào)告的結(jié)論集中在后半部分前半部分的模型原理、訓(xùn)練方法、評(píng)測(cè)數(shù)據(jù)都是為結(jié)論服務(wù)的證據(jù)鏈。我一般建議拿到報(bào)告先做兩件事第一翻目錄把章節(jié)分成背景事實(shí)、技術(shù)原理、影響判斷三類第二直接跳到結(jié)論章節(jié)反向去讀支撐材料。這樣讀94頁(yè)實(shí)際需要精讀的不到30頁(yè)。還有一個(gè)容易被忽略的點(diǎn)這類報(bào)告通常帶有明確的機(jī)構(gòu)立場(chǎng)和寫(xiě)作日期。某高校這份報(bào)告寫(xiě)于2023年3月6日彼時(shí)GPT-4尚未發(fā)布ChatGPT剛出圈幾個(gè)月。讀懂一份報(bào)告要先讀懂它的時(shí)間坐標(biāo)否則很容易把報(bào)告里基于當(dāng)時(shí)狀況的判斷當(dāng)成今天依然成立的結(jié)論。2.2 用腳本提取章節(jié)結(jié)構(gòu)和高頻詞把目錄變成閱讀地圖拿到PDF報(bào)告后我習(xí)慣先做一次程序化掃描不急著打開(kāi)正文。用Python提取目錄結(jié)構(gòu)和各章節(jié)的高頻詞能在十分鐘內(nèi)建立起一張哪頁(yè)值得細(xì)讀、哪頁(yè)可以掃讀的閱讀地圖。# 提取PDF目錄和關(guān)鍵詞分布用于快速定位重點(diǎn)章節(jié) import re import fitz # PyMuPDF用于解析PDF from collections import Counter pdf_path chatgpt_report_20230306.pdf # 替換成你的報(bào)告路徑 doc fitz.open(pdf_path) # 1. 提取目錄頁(yè)文本假設(shè)目錄在開(kāi)頭5頁(yè)內(nèi) toc_text for page_num in range(min(5, len(doc))): toc_text doc[page_num].get_text() # 2. 用正則粗略切出章節(jié)標(biāo)題行數(shù)字開(kāi)頭的行 chapter_pattern re.compile(r^\s*([0-9](?:\.[0-9])*)\s(.)$) for line in toc_text.splitlines(): match chapter_pattern.match(line.strip()) if match: print(f{match.group(1)} {match.group(2)[:40]}) # 3. 統(tǒng)計(jì)全文中重點(diǎn)概念的出現(xiàn)頻次定位論述密度 keywords [預(yù)訓(xùn)練, 微調(diào), 對(duì)齊, 算力, 幻覺(jué), 成本, 安全] for page_num in range(len(doc)): page_text doc[page_num].get_text() hits {kw: page_text.count(kw) for kw in keywords if kw in page_text} if hits: print(fPage {page_num1}: {hits})這段代碼做的事情很簡(jiǎn)單先讀開(kāi)頭幾頁(yè)的目錄文本用正則把帶有數(shù)字編號(hào)的章節(jié)行抓出來(lái)形成一份純凈的目錄清單然后逐頁(yè)統(tǒng)計(jì)幾個(gè)核心概念的出現(xiàn)次數(shù)凡是某幾頁(yè)同時(shí)密集出現(xiàn)算力成本對(duì)齊這些詞基本就是報(bào)告的重點(diǎn)論證段落。參數(shù)上min(5, len(doc))控制掃描目錄的范圍如果報(bào)告目錄不在前5頁(yè)可以調(diào)大關(guān)鍵詞列表keywords是自定義的按你自己的關(guān)注點(diǎn)替換即可。PyMuPDF需要單獨(dú)安裝離線環(huán)境可以用PDFPlumber替代但速度會(huì)慢一些。這個(gè)操作的價(jià)值不在于自動(dòng)閱讀而在于建立頁(yè)級(jí)注意力分配。比如統(tǒng)計(jì)發(fā)現(xiàn)對(duì)齊集中在第60到75頁(yè)那這一部分是講ChatGPT如何在人類反饋下調(diào)整行為的涉及安全邊界需要精讀如果算力在報(bào)告里反復(fù)出現(xiàn)說(shuō)明成本制約是一個(gè)貫穿性主題讀的時(shí)候要留意數(shù)字和對(duì)比。2.3 快速定位結(jié)論句三類信號(hào)詞調(diào)研報(bào)告和學(xué)術(shù)論文不同它的每一小節(jié)不一定有明確的結(jié)論字樣但寫(xiě)作上通常有固定信號(hào)。我在讀這類報(bào)告時(shí)主要找三類句子。其一是判斷句出現(xiàn)我們認(rèn)為總體來(lái)看核心在于這類短語(yǔ)的段落往往是作者對(duì)某個(gè)話題的定性判斷其二是轉(zhuǎn)折句然而但值得注意的是后面經(jīng)常跟著對(duì)主流觀點(diǎn)的修正其三是帶數(shù)字的對(duì)比句較GPT-3提升了參數(shù)量達(dá)到這種句子是報(bào)告的數(shù)據(jù)錨點(diǎn)可以摘出來(lái)做后續(xù)驗(yàn)證。找這三類句子有一個(gè)笨但有效的方法在PDF閱讀器里搜索然而但我們認(rèn)為值得注意的是把命中的段落標(biāo)記出來(lái)。一般94頁(yè)的報(bào)告這三組詞能篩出四五十處標(biāo)記再人工快速掃一遍就能把握住報(bào)告作者真正想強(qiáng)調(diào)的內(nèi)容。這樣做比從頭讀到尾省力得多而且不容易被大段的背景介紹帶偏。這里要提醒一句信號(hào)詞篩出來(lái)的結(jié)論是報(bào)告作者的觀點(diǎn)不是事實(shí)。比如報(bào)告中關(guān)于ChatGPT對(duì)某個(gè)行業(yè)影響的判斷本質(zhì)上是基于當(dāng)時(shí)信息做出的推測(cè)引用時(shí)要保留這種不確定性不能轉(zhuǎn)述成板上釘釘?shù)亩ㄕ摗?.4 94頁(yè)里的結(jié)論怎么落到自己團(tuán)隊(duì)讀報(bào)告的最后一步是把作者的結(jié)論翻譯成自己的行動(dòng)項(xiàng)。我常用的做法是建一張三列表格表頭分別是報(bào)告的判斷這個(gè)判斷的依據(jù)對(duì)我方意味著什么。報(bào)告中的判斷示例報(bào)告給出的依據(jù)我方行動(dòng)含義大規(guī)模預(yù)訓(xùn)練是能力上限的基礎(chǔ)模型參數(shù)量、訓(xùn)練數(shù)據(jù)規(guī)模與效果的相關(guān)性分析關(guān)注基礎(chǔ)模型的迭代節(jié)奏不做從零預(yù)訓(xùn)練人類反饋對(duì)齊顯著改善可用性對(duì)比有無(wú)對(duì)齊階段的效果差異評(píng)估在垂直場(chǎng)景引入RLHF人類反饋強(qiáng)化學(xué)習(xí)的團(tuán)隊(duì)成本算力成本是規(guī)?；瘧?yīng)用的主要約束推理成本、訓(xùn)練成本的估算立項(xiàng)時(shí)優(yōu)先做小模型微調(diào)的方案比對(duì)而非默認(rèn)上大模型這張表不要寫(xiě)得太滿每行控制在兩三句。關(guān)鍵是第三列如果讀完報(bào)告列不出幾條對(duì)我方意味著什么說(shuō)明這份報(bào)告還沒(méi)有真正變成自己的東西。落到行動(dòng)項(xiàng)之后再把需要進(jìn)一步驗(yàn)證的問(wèn)題單獨(dú)列出來(lái)這就是下一章要講的追問(wèn)清單。3. 把報(bào)告讀厚從技術(shù)原理到落地價(jià)值的五組追問(wèn)3.1 追問(wèn)一ChatGPT的能力邊界到底畫(huà)在哪調(diào)研報(bào)告通常會(huì)用大量篇幅描述ChatGPT能干什么比如對(duì)話、寫(xiě)作、代碼生成、數(shù)學(xué)推理。但落地決策真正需要的是另一面——它不能干什么。某高校這份報(bào)告其實(shí)暗含了不少邊界描述只是被淹沒(méi)在能力展示里。最常見(jiàn)的邊界有三類其一是事實(shí)準(zhǔn)確性邊界模型會(huì)一本正經(jīng)地給出錯(cuò)誤答案也就是常說(shuō)的幻覺(jué)其二是時(shí)效性邊界訓(xùn)練數(shù)據(jù)截止之前能回答之后的事它不知道其三是推理深度邊界多步邏輯推理和長(zhǎng)上下文任務(wù)容易翻車。讀報(bào)告的技巧在于把每一段能力描述都反向問(wèn)一句這個(gè)能力在什么條件下會(huì)失效。報(bào)告里提到ChatGPT在代碼生成上表現(xiàn)亮眼那就要追問(wèn)是在獨(dú)立函數(shù)級(jí)別、還是在完整項(xiàng)目級(jí)別有沒(méi)有上下文長(zhǎng)度限制如果這些問(wèn)題報(bào)告沒(méi)有回答說(shuō)明要么當(dāng)時(shí)的評(píng)測(cè)還不充分要么作者刻意回避了短板。把邊界畫(huà)清楚后續(xù)做技術(shù)選型時(shí)才不會(huì)產(chǎn)生它能包辦一切的誤判。我見(jiàn)過(guò)不少團(tuán)隊(duì)栽在這一步。他們看完報(bào)告里的驚艷案例直接立項(xiàng)做AI客服上線后才發(fā)現(xiàn)模型對(duì)業(yè)務(wù)文檔中的專有名詞理解很差而且無(wú)法保證答案的一致性。其實(shí)這就是能力邊界沒(méi)畫(huà)清楚導(dǎo)致的——報(bào)告里展示的是通用場(chǎng)景落地場(chǎng)景是垂直領(lǐng)域中間隔著微調(diào)和數(shù)據(jù)工程。3.2 追問(wèn)二報(bào)告里的每項(xiàng)關(guān)鍵技術(shù)在真實(shí)系統(tǒng)里扮演什么角色一份扎實(shí)的調(diào)研報(bào)告會(huì)拆解ChatGPT背后的技術(shù)?；A(chǔ)的大規(guī)模語(yǔ)言模型、指令微調(diào)、基于人類反饋的強(qiáng)化學(xué)習(xí)、提示工程、外掛知識(shí)庫(kù)等。有的讀者只記住了一個(gè)Transformer這是遠(yuǎn)遠(yuǎn)不夠的。落地時(shí)這幾項(xiàng)技術(shù)的成熟度和工程難度差別巨大必須分開(kāi)評(píng)估。我的評(píng)估維度有三個(gè)。第一這項(xiàng)技術(shù)是否已經(jīng)產(chǎn)品化比如基礎(chǔ)模型可以直接通過(guò)API調(diào)用指令微調(diào)也有成熟的訓(xùn)練框架但強(qiáng)化學(xué)習(xí)對(duì)齊那一步開(kāi)源工具鏈和人才門檻都高得多。第二這項(xiàng)技術(shù)解決的是能力問(wèn)題還是可用性問(wèn)題基礎(chǔ)模型決定上限對(duì)齊技術(shù)決定是否聽(tīng)話兩者缺一不可但投入產(chǎn)出比完全不同。第三這項(xiàng)技術(shù)能否被替代或繞過(guò)比如當(dāng)時(shí)很多產(chǎn)品選擇用提示工程來(lái)規(guī)避模型輸出不穩(wěn)定的問(wèn)題這比改動(dòng)模型本身輕量得多。這三組問(wèn)題問(wèn)下來(lái)你就能把報(bào)告里的技術(shù)描述翻譯成一張工程優(yōu)先級(jí)表。某團(tuán)隊(duì)當(dāng)時(shí)拿到報(bào)告后第一優(yōu)先級(jí)定為用API跑通業(yè)務(wù)流程第二優(yōu)先級(jí)才是做垂直領(lǐng)域微調(diào)至于對(duì)齊那部分直接評(píng)估為中期再考慮。這個(gè)順序幫他們省了至少兩個(gè)月的彎路。3.3 追問(wèn)三成本與算力才是落地決策的真正變量調(diào)研報(bào)告里如果提到了訓(xùn)練成本和推理成本的估算數(shù)據(jù)這部分值得反復(fù)讀。ChatGPT這類大模型產(chǎn)品的運(yùn)營(yíng)成本大頭在推理階段也就是每次生成回答時(shí)消耗的算力。報(bào)告中如果有每千次請(qǐng)求的成本估算落地時(shí)一定要自己做一次折算因?yàn)閳?bào)告里的算力價(jià)格和實(shí)際采購(gòu)價(jià)可能存在很大偏差。我一般會(huì)列這樣一個(gè)成本模型日請(qǐng)求量、單次請(qǐng)求的輸入輸出Token數(shù)、單價(jià)、以及緩存命中率假設(shè)。把這些乘起來(lái)才能得到月度推理成本的大致區(qū)間。多數(shù)調(diào)研報(bào)告給的是線性成本估算沒(méi)有考慮緩存優(yōu)化、模型蒸餾、量化部署這些降本手段所以實(shí)際落地成本通常有數(shù)倍的下探空間——前提是你愿意投入工程優(yōu)化。這里要給一個(gè)具體建議立項(xiàng)時(shí)不要把報(bào)告里的成本數(shù)字直接寫(xiě)進(jìn)方案。把它當(dāng)上限再按不做優(yōu)化的成本和做三項(xiàng)優(yōu)化的成本各算一版差值就是技術(shù)優(yōu)化空間的估值。這個(gè)差值能不能覆蓋團(tuán)隊(duì)投入的工時(shí)是判斷自己部署還是調(diào)API的一個(gè)重要依據(jù)。3.4 追問(wèn)四對(duì)齊與安全問(wèn)題為什么值得你花時(shí)間讀94頁(yè)報(bào)告里跟安全、對(duì)齊、倫理相關(guān)的篇幅通常不短。有些工程師覺(jué)得這部分跟自己無(wú)關(guān)直接跳過(guò)這是個(gè)錯(cuò)誤。對(duì)齊技術(shù)的本質(zhì)是讓模型的輸出符合人類意圖它直接影響兩件落地的事一是模型能不能穩(wěn)定地按你的格式要求輸出二是它會(huì)不會(huì)在業(yè)務(wù)場(chǎng)景里產(chǎn)生不合規(guī)的內(nèi)容。對(duì)話式AI產(chǎn)品尤其依賴對(duì)齊質(zhì)量。如果你要做一個(gè)面向客戶的智能助手模型是否經(jīng)過(guò)充分的對(duì)齊訓(xùn)練直接決定了你需不需要在模型外層加一層內(nèi)容過(guò)濾和兜底策略。報(bào)告里關(guān)于對(duì)齊機(jī)制的描述哪怕只有幾頁(yè)也值得整理成一張清單模型拒絕回答的邊界在哪、對(duì)抗性輸入如何繞過(guò)約束、指令篡改的風(fēng)險(xiǎn)有多大。這些內(nèi)容到了上線階段都是要寫(xiě)進(jìn)測(cè)試用例的。從決策角度講安全相關(guān)篇幅的多少本身也是信號(hào)。報(bào)告花大力氣討論對(duì)齊和安全說(shuō)明作者認(rèn)為這是技術(shù)能否規(guī)?；瘧?yīng)用的核心制約。你在做匯報(bào)時(shí)引用這一觀點(diǎn)往往比列舉一堆能力指標(biāo)更有說(shuō)服力。3.5 追問(wèn)五報(bào)告沒(méi)寫(xiě)清楚的恰恰是你要自己做實(shí)驗(yàn)的地方任何調(diào)研報(bào)告都有盲區(qū)。某高校這份報(bào)告寫(xiě)于2023年3月很多關(guān)鍵信息在當(dāng)時(shí)還是未知數(shù)比如更大參數(shù)規(guī)模模型的實(shí)際效果、多模態(tài)能力、工具調(diào)用的可靠性。報(bào)告里如果有尚待驗(yàn)證有待觀察這類表述標(biāo)記出來(lái)這些就是你接下來(lái)該做實(shí)驗(yàn)的地方。我習(xí)慣在讀完報(bào)告后產(chǎn)出一份實(shí)驗(yàn)清單每條包含三要素要驗(yàn)證的問(wèn)題、驗(yàn)證方法、判斷標(biāo)準(zhǔn)。比如報(bào)告中預(yù)測(cè)某類工作流可以被ChatGPT替代我的驗(yàn)證方法就是取團(tuán)隊(duì)的真實(shí)業(yè)務(wù)樣本跑一遍并人工評(píng)估質(zhì)量判斷標(biāo)準(zhǔn)不是模型答得好不好而是需不需要專家級(jí)人員返工。這個(gè)標(biāo)準(zhǔn)直接決定了替代人還是輔助人的結(jié)論。報(bào)告讀到這里才算真正讀厚了——它不再是94頁(yè)紙而是一份指向明確行動(dòng)的問(wèn)題清單。追問(wèn)得越細(xì)后續(xù)立項(xiàng)的邊界就越清晰。4. 把調(diào)研方法論搬到自己業(yè)務(wù)五個(gè)可以直接套用的分析動(dòng)作4.1 動(dòng)作一用一周時(shí)間搭建追蹤目錄某高校這份報(bào)告本身是一次性的但它的分析框架可以長(zhǎng)期復(fù)用。我的做法是建一個(gè)持續(xù)更新的追蹤目錄結(jié)構(gòu)很簡(jiǎn)單按基礎(chǔ)模型動(dòng)態(tài)、對(duì)齊與安全、成本與算力、應(yīng)用案例、我方立場(chǎng)五個(gè)維度歸檔資料。每周花一小時(shí)把當(dāng)周看到的文章、論文、產(chǎn)品更新歸進(jìn)對(duì)應(yīng)維度并寫(xiě)一句自己的判斷。這個(gè)目錄的價(jià)值在三個(gè)月后會(huì)顯現(xiàn)出來(lái)。當(dāng)團(tuán)隊(duì)內(nèi)部爭(zhēng)論要不要跟進(jìn)大模型時(shí)你能拿出按時(shí)間排列的證據(jù)鏈而不是憑印象說(shuō)話。歸檔時(shí)我會(huì)刻意保留原始鏈接和數(shù)據(jù)截圖避免二轉(zhuǎn)資料失真。另外每個(gè)維度下加一條最新變化防止舊結(jié)論被新信息覆蓋后還在被引用。這套工具不需要什么復(fù)雜系統(tǒng)一個(gè)帶標(biāo)簽的筆記庫(kù)甚至一個(gè)表格就夠了。關(guān)鍵是養(yǎng)成每周固定時(shí)間更新的節(jié)奏而不是攢一個(gè)月再補(bǔ)。4.2 動(dòng)作二做一份自定義評(píng)測(cè)集替代道聽(tīng)途說(shuō)讀報(bào)告時(shí)最容易被帶著走的部分是評(píng)測(cè)數(shù)據(jù)。報(bào)告里說(shuō)在XX測(cè)試集上超過(guò)人類基準(zhǔn)但那是人家的評(píng)測(cè)集跟你的業(yè)務(wù)場(chǎng)景可能毫無(wú)關(guān)系。我在這件事上的做法是動(dòng)手做一份自己的評(píng)測(cè)集規(guī)模不用大50到100條業(yè)務(wù)真實(shí)問(wèn)題就夠了。{ eval_set: [ { id: ev_001, category: 業(yè)務(wù)咨詢, question: 本月賬單已出為什么我的賬戶余額比上月少了, expected: 解釋余額差異的兩種可能原因且引導(dǎo)用戶查看明細(xì), pass_conditions: [原因覆蓋準(zhǔn)確, 未編造扣費(fèi)項(xiàng), 語(yǔ)氣自然] }, { id: ev_002, category: 技術(shù)問(wèn)答, question: 把下面的Python函數(shù)改寫(xiě)成支持批量輸入的版本, expected: 函數(shù)簽名保持兼容返回結(jié)構(gòu)清晰, pass_conditions: [代碼可運(yùn)行, 批量邏輯正確, 含示例調(diào)用] } ] }這份評(píng)測(cè)集不用等模型接入后再做報(bào)告階段就可以開(kāi)始攢。每個(gè)case包含問(wèn)題、期望回答、通過(guò)條件三部分通過(guò)條件最好寫(xiě)得可判定比如未編造扣費(fèi)項(xiàng)這樣多人標(biāo)注時(shí)標(biāo)準(zhǔn)一致。有了評(píng)測(cè)集后續(xù)無(wú)論是選型對(duì)比還是微調(diào)效果驗(yàn)證都有了統(tǒng)一的度量工具。做評(píng)測(cè)集要注意的是問(wèn)題一定來(lái)自真實(shí)業(yè)務(wù)不要自己編理想化問(wèn)題每條都要能明確判定對(duì)錯(cuò)不能模棱兩可。初期規(guī)模小沒(méi)關(guān)系關(guān)鍵是持續(xù)補(bǔ)充失敗案例——模型答錯(cuò)的題永遠(yuǎn)是最有價(jià)值的評(píng)測(cè)樣本。4.3 動(dòng)作三按報(bào)告框架整理自己的驗(yàn)證清單報(bào)告里通常有幾十個(gè)判斷和推測(cè)你不需要全部驗(yàn)證但值得挑出與自己業(yè)務(wù)相關(guān)的五六項(xiàng)做成一份驗(yàn)證清單。清單里每一項(xiàng)寫(xiě)明報(bào)告怎么說(shuō)、我要驗(yàn)證什么、驗(yàn)證手段、預(yù)計(jì)結(jié)論何時(shí)能確定。我自己的驗(yàn)證清單一般長(zhǎng)這樣報(bào)告觀點(diǎn)我方驗(yàn)證問(wèn)題驗(yàn)證手段預(yù)計(jì)時(shí)間模型在垂直領(lǐng)域的表現(xiàn)依賴微調(diào)用50條行業(yè)問(wèn)答測(cè)試API直接調(diào)用效果評(píng)測(cè)集跑分1周提示詞質(zhì)量顯著影響輸出質(zhì)量同一問(wèn)題在3種提示策略下的效果差異A/B對(duì)比3天推理成本隨上下文長(zhǎng)度快速上升測(cè)量不同上下文長(zhǎng)度的響應(yīng)時(shí)間與費(fèi)用壓測(cè)腳本1周這份清單的用處是防止報(bào)告說(shuō)什么就信什么。它把報(bào)告從閱讀材料變成了可執(zhí)行的實(shí)驗(yàn)計(jì)劃也方便向團(tuán)隊(duì)或上級(jí)說(shuō)明我們不是拍腦袋跟進(jìn)而是按計(jì)劃驗(yàn)證關(guān)鍵前提。4.4 動(dòng)作四把結(jié)論改寫(xiě)成可證偽的判斷調(diào)研報(bào)告里很多結(jié)論是模糊的比如ChatGPT可能改變搜索形態(tài)內(nèi)容創(chuàng)作行業(yè)將受到?jīng)_擊。這類說(shuō)法沒(méi)法驗(yàn)證也就沒(méi)法指導(dǎo)決策。我會(huì)在讀完報(bào)告后挑最重要的三五條改寫(xiě)成可證偽的判斷。所謂可證偽就是能明確說(shuō)出什么情況發(fā)生說(shuō)明這個(gè)判斷成立什么情況發(fā)生說(shuō)明它不成立。舉個(gè)例子報(bào)告說(shuō)大模型將降低軟件開(kāi)發(fā)的入門門檻改寫(xiě)后變成如果三個(gè)月內(nèi)出現(xiàn)主流IDE官方集成大模型補(bǔ)全功能且我團(tuán)隊(duì)新手工程師提交代碼效率提升20%以上則該判斷成立。這樣改寫(xiě)后這個(gè)觀點(diǎn)就從一句感想變成了一個(gè)可以追蹤的指標(biāo)。等到時(shí)間節(jié)點(diǎn)到了回看數(shù)據(jù)就能確定當(dāng)初的判斷對(duì)不對(duì)而不是繼續(xù)停留在好像確實(shí)有影響的模糊狀態(tài)。4.5 動(dòng)作五建立自己的季度刷新機(jī)制調(diào)研報(bào)告的價(jià)值隨時(shí)間的推移會(huì)快速衰減。ChatGPT相關(guān)的技術(shù)和產(chǎn)品迭代是以周為單位的一份3月的報(bào)告到了6月很多判斷可能已經(jīng)過(guò)時(shí)。因此我會(huì)給每份報(bào)告設(shè)置過(guò)期時(shí)間一般是一個(gè)季度。到期后花半天時(shí)間做刷新對(duì)照?qǐng)?bào)告結(jié)論逐條檢查這條現(xiàn)在還成立嗎有變化就更新沒(méi)變化就保留。這個(gè)機(jī)制堅(jiān)持下去你手里的就不是一本94頁(yè)的靜態(tài)報(bào)告而是一個(gè)持續(xù)更新的知識(shí)資產(chǎn)。每季度刷新時(shí)最能直觀感受到哪些判斷經(jīng)受住了時(shí)間檢驗(yàn)?zāi)男┮呀?jīng)被現(xiàn)實(shí)推翻這種反饋是讀十篇新文章都換不來(lái)的。5. 避坑指南讀這類調(diào)研報(bào)告時(shí)最容易誤讀的四個(gè)地方5.1 坑一把報(bào)告結(jié)論當(dāng)成自己的結(jié)論現(xiàn)象團(tuán)隊(duì)里有人拿著報(bào)告里的一句話ChatGPT在XXX任務(wù)上超過(guò)人類直接當(dāng)成立項(xiàng)依據(jù)連測(cè)試都沒(méi)做就開(kāi)始設(shè)計(jì)產(chǎn)品方案。原因混淆了調(diào)研者基于當(dāng)時(shí)樣本得出的判斷與適用于我方場(chǎng)景的事實(shí)。報(bào)告里的評(píng)測(cè)數(shù)據(jù)和案例來(lái)自公開(kāi)測(cè)試集或第三方報(bào)道沒(méi)有經(jīng)過(guò)我方業(yè)務(wù)數(shù)據(jù)的驗(yàn)證。解決凡是報(bào)告中涉及能力或效果的數(shù)字先落到自己的評(píng)測(cè)集上跑一遍再討論結(jié)論是否成立。跑完如果跟報(bào)告不一致以實(shí)測(cè)為準(zhǔn)。報(bào)告是線索不是證據(jù)。5.2 坑二只看能力不看邊界現(xiàn)象讀完報(bào)告記住了各種驚艷的生成效果對(duì)上下文限制推理能力缺陷幻覺(jué)率這些限制內(nèi)容印象模糊導(dǎo)致設(shè)計(jì)方案時(shí)留的容錯(cuò)空間不足。原因人的注意力天然被更強(qiáng)吸引而邊界描述在報(bào)告里往往分散在各章節(jié)的末尾或注釋位置容易被掃讀忽略。解決讀第二遍時(shí)專門搜局限限制失敗風(fēng)險(xiǎn)等詞把邊界信息集中到一起。我在讀某高校這份報(bào)告時(shí)專門列了一頁(yè)已知問(wèn)題清單后來(lái)做架構(gòu)設(shè)計(jì)時(shí)這些限制直接對(duì)應(yīng)成了系統(tǒng)里的兜底模塊和人工審核開(kāi)關(guān)。5.3 坑三忽略時(shí)間戳拿舊結(jié)論套新問(wèn)題現(xiàn)象報(bào)告寫(xiě)于2023年3月6日有人拿著里面當(dāng)前最強(qiáng)的對(duì)話模型的評(píng)價(jià)一年后還在對(duì)外宣傳時(shí)引用完全沒(méi)注意到技術(shù)代際已經(jīng)換了好幾輪。原因調(diào)研報(bào)告是快照型文檔但引用者受白紙黑字的心理影響容易把它的效力當(dāng)作永久性的。解決引用任何報(bào)告里的判斷時(shí)強(qiáng)制加上時(shí)間限定比如截至2023年3月當(dāng)時(shí)的評(píng)估認(rèn)為……同時(shí)設(shè)置過(guò)期提醒一個(gè)季度后復(fù)查一遍。這不僅能避免誤導(dǎo)別人也能避免自己被舊信息鎖住。5.4 坑四把調(diào)研報(bào)告當(dāng)技術(shù)文檔用現(xiàn)象有人按照?qǐng)?bào)告里的模型架構(gòu)描述去搭建訓(xùn)練流程或者照著報(bào)告里籠統(tǒng)的成本估算去申請(qǐng)預(yù)算結(jié)果實(shí)施時(shí)發(fā)現(xiàn)細(xì)節(jié)根本不夠進(jìn)度和預(yù)算雙雙失控。原因調(diào)研報(bào)告的目標(biāo)讀者是決策者不是執(zhí)行者。它負(fù)責(zé)回答為什么值得做、大致方向是什么不負(fù)責(zé)給出可直接執(zhí)行的配置和參數(shù)。解決把報(bào)告當(dāng)作起點(diǎn)而不是終點(diǎn)。看到某個(gè)技術(shù)路線有潛力就去翻閱對(duì)應(yīng)的技術(shù)文檔、開(kāi)源代碼和最新的實(shí)驗(yàn)報(bào)告用一手資料補(bǔ)全實(shí)施細(xì)節(jié)。如果團(tuán)隊(duì)里有人打算照著一份調(diào)研報(bào)告直接上手訓(xùn)練模型我通常建議他先去做一個(gè)最小規(guī)模的可行性實(shí)驗(yàn)成本比跟報(bào)告硬剛低得多。6. 進(jìn)階把一份報(bào)告轉(zhuǎn)成一份可更新的決策底稿到了這一步報(bào)告本身已經(jīng)不重要了重要的是你手里是否沉淀出一份屬于自己的決策底稿。這份底稿不是摘要而是集合了報(bào)告結(jié)論、我的驗(yàn)證結(jié)果、當(dāng)前狀態(tài)、下一步行動(dòng)的動(dòng)態(tài)文檔。我建議字段至少包含以下這些觀點(diǎn)原文、來(lái)源頁(yè)碼、信源等級(jí)、我方驗(yàn)證結(jié)論、驗(yàn)證日期、最近更新、下一步動(dòng)作。字段設(shè)好后按季度刷新每刷新一次底稿就離業(yè)務(wù)決策更近一步。有了底稿之后我還會(huì)做一件事把里面最核心的五六條判斷單獨(dú)抽出來(lái)做成對(duì)團(tuán)隊(duì)公開(kāi)的技術(shù)立場(chǎng)聲明。比如目前不計(jì)劃從零訓(xùn)練基礎(chǔ)模型優(yōu)先評(píng)估API微調(diào)路線垂直場(chǎng)景效果必須通過(guò)內(nèi)部評(píng)測(cè)集驗(yàn)收后才能上線。這份聲明直接約束后續(xù)的技術(shù)選型和資源投入方向比每次開(kāi)會(huì)討論都高效。最后說(shuō)一個(gè)我自己的習(xí)慣每次寫(xiě)這種調(diào)研報(bào)告的閱讀筆記時(shí)我都會(huì)在結(jié)尾附上一句本筆記的結(jié)論有效期到哪一天。大多數(shù)人不寫(xiě)這個(gè)日期結(jié)果筆記里全是過(guò)期信息還當(dāng)寶貝存著。給自己設(shè)一個(gè)過(guò)期時(shí)間逼著定期回來(lái)重讀重驗(yàn)才會(huì)真正用活一份報(bào)告。希望這篇拆解能幫你在面對(duì)下一份上百頁(yè)的調(diào)研材料時(shí)不再發(fā)怵——先翻目錄定骨架再篩信號(hào)詞找結(jié)論最后把結(jié)論翻譯成帶日期的行動(dòng)項(xiàng)。用這個(gè)流程喂進(jìn)去的每一份報(bào)告都會(huì)變成你技術(shù)判斷的一部分。本文還有配套的精品資源點(diǎn)擊獲取