1. 2.23 這一波 AI 動(dòng)態(tài)到底在吵什么今天刷到的學(xué)術(shù)速遞繞來(lái)繞去還是離不開(kāi)幾個(gè)熱詞人工智能正從嘗鮮工具變?nèi)粘褪?、人工智能白皮?shū)、人工智能訓(xùn)練師職業(yè)畫(huà)像、人工智能偏見(jiàn)。這幾個(gè)詞單看都有點(diǎn)大但拼在一起恰好勾勒出當(dāng)前 AI 圈的真實(shí)狀態(tài)——研究、落地、教育、職業(yè)化幾條線同時(shí)往前拱誰(shuí)也沒(méi)閑著。我先說(shuō)個(gè)直觀感受最近幾周跟進(jìn) arXiv 和各大頂會(huì)投稿明顯覺(jué)得純刷榜、純堆參數(shù)的論文比重在下降取而代之的是三類東西增多一是怎么讓模型更省、更快、更可控的工程型研究二是模型在真實(shí)場(chǎng)景里會(huì)不會(huì)翻車的評(píng)測(cè)與對(duì)齊類工作三是小模型怎么干大模型的活的蒸餾和壓縮路線。這和AI 變?nèi)粘褪值臒崴逊较蛲耆珜?duì)得上——當(dāng)工具真正開(kāi)始被普通人天天用研究者關(guān)心的就不再只是能不能做而是能不能放心做、便宜做、持續(xù)做。這篇文章就把我這兩天看到的方向、背后的邏輯以及和學(xué)生、同行聊出來(lái)的實(shí)操建議一起整理出來(lái)。不管你是剛?cè)腴T(mén)的本科生、做落地項(xiàng)目的工程師還是想轉(zhuǎn)行 AI 訓(xùn)練師這塊的職場(chǎng)人應(yīng)該都能從里面找到一點(diǎn)能拿走就用的東西。2. 從嘗鮮到日常幫手差的是哪幾步2.1 模型能力不再是唯一瓶頸人工智能正從嘗鮮工具變?nèi)粘褪诌@個(gè)熱搜詞我仔細(xì)琢磨了一下它其實(shí)在暗示一個(gè)產(chǎn)業(yè)階段的切換。去年這個(gè)時(shí)候大家聊得最多的是哪個(gè)模型又刷了多少分而今年聚會(huì)時(shí)聊的卻是這套系統(tǒng)上線之后誤報(bào)率多少推理成本壓到多少毫秒每請(qǐng)求用戶點(diǎn)不喜歡之后模型能不能記住。分?jǐn)?shù)很重要但落地場(chǎng)景里的模型拼的是另外幾個(gè)維度。我在實(shí)際項(xiàng)目里總結(jié)過(guò)一個(gè) AI 功能要真正變成日常幫手至少要過(guò)三關(guān)第一關(guān)是延遲。用戶沒(méi)耐心等三秒以上所以模型要么夠小要么有好的推理加速方案蒸餾、量化、投機(jī)采樣這些技術(shù)就被推到臺(tái)前。第二關(guān)是可控。模型不能這周一個(gè)脾氣下周一個(gè)脾氣業(yè)務(wù)方要求輸出格式穩(wěn)定、語(yǔ)氣穩(wěn)定、立場(chǎng)穩(wěn)定這比刷兩個(gè)點(diǎn)的準(zhǔn)確率更要命。第三關(guān)是成本。API 調(diào)用按 token 計(jì)費(fèi)日活過(guò)百萬(wàn)之后每省一個(gè)百分點(diǎn)的推理成本都是真金白銀?；仡^看熱詞里出現(xiàn)的harness 人工智能其實(shí)也是這個(gè)趨勢(shì)的產(chǎn)物。Harness 本身是治理、駕馭的意思行業(yè)開(kāi)始強(qiáng)調(diào)對(duì) AI 的駕馭能力而不是一味追求能力上限。這和我做的 LLM 應(yīng)用評(píng)測(cè)方向完全一致再?gòu)?qiáng)的模型沒(méi)有一套好的 harness 機(jī)制落地就是災(zāi)難。2.2 白皮書(shū)密集發(fā)布意味著行業(yè)在定調(diào)另一個(gè)值得注意的信號(hào)是各種人工智能白皮書(shū)在這個(gè)時(shí)間節(jié)點(diǎn)密集出現(xiàn)。我翻了其中幾份發(fā)現(xiàn)它們雖然來(lái)自不同機(jī)構(gòu)但口徑驚人的一致都強(qiáng)調(diào)分層治理、場(chǎng)景分級(jí)、風(fēng)險(xiǎn)可控。白皮書(shū)這種東西外行看著像宣傳材料內(nèi)行看的是風(fēng)向。當(dāng)一個(gè)行業(yè)開(kāi)始密集出白皮書(shū)說(shuō)明它已經(jīng)過(guò)了什么都要試一下的蠻荒期進(jìn)入邊跑邊立規(guī)矩的階段。這背后牽動(dòng)的是一整條產(chǎn)業(yè)鏈數(shù)據(jù)合規(guī)、模型審計(jì)、安全評(píng)測(cè)、倫理審查每一個(gè)都是新增的崗位和生意。對(duì)學(xué)生或者想轉(zhuǎn)行的朋友來(lái)說(shuō)白皮書(shū)里的高頻詞就是未來(lái)兩三年的就業(yè)風(fēng)向標(biāo)。比如里面反復(fù)出現(xiàn)的透明度可解釋性公平性對(duì)應(yīng)到實(shí)際崗位就是模型評(píng)測(cè)工程師、AI 安全研究員、算法審計(jì)師。這些崗位不比算法工程師卷但門(mén)檻一點(diǎn)都不低。2.3 教育端的變化最真實(shí)也最接地氣熱詞里有一串和教育相關(guān)的內(nèi)容人工智能專業(yè)大學(xué)教材網(wǎng)盤(pán)、人工智能導(dǎo)論 PDF、hnu 人工智能期末、人工智能大作業(yè)。說(shuō)實(shí)話看到這些詞我特別有共鳴因?yàn)槲颐繉W(xué)期都會(huì)收到一堆學(xué)生私信問(wèn)的就是導(dǎo)論課到底怎么學(xué)大作業(yè)選什么題能拿高分。教育端的 AI 熱和產(chǎn)業(yè)端的 AI 熱節(jié)奏其實(shí)不完全同步。產(chǎn)業(yè)端已經(jīng)在卷工程落地但高校的 AI 導(dǎo)論課還大量停留在什么是機(jī)器學(xué)習(xí)什么是神經(jīng)網(wǎng)絡(luò)的概念層面。這不是老師的錯(cuò)而是課程體系天然有滯后性。我的建議很簡(jiǎn)單如果學(xué)校教材太老就自己往前補(bǔ)一步。導(dǎo)論課保證你及格但真正讓你畢業(yè)時(shí)有競(jìng)爭(zhēng)力的是課外自己做的那個(gè)小項(xiàng)目。哪怕只是用開(kāi)源模型搭一個(gè)垂直領(lǐng)域的問(wèn)答機(jī)器人寫(xiě)在簡(jiǎn)歷上比學(xué)過(guò)人工智能導(dǎo)論有說(shuō)服力一百倍。3. 學(xué)術(shù)圈最近真正值得盯的幾類論文3.1 輕量化和蒸餾路線小模型開(kāi)始以下犯上2.23 前后我掃了一圈 arxiv 的最新列表一個(gè)特別明顯的趨勢(shì)是輕量化方向的投稿量又創(chuàng)新高。這背后其實(shí)是被產(chǎn)業(yè)倒逼的太多場(chǎng)景根本跑不動(dòng)百億參數(shù)大模型但大家又想要大模型的效果于是各種蒸餾、量化、剪枝、結(jié)構(gòu)重參數(shù)化的方案層出不窮。具體到方法層面有兩條路線值得關(guān)注一條是 logit 蒸餾的改進(jìn)。傳統(tǒng) KD 只是讓學(xué)生模型模仿老師的軟標(biāo)簽輸出但新工作開(kāi)始把中間層特征、注意力圖甚至推理的思維鏈都納入蒸餾目標(biāo)學(xué)生模型學(xué)到的不只是答案還有過(guò)程。另一條是動(dòng)態(tài)推理。思路是簡(jiǎn)單問(wèn)題走小路難題走大路模型內(nèi)部搞多個(gè)退出點(diǎn)根據(jù)輸入難度自適應(yīng)決定計(jì)算深度。我實(shí)測(cè)過(guò)類似的方案在分類任務(wù)上能省大概 30% 到 40% 的計(jì)算量精度損失控制在 1 個(gè)點(diǎn)以內(nèi)。如果你手頭有推理性能瓶頸的項(xiàng)目我非常建議關(guān)注這幾個(gè)方向哪怕只是把量化從 INT8 換到 INT4 并配合適當(dāng)?shù)男?zhǔn)數(shù)據(jù)都可能帶來(lái)意想不到的收益。3.2 AI 偏見(jiàn)研究從批判走向可度量熱詞里出現(xiàn)的人工智能偏見(jiàn)是學(xué)術(shù)圈一個(gè)老話題的新階段。說(shuō)實(shí)話前幾年的偏見(jiàn)研究偏喊口號(hào)告訴你模型有偏見(jiàn)但拿不出工程上可落地的修復(fù)方案。今年的論文明顯變了大家都在拼怎么把偏見(jiàn)變成一個(gè)可計(jì)算、可優(yōu)化的指標(biāo)。我在實(shí)際項(xiàng)目里遇到過(guò)最典型的偏見(jiàn)問(wèn)題是訓(xùn)練數(shù)據(jù)里某一類樣本天然占多數(shù)導(dǎo)致模型對(duì)少數(shù)類別的輸出質(zhì)量明顯拉胯。比如做客服意圖識(shí)別投訴類樣本只占 5%模型訓(xùn)練完對(duì)投訴意圖的識(shí)別準(zhǔn)確率就是上不去不是模型笨是數(shù)據(jù)本身就偏。現(xiàn)在學(xué)術(shù)界的做法大致分成了三派數(shù)據(jù)派重構(gòu)訓(xùn)練集做反事實(shí)數(shù)據(jù)增強(qiáng)讓樣本分布更均勻。對(duì)齊派在 RLHF 或者 DPO 階段加入公平性約束讓模型在生成時(shí)就避開(kāi)偏見(jiàn)表達(dá)。評(píng)測(cè)派構(gòu)建多維度的偏見(jiàn)測(cè)試集把模型是否有偏見(jiàn)變成可以量化的分?jǐn)?shù)。我的建議是如果你正在做任何面向真實(shí)用戶的產(chǎn)品至少在評(píng)測(cè)階段加入偏見(jiàn)維度的測(cè)試。不需要一開(kāi)始就追求完美公平但至少要有量化指標(biāo)否則出了問(wèn)題你都說(shuō)不清楚。3.3 具身智能和機(jī)器人從能對(duì)話到能動(dòng)手熱詞里還有人工智能機(jī)器人這一項(xiàng)。最近學(xué)術(shù)圈和產(chǎn)業(yè)圈在具身智能這個(gè)方向上投入都很大本質(zhì)上是想解決大模型只會(huì)說(shuō)不會(huì)做的問(wèn)題?，F(xiàn)在的主流框架基本是大模型做大腦機(jī)器人做手腳用多模態(tài)大模型理解環(huán)境、拆解任務(wù)再把子任務(wù)映射到機(jī)械臂或移動(dòng)底盤(pán)的動(dòng)作序列上。我在實(shí)驗(yàn)室看過(guò)幾個(gè)演示確實(shí)比兩年前那種設(shè)定好軌跡然后重復(fù)執(zhí)行的傳統(tǒng)方案靈活太多抓取未知物體、整理桌面這種任務(wù)的成功率提高得非常明顯。但我也要給潑盆冷水具身智能離大規(guī)模商用還有距離主要卡在數(shù)據(jù)上。互聯(lián)網(wǎng)上有海量文本和圖片但機(jī)器人操作數(shù)據(jù)少得可憐所以現(xiàn)在大家都在卷數(shù)據(jù)采集。跑一天真實(shí)數(shù)據(jù)采集的成本夠買好幾張顯卡了。如果你是學(xué)生想在具身智能方向發(fā)論文我建議優(yōu)先考慮仿真環(huán)境加 sim-to-real 遷移的路線成本低、迭代快也更容易出成果。4. 學(xué)習(xí)、備課和做項(xiàng)目不同人怎么跟上這波節(jié)奏4.1 學(xué)生黨教材只是底線項(xiàng)目才是分水嶺每次看到人工智能專業(yè) 大學(xué)教材 網(wǎng)盤(pán)這種搜索詞我都想多說(shuō)幾句。教材是需要的尤其像《人工智能導(dǎo)論》這類書(shū)能把術(shù)語(yǔ)體系給你搭起來(lái)但你指望靠一本導(dǎo)論就入行那不現(xiàn)實(shí)。我給學(xué)生的行動(dòng)清單大概是這樣的第一步把導(dǎo)論課的核心概念吃透監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)這些是公共基礎(chǔ)逃不掉。第二步重點(diǎn)補(bǔ)充大語(yǔ)言模型的知識(shí)這部分學(xué)校教材普遍滯后。直接去看一些開(kāi)源課程的講義或者某個(gè)模型的技術(shù)報(bào)告都比啃老教材強(qiáng)。第三步動(dòng)手做一個(gè)端到端的小項(xiàng)目。我見(jiàn)過(guò)太多學(xué)生說(shuō)我熟悉 Python、熟悉 PyTorch但你讓他從零搭一個(gè)能跑的對(duì)話系統(tǒng)他就卡住了。面試官最煩這種熟悉但不落地。期末大作業(yè)選題上我給兩個(gè)方向都是拿高分且不太容易翻車的一個(gè)是垂直領(lǐng)域問(wèn)答機(jī)器人一個(gè)是某類內(nèi)容的自動(dòng)摘要工具。這兩個(gè)方向資料多、踩坑路徑清晰、演示效果好而且和產(chǎn)業(yè)需求直接掛鉤。4.2 職場(chǎng)人與其焦慮被替代不如折騰工具鏈熱詞里人工智能學(xué)習(xí)和人工智能培訓(xùn)機(jī)構(gòu)這兩條放在一起看特別有意思。一邊是大量職場(chǎng)人想學(xué) AI 補(bǔ)課另一邊是各種培訓(xùn)機(jī)構(gòu)在瘋狂投放廣告。我的個(gè)人看法是絕大部分職場(chǎng)人需要的根本不是報(bào)班而是帶著實(shí)際問(wèn)題去折騰工具鏈。你工作中最煩什么重復(fù)勞動(dòng)就去查有沒(méi)有 AI 工具能解決然后把它真正用起來(lái)。比如我有個(gè)朋友是運(yùn)營(yíng)他用了半天時(shí)間學(xué)了一套自動(dòng)化報(bào)告生成的工作流把自己每周三小時(shí)的周報(bào)時(shí)間壓縮到了十分鐘。他沒(méi)學(xué)什么高深算法但他就已經(jīng)是一個(gè)會(huì)用 AI 提升效率的人了。至于培訓(xùn)機(jī)構(gòu)我只說(shuō)一點(diǎn)凡是承諾零基礎(chǔ)兩三個(gè)月轉(zhuǎn)行 AI 拿高薪的有一個(gè)算一個(gè)別信。AI 崗位的核心壁壘是數(shù)學(xué)功底和工程能力這玩意沒(méi)法速成。真想轉(zhuǎn)行先把概率論、線性代數(shù)、Python 編程這些硬功夫補(bǔ)扎實(shí)比花兩萬(wàn)塊錢(qián)報(bào)班有用的多。4.3 訓(xùn)練師新職業(yè)的真相與入門(mén)路徑熱詞里人工智能訓(xùn)練師職業(yè)畫(huà)像和人工智能訓(xùn)練師連續(xù)出現(xiàn)說(shuō)明這個(gè)職業(yè)確實(shí)在走紅。官方定義里人工智能訓(xùn)練師是使用智能訓(xùn)練軟件在人工智能產(chǎn)品使用過(guò)程中進(jìn)行數(shù)據(jù)庫(kù)管理、算法參數(shù)設(shè)置、人機(jī)交互設(shè)計(jì)、性能測(cè)試跟蹤及其他輔助作業(yè)的人員。翻譯成人話就是教模型做人的人。我接觸過(guò)的訓(xùn)練師日常工作集中在幾個(gè)方面標(biāo)注和清洗訓(xùn)練數(shù)據(jù)、設(shè)計(jì)評(píng)估維度、通過(guò)反饋調(diào)整模型行為、分析模型在真實(shí)場(chǎng)景中的失敗案例并改進(jìn)。這個(gè)崗位對(duì)編程要求相對(duì)寬松但對(duì)邏輯思維、細(xì)心程度和領(lǐng)域知識(shí)的要求很高。我認(rèn)識(shí)一位做客服領(lǐng)域 AI 訓(xùn)練師的同行他的核心競(jìng)爭(zhēng)力不是算法而是對(duì)客服業(yè)務(wù)的理解——他知道一個(gè)用戶說(shuō)你們是不是有病的時(shí)候到底是不是真的要投訴。這種業(yè)務(wù)AI的復(fù)合能力恰恰是純算法工程師欠缺的。如果你想切入這個(gè)方向路徑很清晰選擇一個(gè)你懂行的垂直領(lǐng)域用開(kāi)源模型搭一套交互原型然后把它調(diào)教到能用的水平這段經(jīng)歷就是你最好的敲門(mén)磚。5. 避坑清單資料、工具和認(rèn)知上的坑5.1 資料選擇免費(fèi)的反而更靠譜關(guān)于人工智能導(dǎo)論 PDF這類搜索我的建議是優(yōu)先看公開(kāi)渠道的官方資源。很多名校把課程講義、作業(yè)、甚至授課視頻都公開(kāi)了質(zhì)量遠(yuǎn)超大部分二手 PDF。再就是模型的技術(shù)報(bào)告和白皮書(shū)這些第一手材料信息密度極高讀一篇?jiǎng)龠^(guò)刷十篇二手解讀。具體清單我按需求分一下入門(mén)導(dǎo)論類經(jīng)典教材的公開(kāi)樣章加名校公開(kāi)課配合課后習(xí)題。大模型方向幾大開(kāi)源模型的技術(shù)報(bào)告重點(diǎn)看訓(xùn)練數(shù)據(jù)構(gòu)成、對(duì)齊方法、評(píng)測(cè)結(jié)果這幾個(gè)章節(jié)。工程落地類各云廠商的架構(gòu)設(shè)計(jì)文檔里面有很多踩坑記錄和生產(chǎn)環(huán)境的最佳實(shí)踐。提醒一句網(wǎng)盤(pán)里流傳的所謂全套教材往往存在版本老舊、缺頁(yè)、排版混亂等問(wèn)題學(xué)習(xí)體驗(yàn)很差?；c(diǎn)時(shí)間從正規(guī)渠道獲取這點(diǎn)時(shí)間成本省不得。5.2 工具選型別盲目追新先看生態(tài)做 AI 相關(guān)項(xiàng)目工具選型是每天都要做的決策?？蚣軣o(wú)腦 PyTorch 基本沒(méi)錯(cuò)生態(tài)最全、踩坑經(jīng)驗(yàn)最多、上手資料最多。分布式訓(xùn)練這個(gè)方向現(xiàn)在是各種新框架混戰(zhàn)但如果你不是專門(mén)做大模型訓(xùn)練的等生態(tài)穩(wěn)定了再學(xué)也來(lái)得及。部署環(huán)節(jié)我建議關(guān)注 ONNX Runtime 和 vLLM 這類推理優(yōu)化方案實(shí)測(cè)下來(lái)非常穩(wěn)。ONNX 的算子覆蓋廣、跨平臺(tái)方便vLLM 做 LLM 推理服務(wù)的吞吐優(yōu)化效果明顯。我有個(gè)項(xiàng)目剛開(kāi)始直接裸用原始模型推理并發(fā)一高就超時(shí)換 vLLM 之后用同樣的顯存吞吐量直接翻了一倍多。至于 API 調(diào)用核心原則是做好容錯(cuò)和降級(jí)。模型服務(wù)總有抖動(dòng)的時(shí)候超時(shí)重試、熔斷、走備用小模型兜底這些工程習(xí)慣真的能救命。我見(jiàn)過(guò)太多項(xiàng)目死在API 一掛整個(gè)功能全癱的尷尬局面上。5.3 認(rèn)知糾偏別被熱搜帶節(jié)奏最后想說(shuō)一個(gè)容易被忽略的坑——認(rèn)知上的。熱搜里的人工智能正從嘗鮮工具變?nèi)粘褪诌@句話本身沒(méi)錯(cuò)但它容易給人營(yíng)造一種AI 已經(jīng)無(wú)所不能的感覺(jué)于是催生兩種極端心態(tài)一種是盲目樂(lè)觀啥都想用 AI 干翻了車就罵 AI 是人工智障另一種是過(guò)度焦慮覺(jué)得自己馬上要被替代了。這兩種心態(tài)我都不贊成。我做了這么多年 AI 項(xiàng)目最大的體感是AI 是一個(gè)能力放大鏡不是能力替代器。它放大的是你原本就有的產(chǎn)出能力你越會(huì)用、越懂業(yè)務(wù)AI 給你的加成越大。反過(guò)來(lái)你對(duì)業(yè)務(wù)一竅不通AI 也幫不了你多少。用兩個(gè)場(chǎng)景來(lái)說(shuō)一個(gè)有十年經(jīng)驗(yàn)的會(huì)計(jì)用 AI 工具做票據(jù)分類、異常檢測(cè)效率能提升幾倍因?yàn)?AI 只是幫他省掉重復(fù)勞動(dòng)判斷和解釋還得靠他但一個(gè)完全不懂財(cái)務(wù)的人拿著 AI 生成的報(bào)表去做決策那翻車概率反而比不用 AI 更高。工具永遠(yuǎn)是工具會(huì)用工具的人才有話語(yǔ)權(quán)。6. 實(shí)操速成用開(kāi)源模型構(gòu)建你的第一個(gè)垂直領(lǐng)域助手6.1 場(chǎng)景選型和數(shù)據(jù)準(zhǔn)備這里我完整拆一個(gè)可以周末做完的小項(xiàng)目方向選的是課程答疑助手特別適合學(xué)生黨拿來(lái)當(dāng)大作業(yè)也適合職場(chǎng)人練手。第一步是場(chǎng)景選型。千萬(wàn)別一上來(lái)就想做個(gè)通用助手那是燒錢(qián)還不出效果的路。就做垂直的比如某門(mén)課程的作業(yè)答疑助手知識(shí)范圍限定在一門(mén)課里問(wèn)題類型也就那么幾類效果容易做好演示也直觀。第二步是數(shù)據(jù)準(zhǔn)備。這步比你想的更重要模型好不好很大程度上取決于你喂給它的參考材料夠不夠精。去把課程大綱、課件、教材目錄、往年作業(yè)和答案收集起來(lái)按章節(jié)整理成結(jié)構(gòu)化的文檔。質(zhì)量比數(shù)量重要寧可只有五十頁(yè)高質(zhì)量材料也不要丟五百頁(yè)無(wú)關(guān)內(nèi)容進(jìn)去。數(shù)據(jù)處理上記得做清洗把頁(yè)眉頁(yè)腳、無(wú)關(guān)插圖說(shuō)明、重復(fù)段落去掉。我見(jiàn)過(guò)有人把一整本掃描版 PDF 直接丟給模型做知識(shí)庫(kù)結(jié)果模型回答問(wèn)題時(shí)大量引用 OCR 錯(cuò)字那體驗(yàn)簡(jiǎn)直災(zāi)難。6.2 RAG 管線搭建的四個(gè)關(guān)鍵步驟現(xiàn)在主流做法是檢索增強(qiáng)生成也就是 RAG。核心思路是先檢索再生成用戶問(wèn)題進(jìn)來(lái)先從知識(shí)庫(kù)里檢索最相關(guān)的片段再把片段塞給大模型讓它基于這些材料回答。這樣既不用微調(diào)模型又能隨時(shí)更新知識(shí)對(duì)新手最友好。我按步驟拆一下每一步都會(huì)說(shuō)下為什么第一步文檔加載和切分。把準(zhǔn)備好的文檔切成一個(gè)個(gè)小塊通常 300 到 500 字一塊。切分這個(gè)環(huán)節(jié)最講究切太大檢索會(huì)塞進(jìn)很多無(wú)關(guān)內(nèi)容切太小語(yǔ)義不完整模型理解不了。我的習(xí)慣是按標(biāo)題層級(jí)來(lái)切先按章再按節(jié)小于閾值就不動(dòng)大于閾值再往下切。第二步向量化。用嵌入模型把每一塊文本變成一個(gè)向量存進(jìn)向量數(shù)據(jù)庫(kù)。這個(gè)環(huán)節(jié)要注意兩點(diǎn)一是選一個(gè)中文效果好的嵌入模型不要盲目用英文模型處理中文二是文本塊之間要有重疊一般 10% 到 15% 的重疊能有效避免語(yǔ)義斷層。第三步檢索。用戶提問(wèn)時(shí)把問(wèn)題也變成向量然后在庫(kù)里找最相似的文本塊。這里有個(gè)很多人不知道的細(xì)節(jié)檢索相似度閾值別調(diào)太高我一般用 0.3 到 0.5 之間。調(diào)太高高了容易啥也檢索不到模型只能瞎編調(diào)低了又會(huì)混進(jìn)很多不相關(guān)內(nèi)容。第四步組裝提示詞。把檢索到的文本塊和用戶問(wèn)題拼成一段結(jié)構(gòu)化的提示詞明確告訴模型只基于以下材料回答不要編造。這一步是很多人的翻車點(diǎn)——他們直接一句話請(qǐng)回答用戶的問(wèn)題就把材料丟給模型模型根本不知道這些材料是用來(lái)干嘛的。6.3 評(píng)測(cè)反饋閉環(huán)不測(cè)就等于白做好多人做完 RAG 就覺(jué)得完事了直接交作業(yè)。我強(qiáng)烈建議加一個(gè)評(píng)測(cè)環(huán)節(jié)哪怕只是自己手動(dòng)測(cè)二十個(gè)問(wèn)題。具體做法是準(zhǔn)備一份測(cè)試集包含典型的能答的問(wèn)題、邊界模糊的勉強(qiáng)能答的問(wèn)題以及超出知識(shí)范圍的應(yīng)該拒絕回答的問(wèn)題。三類都要測(cè)因?yàn)橐粋€(gè)合格的助手不僅要知道自己知道什么更要知道自己不知道什么。我實(shí)測(cè)下來(lái)最常見(jiàn)的翻車模式有兩種第一種是幻覺(jué)知識(shí)庫(kù)里明明沒(méi)有相關(guān)信息模型卻一本正經(jīng)地編了一個(gè)答案。處理辦法是在提示詞里強(qiáng)化沒(méi)有依據(jù)就直說(shuō)不知道同時(shí)把檢索閾值調(diào)嚴(yán)。第二種是答非所問(wèn)用戶的問(wèn)題其實(shí)包含兩層意圖模型只抓住了一層。處理辦法是優(yōu)化提示詞要求模型先拆解用戶意圖再作答或者把文檔切分粒度調(diào)小讓每塊材料的信息更聚焦。評(píng)測(cè)結(jié)果記錄下來(lái)反饋給提示詞優(yōu)化和檢索參數(shù)調(diào)整再測(cè)一輪兩三輪下來(lái)效果會(huì)有質(zhì)的提升。這個(gè)測(cè)試-發(fā)現(xiàn)-修改-再測(cè)試的閉環(huán)其實(shí)也是工業(yè)界做 AI 產(chǎn)品的基本節(jié)奏。能把這個(gè)流程走完你的項(xiàng)目就不只是一個(gè) demo而是一個(gè)有工程味道的作品了。7. 一點(diǎn)個(gè)人體會(huì)做了這么久 AI 相關(guān)的項(xiàng)目和研究我越來(lái)越覺(jué)得每天刷到的那些論文、白皮書(shū)、熱搜詞本質(zhì)上都是同一條河流的浪花。從嘗鮮工具變?nèi)粘褪诌@句話落在論文里是蒸餾和推理優(yōu)化落在產(chǎn)業(yè)里是白皮書(shū)和合規(guī)框架落在校園里是教材迭代和期末大作業(yè)落在職場(chǎng)上就是訓(xùn)練師和工具鏈。這個(gè)方向還會(huì)繼續(xù)往前跑模型會(huì)更小更快工具會(huì)更順手門(mén)檻會(huì)更低。但有一點(diǎn)我始終相信能不能用好 AI拼的不是你看了多少篇論文、關(guān)注了多少個(gè)熱搜詞而是你有沒(méi)有把一個(gè)東西放到真實(shí)場(chǎng)景里去磨去測(cè)去踩坑然后再把它修好。自己做一遍比看一百遍都管用。希望這篇速遞里提到的方向、方法和踩坑經(jīng)驗(yàn)?zāi)芙o你一點(diǎn)可以下手去試的東西。哪怕只是今天抽出半小時(shí)把一個(gè) AI 工具用到你手頭的一項(xiàng)重復(fù)勞動(dòng)上去就已經(jīng)比大多數(shù)停留在關(guān)注層面的人往前走了半步。