算力、算法、數(shù)據(jù)這三件事幾乎是所有做AI的人每天都要面對(duì)的底層命題?；燠E這個(gè)圈子里越久越能感覺到一個(gè)明顯的變化早年大家拼模型、拼調(diào)參現(xiàn)在拼的是算力規(guī)劃、數(shù)據(jù)質(zhì)量和工程化能力。這個(gè)標(biāo)題把AI拆成三大核心要素其實(shí)恰好對(duì)應(yīng)了行業(yè)里最真實(shí)的演進(jìn)軌跡——從理論探索到工程落地從單一技術(shù)突破到系統(tǒng)性的協(xié)同優(yōu)化。這篇文章我不打算講太抽象的理論而是想以一個(gè)從業(yè)者的視角聊聊對(duì)這三要素的理解、它們?cè)趯?shí)際項(xiàng)目里怎么相互作用以及踩過的一些坑希望能給正在入門或者已經(jīng)在做AI應(yīng)用的朋友一些參考。1. 內(nèi)容整體設(shè)計(jì)與思路拆解1.1 為什么要把AI拆成算力、算法、數(shù)據(jù)三個(gè)維度很多剛接觸人工智能的朋友容易把AI理解成某種“黑盒”仿佛給它喂了數(shù)據(jù)它就能自動(dòng)產(chǎn)出智能。但實(shí)際上任何一個(gè)人工智能系統(tǒng)的運(yùn)轉(zhuǎn)都離不開三個(gè)決定性的基礎(chǔ)設(shè)施算力提供執(zhí)行計(jì)算的能量算法提供解決問題的邏輯框架數(shù)據(jù)則是讓這套邏輯能夠被訓(xùn)練和優(yōu)化起來的原材料。把這三者拆開還有一個(gè)非常實(shí)際的考量當(dāng)我們面對(duì)一個(gè)AI項(xiàng)目時(shí)無論是給老板寫方案、給產(chǎn)品做技術(shù)選型、還是規(guī)劃一筆預(yù)算都需要明確主要矛盾出在哪一環(huán)。是數(shù)據(jù)不夠干凈是模型結(jié)構(gòu)選型不對(duì)還是算力資源壓根撐不起訓(xùn)練需求這三者的優(yōu)先級(jí)在項(xiàng)目不同階段往往不同找到瓶頸所在才能對(duì)癥下藥避免做無用功。我在實(shí)際做項(xiàng)目時(shí)通常會(huì)用這個(gè)思路去拆解需求業(yè)務(wù)問題能否被轉(zhuǎn)化為某種模式識(shí)別或決策優(yōu)化問題算法可行性是否已有足夠且合規(guī)的數(shù)據(jù)來支撐模型訓(xùn)練數(shù)據(jù)充分性現(xiàn)有硬件或云資源能否在可接受的時(shí)間和成本內(nèi)完成訓(xùn)練和推理算力匹配度這個(gè)框架看起來簡單但在很多項(xiàng)目里方案遲遲落不了地的原因往往就是在這三者的匹配上出了問題——比如數(shù)據(jù)規(guī)模不大卻選了一個(gè)需要大算力的重型模型結(jié)果訓(xùn)練成本和收益完全不成比例再比如業(yè)務(wù)場(chǎng)景對(duì)實(shí)時(shí)性要求很高卻只考慮了離線的高精度模型忽略了推理算力的開銷。所以在展開細(xì)講之前先把整個(gè)框架理清楚對(duì)后面理解每一個(gè)要素都非常有幫助。1.2 三要素的關(guān)系本質(zhì)木桶效應(yīng)與螺旋上升在明確了拆解維度之后一個(gè)關(guān)鍵的問題就浮出水面這三者之間到底是怎樣一種關(guān)系如果把一個(gè)人工智能系統(tǒng)看作一家公司算法就是商業(yè)模式和管理制度數(shù)據(jù)是原材料和客戶資源算力則是辦公場(chǎng)地和生產(chǎn)設(shè)備。這三個(gè)條件缺一不可而且它們之間存在明顯的“木桶效應(yīng)”——短板決定系統(tǒng)的整體天花板。這種相互制約的關(guān)系在行業(yè)演進(jìn)中呈現(xiàn)出一種螺旋上升的態(tài)勢(shì)早期算法研究階段受限于算力很多深度模型無法訓(xùn)練研究者只能在算法層面做大量簡化或壓縮比如早期的卷積神經(jīng)網(wǎng)絡(luò)在CPU上也能跑出效果靠的就是精簡結(jié)構(gòu)和巧妙設(shè)計(jì)。算力爆發(fā)階段GPU和分布式訓(xùn)練技術(shù)成熟后算法設(shè)計(jì)的復(fù)雜度約束大幅放寬研究者開始把更多精力放到模型規(guī)模和訓(xùn)練技巧上于是出現(xiàn)了更深更寬的網(wǎng)絡(luò)結(jié)構(gòu)。數(shù)據(jù)瓶頸階段當(dāng)模型規(guī)模做到一定程度開始反過來依賴更多樣、更高質(zhì)量的數(shù)據(jù)來激發(fā)性能數(shù)據(jù)工程的地位隨之凸顯合成數(shù)據(jù)、數(shù)據(jù)增強(qiáng)、主動(dòng)學(xué)習(xí)等方向開始被廣泛關(guān)注。這個(gè)螺旋上升的過程實(shí)際上就是算法、算力、數(shù)據(jù)三者互相牽引、互相釋放潛力的過程。每次其中一個(gè)要素取得突破另外兩個(gè)就會(huì)被倒逼著升級(jí)新的均衡點(diǎn)在更高水平上重新建立。理解了這一層再去研究任何一個(gè)具體技術(shù)都能更清楚地知道它解決的是哪個(gè)環(huán)節(jié)的瓶頸而不是單純追熱點(diǎn)。1.3 對(duì)項(xiàng)目選題的重新定位概念解析之外更重實(shí)踐視角按照這個(gè)標(biāo)題的定位它本身是一個(gè)偏宏觀、偏邏輯梳理的題目。如果只是純粹地解釋“什么是算力”“什么是算法”“什么是數(shù)據(jù)”那這篇內(nèi)容就變成教科書了對(duì)行業(yè)讀者幫助有限。我更想做的是把這三個(gè)詞放到真實(shí)的AI項(xiàng)目語境里拆解它們?cè)诟鱾€(gè)階段如何發(fā)揮作用以及遇到實(shí)際問題時(shí)如何做權(quán)衡。這個(gè)重新定位的思路決定了主體部分會(huì)分成幾個(gè)遞進(jìn)的層次先從算力的演進(jìn)與合理規(guī)劃講起再講算法的演進(jìn)邏輯和選型依據(jù)接著是數(shù)據(jù)工程的核心價(jià)值最后把三者串起來分析在真實(shí)項(xiàng)目中如何做協(xié)同與調(diào)配。每一層既講清楚“是什么”也重點(diǎn)講“怎么用”和“為什么這樣用”這樣才能把標(biāo)題里的“協(xié)同演進(jìn)邏輯”落到實(shí)踐層面。同時(shí)我會(huì)盡量避開那些學(xué)術(shù)味太重的表述方式多用自己的實(shí)操體會(huì)來補(bǔ)充說明。人工智能領(lǐng)域現(xiàn)在最不缺的就是概念名詞缺的是能在項(xiàng)目里派上用場(chǎng)的判斷力和方法論。所以這篇文章從定調(diào)開始就走“有干貨、能參考、可落地”的路線爭取讓讀者在看完后對(duì)自己手頭正在做的項(xiàng)目也能形成一套自己的拆解思路。2. 算力之擎硬件底座不是萬能藥但離開它寸步難行2.1 算力的演進(jìn)路徑與當(dāng)下的分水嶺算力這個(gè)詞這幾年已經(jīng)被說得太多了但很多人對(duì)它的理解其實(shí)還停留在“顯卡越多越快”這個(gè)層面。實(shí)際上算力本身的演進(jìn)有著非常清晰的路徑理解這個(gè)路徑才能明白為什么今天的大模型能跑起來而十年前那些理論早就存在卻無法落地。算力的發(fā)展大體經(jīng)歷了幾代格局的變遷CPU時(shí)代早期人工智能主要靠CPU執(zhí)行計(jì)算由于CPU核心數(shù)有限、并行能力弱只能支撐小規(guī)模的傳統(tǒng)機(jī)器學(xué)習(xí)和淺層神經(jīng)網(wǎng)絡(luò)。那時(shí)候做一個(gè)圖像識(shí)別實(shí)驗(yàn)數(shù)據(jù)集可能只有幾千張圖訓(xùn)練一個(gè)模型要跑幾個(gè)小時(shí)甚至幾天。GPU時(shí)代隨著深度學(xué)習(xí)興起GPU強(qiáng)大的并行計(jì)算能力被發(fā)掘圖形處理器本來是給游戲畫面做渲染的結(jié)果變成了訓(xùn)練神經(jīng)網(wǎng)絡(luò)的核心引擎。這一階段算力需求呈指數(shù)級(jí)上升而GPU的高吞吐能力正好匹配了深度學(xué)習(xí)大量矩陣運(yùn)算的特征。AI專用芯片時(shí)代GPU雖然好用但功耗高、成本貴于是業(yè)界開始研發(fā)專用加速芯片包括各類AI處理器、張量處理單元等。這些芯片針對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算做了專門優(yōu)化在大規(guī)模訓(xùn)練和推理場(chǎng)景中效率更高。如今云廠商提供的AI計(jì)算實(shí)例很多已經(jīng)基于這類專用芯片?，F(xiàn)在正處在一個(gè)非常有意思的分水嶺上一方面通用大模型的訓(xùn)練需要超大規(guī)模的算力集群單靠顯卡堆疊已經(jīng)難以滿足效率和成本的需求另一方面端側(cè)AI和邊緣計(jì)算場(chǎng)景又要求算力極高的能效比不可能背負(fù)一個(gè)大機(jī)箱去跑模型。這種“既要大而強(qiáng)又要小而精”的矛盾正是算力演進(jìn)下一階段的核心驅(qū)動(dòng)力。2.2 算力規(guī)劃的實(shí)戰(zhàn)要點(diǎn)不是越貴越好而是匹配場(chǎng)景在實(shí)際做AI項(xiàng)目時(shí)算力規(guī)劃往往是最容易被帶偏的環(huán)節(jié)。我見過不少團(tuán)隊(duì)預(yù)算充足直接采購了最高配置的服務(wù)器結(jié)果跑一個(gè)中小規(guī)模的數(shù)據(jù)集大量算力閑置成本卻高得離譜。也有團(tuán)隊(duì)為了省錢用很弱的配置去跑一個(gè)需要大模型才能搞定的任務(wù)訓(xùn)練一次要好幾天項(xiàng)目周期完全被拖垮。我的經(jīng)驗(yàn)是算力規(guī)劃首先要想清楚三件事第一訓(xùn)練和推理是兩種完全不同的負(fù)載。訓(xùn)練階段需要高吞吐、大顯存對(duì)算力密度的要求極高推理階段則更關(guān)注延遲和吞吐之間的平衡有可能并不需要訓(xùn)練那么強(qiáng)的機(jī)器反而需要更高效的部署方案。用一個(gè)訓(xùn)練級(jí)別的服務(wù)器去專門做推理常常是浪費(fèi)。第二云服務(wù)器和本地服務(wù)器并不沖突而是互補(bǔ)關(guān)系。在項(xiàng)目初期做實(shí)驗(yàn)驗(yàn)證時(shí)用按需付費(fèi)的云資源更靈活不必買斷硬件進(jìn)入穩(wěn)定生產(chǎn)階段后若請(qǐng)求量穩(wěn)定再考慮專用資源或混合部署成本會(huì)更有優(yōu)勢(shì)。這個(gè)決策要拿實(shí)際的請(qǐng)求量和資源利用率數(shù)據(jù)說話而不是拍腦袋。第三算力的擴(kuò)展性要考慮未來三個(gè)月的節(jié)奏。項(xiàng)目迭代往往比預(yù)期快今天一個(gè)小模型能跑通明天數(shù)據(jù)量翻倍、模型結(jié)構(gòu)調(diào)整算力需求可能直接上一個(gè)臺(tái)階。選擇方案時(shí)預(yù)留一定的擴(kuò)展余地比熬到瓶頸再遷移要省事得多。表格式地對(duì)比一下幾種算力獲取方式的適用場(chǎng)景會(huì)更直觀獲取方式適合階段優(yōu)點(diǎn)需要注意本地服務(wù)器長期穩(wěn)定生產(chǎn)、數(shù)據(jù)敏感場(chǎng)景數(shù)據(jù)不出域、長期成本可控前期投入大、硬件更新快公有云按需實(shí)驗(yàn)驗(yàn)證、彈性需求大的場(chǎng)景靈活、隨用隨付長期并發(fā)高時(shí)成本偏高混合部署數(shù)據(jù)隱私要求高但算力波動(dòng)大的場(chǎng)景兼顧隱私與彈性網(wǎng)絡(luò)和運(yùn)維復(fù)雜度上升這些決策點(diǎn)在項(xiàng)目里都會(huì)直接影響進(jìn)度和預(yù)算多花一些時(shí)間在算力規(guī)劃上后面踩坑的概率會(huì)小很多。2.3 算力消耗的量化感知每個(gè)做AI的人都該會(huì)算賬我觀察到一個(gè)很普遍的現(xiàn)象很多研發(fā)同學(xué)對(duì)模型效果很敏感但對(duì)算力成本完全沒有概念。這導(dǎo)致項(xiàng)目做完發(fā)現(xiàn)錢燒得厲害又不知道錢到底花在哪里。學(xué)會(huì)量化算力消耗是每個(gè)做AI的人的基本功。以訓(xùn)練一個(gè)大模型為例一次完整訓(xùn)練的成本大致可以拆成幾個(gè)量級(jí)來估算模型參數(shù)量乘以訓(xùn)練樣本量再結(jié)合訓(xùn)練輪數(shù)基本能推算出一個(gè)大致的浮點(diǎn)運(yùn)算總量。再把這個(gè)總量除以硬件的有效算力就能得到理論訓(xùn)練時(shí)間。雖然實(shí)際會(huì)有諸多損耗但這個(gè)估算能讓你對(duì)項(xiàng)目的時(shí)間成本有個(gè)方向性的把握。有一個(gè)基礎(chǔ)概念值得提一下算力利用率。很多團(tuán)隊(duì)分配了大量顯卡但實(shí)際利用率只有三成分布式訓(xùn)練時(shí)卡間通信開銷過大同步等待浪費(fèi)時(shí)間這些都會(huì)讓整體算力效率大幅下降。訓(xùn)練框架的調(diào)優(yōu)、數(shù)據(jù)加載管道的優(yōu)化很多時(shí)候比單純加卡更能提升效率。提示做算力規(guī)劃不要只看硬件參數(shù)?！坝行懔Α北取胺逯邓懔Α备匾獙?shí)測(cè)訓(xùn)練吞吐、內(nèi)存帶寬利用率、擴(kuò)展效率這三個(gè)指標(biāo)比紙面算力更能反映真實(shí)性能。這些經(jīng)驗(yàn)是我在實(shí)際項(xiàng)目中反復(fù)調(diào)試得出來的。算力作為“擎”支撐起整個(gè)AI系統(tǒng)但“擎”不是越粗越好而是在最需要力量的位置給足支撐用起來才真正高效。3. 算法之樞模型和策略如何協(xié)同進(jìn)化3.1 算法演進(jìn)的三重動(dòng)力數(shù)據(jù)規(guī)模倒逼、算力釋放、理論突破算法作為人工智能的“中樞”它的演進(jìn)邏輯值得仔細(xì)聊一聊。很多人以為算法的進(jìn)步純粹是研究者靈光一現(xiàn)的結(jié)果但實(shí)際上每一次重大突破背后幾乎都能看到數(shù)據(jù)和算力這兩股力量的影子。早期的機(jī)器學(xué)習(xí)算法比如支持向量機(jī)、隨機(jī)森林設(shè)計(jì)的前提是特征工程也就是說需要人先把數(shù)據(jù)加工成模型能理解的形式。這個(gè)階段的數(shù)據(jù)量不大算法復(fù)雜度也受限。后來深度學(xué)習(xí)之所以能崛起根本原因之一是數(shù)據(jù)規(guī)模和算力規(guī)模同時(shí)跨過了一個(gè)臨界點(diǎn)——當(dāng)數(shù)據(jù)足夠多、算力足夠強(qiáng)大規(guī)模的神經(jīng)網(wǎng)絡(luò)就能自動(dòng)從原始數(shù)據(jù)中學(xué)到特征不再需要人來手工設(shè)計(jì)。最近幾年大模型的爆發(fā)更是把這種“數(shù)據(jù)-算力-算法”的三重聯(lián)動(dòng)演繹到了極致。模型參數(shù)量從億級(jí)跳到千億級(jí)訓(xùn)練數(shù)據(jù)從幾十GB跳到幾TB甚至更多而這些大模型在多種任務(wù)上展現(xiàn)出的能力涌現(xiàn)讓研究者開始重新思考算法的設(shè)計(jì)范式。預(yù)訓(xùn)練加微調(diào)這套組合拳本質(zhì)上就是讓算法在巨量數(shù)據(jù)上先建立通用能力再在具體任務(wù)上用少量數(shù)據(jù)做調(diào)整這種做法能夠高效利用數(shù)據(jù)與算力已經(jīng)成為當(dāng)前的主流范式。這三重動(dòng)力的協(xié)同演進(jìn)意味著算法設(shè)計(jì)不再是純粹在紙面上推導(dǎo)公式而是需要結(jié)合數(shù)據(jù)資源和算力條件來做系統(tǒng)設(shè)計(jì)。一個(gè)結(jié)構(gòu)精巧但需要天文數(shù)字算力的算法在工業(yè)界可能根本不會(huì)有人使用相反一個(gè)略顯笨拙但能穩(wěn)定跑起來的方案反而能創(chuàng)造實(shí)際價(jià)值。3.2 大模型時(shí)代算法選型的底層邏輯面對(duì)五花八門的模型架構(gòu)做算法選型是很多工程師頭疼的事。其實(shí)選型并不復(fù)雜關(guān)鍵是要抓住幾個(gè)核心判斷點(diǎn)。首先是任務(wù)類型的判斷。做自然語言理解、生成、多模態(tài)理解還是推薦系統(tǒng)不同類型的任務(wù)往往有相對(duì)成熟的模型族可參考比如文本生成有自回歸模型族文本理解有編碼器模型族多模態(tài)任務(wù)則要看具體是圖文匹配還是視頻理解。選對(duì)家族事半功倍。其次是資源約束的評(píng)估。你的算力是多大級(jí)別你的訓(xùn)練數(shù)據(jù)大概有多少如果資源有限就不要一上來就考慮千億參數(shù)的大模型百億、幾十億參數(shù)量的模型配合好的訓(xùn)練策略在多數(shù)任務(wù)上已經(jīng)很能打了。這里我想強(qiáng)調(diào)一個(gè)容易被忽略的點(diǎn)很多場(chǎng)景下中小模型的微調(diào)效果并不輸給大模型的提示工程而且推理成本和維護(hù)成本低得多。再者是微調(diào)與提示工程的選擇。基礎(chǔ)大模型能力已經(jīng)很全面很多任務(wù)不需要重新訓(xùn)練用提示工程甚至上下文學(xué)習(xí)就能解決。如果任務(wù)比較特殊再考慮需要用數(shù)據(jù)微調(diào)。選擇標(biāo)準(zhǔn)在于任務(wù)是否需要模型具備超出通用能力的專業(yè)技能或知識(shí)。這個(gè)判斷做對(duì)了能省下大量的算力和數(shù)據(jù)成本。下面用表格梳理一下不同資源條件下算法選型的參考策略場(chǎng)景可參考策略典型成本適合情況算力充足、數(shù)據(jù)量大大模型全量/高效微調(diào)高訓(xùn)練成本垂直領(lǐng)域深度定制算力有限、任務(wù)較通用選用中小模型提示工程低訓(xùn)練成本快速驗(yàn)證、輕量應(yīng)用數(shù)據(jù)敏感、需本地部署中小模型本地微調(diào)與部署中訓(xùn)練成本數(shù)據(jù)不出域、離線推理算法選型沒有絕對(duì)的對(duì)錯(cuò)只有適配度的差異。圍繞業(yè)務(wù)和資源做約束下的最優(yōu)選擇才是成熟的做法。3.3 從“調(diào)參”到“調(diào)策略”算法工程化的思維轉(zhuǎn)變前一節(jié)聊了選型這里再往后走一步——拿到一個(gè)算法之后怎么把它真正變成一套可用的系統(tǒng)這中間有一個(gè)非常重要的思維轉(zhuǎn)變。早年的機(jī)器學(xué)習(xí)項(xiàng)目里工程師花大量時(shí)間在做特征工程和超參數(shù)調(diào)優(yōu)這些工作更像是“調(diào)參”。但現(xiàn)在的AI工程化項(xiàng)目里重心已經(jīng)轉(zhuǎn)移到了“調(diào)策略”怎么設(shè)計(jì)訓(xùn)練數(shù)據(jù)混合比例怎么安排多任務(wù)學(xué)習(xí)的權(quán)重怎么制定對(duì)齊策略讓模型輸出符合預(yù)期怎么設(shè)計(jì)部署時(shí)的推理鏈路這些層面的策略調(diào)整對(duì)最終效果的影響往往遠(yuǎn)大于單個(gè)超參數(shù)的微調(diào)。舉一個(gè)典型的例子在做某個(gè)文本生成類任務(wù)時(shí)僅僅靠加大訓(xùn)練數(shù)據(jù)量模型效果提升并不明顯。后來調(diào)整了訓(xùn)練策略改變不同任務(wù)的訓(xùn)練數(shù)據(jù)配比引入分階段的訓(xùn)練過程比如先在大規(guī)模通用數(shù)據(jù)上繼續(xù)預(yù)訓(xùn)練再用特定領(lǐng)域數(shù)據(jù)精調(diào)最后還加了一步輕量級(jí)的對(duì)齊微調(diào)。這樣一個(gè)“策略組合拳”效果提升非常顯著。這種思維轉(zhuǎn)變也意味著算法工程師的角色正在發(fā)生改變——不只是寫模型代碼的人更像一個(gè)AI系統(tǒng)的策略設(shè)計(jì)師。需要同時(shí)理解數(shù)據(jù)的分布、模型的特性、算力的邊界和業(yè)務(wù)的需求在這些要素之間尋找最優(yōu)的平衡點(diǎn)。這就回答了“算法為樞”的深層含義它確實(shí)是連接算力和數(shù)據(jù)的樞紐是讓資源變成能力的轉(zhuǎn)換器。4. 數(shù)據(jù)之薪燃料質(zhì)量決定系統(tǒng)上限4.1 數(shù)據(jù)規(guī)模與質(zhì)量之間的再平衡數(shù)據(jù)是“薪”是支撐模型燃燒的燃料。這個(gè)比喻非常貼切因?yàn)槿剂系亩嗌俸推焚|(zhì)直接影響引擎能輸出多大動(dòng)力。但是在實(shí)際工作中關(guān)于數(shù)據(jù)和模型效果之間的關(guān)系存在不少片面的認(rèn)知。一個(gè)最常見的誤區(qū)是“數(shù)據(jù)越多模型越強(qiáng)”。這個(gè)說法在早期深度學(xué)習(xí)時(shí)代有一定道理因?yàn)槟菚r(shí)模型容量有限數(shù)據(jù)量是主要瓶頸。但到了大模型時(shí)代情況已經(jīng)發(fā)生了變化當(dāng)模型吃到一定程度的數(shù)據(jù)之后繼續(xù)增加低質(zhì)量的數(shù)據(jù)不僅不會(huì)幫助模型變強(qiáng)反而可能引入噪聲和偏見讓模型的學(xué)習(xí)信號(hào)被污染。我自己在項(xiàng)目中就遇到過這樣的情況某一次給模型做增量訓(xùn)練加入大量從網(wǎng)絡(luò)上爬取的無篩選數(shù)據(jù)結(jié)果模型在某些指標(biāo)上反而下降了。后來對(duì)數(shù)據(jù)進(jìn)行清洗、去重只保留高質(zhì)量相關(guān)語料同樣的訓(xùn)練次數(shù)下效果明顯回升。這個(gè)經(jīng)歷讓我對(duì)“數(shù)據(jù)質(zhì)量優(yōu)先于數(shù)量”有了非常直觀的體會(huì)。在實(shí)際項(xiàng)目中數(shù)據(jù)質(zhì)量管控有幾個(gè)關(guān)鍵動(dòng)作值得落實(shí)建立數(shù)據(jù)清洗的標(biāo)準(zhǔn)化流程包括去重、格式統(tǒng)一、噪聲過濾、語料安全檢測(cè)等對(duì)數(shù)據(jù)分布做周期性統(tǒng)計(jì)分析監(jiān)控不同類別的樣本比例是否失衡關(guān)注數(shù)據(jù)的時(shí)效性很多業(yè)務(wù)場(chǎng)景中新數(shù)據(jù)比舊數(shù)據(jù)更有價(jià)值對(duì)低質(zhì)量或錯(cuò)誤標(biāo)注的數(shù)據(jù)建立反饋回流機(jī)制實(shí)時(shí)修正數(shù)據(jù)質(zhì)量不是一個(gè)一次性的動(dòng)作而是一個(gè)持續(xù)迭代的過程。模型上線后需要新的數(shù)據(jù)持續(xù)補(bǔ)充更新這個(gè)“數(shù)據(jù)飛輪”能否健康地轉(zhuǎn)起來直接決定模型能否長期保持競(jìng)爭力。4.2 合成數(shù)據(jù)與數(shù)據(jù)增強(qiáng)當(dāng)天然燃料不夠用時(shí)高質(zhì)量數(shù)據(jù)的獲取成本越來越高已經(jīng)是整個(gè)行業(yè)的共識(shí)。尤其在一些特定領(lǐng)域比如醫(yī)療影像、工業(yè)缺陷檢測(cè)、罕見場(chǎng)景真實(shí)數(shù)據(jù)的采集和標(biāo)注都極其困難數(shù)據(jù)總量太小模型很難學(xué)到足夠泛化的特征。面對(duì)這個(gè)問題行業(yè)里正在形成一套組合解法核心是利用合成數(shù)據(jù)和數(shù)據(jù)增強(qiáng)來擴(kuò)充訓(xùn)練空間。數(shù)據(jù)增強(qiáng)是通過對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行變換和擾動(dòng)來增加樣本多樣性比如對(duì)圖像做隨機(jī)裁剪、旋轉(zhuǎn)、顏色抖動(dòng)對(duì)文本做同義詞替換、回譯等。數(shù)據(jù)增強(qiáng)的操作看似簡單但在實(shí)際項(xiàng)目中確實(shí)能明顯提升模型的泛化能力。值得注意的是增強(qiáng)策略的選擇需要結(jié)合具體領(lǐng)域的特點(diǎn)不是所有變換都適合所有任務(wù)比如某些對(duì)方向敏感的檢測(cè)任務(wù)就不能隨意做大角度的旋轉(zhuǎn)。合成數(shù)據(jù)則是基于模擬器或生成模型來制造新的訓(xùn)練樣本。比如在自動(dòng)駕駛領(lǐng)域通過仿真環(huán)境生成各種天氣、光照、路況下的圖像可以大幅度補(bǔ)充真實(shí)數(shù)據(jù)的不足。在最近的大模型熱潮中合成數(shù)據(jù)還被用來訓(xùn)練模型遵循指令的能力通過對(duì)已有文本進(jìn)行改寫和擴(kuò)展來制造指令數(shù)據(jù)效果相當(dāng)不錯(cuò)。這里需要特別提醒的是一個(gè)陷阱合成數(shù)據(jù)不能無限替代真實(shí)數(shù)據(jù)。因?yàn)楹铣蓴?shù)據(jù)本質(zhì)上是某一分布下的產(chǎn)物過度依賴合成數(shù)據(jù)會(huì)讓模型在真實(shí)場(chǎng)景下遇到分布外樣本時(shí)表現(xiàn)脆弱。穩(wěn)健的做法是將真實(shí)數(shù)據(jù)和合成數(shù)據(jù)按一定比例混合訓(xùn)練既保留真實(shí)數(shù)據(jù)的客觀性又利用合成數(shù)據(jù)擴(kuò)充覆蓋度。4.3 數(shù)據(jù)治理與合規(guī)基礎(chǔ)建設(shè)決定上層建筑最后聊聊數(shù)據(jù)這塊最容易被人忽略、卻最容易出問題的部分——數(shù)據(jù)治理。前幾年行業(yè)對(duì)數(shù)據(jù)的關(guān)注更多在“量”和“質(zhì)”上但這幾年大家越來越清楚地意識(shí)到數(shù)據(jù)和合規(guī)問題一旦踩線對(duì)整個(gè)項(xiàng)目甚至公司都可能是致命的打擊。數(shù)據(jù)治理要覆蓋的環(huán)節(jié)包括數(shù)據(jù)從哪里來、是否可以合法使用、數(shù)據(jù)存儲(chǔ)是否安全、訪問是否有全鏈路審計(jì)、數(shù)據(jù)生命周期如何管理。這些工作聽起來不那么“技術(shù)”但恰恰是決定AI項(xiàng)目能否長期穩(wěn)定運(yùn)營的關(guān)鍵。從我個(gè)人的經(jīng)驗(yàn)來說一個(gè)做AI項(xiàng)目的團(tuán)隊(duì)如果早期沒有建立數(shù)據(jù)來源記錄和權(quán)限管理制度到了后期想做合規(guī)審查時(shí)會(huì)非常痛苦——因?yàn)閿?shù)據(jù)血緣已經(jīng)追溯不清哪些數(shù)據(jù)能用、哪些不能用完全沒有邊界整個(gè)項(xiàng)目的風(fēng)險(xiǎn)等級(jí)就會(huì)變得不可控。注意做數(shù)據(jù)合規(guī)不要等到產(chǎn)品上線前才突擊檢查。從項(xiàng)目第一天起就要明確數(shù)據(jù)的來源合規(guī)性、存儲(chǔ)安全等級(jí)和管理責(zé)任人。合規(guī)是AI產(chǎn)品的地基地基不穩(wěn)上層再精致的模型也是危樓。數(shù)據(jù)作為“薪”它的質(zhì)量、規(guī)模、合規(guī)性決定了模型能走多遠(yuǎn)、系統(tǒng)能否持續(xù)運(yùn)作。忽視數(shù)據(jù)治理的項(xiàng)目短期看不出問題長期一定會(huì)在某個(gè)節(jié)點(diǎn)付出代價(jià)。5. 三要素的協(xié)同演進(jìn)從割裂到融合的系統(tǒng)思維5.1 算力、算法、數(shù)據(jù)的反哺循環(huán)單獨(dú)看每一個(gè)要素的特征和演進(jìn)邏輯之后最關(guān)鍵的問題就來了這三者到底是怎么協(xié)同起來的在真實(shí)的產(chǎn)業(yè)演進(jìn)中它們并不是獨(dú)立發(fā)展、偶爾交匯的關(guān)系而是形成了一個(gè)持續(xù)反哺的循環(huán)系統(tǒng)。這個(gè)循環(huán)的典型路徑大致是這樣的數(shù)據(jù)規(guī)模的增長讓研究人員意識(shí)到現(xiàn)有算法結(jié)構(gòu)無法充分利用數(shù)據(jù)于是推動(dòng)算法向更大規(guī)模、更強(qiáng)表達(dá)能力的架構(gòu)演進(jìn)新算法的出現(xiàn)對(duì)算力提出了新的需求訓(xùn)練更深的模型、更大的批次都需要更強(qiáng)的硬件支撐于是催生新的算力方案算力能力的釋放又讓更大規(guī)模的數(shù)據(jù)處理和更復(fù)雜的算法訓(xùn)練變得可行從而進(jìn)一步擴(kuò)展了數(shù)據(jù)可以發(fā)揮價(jià)值的邊界。舉個(gè)看得見的例子早期圖像識(shí)別模型參數(shù)量小只需少量標(biāo)注數(shù)據(jù)即可訓(xùn)練。后來研究者構(gòu)建了更大的數(shù)據(jù)集發(fā)現(xiàn)模型規(guī)模增大之后性能持續(xù)提升但訓(xùn)練時(shí)間暴增又推動(dòng)了分布式訓(xùn)練框架和GPU集群的普及。算力集群的成熟又反過來支撐更大規(guī)模的數(shù)據(jù)集和多模態(tài)模型的誕生。這個(gè)循環(huán)每一輪都在更高的量級(jí)上重新開始。對(duì)于在實(shí)際項(xiàng)目中做技術(shù)規(guī)劃的人來說理解這個(gè)反哺循環(huán)有一個(gè)非常實(shí)際的價(jià)值當(dāng)你在某個(gè)環(huán)節(jié)做投資決策時(shí)要能預(yù)判這個(gè)選擇會(huì)對(duì)其他環(huán)節(jié)產(chǎn)生什么樣的牽引作用。今天選定的數(shù)據(jù)規(guī)模會(huì)影響明天的模型選型和算力預(yù)算今天買下的算力也設(shè)定了后天能夠嘗試的算法復(fù)雜度上限。這三者之間的路徑依賴遠(yuǎn)比很多人意識(shí)到的要強(qiáng)。5.2 協(xié)同中的瓶頸轉(zhuǎn)移與均衡既然三要素之間存在反哺循環(huán)那么它們之間的均衡點(diǎn)也必然是一個(gè)動(dòng)態(tài)變化的過程。這個(gè)過程里有一個(gè)非常關(guān)鍵的現(xiàn)象叫“瓶頸轉(zhuǎn)移”——系統(tǒng)的短板會(huì)在不同要素之間輪動(dòng)。早期的AI項(xiàng)目瓶頸更多在算法上因?yàn)榧夹g(shù)上還沒找到能夠有效利用大數(shù)據(jù)的模型結(jié)構(gòu)。后來深度學(xué)習(xí)框架成熟了很多做傳統(tǒng)機(jī)器學(xué)習(xí)項(xiàng)目的人突然發(fā)現(xiàn)算力不夠用了因?yàn)橥瑯拥乃惴ㄔ谛聰?shù)據(jù)規(guī)模下訓(xùn)練不起來瓶頸轉(zhuǎn)移到算力。再后來算力上來了大規(guī)模模型也能訓(xùn)練了很多人又發(fā)現(xiàn)數(shù)據(jù)端成為瓶頸——高質(zhì)量的數(shù)據(jù)不夠或者數(shù)據(jù)的分布無法支撐模型在特定場(chǎng)景中達(dá)到理想效果。我用一張表格來呈現(xiàn)不同階段瓶頸的典型特征演進(jìn)階段主要瓶頸典型表現(xiàn)突破方向早期探索期算法能力不足模型效果上限低改進(jìn)模型結(jié)構(gòu)與訓(xùn)練策略規(guī)模擴(kuò)張期算力成本過高訓(xùn)練時(shí)間長、成本高硬件升級(jí)與分布式優(yōu)化精細(xì)調(diào)優(yōu)期數(shù)據(jù)質(zhì)量與合規(guī)效果提升緩慢、風(fēng)險(xiǎn)暴露數(shù)據(jù)治理與合成數(shù)據(jù)理解了瓶頸會(huì)轉(zhuǎn)移對(duì)管理項(xiàng)目和設(shè)定預(yù)期非常有幫助。當(dāng)你在一個(gè)方向上投入大量精力但收效甚微時(shí)不妨審視一下是不是瓶頸已經(jīng)不在這個(gè)環(huán)節(jié)了我曾經(jīng)在某個(gè)項(xiàng)目里連續(xù)優(yōu)化模型結(jié)構(gòu)效果始終上不去后來換了個(gè)視角去檢查數(shù)據(jù)發(fā)現(xiàn)是訓(xùn)練數(shù)據(jù)里存在大量相互矛盾的標(biāo)注把數(shù)據(jù)清了之后模型效果直接上了好幾個(gè)點(diǎn)。這種經(jīng)驗(yàn)就是典型的“瓶頸轉(zhuǎn)移”案例。5.3 實(shí)操建議如何在真實(shí)項(xiàng)目中落地協(xié)同演進(jìn)邏輯講完這么多底層邏輯最后落地到實(shí)際操作層面。對(duì)于一個(gè)正在做AI項(xiàng)目的團(tuán)隊(duì)算力、算法、數(shù)據(jù)三者的協(xié)同可以轉(zhuǎn)化成幾條具體的行動(dòng)建議。第一建立量化指標(biāo)體系。不要憑感覺判斷瓶頸在哪要給算力利用率、數(shù)據(jù)質(zhì)量指標(biāo)、模型迭代效率建立可量化的評(píng)估指標(biāo)通過數(shù)據(jù)說話來定位問題。第二優(yōu)化迭代閉環(huán)。從數(shù)據(jù)采集、清洗、訓(xùn)練、評(píng)測(cè)到上線每個(gè)環(huán)節(jié)都要有清晰的反饋回路。模型效果不佳時(shí)能快速溯源到是哪一環(huán)出了問題而不是籠統(tǒng)地“重新調(diào)參”了事。第三按周期重新審視三者的匹配度。每隔一段時(shí)間主動(dòng)檢查一下當(dāng)前的數(shù)據(jù)規(guī)模是否適配現(xiàn)有模型模型結(jié)構(gòu)是否充分利用了現(xiàn)有算力算力配置是否還能繼續(xù)支撐業(yè)務(wù)增長這種周期性的“體檢”能夠在問題積累成災(zāi)難前及時(shí)校正方向。第四在項(xiàng)目初期就預(yù)留協(xié)同余量。數(shù)據(jù)采集時(shí)不要只采當(dāng)前任務(wù)需要的要考慮到后續(xù)模型升級(jí)可能需要更多的數(shù)據(jù)維度算力選型時(shí)不要只滿足當(dāng)前訓(xùn)練需求要給推理、測(cè)試留出空間算法設(shè)計(jì)時(shí)不要只盯著當(dāng)前SOTA要考慮部署環(huán)節(jié)的可行性和推理效率。這些“余量思維”是項(xiàng)目從demo走向產(chǎn)品過程中極其重要的保障。提示三要素協(xié)同是一件動(dòng)態(tài)平衡的事。不要追求每個(gè)環(huán)節(jié)都做到行業(yè)最頂尖而是要追求“當(dāng)下場(chǎng)景下三者的最佳匹配”。低配高用是浪費(fèi)高配低用同樣是浪費(fèi)。6. 常見問題與避坑思路6.1 問題一模型效果不好到底該先調(diào)什么這個(gè)問題幾乎每個(gè)做AI項(xiàng)目的人都問過。面對(duì)模型效果不佳不少人的第一反應(yīng)是調(diào)模型結(jié)構(gòu)、調(diào)學(xué)習(xí)率結(jié)果折騰一周效果紋絲不動(dòng)。我的經(jīng)驗(yàn)是排查問題要遵循一個(gè)固定的順序先評(píng)估數(shù)據(jù)質(zhì)量。是否存在大量錯(cuò)誤標(biāo)注類別分布是否嚴(yán)重不均衡數(shù)據(jù)是否存在重復(fù)或噪聲這些問題成本最低影響卻可能最大。再評(píng)估訓(xùn)練流程合理性。損失函數(shù)是否正確收斂學(xué)習(xí)率設(shè)置是否合理數(shù)據(jù)預(yù)處理是否一致訓(xùn)練過程中的日志是否正常最后再動(dòng)模型結(jié)構(gòu)。確認(rèn)數(shù)據(jù)和訓(xùn)練都沒有明顯問題再考慮模型容量是否不足、設(shè)計(jì)是否合理。這個(gè)排查順序看起來很簡單卻能避免大量無效勞動(dòng)。很多時(shí)候你花兩周調(diào)模型效果提升還不如花兩天清洗數(shù)據(jù)來得明顯。6.2 問題二算力成本居高不下如何降本增效算力成本是AI項(xiàng)目最大的開銷之一尤其是訓(xùn)練大模型時(shí)成本的控制直接決定了項(xiàng)目能否持續(xù)。降低算力成本通常可以從幾個(gè)方向入手。訓(xùn)練側(cè)的優(yōu)化采用高效微調(diào)方式只更新少量參數(shù)大幅降低訓(xùn)練所需的顯存和計(jì)算量使用混合精度訓(xùn)練能在不明顯損失精度的情況下顯著提升訓(xùn)練速度。推理側(cè)的優(yōu)化對(duì)模型做量化、剪枝、蒸餾等壓縮操作縮小模型體積降低推理延遲采用批處理策略提高GPU推理利用效率。資源側(cè)的優(yōu)化充分利用云資源的競(jìng)價(jià)實(shí)例或搶占式資源處理可中斷任務(wù)在非高峰時(shí)段安排大規(guī)模訓(xùn)練任務(wù)避開資源競(jìng)爭。降本的核心思路是用更聰明的姿態(tài)使用算力而不是一味去砍算力配置。算力砍得太狠導(dǎo)致訓(xùn)練時(shí)間翻倍整體成本可能反而更高需要綜合評(píng)估。6.3 問題三數(shù)據(jù)獲取困難項(xiàng)目還能不能推進(jìn)數(shù)據(jù)獲取困難是很多創(chuàng)業(yè)團(tuán)隊(duì)和中小型項(xiàng)目面臨的頭號(hào)難題。對(duì)應(yīng)策略其實(shí)在前文已經(jīng)分散提到這里再匯總一下核心思路。用公開的數(shù)據(jù)集做冷啟動(dòng)驗(yàn)證算法的基本可行性再逐步積累領(lǐng)域數(shù)據(jù)。使用數(shù)據(jù)增強(qiáng)和合成數(shù)據(jù)擴(kuò)大訓(xùn)練集的覆蓋度緩解真實(shí)數(shù)據(jù)不足的窘境。嘗試少量標(biāo)注加半監(jiān)督或自監(jiān)督的方法盡可能利用無標(biāo)注數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。設(shè)計(jì)合理的數(shù)據(jù)采集和標(biāo)注工具降低標(biāo)注成本提升標(biāo)注效率讓人效產(chǎn)出更高。數(shù)據(jù)困難本質(zhì)上是一個(gè)資源問題但要處理好它需要的是方法論。把“數(shù)據(jù)獲取”當(dāng)作一個(gè)需要持續(xù)設(shè)計(jì)的系統(tǒng)來運(yùn)作而不是一個(gè)一次性的采集動(dòng)作這是當(dāng)下AI項(xiàng)目中非常關(guān)鍵的能力。表格速查常見問題與應(yīng)對(duì)策略常見問題優(yōu)先排查方向主要應(yīng)對(duì)手段模型效果不佳數(shù)據(jù)質(zhì)量、訓(xùn)練流程、模型結(jié)構(gòu)數(shù)據(jù)清洗、損失審視、結(jié)構(gòu)調(diào)整算力成本過高訓(xùn)練策略、推理優(yōu)化、資源調(diào)度高效微調(diào)、模型壓縮、競(jìng)價(jià)實(shí)例數(shù)據(jù)獲取困難公開數(shù)據(jù)集、數(shù)據(jù)合成、標(biāo)注效率冷啟動(dòng)、增強(qiáng)策略、標(biāo)注工具這三類問題幾乎涵蓋了AI項(xiàng)目落地過程中最常見的攔路虎。每一類問題都不存在一勞永逸的解決方案但建立了正確的排查邏輯和應(yīng)對(duì)框架之后至少能在問題出現(xiàn)時(shí)保持冷靜、有序推進(jìn)而不至于手足無措。最后再分享一點(diǎn)個(gè)人體會(huì)做了這么多年AI項(xiàng)目一個(gè)越來越強(qiáng)烈的感受是這一行真正考驗(yàn)人的往往不是某一個(gè)技術(shù)點(diǎn)的深度而是對(duì)系統(tǒng)整體的把握能力。算力、算法、數(shù)據(jù)這三要素單獨(dú)看每一個(gè)都有大量的課程和論文在研究但在實(shí)際項(xiàng)目中真正決定成敗的是你能否讓它們?cè)谝粋€(gè)具體業(yè)務(wù)場(chǎng)景里高效地協(xié)同起來。我見過太多團(tuán)隊(duì)把大量精力花在追逐最新模型架構(gòu)上卻對(duì)自己手頭的數(shù)據(jù)家底盤算不清也見過不少團(tuán)隊(duì)算力配置豪華得驚人但算法策略和數(shù)據(jù)流程粗糙得讓人心疼——這種錯(cuò)配最終都反映在項(xiàng)目效果和成本上成為那些讓人印象深刻的失敗案例。所以如果你正在規(guī)劃一個(gè)AI項(xiàng)目我的建議是開盤之前先花幾天時(shí)間把三件事理順——數(shù)據(jù)的家底和合規(guī)性、算法的可行性和資源需求、算力的成本和擴(kuò)展性。這三者之間找到那個(gè)相對(duì)最優(yōu)的匹配點(diǎn)項(xiàng)目就已經(jīng)成功了三分之一。剩下的三分之二是在持續(xù)迭代中不斷優(yōu)化這三者的配合精度。這個(gè)過程沒有終點(diǎn)但每一步走扎實(shí)了系統(tǒng)的能力就會(huì)穩(wěn)定地往上走一個(gè)臺(tái)階你也會(huì)在這個(gè)過程中形成屬于自己的系統(tǒng)判斷力。