國慶假期回來先補上周報。這八天里AI圈其實沒閑下來我從開源社區(qū)、模型倉庫、幾個行業(yè)群里觀察到的信息整理了一下發(fā)現(xiàn)三條主線最值得聊端側(cè)小模型集中突破、合成數(shù)據(jù)從輔助變成主料、多模態(tài)模型在工業(yè)質(zhì)檢場景里真正開始跑產(chǎn)線。這份周報不會有太多PR式的重大發(fā)布主要把我自己覺得有技術(shù)含量、有實操參考價值的變化寫出來適合正在做模型落地的工程師、AI產(chǎn)品經(jīng)理以及想在端側(cè)跑模型但還沒下決心的獨立開發(fā)者。1. 本周AI行業(yè)三個值得深挖的方向節(jié)前最后一個工作日好幾個模型托管倉庫就開始陸續(xù)更新新權(quán)重假期里更是密集發(fā)布。最讓我意外的是節(jié)奏最猛的居然不是那些主打大參數(shù)量的模型而是一批7B到14B的輕量級模型幾乎每一家都把能跑在消費級顯卡上當(dāng)成了核心賣點。1.1 端側(cè)小模型扎堆發(fā)布從夠用到好用某實驗室在10月1日放出的輕舟-7B開源模型權(quán)重算是這周我見到的設(shè)計最完整的端側(cè)方案。它做了三個跟端側(cè)強相關(guān)的結(jié)構(gòu)選擇分組查詢注意力GQA、旋轉(zhuǎn)位置編碼RoPE、外加一個可選的32K長上下文窗口。GQA的核心作用是縮小KV Cache的占用讓同樣顯存下能塞進更長的對話歷史RoPE讓模型在對長文本建模時不至于因為位置信息崩掉。說白了這些都是省內(nèi)存、保精度的常規(guī)動作但把三個一起做齊在小模型里并不多見。另一個讓人印象深刻的點是它原生帶了工具調(diào)用能力把function calling直接做進了預(yù)訓(xùn)練階段。端側(cè)模型的工具調(diào)用在過去是個軟肋因為云端大模型可以靠系統(tǒng)提示詞兜底端側(cè)內(nèi)存小、上下文短稍微把指令寫復(fù)雜一點就裝不下了。像輕舟-7B這種把函數(shù)選擇、參數(shù)提取等能力揉進模型權(quán)重里的做法至少能讓開發(fā)者把提示詞縮短一半以上這個體驗差距在實際項目里非常明顯。某公司發(fā)布的火花-14B走的是另一條路重點壓推理成本。它用結(jié)構(gòu)化稀疏加4bit量化把單張消費級顯卡上的推理延遲做到了50ms以內(nèi)。14B的體量放在端側(cè)還是偏重但它的意義在于證明了量化技術(shù)不一定要犧牲太多精度只要校準(zhǔn)集選得好實際任務(wù)上的掉點可以控制在1到2個點。這兩個模型讓我看到的產(chǎn)品思路很一致端側(cè)模型不拼全能拼的是在受限算力下把特定場景做到可用。1.2 合成數(shù)據(jù)從添頭變成主原料這周某團隊公開了一條合成數(shù)據(jù)流水線標(biāo)題寫得很直接大意是我們70%的訓(xùn)練數(shù)據(jù)來自合成。我仔細看了他們的方法不是簡單渲染一批圖片再打標(biāo)而是走了完整的生成-過濾-混合三步先用擴散模型生成覆蓋各種極端光照、遮擋、視角變化的樣本再用一個預(yù)訓(xùn)練的視覺模型對生成結(jié)果打分低于閾值直接丟棄最后按真實數(shù)據(jù):合成數(shù)據(jù)3:7的比例混合進訓(xùn)練集。為什么大家開始認(rèn)真用合成數(shù)據(jù)核心原因是真實樣本根本撿不完。以工業(yè)缺陷數(shù)據(jù)為例一條產(chǎn)線一個月可能只能攢下幾百個真實缺陷樣本而一個合格的檢測模型通常需要幾千到上萬樣本。單靠人工標(biāo)注成本和時間都撐不住。合成數(shù)據(jù)至少能把低頻缺陷的樣本數(shù)量補齊讓模型不至于對某種缺陷完全失明。但合成數(shù)據(jù)不是萬能的。我之前就遇到過反面案例合成樣本紋理太干凈導(dǎo)致模型在真實產(chǎn)線上出現(xiàn)嚴(yán)重過擬合看到真實噪聲就誤報。所以這周看到的3:7比例不是隨便拍的真實數(shù)據(jù)占比太低模型學(xué)到的全是虛擬紋理真實數(shù)據(jù)占比太高又解決不了樣本不足的問題。這個比例實際要去試但至少3成真實數(shù)據(jù)是個比較穩(wěn)的起點。1.3 多模態(tài)模型走進工業(yè)產(chǎn)線這周多個行業(yè)群里都在傳一個案例某電子元件工廠在產(chǎn)線上部署了一套多模態(tài)質(zhì)檢系統(tǒng)把原來只能識別有缺陷/無缺陷的兩分類模型升級成了能同時識別十幾類外觀缺陷的視覺語言模型產(chǎn)線節(jié)拍還保持在200ms以內(nèi)。這類系統(tǒng)過去在工廠里推廣很難原因是缺陷類型一多傳統(tǒng)的卷積模型就要給每種缺陷單獨訓(xùn)練一個分類器維護成本高到車間主任直接搖頭。視覺語言模型的好處是一個模型吃所有類別新增缺陷類別時不用重新訓(xùn)練整個模型只要補充少量樣本微調(diào)就行。這類應(yīng)用在2025年還多是POC驗證到了今年已經(jīng)有企業(yè)把模型直接接到產(chǎn)線PLC上做自動分揀。我覺得這釋放了一個信號多模態(tài)質(zhì)檢已經(jīng)從能跑通進入算經(jīng)濟賬階段。后面第四章我會專門復(fù)盤一個我自己參與的模擬項目講講從數(shù)據(jù)到部署的完整過程這里先不展開。2. 趨勢背后的核心邏輯為什么大家開始偏愛小模型優(yōu)先這三條線看起來不相關(guān)但背后其實是同一個決策邏輯在真實業(yè)務(wù)里算賬算到最后發(fā)現(xiàn)大模型哪里都好就是成本扛不住。而小模型只要方法對綜合體驗反而更好。2.1 算一筆經(jīng)濟賬端側(cè)小模型的綜合成本優(yōu)勢假設(shè)你做一個客服對話系統(tǒng)每天大概有10萬次請求。用云端大模型API的話按當(dāng)下比較常見的定價算輸入加輸出token加起來一個月賬單很容易超過六位數(shù)如果改成用開源7B模型做本地推理一次性的硬件投入大約是幾萬塊之后主要成本是電費和機房帶寬一個月幾千塊封頂。當(dāng)然你還要算上開發(fā)和維護人員的時間但模型規(guī)模越小排查問題也越容易這個隱形成本同樣在降低。兩者之間不是線性差距是指數(shù)級差距。我試著把兩者放進一張表里直接對比這里按10萬次請求/天、平均每次調(diào)用2000 token的對話場景估算對比項云端大模型API端側(cè)開源7B本地部署單次調(diào)用成本按token計價月賬單很高電費加折舊約幾百到幾千單次延遲50~200ms受網(wǎng)絡(luò)波動影響20~80ms穩(wěn)定數(shù)據(jù)走向需要把對話內(nèi)容傳到云端不出本地定制化只能調(diào)提示詞能力邊界受限可微調(diào)、可換量化和推理策略故障恢復(fù)依賴供應(yīng)商狀態(tài)本地可自主控制表格里的數(shù)字只是量級參考不同場景會有波動。但結(jié)論很清楚當(dāng)請求量爬到一定規(guī)模后端側(cè)部署的邊際成本接近零而API的邊際成本是剛性的。所以很多團隊選擇小模型優(yōu)先不是情懷是財務(wù)模型決定的。需要補充一句小模型優(yōu)先不是說完全不用大模型。更常見的架構(gòu)是小模型扛主線大模型兜底日常高頻請求交給端側(cè)小模型遇到小模型置信度低的再回源給云端大模型。這個組合既能壓成本又能保住復(fù)雜任務(wù)的回答質(zhì)量。2.2 數(shù)據(jù)隱私與數(shù)據(jù)不出廠的剛性需求成本之外另一只無形的手是數(shù)據(jù)隱私。工業(yè)產(chǎn)線的圖紙、醫(yī)療機構(gòu)的病歷、金融機構(gòu)的流水這些數(shù)據(jù)連讓它們在公網(wǎng)上多待一秒鐘都會讓人失眠。以前的做法是私有化部署一套大模型效果好但貴得離譜現(xiàn)在端側(cè)模型的成熟提供了一個更輕的方案把模型直接部署在廠區(qū)內(nèi)的工控機或服務(wù)器上所有數(shù)據(jù)在本地處理云端只接收脫敏后的統(tǒng)計結(jié)果。對數(shù)據(jù)敏感行業(yè)來說這個特性比那幾十個百分點的準(zhǔn)確率更重要。我在跟某制造業(yè)客戶交流時對方原話是準(zhǔn)確率少兩個點可以忍數(shù)據(jù)出一次事就得停產(chǎn)整頓。話糙理不糙。過去一年多我見過好幾家公司為了過內(nèi)部合規(guī)評審把云端API方案硬生生改成端側(cè)部署排期多花了三周但上線后反而更順。因為數(shù)據(jù)不出廠流程里少了一道審批后續(xù)迭代速度反而加快了。2.3 影響范圍大廠做教官創(chuàng)業(yè)團隊做學(xué)生小模型優(yōu)先正在改變產(chǎn)業(yè)分工。這周觀察到的格局是這樣的有算力的大廠繼續(xù)卷云端大模型但他們現(xiàn)在多了一個新角色——模型教官用自己的大模型生成高質(zhì)量訓(xùn)練數(shù)據(jù)再通過知識蒸餾把能力灌到一個可商用的小模型里。小模型做學(xué)生部署到用戶設(shè)備上。創(chuàng)業(yè)團隊反而是這批趨勢的最大受益者。以前做AI應(yīng)用必須先拿到一個超大模型API的權(quán)限價格談不攏就寸步難行現(xiàn)在開源社區(qū)有大量靠譜的7B、14B模型自建一套推理服務(wù)并不難。他們可以把精力集中在場景理解、數(shù)據(jù)治理和產(chǎn)品交互上不再被模型的賬單牽著走。對個人開發(fā)者來說同樣如此我常看的幾個開發(fā)者社區(qū)里曬端側(cè)模型微調(diào)案例的帖子這周明顯變多了從智能音箱到拍照識物一水的本地部署、不上云。3. 開源模型實測與部署實操把模型從倉庫拉到設(shè)備上的關(guān)鍵小事理論再好模型還是要跑起來才算數(shù)。這周我花了大半天把輕舟-7B的量化版本部署到一臺只有單張消費級顯卡的測試機上踩了幾個以前沒注意過的坑下面把過程記錄下來。3.1 輕舟-7B技術(shù)配置與部署準(zhǔn)備先看模型本身的硬件要求。原始權(quán)重是FP16格式體積約14GB單張24GB顯存的顯卡能直接跑但如果用的是12GB顯存卡就需要量化。輕舟-7B官方提供了幾份量化權(quán)重其中4bit版體積約4.2GB8bit版約7.5GB。我的測試機配置是32GB內(nèi)存、一張12GB顯存的卡兩個版本都能裝下但8bit版還要留足上下文窗口占用的顯存。技術(shù)配置方面模型結(jié)構(gòu)如下7B參數(shù)、GQA、RoPE、32K上下文窗口、SwiGLU激活函數(shù)。很多人看到這些名詞會頭大我解釋一下GQA是讓模型計算注意力時更省內(nèi)存的設(shè)計RoPE是讓模型理解文字順序的編碼方式SwiGLU是一種比ReLU更平滑的激活函數(shù)能在同樣參數(shù)下讓模型表達能力稍強一點。這些都不是新奇發(fā)明但在小模型上把它們做齊意味著你不需要任何改裝就能直接用。部署前的準(zhǔn)備清單先把模型文件下到本地用Python裝好推理庫和配套內(nèi)核設(shè)置環(huán)境變量調(diào)整線程數(shù)然后寫一個最簡單的加載腳本確認(rèn)模型能被正確識別。啟動后先跑一遍官方的示例對話確認(rèn)輸出正常再進入量化版實測。3.2 量化版本的選擇與精度實測部署時第一個選擇就是用哪種量化方案。我在同一批測試集上分別跑了FP16、W8A8、W4A16三個版本記錄下顯存占用、推理延遲和回答準(zhǔn)確率。為了公平全部用相同的溫度和采樣參數(shù)只測代碼生成和常識問答兩類任務(wù)。方案顯存占用加載緩存生成速度tok/s相對FP16的準(zhǔn)確率變化FP16~16GB12基準(zhǔn)W8A8~8.5GB18-0.8%W4A16~5.2GB22-2.1%跑完這組數(shù)據(jù)我的建議是如果顯存不是緊張到需要摳那點空間優(yōu)先用W8A8損失極小速度提升還明顯。W4A16雖然更省顯存但在小模型上容易出偏科問題有些類別掉點很嚴(yán)重原因是4bit量化對權(quán)重分布里的長尾信息傷害更大。如果你必須用W4A16那就別偷懶拿一批跟線上任務(wù)同分布的數(shù)據(jù)重新做校準(zhǔn)不要直接加載官方默認(rèn)的量化參數(shù)。3.3 推理框架與工程化落地的配置示例官方倉庫推薦了一個推理引擎但實測下來它在某些硬件上并沒有充分利用顯卡。改用另一個主流推理框架之后同樣的模型推理速度提升了差不多30%。這里最有意思的發(fā)現(xiàn)是很多時候不是模型慢是框架沒把底層算子調(diào)起來。這幾年我見過至少三個項目報模型很慢最后查下來都是沒安裝配套的高性能內(nèi)核。下面給一個最簡單的推理調(diào)用示例讀者可以照著改成自己的服務(wù)from model_engine import Engine, SamplingParams engine Engine(model_path./lightboat-7b-q8) params SamplingParams( temperature0.7, top_p0.9, max_tokens512, repetition_penalty1.05, ) result engine.chat( 請用一句話解釋什么是注意力機制, params ) print(result.text)這幾個參數(shù)都是有講究的。temperature設(shè)0.7是讓輸出有創(chuàng)造性但不出格top_p0.9做了一層候選集裁剪repetition_penalty1.05是端側(cè)模型最容易忽略的因為小模型在長回復(fù)里特別愛重復(fù)自己的話加一個輕微的懲罰項能明顯改善體驗。max_tokens設(shè)512對大多數(shù)業(yè)務(wù)場景夠用了設(shè)置太大會讓首字延遲變高影響交互手感。實操中還有一個很容易踩的坑長上下文。模型宣稱支持32K但如果你真把32K文本全塞進去KV Cache會先把顯存吃光。解決方法是限制實際上下文長度或者開啟官方文檔里提到的滑動窗口注意力模式讓模型只關(guān)注最近若干位置這樣能在不損失太多質(zhì)量的前提下把顯存壓力降下來。我實測下來把上下文從32K截到8K顯存占用能省掉接近60%而許多業(yè)務(wù)場景根本用不到超過8K的歷史信息。4. 多模態(tài)質(zhì)檢項目實例復(fù)盤從91%到98%的一些笨辦法這章寫一個我實際參與的模擬項目復(fù)盤項目代號X場景是某電子元件工廠的產(chǎn)線外觀質(zhì)檢。4.1 場景信息與最初的失敗項目背景很簡單產(chǎn)線上每天生產(chǎn)大量元器件需要識別十幾類外觀缺陷包括劃痕、臟污、破損、引腳歪斜等?？蛻袅鞒桃笕詣臃謷渭z測時間控制在200ms以內(nèi)。最開始團隊方案用的是云端大模型API配合圖片輸入效果看著不錯但一上線就暴露兩個問題一是網(wǎng)絡(luò)延遲波動單件耗時從150ms到400ms亂跳產(chǎn)線直接受不了二是按照每天的檢測量算API賬單貴到客戶審核會過不了。于是我們轉(zhuǎn)向開源視覺語言模型做本地部署。選了個多模態(tài)模型作為基礎(chǔ)拿到真實生產(chǎn)數(shù)據(jù)直接推理準(zhǔn)確率92%上下。但這個數(shù)字里有貓膩整體準(zhǔn)確率看著還行因為絕大多數(shù)產(chǎn)品是沒有缺陷的模型只要瘋狂輸出OK就能把準(zhǔn)確率刷到90以上。真正致命的是漏檢率——有幾類不常見缺陷模型幾乎完全認(rèn)不出這對質(zhì)檢來說等于形同虛設(shè)。4.2 數(shù)據(jù)策略合成數(shù)據(jù)與小樣本訓(xùn)練的完整過程問題定位清楚后我們把矛頭指向數(shù)據(jù)。真實缺陷樣本只有幾百張而且類別分布嚴(yán)重不均衡臟污占了將近一半有些稀有缺陷只有二三十張。這種情況下訓(xùn)練的初始思路是先解決樣本數(shù)量。我們做了兩件事。第一件事是搭建合成數(shù)據(jù)管線用3D渲染引擎建出元器件的三維模型模擬各種光照、角度、遮擋條件然后在渲染圖上程序化生成缺陷包括隨機劃痕、污漬、裂紋等。這一步生成了兩千多張高仿真樣本。第二件事是用一個現(xiàn)成的視覺模型當(dāng)評委對合成圖的真實感打分剔除掉明顯不像真實產(chǎn)線拍出來的圖。兩份數(shù)據(jù)混合時我們刻意讓真實數(shù)據(jù)占到三成以上確保模型不至于被合成紋理帶偏。訓(xùn)練過程分兩步。第一步凍結(jié)視覺編碼器只訓(xùn)練解碼頭讓模型先學(xué)會看第二步解凍整個模型用非常低的學(xué)習(xí)率做全參數(shù)微調(diào)相當(dāng)于讓模型在已有基礎(chǔ)上精裝修。策略上還用了自蒸餾讓教師模型和學(xué)生模型共用同一個網(wǎng)絡(luò)、不同分支防止小樣本下訓(xùn)練信號太弱。跑完之后的效果曲線很有意思初始直接推理時加權(quán)準(zhǔn)確率是91.2%走完第一輪編碼器訓(xùn)練后到了94.5%全參數(shù)微調(diào)后到了97.8%。更重要的是稀有缺陷類的召回率從不到50%拉到了接近85%這才是產(chǎn)線真正關(guān)心的指標(biāo)。整個過程沒有用到任何黑科技就是把數(shù)據(jù)補齊、把訓(xùn)練撥對、把評估盯住。4.3 部署與排障幾臺老工控機的掙扎模型訓(xùn)練完部署環(huán)節(jié)反而成了重頭戲。客戶產(chǎn)線上的工控機配置不高一臺機器只有8GB顯存CPU也是好幾年前的型號跑多模態(tài)模型非常吃力。第一版部署實測單件延遲300多毫秒遠超200ms的驗收線。排查過程記錄一下。一開始以為是模型太大換了個更激進的量化版本延遲只降到260ms還是不夠。后來我仔細看監(jiān)控發(fā)現(xiàn)推理線程在部分時間點出現(xiàn)長尾延遲但CPU和GPU利用率都不是100%。一步步排除之后發(fā)現(xiàn)瓶頸在內(nèi)存帶寬多模態(tài)模型要同時處理圖片特征和文本特征數(shù)據(jù)搬運量很大老主板的內(nèi)存通道跟不上。最后解決方案是換推理框架并且把圖片預(yù)處理挪到GPU上執(zhí)行同時限制并發(fā)數(shù)、開啟推理框架里的內(nèi)存池復(fù)用終于把延遲壓到了80ms左右。這里有個教訓(xùn)做端側(cè)部署不能只看顯存夠不夠一定要先跑一個小時的延遲監(jiān)控看P99而不是看平均。平均延遲好看但P99飆高的場景往往就是預(yù)處理、內(nèi)存拷貝或者鎖競爭帶來的偶發(fā)問題。這類問題在云端實例上不容易暴露因為云端資源充裕但在產(chǎn)線的小機器上會被放大得非常明顯。5. 本周踩坑記錄與幾個值得持續(xù)跟蹤的信號周報最后照例放一串實操層面的踩坑記錄也給下周留下幾個觀察點。5.1 避坑清單本周從三件事里得到的經(jīng)驗第一件事關(guān)于合成數(shù)據(jù)。合成圖用于訓(xùn)練確實有效但比例一旦失衡就會翻車。我建議真實數(shù)據(jù)占比不要低于30%并且每次混入新合成批次時都要跑一組A/B測試對比模型在真實驗證集上的指標(biāo)是否下降。如果下降先檢查是不是合成樣本類型單一造成的偏置而不是急著調(diào)模型結(jié)構(gòu)。第二件事關(guān)于量化。用W4A16時務(wù)必準(zhǔn)備一份和業(yè)務(wù)場景分布一致的校準(zhǔn)集重新計算量化縮放因子不要直接信任模型倉庫里附帶的默認(rèn)校準(zhǔn)結(jié)果。我在輕舟-7B上發(fā)現(xiàn)默認(rèn)校準(zhǔn)集偏重通用文本跑代碼生成任務(wù)時明顯力不從心換了業(yè)務(wù)校準(zhǔn)集之后掉點從兩個點縮到半個點以內(nèi)。第三件事關(guān)于長上下文。端側(cè)模型宣稱的上下文窗口上限與工程上可用的安全上限是兩回事。我的建議是先按業(yè)務(wù)需求量出實際需求再對照顯存調(diào)整上下文寧愿在代碼里加一層截斷邏輯也不要讓模型滿載跑。滿載短時間沒問題可一旦并發(fā)上來內(nèi)存溢出就是一瞬間的事。5.2 快速排查速查表把這段時間踩過的坑整理成一張速查表方便現(xiàn)場排查癥狀可能原因快速檢查方法推理慢且CPU/GPU利用率都不高內(nèi)存帶寬或數(shù)據(jù)拷貝瓶頸看任務(wù)管理器觀察每秒內(nèi)存吞吐量顯存占用突然飆升長上下文隊列堆積檢查并發(fā)數(shù)限制最大請求長度回答中大量重復(fù)詞采樣參數(shù)沒調(diào)好給repetition_penalty加0.05~0.1量化后特定類別崩了校準(zhǔn)集與業(yè)務(wù)分布不一致用業(yè)務(wù)數(shù)據(jù)重新做量化校準(zhǔn)多模態(tài)識別漏檢集中在低對比度預(yù)處理降采樣過狠先把圖片尺寸、歸一化參數(shù)對照訓(xùn)練配置查一遍這張表是我個人排查習(xí)慣的濃縮不一定窮盡所有情況但方向比死記命令有用。5.3 未來一周的觀察點下周我會重點盯三件事。第一端側(cè)小模型會不會開始捆綁Agent能力輕舟-7B和火花-14B都有了工具調(diào)用的基礎(chǔ)下一步一定有團隊把它做成端側(cè)自動化助手值得看的是任務(wù)拆解質(zhì)量。第二3D視覺質(zhì)檢會不會借著合成數(shù)據(jù)這波熱度火起來。當(dāng)合成數(shù)據(jù)把樣本成本打下來之后三維缺陷檢測從算法上就不再是禁區(qū)了差別只在算力消化能力。第三各大模型評測榜單的風(fēng)向可能變化如果榜單開始把單位算力下的實用能力作為核心指標(biāo)那端側(cè)模型的價值會被重估整個開源社區(qū)的選型邏輯也要跟著改。這些觀察信號不保證下周一定有結(jié)論但值得放進下一期周報里接著看。寫到這說句做周報這幾年的個人體會。很多人覺得行業(yè)周報就是把鏈接和新聞攢一攢但我自己的習(xí)慣是每期只挑兩三條主線花時間把技術(shù)細節(jié)和成本、數(shù)據(jù)的賬算清楚剩下沒想明白的寧可忽略。這次國慶假期這周的觀察讓我最深的感受是AI行業(yè)的節(jié)奏并沒有因為放假而變慢很多時候是假期的安靜環(huán)境更能放大那些真正的趨勢信號端側(cè)模型、合成數(shù)據(jù)、多模態(tài)質(zhì)檢這三條線就是這周被放大出來的聲音。下周回來我會繼續(xù)盯著它們。