上個(gè)月一號早上我習(xí)慣性打開控制臺看賬單好家伙客服機(jī)器人這個(gè)功能一個(gè)月燒掉的錢比它帶來的轉(zhuǎn)化還刺眼。我把調(diào)用日志抽樣拉出來看了一圈越看越不對勁——起碼七成的提問是你們幾點(diǎn)下班發(fā)票能開嗎幫我查下訂單到哪了這種一句話就能答完的事。而這些請求全被我送進(jìn)了自家最貴的旗艦?zāi)Ｐ汀Ｏ喈?dāng)于我請了一位博士后坐在前臺專門回答廁所在哪。于是我決定給項(xiàng)目加一層模型路由model routing模型路由就是在請求進(jìn)門時(shí)先分類簡單問題分給便宜的小模型難的才請出大模型。狠一點(diǎn)的做法叫級聯(lián)調(diào)用cascading級聯(lián)調(diào)用先一律讓小模型上答不好再自動升級找大模型救場。聽著都很美對吧我第一次跑的時(shí)候還挺得意覺得自己用 AI 管 AI架構(gòu)優(yōu)雅得很——我讓旗艦?zāi)Ｐ陀H自當(dāng)路由器每個(gè)請求先問它一句這題簡單嗎再決定分給誰。結(jié)果跑了一周賬單比不加路由還高了 8%平均響應(yīng)時(shí)間也翻了一倍。原因特別樸素路由這一步本身也是一次大模型調(diào)用錢一分沒少花延遲還多出一截。同事看完我的架構(gòu)圖憋了半天來了句你這門衛(wèi)的工資比里面上班的還高。行這話說得難聽但在理。推翻重來第二版我把路由器從最貴的換成了最便宜的。規(guī)則先上高頻 FAQ 命中的直接走模板答案壓根不進(jìn)模型剩下的請求用 embedding向量嵌入把文本變成一串?dāng)?shù)字方便機(jī)器算相似度加一個(gè)輕量邏輯回歸分類器判斷類型成本約等于零判斷不準(zhǔn)的一律默認(rèn)給小模型。旗艦?zāi)Ｐ蛷娜珕T營業(yè)變成了只接疑難雜癥。這一版上線路由本身的開銷降到可以忽略不計(jì)。然后我就撞上了第二個(gè)坑也是這個(gè)方案里真正難的部分——難度這個(gè)信號遠(yuǎn)沒有想象中好判斷。我一開始偷懶拿問題短簡單當(dāng)規(guī)則用結(jié)果被現(xiàn)實(shí)教育了幫我寫周報(bào)四個(gè)字是生成類任務(wù)小模型寫出來就是一篇流水賬用戶直接投訴反過來一段三百字的技術(shù)報(bào)錯(cuò)貼進(jìn)來看著挺唬人其實(shí)是我們 FAQ 里躺了半年的已知問題。你看長度根本不能代表難度任務(wù)類型是問答、生成還是推理和領(lǐng)域熟悉度才是關(guān)鍵變量。我后來把分類器改成了按任務(wù)類型領(lǐng)域打標(biāo)準(zhǔn)確率才肉眼可見地爬上來。寫到這兒插一句產(chǎn)品同學(xué)聽說賬單砍了六成第二天就興沖沖跑來想把省下的預(yù)算拿去做兩個(gè)新功能。我趕緊把報(bào)表收起來——省下的錢是拿來填下次事故的真不是拿來花的。光省錢還不行路由錯(cuò)了得有安全網(wǎng)兜底。我們現(xiàn)在的設(shè)計(jì)是小模型答完先過一道自查置信度confidence模型對自身答案的把握程度低就自動升級到大模型重答用戶點(diǎn)了不滿意的案例會自動回流進(jìn)標(biāo)注池每月喂回分類器重新訓(xùn)練一次。上線時(shí)是灰度放的先切 10% 流量觀察了一周兩類錯(cuò)誤率都穩(wěn)住了才全量?，F(xiàn)在的狀態(tài)是七成流量走小模型總成本降了六成多答對率只掉了不到兩個(gè)百分點(diǎn)而且大半還是被兜底撈回來的。說實(shí)話路由這事到現(xiàn)在也沒有標(biāo)準(zhǔn)答案。云廠商這兩年都推出了托管路由服務(wù)聽著省心實(shí)際是黑盒分流邏輯一變你連招呼都不會收到自己搭呢分類器要持續(xù)養(yǎng)數(shù)據(jù)業(yè)務(wù)一變方向整套策略就得重新校準(zhǔn)。另外也別神化這套玩法——小模型的能力上限擺在那復(fù)雜推理、多輪長對話這類任務(wù)路由器再聰明也該直接放行給大模型硬省那點(diǎn)錢最后都是事故工單。如果你手上也有項(xiàng)目在拿同一個(gè)旗艦?zāi)Ｐ陀部溉苛髁坎环料热コ橐话贄l日志看看說不定你會跟我一樣發(fā)現(xiàn)博士后正坐在前臺。看完了記得回來聊聊你的場景里簡單請求和硬核請求的比例是多少你是愿意自己養(yǎng)一個(gè)分類器還是干脆信云廠商的黑盒路由評論區(qū)見我是真的想知道大家這筆賬都是怎么算的。