大家好我是晚安code。假設(shè)一個(gè)場(chǎng)景這個(gè)模型說(shuō)支持 100 萬(wàn)上下文那我是不是可以把整個(gè)項(xiàng)目代碼都丟進(jìn)去看了眼賬單沒(méi)說(shuō)話。所以我打算把大模型是什么這件事從頭到尾講一遍一個(gè)名詞都不跳過(guò)。這篇就把話說(shuō)白大模型到底是什么Token、上下文窗口、Temperature、MoE 各自管什么Chat 模型和基座模型差在哪普通對(duì)話和深度思考怎么選網(wǎng)頁(yè)端和 API 該用哪個(gè)?？赐昴阒辽倌茏约号袛嘁粋€(gè)模型值不值得用。點(diǎn)個(gè)收藏咱們開始。一、大模型到底是個(gè)什么東西先說(shuō)結(jié)論大模型就是一臺(tái)下一個(gè) Token 預(yù)測(cè)機(jī)。它做的事非常樸素——給你一串文本猜下一個(gè) Token 最可能是什么。聽(tīng)著像廢話對(duì)吧我一開始也這么想。但你要讓這個(gè)猜測(cè)足夠準(zhǔn)模型就必須在內(nèi)部把語(yǔ)法、事實(shí)、邏輯關(guān)系、代碼結(jié)構(gòu)這些東西全部編碼進(jìn)去。就像輸入法聯(lián)想你打今天天氣它猜不錯(cuò)這背后只統(tǒng)計(jì)了幾個(gè)詞的關(guān)系大模型的聯(lián)想窗口開到了幾萬(wàn)億參數(shù)的尺度今天天氣后面接著猜的可能是段能跑的代碼。拆開看一個(gè)模型由三樣?xùn)|西決定參數(shù)權(quán)重訓(xùn)練學(xué)出來(lái)的數(shù)值規(guī)模從幾 B 到幾 T 不等這是大字的來(lái)源架構(gòu)現(xiàn)在基本都是 Transformer 及其變體決定了參數(shù)怎么連、信息怎么流訓(xùn)練數(shù)據(jù)喂進(jìn)去的文本量與質(zhì)量決定了它知道什么、不知道什么。預(yù)訓(xùn)練階段的目標(biāo)函數(shù)簡(jiǎn)單到只有一行最大化下一個(gè) Token 的預(yù)測(cè)概率。剩下那些會(huì)寫代碼“能翻譯”懂比喻的能力是數(shù)據(jù)量堆到一定程度后自己長(zhǎng)出來(lái)的業(yè)內(nèi)管這叫涌現(xiàn)。所以別把大模型想成一本科教書它更像一個(gè)把海量文本壓縮進(jìn)參數(shù)里的概率函數(shù)。理解這一句后面四個(gè)概念就都順了。二、Token 與上下文窗口它一次能看見(jiàn)多少Token詞元大模型處理文本的最小單位模型不按字算按 Token 算。你可以理解為模型眼里的積木塊——中文一個(gè)漢字大約 12 個(gè) Token英文一個(gè)單詞大約 13 個(gè) Token。這個(gè)單位為什么重要因?yàn)樗瑫r(shí)是計(jì)費(fèi)單位和容量單位。我第一次認(rèn)真看 API 賬單的時(shí)候才反應(yīng)過(guò)來(lái)我按字算費(fèi)用人家按 Token 算中文因?yàn)榉衷~方式的緣故同樣一段話的 Token 數(shù)經(jīng)常比我想的多。上下文窗口Context Window模型單次請(qǐng)求能看見(jiàn)的 Token 總數(shù)上限包含你輸入的提示詞和模型生成的回復(fù)。你可以把它理解成一張工作臺(tái)所有材料都得攤在這張桌子上桌子放不下的內(nèi)容模型是真看不見(jiàn)。這里有個(gè)特別容易踩的誤區(qū)上下文窗口不是硬盤是桌面。我見(jiàn)過(guò)不少人以為開 100 萬(wàn) Token 就等于有了 100 萬(wàn) Token 的記憶于是把整個(gè)倉(cāng)庫(kù)的代碼一次性塞進(jìn)去。實(shí)際會(huì)發(fā)生三件事推理成本按 Token 線性上漲輸入越長(zhǎng)單次請(qǐng)求越貴KV Cache 吃掉大量顯存并發(fā)能力直線下降長(zhǎng)請(qǐng)求排隊(duì)是常態(tài)注意力被稀釋材料越多模型越容易抓不住重點(diǎn)中間位置的內(nèi)容尤其容易被忽略。所以長(zhǎng)窗口的正確用法是該放的才放——檢索出來(lái)的相關(guān)片段、當(dāng)前任務(wù)的上下文而不是無(wú)腦全量投喂?？赡苡腥藭?huì)問(wèn)那我是不是該無(wú)腦選上下文最長(zhǎng)的那個(gè)模型不一定。先看你任務(wù)的真實(shí)長(zhǎng)度日常寫代碼、做問(wèn)答128K 大多用不滿。長(zhǎng)窗口更適合讀整本書、審一整個(gè)倉(cāng)庫(kù)這種場(chǎng)景而且用之前最好實(shí)測(cè)一下它在長(zhǎng)輸入下的召回表現(xiàn)廠商標(biāo)的是最大支持不是質(zhì)量保證。三、Temperature同一個(gè)問(wèn)題為什么每次回答都不一樣大模型的輸出不是查表是采樣。每次生成一個(gè) Token模型會(huì)先算出一整套概率分布再?gòu)睦锩嫣粢粋€(gè)——Temperature 就是控制這個(gè)挑有多隨機(jī)的旋鈕。Temperature溫度控制模型輸出隨機(jī)性的采樣參數(shù)值越低輸出越確定、越可復(fù)現(xiàn)值越高輸出越發(fā)散、越有意外。你可以理解為做菜的火候——小火慢燉出穩(wěn)定的味道大火爆炒出來(lái)的東西每次都不一樣。判斷句放這兒Temperature 不是聰明度旋鈕它調(diào)的是隨機(jī)性調(diào)高不會(huì)讓它變聰明只會(huì)讓它更敢瞎說(shuō)。我踩過(guò)的坑很典型有一次讓模型從一段日志里抽結(jié)構(gòu)化字段怎么改提示詞都不穩(wěn)定時(shí)而多一個(gè)字段時(shí)而少一個(gè)。后來(lái)才發(fā)現(xiàn)默認(rèn)溫度在那擺著把它壓到 0 附近輸出立刻老實(shí)了。這是我一般會(huì)用的取值僅供參考場(chǎng)景建議溫度原因代碼補(bǔ)全、信息抽取、分類00.3要的是可復(fù)現(xiàn)容不得自由發(fā)揮日常問(wèn)答、翻譯、總結(jié)0.50.7穩(wěn)定為主留一點(diǎn)自然表達(dá)空間起名、頭腦風(fēng)暴、文案發(fā)散0.91.2要的就是多樣性撞出意外組合不過(guò)要提醒一句溫度不是唯一變量。同一溫度下?lián)Q個(gè)模型、換個(gè)提示詞模板、甚至只是重跑一次輸出不一樣都很正常。四、MoE為什么 2.8 萬(wàn)億參數(shù)的模型還跑得起這兩年國(guó)產(chǎn)模型的參數(shù)一個(gè)個(gè)往萬(wàn)億上沖但 API 價(jià)格反而在跌。矛盾嗎不矛盾因?yàn)榭倕?shù)不等于每次推理要算的參數(shù)。MoEMixture of Experts混合專家把一個(gè)大模型拆成很多個(gè)并行的子網(wǎng)絡(luò)專家每次處理一個(gè) Token 時(shí)由路由網(wǎng)絡(luò)只挑其中一小部分專家來(lái)算。你可以理解為一家綜合醫(yī)院——院里幾十個(gè)科室你感冒了只掛呼吸科不用把全院醫(yī)生都叫來(lái)會(huì)診。和傳統(tǒng)稠密模型對(duì)比一下就很清楚維度稠密模型MoE 模型每次推理要算的參數(shù)全部參數(shù)只有被激活的少數(shù)專家顯存占用相對(duì)低參數(shù)少高總參數(shù)都得裝下同等算力下可擴(kuò)展的上限受算力限制明顯更高推理延遲穩(wěn)定路由有額外開銷但總計(jì)算量小這里有個(gè)特別常見(jiàn)的誤讀看到2.8 萬(wàn)億參數(shù)就以為跑一次要燒掉 2.8 萬(wàn)億參數(shù)的算力。不是的真正決定推理成本的是每次激活的那部分參數(shù)。再補(bǔ)一個(gè)我自己的觀察MoE 讓參數(shù)競(jìng)賽變得沒(méi)那么直接可比了。廠商發(fā)布會(huì)報(bào)總參數(shù)工程師該看的是激活參數(shù)——兩個(gè)總參一樣的模型激活參數(shù)量可能差一個(gè)數(shù)量級(jí)成本和速度完全不是一回事。五、Chat 模型不等于更聰明的基座模型判斷句Chat 模型不是基座模型的升級(jí)版它是基座模型被規(guī)訓(xùn)之后的樣子?；Ｐ虰ase Model只做過(guò)預(yù)訓(xùn)練、目標(biāo)就是續(xù)寫下一個(gè) Token 的模型。它知識(shí)量大但不會(huì)回答問(wèn)題——你問(wèn)它北京在哪它可能接著給你編出十個(gè)類似的問(wèn)題因?yàn)樵谒劾锬阒皇墙o了它一段待續(xù)寫的文本。Chat 模型在基座之上做過(guò)指令微調(diào)和對(duì)齊的模型能聽(tīng)懂請(qǐng)幫我做某事這類指令并按助手的口吻回答。你可以理解為同一個(gè)人的兩種狀態(tài)——一個(gè)是滿腹經(jīng)綸但不看場(chǎng)合的學(xué)者一個(gè)是受過(guò)職業(yè)訓(xùn)練的客服。從基座到 Chat中間大致走三步SFT指令微調(diào)用大量指令—回答樣本教它對(duì)話格式偏好對(duì)齊用人類偏好數(shù)據(jù)RLHF、DPO 之類讓它學(xué)會(huì)哪些回答更好、哪些不能說(shuō)安全與風(fēng)格收尾加上拒答邊界、語(yǔ)氣規(guī)范、格式習(xí)慣。對(duì)齊換來(lái)了聽(tīng)得懂人話代價(jià)是別的原始知識(shí)密度會(huì)被話術(shù)稀釋輸出多樣性下降模型也更傾向于給出四平八穩(wěn)的答案。做領(lǐng)域微調(diào)的朋友尤其要注意——你要的是把新知識(shí)灌進(jìn)去還是把回答風(fēng)格調(diào)成助手腔這決定了你選基座還是選 Chat 版。這不是一個(gè)哪個(gè)更好的問(wèn)題是哪個(gè)更合你的事。六、普通對(duì)話和深度思考差在哪先說(shuō)結(jié)論兩者的區(qū)別不在誰(shuí)更聰明而在要不要給模型發(fā)一張草稿紙。普通對(duì)話Fast / 非思考模式模型直接開始生成答案每個(gè) Token 都是最終輸出的一部分。你可以理解為脫口而出的回答。深度思考Thinking / 推理模式模型先輸出一段內(nèi)部推理過(guò)程想完了再給結(jié)論。這段過(guò)程有時(shí)直接展示給你有時(shí)被折疊起來(lái)但只要它產(chǎn)生了就一樣計(jì)費(fèi)。深度思考現(xiàn)在大致有這么幾種控制方式深度也分檔開關(guān)式一個(gè)按鈕思考開或關(guān)最粗放強(qiáng)度分檔像reasoning_effort這類參數(shù)可以設(shè) low / high / max本質(zhì)是給推理過(guò)程留多少 Token 預(yù)算自動(dòng)路由由平臺(tái)判斷簡(jiǎn)單問(wèn)題直接答、復(fù)雜問(wèn)題才把思考拉起來(lái)。同一個(gè)問(wèn)題兩種模式的差別集中在四件事上維度普通對(duì)話深度思考首字延遲快幾乎立刻出字明顯變慢等幾秒到幾十秒Token 消耗只算答案推理過(guò)程也計(jì)費(fèi)常常翻幾倍穩(wěn)定性直接但可能漏步驟多步任務(wù)正確率更高出錯(cuò)方式答得淺可能想歪推理鏈越長(zhǎng)越容易跑偏至于什么時(shí)候該用我的判斷標(biāo)準(zhǔn)是看任務(wù)有沒(méi)有中間步驟場(chǎng)景建議原因數(shù)學(xué)題、算法題、多步邏輯用中等強(qiáng)度起步收益最明顯復(fù)雜代碼調(diào)試、架構(gòu)權(quán)衡用需要連貫的因果鏈信息抽取、格式轉(zhuǎn)換別用規(guī)則明確想多了反而出錯(cuò)RAG 檢索問(wèn)答、摘要、翻譯別用答案在材料里靠歸納不靠推理閑聊、簡(jiǎn)單改寫別用純燒錢RAG檢索增強(qiáng)生成的思路是先從知識(shí)庫(kù)撈出相關(guān)片段再讓模型基于這些片段作答。它的核心工作是讀懂材料、說(shuō)清楚鏈?zhǔn)酵评韼筒簧厦€會(huì)拖慢響應(yīng)、推高成本更麻煩的是推理鏈拉長(zhǎng)之后模型有可能偏離檢索到的原文開始自己編。我踩過(guò)一個(gè)挺有意思的坑有次讓它算個(gè)兩位數(shù)乘法順手開了最高檔思考結(jié)果它繞了一大圈還差點(diǎn)算錯(cuò)。思考強(qiáng)度是預(yù)算不是保險(xiǎn)。七、網(wǎng)頁(yè)端 AI 和 API 調(diào)用買的不是同一個(gè)東西判斷句網(wǎng)頁(yè)端和 API 背后往往是同一個(gè)模型但你買到的東西完全不是一回事。網(wǎng)頁(yè)端是成品API 是零件——這個(gè)差別決定了它倆各自適合什么活。維度網(wǎng)頁(yè)端API 調(diào)用計(jì)費(fèi)訂閱或免費(fèi)聊多少不影響錢包按 Token 計(jì)費(fèi)輸入輸出都算錢參數(shù)控制基本沒(méi)有Temperature 被藏起來(lái)了溫度、思考強(qiáng)度、最大長(zhǎng)度都能自己設(shè)系統(tǒng)提示詞平臺(tái)寫死的你改不了完全由你掌控上下文平臺(tái)可能自動(dòng)截?cái)鄽v史傳多少是你的事費(fèi)用也歸你附加能力自帶聯(lián)網(wǎng)、文件解析、畫圖、記憶裸模型檢索和工具得自己接數(shù)據(jù)流向是否用于訓(xùn)練看平臺(tái)條款企業(yè)版通?？杉s定不用于訓(xùn)練自動(dòng)化手動(dòng)點(diǎn)可批量、可嵌進(jìn)產(chǎn)品、可進(jìn) CI我第一次把網(wǎng)頁(yè)端用得很順的提示詞搬到 API 上效果掉了一截排查半天才反應(yīng)過(guò)來(lái)網(wǎng)頁(yè)端的系統(tǒng)提示詞里早就替我寫好了一堆約束API 那邊是白紙一張什么都得自己填。所以怎么選很清楚偶爾用用、試效果、做調(diào)研網(wǎng)頁(yè)端更省事要進(jìn)生產(chǎn)、要批量跑、要可復(fù)現(xiàn)、要私有化只能走 API。API 給你的不是更強(qiáng)的模型是更多的控制權(quán)和更多的責(zé)任——費(fèi)用、并發(fā)、提示詞、數(shù)據(jù)合規(guī)全都得自己扛。八、2026 年國(guó)產(chǎn)主流大模型舉例截至 2026 年 10 月國(guó)內(nèi)第一梯隊(duì)的旗艦基本形成了共識(shí)打法MoE 架構(gòu) 長(zhǎng)上下文 開源權(quán)重。下面這張表是我整理的主流型號(hào)具體參數(shù)以各家官方文檔為準(zhǔn)。模型廠商架構(gòu)與參數(shù)上下文備注DeepSeek V4 系列深度求索MoEPro 版 1.6T 總參 / 49B 激活1MMIT 開源2026-09 更新 V4.1 FlashKimi K3月之暗面MoE2.8T 總參1M權(quán)重已開源Qwen3.8 系列阿里MoEMax 級(jí)約 2.4T 級(jí)參數(shù)長(zhǎng)上下文多榜國(guó)產(chǎn)第一梯隊(duì)GLM-5.3 系列智譜MoEFlash 版約 320B 總參 / 18B 激活1M原生多模態(tài)混元 Hy3 preview騰訊MoE295B 總參 / 21B 激活256K已開源LongCat-2.0美團(tuán)MoE1.6T 總參 / 48B 激活1M國(guó)產(chǎn)算力訓(xùn)練說(shuō)幾個(gè)具體感受**長(zhǎng)上下文已經(jīng)是標(biāo)配。**1M 這個(gè)詞在 2026 年出現(xiàn)得越來(lái)越頻繁DeepSeek、Kimi、GLM 這幾家都把百萬(wàn)級(jí)寫進(jìn)了宣傳口徑騰訊混元 Hy3 和訊飛星火 X2-Flash 則停在 256K 一檔。但如第二節(jié)所說(shuō)標(biāo)稱值和使用質(zhì)量是兩回事上生產(chǎn)前自己壓測(cè)一輪最穩(wěn)。MoE 是默認(rèn)選項(xiàng)。上面這幾家無(wú)一例外全部是稀疏架構(gòu)激活參數(shù)普遍落在幾十 B 的量級(jí)。這也意味著參數(shù)量這個(gè)指標(biāo)越來(lái)越不適合拿來(lái)橫向比強(qiáng)弱。**開源是真開源。**DeepSeek 走 MITKimi、GLM、混元都把權(quán)重放了出來(lái)這對(duì)想私有化部署的團(tuán)隊(duì)是實(shí)打?qū)嵉暮檬隆辽倌憧梢韵认螺d下來(lái)跑通再說(shuō)。回到開頭那個(gè)問(wèn)題。大模型是什么說(shuō)到底它是一臺(tái)用海量文本練出來(lái)的下一個(gè) Token 預(yù)測(cè)機(jī)Token、上下文窗口、Temperature、MoE 這些名詞描述的都是這臺(tái)機(jī)器的某個(gè)零件怎么轉(zhuǎn)。搞懂零件的代價(jià)并不高但回報(bào)很直接——你不再需要聽(tīng)別人替你判斷。以 2026 年 10 月這個(gè)時(shí)間點(diǎn)看選國(guó)產(chǎn)模型我建議先看激活參數(shù)和單價(jià)再看上下文和榜單排名?？倕?shù)最唬人也最不能用來(lái)橫向比。參考鏈接DeepSeek V4 預(yù)覽版發(fā)布公告搜DeepSeek V4 previewDeepSeek V4.1 Flash 發(fā)布說(shuō)明Kimi K3 快速開始文檔搜Kimi API 平臺(tái) 文檔騰訊混元 Hy3 preview 發(fā)布報(bào)道美團(tuán) LongCat-2.0 發(fā)布報(bào)道智譜 GLM 全棧體系研報(bào)摘要我是晚安code持續(xù)分享編程干貨。覺(jué)得有用的話記得點(diǎn)贊收藏和關(guān)注~也歡迎在評(píng)論區(qū)聊聊搞懂大模型是什么這件事上你被哪個(gè)名詞繞得最久 大模型是什么？講透 Token、上下文窗口、Temperature 和 MoE
大家好我是晚安code。假設(shè)一個(gè)場(chǎng)景這個(gè)模型說(shuō)支持 100 萬(wàn)上下文那我是不是可以把整個(gè)項(xiàng)目代碼都丟進(jìn)去看了眼賬單沒(méi)說(shuō)話。所以我打算把大模型是什么這件事從頭到尾講一遍一個(gè)名詞都不跳過(guò)。這篇就把話說(shuō)白大模型到底是什么Token、上下文窗口、Temperature、MoE 各自管什么Chat 模型和基座模型差在哪普通對(duì)話和深度思考怎么選網(wǎng)頁(yè)端和 API 該用哪個(gè)?？赐昴阒辽倌茏约号袛嘁粋€(gè)模型值不值得用。點(diǎn)個(gè)收藏咱們開始。一、大模型到底是個(gè)什么東西先說(shuō)結(jié)論大模型就是一臺(tái)下一個(gè) Token 預(yù)測(cè)機(jī)。它做的事非常樸素——給你一串文本猜下一個(gè) Token 最可能是什么。聽(tīng)著像廢話對(duì)吧我一開始也這么想。但你要讓這個(gè)猜測(cè)足夠準(zhǔn)模型就必須在內(nèi)部把語(yǔ)法、事實(shí)、邏輯關(guān)系、代碼結(jié)構(gòu)這些東西全部編碼進(jìn)去。就像輸入法聯(lián)想你打今天天氣它猜不錯(cuò)這背后只統(tǒng)計(jì)了幾個(gè)詞的關(guān)系大模型的聯(lián)想窗口開到了幾萬(wàn)億參數(shù)的尺度今天天氣后面接著猜的可能是段能跑的代碼。拆開看一個(gè)模型由三樣?xùn)|西決定參數(shù)權(quán)重訓(xùn)練學(xué)出來(lái)的數(shù)值規(guī)模從幾 B 到幾 T 不等這是大字的來(lái)源架構(gòu)現(xiàn)在基本都是 Transformer 及其變體決定了參數(shù)怎么連、信息怎么流訓(xùn)練數(shù)據(jù)喂進(jìn)去的文本量與質(zhì)量決定了它知道什么、不知道什么。預(yù)訓(xùn)練階段的目標(biāo)函數(shù)簡(jiǎn)單到只有一行最大化下一個(gè) Token 的預(yù)測(cè)概率。剩下那些會(huì)寫代碼“能翻譯”懂比喻的能力是數(shù)據(jù)量堆到一定程度后自己長(zhǎng)出來(lái)的業(yè)內(nèi)管這叫涌現(xiàn)。所以別把大模型想成一本科教書它更像一個(gè)把海量文本壓縮進(jìn)參數(shù)里的概率函數(shù)。理解這一句后面四個(gè)概念就都順了。二、Token 與上下文窗口它一次能看見(jiàn)多少Token詞元大模型處理文本的最小單位模型不按字算按 Token 算。你可以理解為模型眼里的積木塊——中文一個(gè)漢字大約 12 個(gè) Token英文一個(gè)單詞大約 13 個(gè) Token。這個(gè)單位為什么重要因?yàn)樗瑫r(shí)是計(jì)費(fèi)單位和容量單位。我第一次認(rèn)真看 API 賬單的時(shí)候才反應(yīng)過(guò)來(lái)我按字算費(fèi)用人家按 Token 算中文因?yàn)榉衷~方式的緣故同樣一段話的 Token 數(shù)經(jīng)常比我想的多。上下文窗口Context Window模型單次請(qǐng)求能看見(jiàn)的 Token 總數(shù)上限包含你輸入的提示詞和模型生成的回復(fù)。你可以把它理解成一張工作臺(tái)所有材料都得攤在這張桌子上桌子放不下的內(nèi)容模型是真看不見(jiàn)。這里有個(gè)特別容易踩的誤區(qū)上下文窗口不是硬盤是桌面。我見(jiàn)過(guò)不少人以為開 100 萬(wàn) Token 就等于有了 100 萬(wàn) Token 的記憶于是把整個(gè)倉(cāng)庫(kù)的代碼一次性塞進(jìn)去。實(shí)際會(huì)發(fā)生三件事推理成本按 Token 線性上漲輸入越長(zhǎng)單次請(qǐng)求越貴KV Cache 吃掉大量顯存并發(fā)能力直線下降長(zhǎng)請(qǐng)求排隊(duì)是常態(tài)注意力被稀釋材料越多模型越容易抓不住重點(diǎn)中間位置的內(nèi)容尤其容易被忽略。所以長(zhǎng)窗口的正確用法是該放的才放——檢索出來(lái)的相關(guān)片段、當(dāng)前任務(wù)的上下文而不是無(wú)腦全量投喂?？赡苡腥藭?huì)問(wèn)那我是不是該無(wú)腦選上下文最長(zhǎng)的那個(gè)模型不一定。先看你任務(wù)的真實(shí)長(zhǎng)度日常寫代碼、做問(wèn)答128K 大多用不滿。長(zhǎng)窗口更適合讀整本書、審一整個(gè)倉(cāng)庫(kù)這種場(chǎng)景而且用之前最好實(shí)測(cè)一下它在長(zhǎng)輸入下的召回表現(xiàn)廠商標(biāo)的是最大支持不是質(zhì)量保證。三、Temperature同一個(gè)問(wèn)題為什么每次回答都不一樣大模型的輸出不是查表是采樣。每次生成一個(gè) Token模型會(huì)先算出一整套概率分布再?gòu)睦锩嫣粢粋€(gè)——Temperature 就是控制這個(gè)挑有多隨機(jī)的旋鈕。Temperature溫度控制模型輸出隨機(jī)性的采樣參數(shù)值越低輸出越確定、越可復(fù)現(xiàn)值越高輸出越發(fā)散、越有意外。你可以理解為做菜的火候——小火慢燉出穩(wěn)定的味道大火爆炒出來(lái)的東西每次都不一樣。判斷句放這兒Temperature 不是聰明度旋鈕它調(diào)的是隨機(jī)性調(diào)高不會(huì)讓它變聰明只會(huì)讓它更敢瞎說(shuō)。我踩過(guò)的坑很典型有一次讓模型從一段日志里抽結(jié)構(gòu)化字段怎么改提示詞都不穩(wěn)定時(shí)而多一個(gè)字段時(shí)而少一個(gè)。后來(lái)才發(fā)現(xiàn)默認(rèn)溫度在那擺著把它壓到 0 附近輸出立刻老實(shí)了。這是我一般會(huì)用的取值僅供參考場(chǎng)景建議溫度原因代碼補(bǔ)全、信息抽取、分類00.3要的是可復(fù)現(xiàn)容不得自由發(fā)揮日常問(wèn)答、翻譯、總結(jié)0.50.7穩(wěn)定為主留一點(diǎn)自然表達(dá)空間起名、頭腦風(fēng)暴、文案發(fā)散0.91.2要的就是多樣性撞出意外組合不過(guò)要提醒一句溫度不是唯一變量。同一溫度下?lián)Q個(gè)模型、換個(gè)提示詞模板、甚至只是重跑一次輸出不一樣都很正常。四、MoE為什么 2.8 萬(wàn)億參數(shù)的模型還跑得起這兩年國(guó)產(chǎn)模型的參數(shù)一個(gè)個(gè)往萬(wàn)億上沖但 API 價(jià)格反而在跌。矛盾嗎不矛盾因?yàn)榭倕?shù)不等于每次推理要算的參數(shù)。MoEMixture of Experts混合專家把一個(gè)大模型拆成很多個(gè)并行的子網(wǎng)絡(luò)專家每次處理一個(gè) Token 時(shí)由路由網(wǎng)絡(luò)只挑其中一小部分專家來(lái)算。你可以理解為一家綜合醫(yī)院——院里幾十個(gè)科室你感冒了只掛呼吸科不用把全院醫(yī)生都叫來(lái)會(huì)診。和傳統(tǒng)稠密模型對(duì)比一下就很清楚維度稠密模型MoE 模型每次推理要算的參數(shù)全部參數(shù)只有被激活的少數(shù)專家顯存占用相對(duì)低參數(shù)少高總參數(shù)都得裝下同等算力下可擴(kuò)展的上限受算力限制明顯更高推理延遲穩(wěn)定路由有額外開銷但總計(jì)算量小這里有個(gè)特別常見(jiàn)的誤讀看到2.8 萬(wàn)億參數(shù)就以為跑一次要燒掉 2.8 萬(wàn)億參數(shù)的算力。不是的真正決定推理成本的是每次激活的那部分參數(shù)。再補(bǔ)一個(gè)我自己的觀察MoE 讓參數(shù)競(jìng)賽變得沒(méi)那么直接可比了。廠商發(fā)布會(huì)報(bào)總參數(shù)工程師該看的是激活參數(shù)——兩個(gè)總參一樣的模型激活參數(shù)量可能差一個(gè)數(shù)量級(jí)成本和速度完全不是一回事。五、Chat 模型不等于更聰明的基座模型判斷句Chat 模型不是基座模型的升級(jí)版它是基座模型被規(guī)訓(xùn)之后的樣子?；Ｐ虰ase Model只做過(guò)預(yù)訓(xùn)練、目標(biāo)就是續(xù)寫下一個(gè) Token 的模型。它知識(shí)量大但不會(huì)回答問(wèn)題——你問(wèn)它北京在哪它可能接著給你編出十個(gè)類似的問(wèn)題因?yàn)樵谒劾锬阒皇墙o了它一段待續(xù)寫的文本。Chat 模型在基座之上做過(guò)指令微調(diào)和對(duì)齊的模型能聽(tīng)懂請(qǐng)幫我做某事這類指令并按助手的口吻回答。你可以理解為同一個(gè)人的兩種狀態(tài)——一個(gè)是滿腹經(jīng)綸但不看場(chǎng)合的學(xué)者一個(gè)是受過(guò)職業(yè)訓(xùn)練的客服。從基座到 Chat中間大致走三步SFT指令微調(diào)用大量指令—回答樣本教它對(duì)話格式偏好對(duì)齊用人類偏好數(shù)據(jù)RLHF、DPO 之類讓它學(xué)會(huì)哪些回答更好、哪些不能說(shuō)安全與風(fēng)格收尾加上拒答邊界、語(yǔ)氣規(guī)范、格式習(xí)慣。對(duì)齊換來(lái)了聽(tīng)得懂人話代價(jià)是別的原始知識(shí)密度會(huì)被話術(shù)稀釋輸出多樣性下降模型也更傾向于給出四平八穩(wěn)的答案。做領(lǐng)域微調(diào)的朋友尤其要注意——你要的是把新知識(shí)灌進(jìn)去還是把回答風(fēng)格調(diào)成助手腔這決定了你選基座還是選 Chat 版。這不是一個(gè)哪個(gè)更好的問(wèn)題是哪個(gè)更合你的事。六、普通對(duì)話和深度思考差在哪先說(shuō)結(jié)論兩者的區(qū)別不在誰(shuí)更聰明而在要不要給模型發(fā)一張草稿紙。普通對(duì)話Fast / 非思考模式模型直接開始生成答案每個(gè) Token 都是最終輸出的一部分。你可以理解為脫口而出的回答。深度思考Thinking / 推理模式模型先輸出一段內(nèi)部推理過(guò)程想完了再給結(jié)論。這段過(guò)程有時(shí)直接展示給你有時(shí)被折疊起來(lái)但只要它產(chǎn)生了就一樣計(jì)費(fèi)。深度思考現(xiàn)在大致有這么幾種控制方式深度也分檔開關(guān)式一個(gè)按鈕思考開或關(guān)最粗放強(qiáng)度分檔像reasoning_effort這類參數(shù)可以設(shè) low / high / max本質(zhì)是給推理過(guò)程留多少 Token 預(yù)算自動(dòng)路由由平臺(tái)判斷簡(jiǎn)單問(wèn)題直接答、復(fù)雜問(wèn)題才把思考拉起來(lái)。同一個(gè)問(wèn)題兩種模式的差別集中在四件事上維度普通對(duì)話深度思考首字延遲快幾乎立刻出字明顯變慢等幾秒到幾十秒Token 消耗只算答案推理過(guò)程也計(jì)費(fèi)常常翻幾倍穩(wěn)定性直接但可能漏步驟多步任務(wù)正確率更高出錯(cuò)方式答得淺可能想歪推理鏈越長(zhǎng)越容易跑偏至于什么時(shí)候該用我的判斷標(biāo)準(zhǔn)是看任務(wù)有沒(méi)有中間步驟場(chǎng)景建議原因數(shù)學(xué)題、算法題、多步邏輯用中等強(qiáng)度起步收益最明顯復(fù)雜代碼調(diào)試、架構(gòu)權(quán)衡用需要連貫的因果鏈信息抽取、格式轉(zhuǎn)換別用規(guī)則明確想多了反而出錯(cuò)RAG 檢索問(wèn)答、摘要、翻譯別用答案在材料里靠歸納不靠推理閑聊、簡(jiǎn)單改寫別用純燒錢RAG檢索增強(qiáng)生成的思路是先從知識(shí)庫(kù)撈出相關(guān)片段再讓模型基于這些片段作答。它的核心工作是讀懂材料、說(shuō)清楚鏈?zhǔn)酵评韼筒簧厦€會(huì)拖慢響應(yīng)、推高成本更麻煩的是推理鏈拉長(zhǎng)之后模型有可能偏離檢索到的原文開始自己編。我踩過(guò)一個(gè)挺有意思的坑有次讓它算個(gè)兩位數(shù)乘法順手開了最高檔思考結(jié)果它繞了一大圈還差點(diǎn)算錯(cuò)。思考強(qiáng)度是預(yù)算不是保險(xiǎn)。七、網(wǎng)頁(yè)端 AI 和 API 調(diào)用買的不是同一個(gè)東西判斷句網(wǎng)頁(yè)端和 API 背后往往是同一個(gè)模型但你買到的東西完全不是一回事。網(wǎng)頁(yè)端是成品API 是零件——這個(gè)差別決定了它倆各自適合什么活。維度網(wǎng)頁(yè)端API 調(diào)用計(jì)費(fèi)訂閱或免費(fèi)聊多少不影響錢包按 Token 計(jì)費(fèi)輸入輸出都算錢參數(shù)控制基本沒(méi)有Temperature 被藏起來(lái)了溫度、思考強(qiáng)度、最大長(zhǎng)度都能自己設(shè)系統(tǒng)提示詞平臺(tái)寫死的你改不了完全由你掌控上下文平臺(tái)可能自動(dòng)截?cái)鄽v史傳多少是你的事費(fèi)用也歸你附加能力自帶聯(lián)網(wǎng)、文件解析、畫圖、記憶裸模型檢索和工具得自己接數(shù)據(jù)流向是否用于訓(xùn)練看平臺(tái)條款企業(yè)版通?？杉s定不用于訓(xùn)練自動(dòng)化手動(dòng)點(diǎn)可批量、可嵌進(jìn)產(chǎn)品、可進(jìn) CI我第一次把網(wǎng)頁(yè)端用得很順的提示詞搬到 API 上效果掉了一截排查半天才反應(yīng)過(guò)來(lái)網(wǎng)頁(yè)端的系統(tǒng)提示詞里早就替我寫好了一堆約束API 那邊是白紙一張什么都得自己填。所以怎么選很清楚偶爾用用、試效果、做調(diào)研網(wǎng)頁(yè)端更省事要進(jìn)生產(chǎn)、要批量跑、要可復(fù)現(xiàn)、要私有化只能走 API。API 給你的不是更強(qiáng)的模型是更多的控制權(quán)和更多的責(zé)任——費(fèi)用、并發(fā)、提示詞、數(shù)據(jù)合規(guī)全都得自己扛。八、2026 年國(guó)產(chǎn)主流大模型舉例截至 2026 年 10 月國(guó)內(nèi)第一梯隊(duì)的旗艦基本形成了共識(shí)打法MoE 架構(gòu) 長(zhǎng)上下文 開源權(quán)重。下面這張表是我整理的主流型號(hào)具體參數(shù)以各家官方文檔為準(zhǔn)。模型廠商架構(gòu)與參數(shù)上下文備注DeepSeek V4 系列深度求索MoEPro 版 1.6T 總參 / 49B 激活1MMIT 開源2026-09 更新 V4.1 FlashKimi K3月之暗面MoE2.8T 總參1M權(quán)重已開源Qwen3.8 系列阿里MoEMax 級(jí)約 2.4T 級(jí)參數(shù)長(zhǎng)上下文多榜國(guó)產(chǎn)第一梯隊(duì)GLM-5.3 系列智譜MoEFlash 版約 320B 總參 / 18B 激活1M原生多模態(tài)混元 Hy3 preview騰訊MoE295B 總參 / 21B 激活256K已開源LongCat-2.0美團(tuán)MoE1.6T 總參 / 48B 激活1M國(guó)產(chǎn)算力訓(xùn)練說(shuō)幾個(gè)具體感受**長(zhǎng)上下文已經(jīng)是標(biāo)配。**1M 這個(gè)詞在 2026 年出現(xiàn)得越來(lái)越頻繁DeepSeek、Kimi、GLM 這幾家都把百萬(wàn)級(jí)寫進(jìn)了宣傳口徑騰訊混元 Hy3 和訊飛星火 X2-Flash 則停在 256K 一檔。但如第二節(jié)所說(shuō)標(biāo)稱值和使用質(zhì)量是兩回事上生產(chǎn)前自己壓測(cè)一輪最穩(wěn)。MoE 是默認(rèn)選項(xiàng)。上面這幾家無(wú)一例外全部是稀疏架構(gòu)激活參數(shù)普遍落在幾十 B 的量級(jí)。這也意味著參數(shù)量這個(gè)指標(biāo)越來(lái)越不適合拿來(lái)橫向比強(qiáng)弱。**開源是真開源。**DeepSeek 走 MITKimi、GLM、混元都把權(quán)重放了出來(lái)這對(duì)想私有化部署的團(tuán)隊(duì)是實(shí)打?qū)嵉暮檬隆辽倌憧梢韵认螺d下來(lái)跑通再說(shuō)。回到開頭那個(gè)問(wèn)題。大模型是什么說(shuō)到底它是一臺(tái)用海量文本練出來(lái)的下一個(gè) Token 預(yù)測(cè)機(jī)Token、上下文窗口、Temperature、MoE 這些名詞描述的都是這臺(tái)機(jī)器的某個(gè)零件怎么轉(zhuǎn)。搞懂零件的代價(jià)并不高但回報(bào)很直接——你不再需要聽(tīng)別人替你判斷。以 2026 年 10 月這個(gè)時(shí)間點(diǎn)看選國(guó)產(chǎn)模型我建議先看激活參數(shù)和單價(jià)再看上下文和榜單排名?？倕?shù)最唬人也最不能用來(lái)橫向比。參考鏈接DeepSeek V4 預(yù)覽版發(fā)布公告搜DeepSeek V4 previewDeepSeek V4.1 Flash 發(fā)布說(shuō)明Kimi K3 快速開始文檔搜Kimi API 平臺(tái) 文檔騰訊混元 Hy3 preview 發(fā)布報(bào)道美團(tuán) LongCat-2.0 發(fā)布報(bào)道智譜 GLM 全棧體系研報(bào)摘要我是晚安code持續(xù)分享編程干貨。覺(jué)得有用的話記得點(diǎn)贊收藏和關(guān)注~也歡迎在評(píng)論區(qū)聊聊搞懂大模型是什么這件事上你被哪個(gè)名詞繞得最久