大模型 第一篇：認識大模型——它到底是什么、能干什么、開源和閉源差在哪)
玩轉(zhuǎn)大模型 第一篇認識大模型——它到底是什么、能干什么、開源和閉源差在哪這兩年只要跟技術(shù)沾邊的場合大模型三個字幾乎繞不過去。DeepSeek、通義千問、GPT、Gemini、Claude……名字一個比一個響宣傳口徑也大同小異參數(shù)很大、能力很強、什么都懂一點。但真要把這些東西講清楚很多人會卡在幾個很基礎(chǔ)的問題上所謂7B“36T token”“5 PFLOPS到底在說什么為什么有的模型能看圖有的只能寫字同樣是開源”為什么有人說開源模型免費有人說自己部署一臺機器比 API 貴得多這篇文章就是把大模型的地基先攤平定義、出現(xiàn)原因、計量單位、分類方式、開源與閉源。后面幾篇再往上蓋訓(xùn)練、算力和工程落地。1. 大模型到底是什么目前學(xué)界和工業(yè)界對大模型Large Models并沒有一個統(tǒng)一的標(biāo)準(zhǔn)定義。通常的說法是訓(xùn)練數(shù)據(jù)龐大、參數(shù)規(guī)模巨大、能力強大的深度神經(jīng)網(wǎng)絡(luò)模型。參數(shù)量一般在10 億以上目前頂尖模型的參數(shù)規(guī)模已經(jīng)到了萬億級別。下面這張圖是幾個大家熟悉模型的公開口徑感受一下量級差異簡單理解傳統(tǒng)模型 -- 千萬級參數(shù) 人工標(biāo)注的幾十萬條樣本 大模型 -- 百億~萬億級參數(shù) 萬億級 token 的無標(biāo)注語料關(guān)鍵不在大而在大到一定程度之后能力開始出現(xiàn)質(zhì)的變化——這也是為什么同一個 Transformer 結(jié)構(gòu)規(guī)模上去之后突然會寫代碼、會做推理。2. 為什么偏偏是這個時間點出現(xiàn)大模型的出現(xiàn)不是偶然而是數(shù)據(jù)、算力、模型架構(gòu)三者協(xié)同演進的結(jié)果。少任何一條都到不了今天。2.1 數(shù)據(jù)夠多訓(xùn)練范式換了傳統(tǒng)監(jiān)督學(xué)習(xí)高度依賴人工標(biāo)注數(shù)據(jù)對原始數(shù)據(jù)做標(biāo)記、分類、注釋、結(jié)構(gòu)化讓機器能識別理解成本高、規(guī)模上不去。常見的標(biāo)注活兒長這樣標(biāo)注類型干什么分類標(biāo)注給整張圖打類別標(biāo)簽比如貓“狗”命名實體識別標(biāo)出文本里的人名、地名、組織名情感分析標(biāo)正面 / 負面 / 中性語音轉(zhuǎn)寫把語音逐句轉(zhuǎn)成文字大模型主要用自監(jiān)督學(xué)習(xí)范式典型任務(wù)是預(yù)測下一個 token直接拿海量未標(biāo)注文本和多模態(tài)數(shù)據(jù)訓(xùn)練。自監(jiān)督本質(zhì)上屬于無監(jiān)督學(xué)習(xí)的一種特殊形式但用了監(jiān)督學(xué)習(xí)的訓(xùn)練方式靠數(shù)據(jù)自身的內(nèi)在結(jié)構(gòu)自動生成偽標(biāo)簽再像監(jiān)督那樣訓(xùn)練不依賴人工標(biāo)注。掩碼語言建模就是典型例子。量級差別有多大Qwen3 預(yù)訓(xùn)練階段用了約36T個 token 的語料這個規(guī)模遠超傳統(tǒng)機器學(xué)習(xí)時代的訓(xùn)練數(shù)據(jù)總量。2.2 算力夠強并行硬件 分布式訓(xùn)練成熟深度學(xué)習(xí)的訓(xùn)練本質(zhì)是大規(guī)模矩陣運算這類計算高度并行和 GPU/TPU 的硬件架構(gòu)天然契合。單卡算力方面英偉達 最新一代B200在FP16半精度浮點數(shù)條件下峰值算力已達5 PFLOPS約每秒 5×101? 次浮點運算單位換算1 P 10 3 T 10 6 G 10 9 M 10 12 K 10 15 1P10^{3}T10^{6}G10^{9}M10^{12}K10^{15}1P103T106G109M1012K1015。與此同時三種分布式訓(xùn)練體系已經(jīng)成熟讓跨節(jié)點、跨集群訓(xùn)練超大規(guī)模參數(shù)模型變成現(xiàn)實數(shù)據(jù)并行每張卡都放完整模型副本各自處理不同數(shù)據(jù)子集靠梯度聚合把參數(shù)更新同步 張量并行把權(quán)重矩陣按維度切開每張卡只算自己那一片再用集合通信把結(jié)果拼起來 流水線并行按層或模塊切成若干階段每個階段放不同設(shè)備數(shù)據(jù)像流水線一樣依次穿過2.3 架構(gòu)合理Transformer 的可擴展性Transformer 架構(gòu)天生支持并行計算并且在模型規(guī)模、數(shù)據(jù)規(guī)模、訓(xùn)練步數(shù)算力開銷三個方向同時加大時性能收益是穩(wěn)定的——也就是所謂的良好可擴展性Scaling Law。圖中 Test Loss 是損失函數(shù)的取值。補一個概念損失函數(shù)Loss Function用來量化模型預(yù)測值與真實值之間的差異也叫代價函數(shù)或目標(biāo)函數(shù)。它通過計算預(yù)測錯誤程度來評估模型性能值越小越準(zhǔn)值越大誤差越大。常見的有均方誤差MSE、平均絕對誤差MAE。2.4 一句話總結(jié)數(shù)據(jù)規(guī)模的躍遷 算力基礎(chǔ)設(shè)施的發(fā)展 Transformer 優(yōu)異的可擴展性三者疊加推動模型規(guī)模和性能持續(xù)膨脹這才有了大模型時代。3. 三個計量維度B、token、FLOPs 分別在說什么聊大模型最容易搞混的就是單位。其實從三個維度看就清楚了參數(shù)規(guī)模、訓(xùn)練數(shù)據(jù)集規(guī)模、計算規(guī)模。維度衡量什么常用單位舉例參數(shù)規(guī)模模型有多大BBillion10 億10 9 10^91097B 70 億參數(shù)訓(xùn)練數(shù)據(jù)集規(guī)模喂了多少文本token 數(shù)B / T1T token 10 12 10^{12}1012token計算規(guī)模訓(xùn)練燒了多少算力FLOPs浮點運算次數(shù)1 PFLOPs 10 15 10^{15}1015FLOPs1參數(shù)規(guī)模這里說的參數(shù)是深度神經(jīng)網(wǎng)絡(luò)里神經(jīng)元數(shù)量、層數(shù)、神經(jīng)元權(quán)重、神經(jīng)元偏移量、超參數(shù)這些數(shù)據(jù)的集合。2訓(xùn)練數(shù)據(jù)集規(guī)模LLM 的訓(xùn)練在文本語料上進行而語料處理的第一步就是分詞成一系列 token所以業(yè)界習(xí)慣用token 數(shù)量來衡量訓(xùn)練數(shù)據(jù)集規(guī)模。多模態(tài)模型的數(shù)據(jù)集格式五花八門無法用統(tǒng)一單位度量這塊一般不放在一起討論。關(guān)于 token很多人第一次接觸會懵這里單獨說一下Q1token 到底是什么token 是計算機理解人類語言的基礎(chǔ)單位。它不一定等于一個詞可能是一個完整英文單詞也可能是半個、甚至三分之一個可能是一個中文詞也可能就是一個漢字大模型在正式開訓(xùn)之前要先訓(xùn)練一個tokenizer模型專門負責(zé)把所有文本切成 token。粗略的經(jīng)驗值1 個英文字符 ≈ 0.3 個 token 1 個中文字符 ≈ 0.6 個 token想驗證的話可以直接用官方的分詞器試https://platform.openai.com/tokenizerQ2FLOPs 和 FLOPS 是一回事嗎不是。課件里的用法區(qū)分是FLOPsFloating Point Operations指浮點運算次數(shù)衡量訓(xùn)練消耗的總計算量而硬件指標(biāo)里的FLOPSPer Second指每秒能完成多少次衡量的是速度。一個是總量一個是速率。4. 大模型怎么分類兩個最常用的切分標(biāo)準(zhǔn)按模態(tài)輸入輸出的數(shù)據(jù)類型和按功能/輸出形態(tài)模型吐出來的是文字、向量還是分數(shù)。分類標(biāo)準(zhǔn)類別示例按模態(tài)大語言模型Qwen3 / DeepSeek-V3 / GPT-5 語言模塊多模態(tài)理解模型Qwen3-VL / GPT-5 / Gemini-3多模態(tài)生成模型Stable Diffusion / DALL·E / Nano-Banana按功能生成式大模型GPT-5 / DeepSeek-V3 / Qwen3嵌入模型BGE / E5 / GTE重排序模型BGE-Reranker / ms-marco-MiniLM分類模型通常是微調(diào)過的小尺寸模型4.1 按模態(tài)分語言 / 多模態(tài)理解 / 多模態(tài)生成先補一個基礎(chǔ)概念模態(tài)Modality指的是人或機器感知世界的方式常見的有文本、圖像、音頻/語音、視頻等。類型 1大語言模型LLM又叫語言/文本大模型專門處理文本數(shù)據(jù)。項目說明輸入 → 輸出文本 → 文本token 序列技術(shù)架構(gòu)Transformer 文本編碼典型應(yīng)用對話、寫作、推理、翻譯、代碼生成代表Qwen3 系列、DeepSeek-V3.2 系列、GPT-5 系列語言模塊、Gemini-3 系列語言模塊需要注意一點ChatGPT 和 Gemini 本身不屬于上面任何單一類別。它們是以語言大模型為中樞的智能體系統(tǒng)是面向用戶推出的 AI 產(chǎn)品支持文本生成、圖像理解和圖像生成。模型 ≠ 產(chǎn)品這個區(qū)分后面講工程落地時還會反復(fù)遇到。類型 2多模態(tài)理解大模型能同時處理和理解多種類型的數(shù)據(jù)文本、圖像、音頻、視頻通過對比學(xué)習(xí)等技術(shù)把不同模態(tài)映射到統(tǒng)一語義空間。項目說明輸入 → 輸出文本 圖像/音頻/視頻 → 通常是文本技術(shù)架構(gòu)多編碼器 跨模態(tài)融合典型應(yīng)用看圖說話VQA、視頻理解、音頻理解、文檔理解PDF / 表格 / 圖像代表GPT-5 系列、Qwen3-VL 系列、Gemini-3 系列類型 3多模態(tài)生成模型不光能理解多種模態(tài)還能做跨模態(tài)內(nèi)容生成。核心是生成式架構(gòu)靠擴散模型、自回歸生成等技術(shù)完成從一種模態(tài)到另一種模態(tài)的轉(zhuǎn)換。項目說明輸入 → 輸出文本/圖像 → 圖像/視頻/音頻技術(shù)架構(gòu)生成式架構(gòu)擴散 / 自回歸典型應(yīng)用文生圖、文/圖生視頻、文生音頻TTS / Music代表圖像Stable Diffusion、DALL·E、GPT-Image-1.5、Nano-Banana視頻Sora、Veo音頻AudioLM、VALL-E4.2 按功能/輸出形態(tài)分生成 / 嵌入 / 重排序 / 分類類型 1生成式大模型Generative LLM根據(jù)指令或提示從無到有生成原創(chuàng)內(nèi)容文本、圖像、音頻、視頻。輸出token 序列優(yōu)化目標(biāo)最大化條件概率 P(token | context)核心特征自回歸Autoregressive生成——不斷預(yù)測下一個 token 來產(chǎn)出內(nèi)容典型應(yīng)用對話、推理、Agent、RAG 的最終回答生成代表GPT-5、DeepSeek-V3、Qwen3以及 DALL·E圖像、Sora視頻類型 2嵌入模型 / 向量表征模型Embedding Model把文本、圖像等離散數(shù)據(jù)轉(zhuǎn)換成高維向量在向量空間里捕捉語義關(guān)系。語義相似的文本在向量空間中距離更近因此便于快速檢索和比較。輸出固定維度的稠密向量dense vector不生成文本典型應(yīng)用語義搜索、推薦系統(tǒng)、知識庫檢索、文檔相似度計算代表BGE 系列、E5 系列、GTE 系列類型 3重排序 / 相關(guān)性打分模型Reranking對初步檢索出來的結(jié)果做精細化排序通過深度語義分析重新計算查詢與文檔的相關(guān)性得分把最相關(guān)的頂?shù)角懊?。輸?query, doc) 一對 →輸出相關(guān)性分數(shù)scalar典型應(yīng)用RAG 系統(tǒng)的檢索結(jié)果優(yōu)化、搜索引擎排序、推薦系統(tǒng)精排代表BGE-Reranker 系列、Hugging Face 上 Cross-Encoder 組織的 ms-marco-MiniLM 系列Cross-Encoder 是個在 Hugging Face 上訓(xùn)練了很多 Text Reranking 模型的組織類型 4分類器 / 判別模型Classifier根據(jù)數(shù)據(jù)特征預(yù)測其所屬的預(yù)定義類別輸出離散的類別標(biāo)簽或概率分布。輸出標(biāo)簽 / 概率 / Yes-No典型應(yīng)用垃圾郵件識別、情感分析、圖像分類、疾病診斷等二分類或多分類任務(wù)代表通常是微調(diào)過的小模型比如基于 BERT 微調(diào)的分類模型四者橫向?qū)Ρ染S度生成式大模型嵌入模型重排序模型分類模型核心任務(wù)內(nèi)容生成語義編碼相關(guān)性排序類別預(yù)測輸出形式自然語言/圖像/音頻高維向量相關(guān)性分數(shù)類別標(biāo)簽?zāi)Ｐ鸵?guī)模百億~千億參數(shù)百萬~億級參數(shù)千萬~億級參數(shù)百萬~千萬參數(shù)計算成本極高極低中低低典型架構(gòu)Transformer 解碼器Transformer 編碼器交叉編碼器邏輯回歸/SVM/決策樹4.3 這四類模型不是競爭關(guān)系是流水線這一塊是很多人第一次看會漏掉的重點實際系統(tǒng)里四類模型往往協(xié)同工作尤其是 RAG 場景。知識庫文檔 -- 嵌入模型編碼成向量 -- 存入向量數(shù)據(jù)庫 ↓ 用戶提問 -- 嵌入模型檢索候選文檔 -- 重排序模型精排 -- 分類模型過濾/判定 -- 生成式大模型輸出答案檢索Embedding Rerank負責(zé)找得準(zhǔn)生成LLM負責(zé)說得清。這種組合正是 RAG 的標(biāo)準(zhǔn)形態(tài)。5. 開源 vs 閉源差別不只是要不要錢5.1 先拆四要素一個大模型由四個要素構(gòu)成模型權(quán)重參數(shù)、推理代碼、訓(xùn)練代碼、訓(xùn)練數(shù)據(jù)集。四者層次一旦理清就會發(fā)現(xiàn)開源這個詞的含金量差別很大。需要注意的是大模型的開源和傳統(tǒng)軟件的開源不是一回事。這里要特別拎一個概念出來嚴(yán)格來說業(yè)界大量所謂開源大模型更準(zhǔn)確的叫法其實是Open Weight開放權(quán)重模型。權(quán)重開放 ≠ 推理代碼開放 ≠ 訓(xùn)練代碼開放 ≠ 訓(xùn)練數(shù)據(jù)開放 ≠ 可自由商用這幾件事完全不是一回事。大模型開源通常只開放權(quán)重可能附帶推理代碼但一般不包含訓(xùn)練代碼和數(shù)據(jù)集。如果涉及企業(yè)商業(yè)化或私有部署License 一定要單獨檢查。陣營含義典型代表開源 / 開放權(quán)重主要指開放權(quán)重模型參數(shù)任何人可查看、修改、分發(fā)DeepSeek 系列、Qwen 系列、Llama 系列、文心大模型 4.5閉源特定企業(yè)開發(fā)并保密源代碼和內(nèi)部實現(xiàn)不對外公開GPT 系列早期 GPT-1/GPT-2 和后來開源的 GPT-OSS 系列除外、Gemini 系列大多數(shù)、Claude 系列5.2 七個維度的正面對比維度開源大模型閉源大模型透明度代碼和算法完全透明可審查驗證內(nèi)部機制不透明存在黑箱問題可訪問性免費使用降低技術(shù)門檻需要特定許可或授權(quán)通常付費定制性支持深度定制和優(yōu)化定制能力受限僅限 API 參數(shù)調(diào)整創(chuàng)新速度社區(qū)協(xié)作推動快速迭代依賴單一團隊創(chuàng)新速度較慢成本結(jié)構(gòu)免費使用但需硬件和運維投入按使用量付費前期投入低但長期成本高技術(shù)支持依賴社區(qū)缺乏官方專業(yè)支持提供企業(yè)級技術(shù)支持和維護服務(wù)安全性透明可審計但可能被惡意利用代碼不公開保護知識產(chǎn)權(quán)和用戶數(shù)據(jù)Q開源不是免費嗎為什么常說自建比調(diào) API 貴關(guān)鍵就在成本結(jié)構(gòu)這一行。開源免掉的是模型授權(quán)費但權(quán)重跑起來要卡、要電、要運維而且推理量小的時候這筆固定投入攤不薄。閉源按 token 付費前期幾乎零投入但量級一大長期成本會反超。所以真實分界線通常是調(diào)用量和數(shù)據(jù)能否出內(nèi)網(wǎng)不是開源省錢、閉源貴這么簡單。5.3 各自的商業(yè)邏輯開源的商業(yè)邏輯技術(shù)擴散換取生態(tài)影響核心策略用免費廚房模式吸引開發(fā)者構(gòu)建龐大用戶生態(tài)再通過云服務(wù)、工具鏈、行業(yè)解決方案等增值服務(wù)盈利變現(xiàn)路徑云服務(wù)變現(xiàn)、企業(yè)級定制、硬件生態(tài)、工具鏈和平臺優(yōu)勢快速占領(lǐng)市場、建立行業(yè)標(biāo)準(zhǔn)、降低用戶采用門檻形成創(chuàng)新飛輪——企業(yè)貢獻基礎(chǔ)模型學(xué)術(shù)界優(yōu)化算法開發(fā)者創(chuàng)造應(yīng)用最終反哺模型迭代閉源的邏輯專有技術(shù)換取商業(yè)利潤核心策略用技術(shù)壟斷建立護城河通過 API 調(diào)用、企業(yè)級定制方案、云平臺集成直接變現(xiàn)盈利模式API 訂閱服務(wù)、企業(yè)級解決方案、技術(shù)授權(quán)和專利變現(xiàn)、云平臺增值服務(wù)優(yōu)勢直接盈利能力強、技術(shù)溢價高、服務(wù)質(zhì)量穩(wěn)定、保護知識產(chǎn)權(quán)——在短期激烈競爭中能確實拿到利潤5.4 混合模式已經(jīng)是主流隨著競爭加劇開源引流、閉源變現(xiàn)成了很多企業(yè)的標(biāo)準(zhǔn)打法廠商開源的那一半閉源的那一半谷歌Gemma吸引開發(fā)者生態(tài)Gemini服務(wù)高利潤企業(yè)客戶MetaLlama 系列建生態(tài)自研模型用于商業(yè)服務(wù)阿里巴巴通義千問中國最大的開源模型家族閉源企業(yè)級服務(wù)百度2025 年 6 月開源文心 4.5 系列閉源 API 服務(wù)這種模式既能靠開源快速立生態(tài)又能靠閉源保住商業(yè)回報目前看是主流解法。最后總結(jié)什么是大模型目前沒有統(tǒng)一定義經(jīng)驗線是參數(shù)量 10 億以上、頂尖已到萬億級真正的價值不在于大而在于規(guī)模上去之后能力出現(xiàn)躍遷。為什么是現(xiàn)在數(shù)據(jù)自監(jiān)督范式解放語料規(guī)模、算力GPU/TPU 三種并行成熟、架構(gòu)Transformer 的可擴展性三條同時到位缺一條都起不來。怎么看參數(shù)表B說模型多大T token說喂了多少FLOPs說燒了多少算力。三者不要混為一談。怎么選模型類型日常文本用 LLM要處理圖片/視頻/音頻的理解用多模態(tài)理解模型要產(chǎn)出圖像視頻用多模態(tài)生成模型做檢索則離不開嵌入 重排序。開源還是閉源真正該關(guān)心的是開放到哪一層權(quán)重/推理代碼/訓(xùn)練代碼/數(shù)據(jù)以及自己的調(diào)用量和數(shù)據(jù)合規(guī)要求。對于準(zhǔn)備做工程落地的開發(fā)者我個人更建議先記住這一句模型 ≠ 產(chǎn)品權(quán)重開放 ≠ 自由商用檢索和生成是兩類模型在協(xié)作。第二篇會接著講這些能力到底是怎么訓(xùn)練出來的——預(yù)訓(xùn)練、SFT、RLHF 三階段各解決了什么問題。參考資料 致謝[1] 尚硅谷大模型技術(shù)之大模型概述 V1.0.3-課件[2] Transformer 論文 Attention Is All You Need-arXiv[3] OpenAI Tokenizer-官方工具[4] Qwen 官網(wǎng)[5] DeepSeek 官網(wǎng)[6] NVIDIA 官網(wǎng)[7] Stability AI 官網(wǎng)[8] Hugging Face Cross-Encoder Reranker-模型庫[9] Llama 官網(wǎng)[10] Anthropic 官網(wǎng) 玩轉(zhuǎn)大模型 第一篇：認識大模型——它到底是什么、能干什么、開源和閉源差在哪
玩轉(zhuǎn)大模型 第一篇認識大模型——它到底是什么、能干什么、開源和閉源差在哪這兩年只要跟技術(shù)沾邊的場合大模型三個字幾乎繞不過去。DeepSeek、通義千問、GPT、Gemini、Claude……名字一個比一個響宣傳口徑也大同小異參數(shù)很大、能力很強、什么都懂一點。但真要把這些東西講清楚很多人會卡在幾個很基礎(chǔ)的問題上所謂7B“36T token”“5 PFLOPS到底在說什么為什么有的模型能看圖有的只能寫字同樣是開源”為什么有人說開源模型免費有人說自己部署一臺機器比 API 貴得多這篇文章就是把大模型的地基先攤平定義、出現(xiàn)原因、計量單位、分類方式、開源與閉源。后面幾篇再往上蓋訓(xùn)練、算力和工程落地。1. 大模型到底是什么目前學(xué)界和工業(yè)界對大模型Large Models并沒有一個統(tǒng)一的標(biāo)準(zhǔn)定義。通常的說法是訓(xùn)練數(shù)據(jù)龐大、參數(shù)規(guī)模巨大、能力強大的深度神經(jīng)網(wǎng)絡(luò)模型。參數(shù)量一般在10 億以上目前頂尖模型的參數(shù)規(guī)模已經(jīng)到了萬億級別。下面這張圖是幾個大家熟悉模型的公開口徑感受一下量級差異簡單理解傳統(tǒng)模型 -- 千萬級參數(shù) 人工標(biāo)注的幾十萬條樣本 大模型 -- 百億~萬億級參數(shù) 萬億級 token 的無標(biāo)注語料關(guān)鍵不在大而在大到一定程度之后能力開始出現(xiàn)質(zhì)的變化——這也是為什么同一個 Transformer 結(jié)構(gòu)規(guī)模上去之后突然會寫代碼、會做推理。2. 為什么偏偏是這個時間點出現(xiàn)大模型的出現(xiàn)不是偶然而是數(shù)據(jù)、算力、模型架構(gòu)三者協(xié)同演進的結(jié)果。少任何一條都到不了今天。2.1 數(shù)據(jù)夠多訓(xùn)練范式換了傳統(tǒng)監(jiān)督學(xué)習(xí)高度依賴人工標(biāo)注數(shù)據(jù)對原始數(shù)據(jù)做標(biāo)記、分類、注釋、結(jié)構(gòu)化讓機器能識別理解成本高、規(guī)模上不去。常見的標(biāo)注活兒長這樣標(biāo)注類型干什么分類標(biāo)注給整張圖打類別標(biāo)簽比如貓“狗”命名實體識別標(biāo)出文本里的人名、地名、組織名情感分析標(biāo)正面 / 負面 / 中性語音轉(zhuǎn)寫把語音逐句轉(zhuǎn)成文字大模型主要用自監(jiān)督學(xué)習(xí)范式典型任務(wù)是預(yù)測下一個 token直接拿海量未標(biāo)注文本和多模態(tài)數(shù)據(jù)訓(xùn)練。自監(jiān)督本質(zhì)上屬于無監(jiān)督學(xué)習(xí)的一種特殊形式但用了監(jiān)督學(xué)習(xí)的訓(xùn)練方式靠數(shù)據(jù)自身的內(nèi)在結(jié)構(gòu)自動生成偽標(biāo)簽再像監(jiān)督那樣訓(xùn)練不依賴人工標(biāo)注。掩碼語言建模就是典型例子。量級差別有多大Qwen3 預(yù)訓(xùn)練階段用了約36T個 token 的語料這個規(guī)模遠超傳統(tǒng)機器學(xué)習(xí)時代的訓(xùn)練數(shù)據(jù)總量。2.2 算力夠強并行硬件 分布式訓(xùn)練成熟深度學(xué)習(xí)的訓(xùn)練本質(zhì)是大規(guī)模矩陣運算這類計算高度并行和 GPU/TPU 的硬件架構(gòu)天然契合。單卡算力方面英偉達 最新一代B200在FP16半精度浮點數(shù)條件下峰值算力已達5 PFLOPS約每秒 5×101? 次浮點運算單位換算1 P 10 3 T 10 6 G 10 9 M 10 12 K 10 15 1P10^{3}T10^{6}G10^{9}M10^{12}K10^{15}1P103T106G109M1012K1015。與此同時三種分布式訓(xùn)練體系已經(jīng)成熟讓跨節(jié)點、跨集群訓(xùn)練超大規(guī)模參數(shù)模型變成現(xiàn)實數(shù)據(jù)并行每張卡都放完整模型副本各自處理不同數(shù)據(jù)子集靠梯度聚合把參數(shù)更新同步 張量并行把權(quán)重矩陣按維度切開每張卡只算自己那一片再用集合通信把結(jié)果拼起來 流水線并行按層或模塊切成若干階段每個階段放不同設(shè)備數(shù)據(jù)像流水線一樣依次穿過2.3 架構(gòu)合理Transformer 的可擴展性Transformer 架構(gòu)天生支持并行計算并且在模型規(guī)模、數(shù)據(jù)規(guī)模、訓(xùn)練步數(shù)算力開銷三個方向同時加大時性能收益是穩(wěn)定的——也就是所謂的良好可擴展性Scaling Law。圖中 Test Loss 是損失函數(shù)的取值。補一個概念損失函數(shù)Loss Function用來量化模型預(yù)測值與真實值之間的差異也叫代價函數(shù)或目標(biāo)函數(shù)。它通過計算預(yù)測錯誤程度來評估模型性能值越小越準(zhǔn)值越大誤差越大。常見的有均方誤差MSE、平均絕對誤差MAE。2.4 一句話總結(jié)數(shù)據(jù)規(guī)模的躍遷 算力基礎(chǔ)設(shè)施的發(fā)展 Transformer 優(yōu)異的可擴展性三者疊加推動模型規(guī)模和性能持續(xù)膨脹這才有了大模型時代。3. 三個計量維度B、token、FLOPs 分別在說什么聊大模型最容易搞混的就是單位。其實從三個維度看就清楚了參數(shù)規(guī)模、訓(xùn)練數(shù)據(jù)集規(guī)模、計算規(guī)模。維度衡量什么常用單位舉例參數(shù)規(guī)模模型有多大BBillion10 億10 9 10^91097B 70 億參數(shù)訓(xùn)練數(shù)據(jù)集規(guī)模喂了多少文本token 數(shù)B / T1T token 10 12 10^{12}1012token計算規(guī)模訓(xùn)練燒了多少算力FLOPs浮點運算次數(shù)1 PFLOPs 10 15 10^{15}1015FLOPs1參數(shù)規(guī)模這里說的參數(shù)是深度神經(jīng)網(wǎng)絡(luò)里神經(jīng)元數(shù)量、層數(shù)、神經(jīng)元權(quán)重、神經(jīng)元偏移量、超參數(shù)這些數(shù)據(jù)的集合。2訓(xùn)練數(shù)據(jù)集規(guī)模LLM 的訓(xùn)練在文本語料上進行而語料處理的第一步就是分詞成一系列 token所以業(yè)界習(xí)慣用token 數(shù)量來衡量訓(xùn)練數(shù)據(jù)集規(guī)模。多模態(tài)模型的數(shù)據(jù)集格式五花八門無法用統(tǒng)一單位度量這塊一般不放在一起討論。關(guān)于 token很多人第一次接觸會懵這里單獨說一下Q1token 到底是什么token 是計算機理解人類語言的基礎(chǔ)單位。它不一定等于一個詞可能是一個完整英文單詞也可能是半個、甚至三分之一個可能是一個中文詞也可能就是一個漢字大模型在正式開訓(xùn)之前要先訓(xùn)練一個tokenizer模型專門負責(zé)把所有文本切成 token。粗略的經(jīng)驗值1 個英文字符 ≈ 0.3 個 token 1 個中文字符 ≈ 0.6 個 token想驗證的話可以直接用官方的分詞器試https://platform.openai.com/tokenizerQ2FLOPs 和 FLOPS 是一回事嗎不是。課件里的用法區(qū)分是FLOPsFloating Point Operations指浮點運算次數(shù)衡量訓(xùn)練消耗的總計算量而硬件指標(biāo)里的FLOPSPer Second指每秒能完成多少次衡量的是速度。一個是總量一個是速率。4. 大模型怎么分類兩個最常用的切分標(biāo)準(zhǔn)按模態(tài)輸入輸出的數(shù)據(jù)類型和按功能/輸出形態(tài)模型吐出來的是文字、向量還是分數(shù)。分類標(biāo)準(zhǔn)類別示例按模態(tài)大語言模型Qwen3 / DeepSeek-V3 / GPT-5 語言模塊多模態(tài)理解模型Qwen3-VL / GPT-5 / Gemini-3多模態(tài)生成模型Stable Diffusion / DALL·E / Nano-Banana按功能生成式大模型GPT-5 / DeepSeek-V3 / Qwen3嵌入模型BGE / E5 / GTE重排序模型BGE-Reranker / ms-marco-MiniLM分類模型通常是微調(diào)過的小尺寸模型4.1 按模態(tài)分語言 / 多模態(tài)理解 / 多模態(tài)生成先補一個基礎(chǔ)概念模態(tài)Modality指的是人或機器感知世界的方式常見的有文本、圖像、音頻/語音、視頻等。類型 1大語言模型LLM又叫語言/文本大模型專門處理文本數(shù)據(jù)。項目說明輸入 → 輸出文本 → 文本token 序列技術(shù)架構(gòu)Transformer 文本編碼典型應(yīng)用對話、寫作、推理、翻譯、代碼生成代表Qwen3 系列、DeepSeek-V3.2 系列、GPT-5 系列語言模塊、Gemini-3 系列語言模塊需要注意一點ChatGPT 和 Gemini 本身不屬于上面任何單一類別。它們是以語言大模型為中樞的智能體系統(tǒng)是面向用戶推出的 AI 產(chǎn)品支持文本生成、圖像理解和圖像生成。模型 ≠ 產(chǎn)品這個區(qū)分后面講工程落地時還會反復(fù)遇到。類型 2多模態(tài)理解大模型能同時處理和理解多種類型的數(shù)據(jù)文本、圖像、音頻、視頻通過對比學(xué)習(xí)等技術(shù)把不同模態(tài)映射到統(tǒng)一語義空間。項目說明輸入 → 輸出文本 圖像/音頻/視頻 → 通常是文本技術(shù)架構(gòu)多編碼器 跨模態(tài)融合典型應(yīng)用看圖說話VQA、視頻理解、音頻理解、文檔理解PDF / 表格 / 圖像代表GPT-5 系列、Qwen3-VL 系列、Gemini-3 系列類型 3多模態(tài)生成模型不光能理解多種模態(tài)還能做跨模態(tài)內(nèi)容生成。核心是生成式架構(gòu)靠擴散模型、自回歸生成等技術(shù)完成從一種模態(tài)到另一種模態(tài)的轉(zhuǎn)換。項目說明輸入 → 輸出文本/圖像 → 圖像/視頻/音頻技術(shù)架構(gòu)生成式架構(gòu)擴散 / 自回歸典型應(yīng)用文生圖、文/圖生視頻、文生音頻TTS / Music代表圖像Stable Diffusion、DALL·E、GPT-Image-1.5、Nano-Banana視頻Sora、Veo音頻AudioLM、VALL-E4.2 按功能/輸出形態(tài)分生成 / 嵌入 / 重排序 / 分類類型 1生成式大模型Generative LLM根據(jù)指令或提示從無到有生成原創(chuàng)內(nèi)容文本、圖像、音頻、視頻。輸出token 序列優(yōu)化目標(biāo)最大化條件概率 P(token | context)核心特征自回歸Autoregressive生成——不斷預(yù)測下一個 token 來產(chǎn)出內(nèi)容典型應(yīng)用對話、推理、Agent、RAG 的最終回答生成代表GPT-5、DeepSeek-V3、Qwen3以及 DALL·E圖像、Sora視頻類型 2嵌入模型 / 向量表征模型Embedding Model把文本、圖像等離散數(shù)據(jù)轉(zhuǎn)換成高維向量在向量空間里捕捉語義關(guān)系。語義相似的文本在向量空間中距離更近因此便于快速檢索和比較。輸出固定維度的稠密向量dense vector不生成文本典型應(yīng)用語義搜索、推薦系統(tǒng)、知識庫檢索、文檔相似度計算代表BGE 系列、E5 系列、GTE 系列類型 3重排序 / 相關(guān)性打分模型Reranking對初步檢索出來的結(jié)果做精細化排序通過深度語義分析重新計算查詢與文檔的相關(guān)性得分把最相關(guān)的頂?shù)角懊?。輸?query, doc) 一對 →輸出相關(guān)性分數(shù)scalar典型應(yīng)用RAG 系統(tǒng)的檢索結(jié)果優(yōu)化、搜索引擎排序、推薦系統(tǒng)精排代表BGE-Reranker 系列、Hugging Face 上 Cross-Encoder 組織的 ms-marco-MiniLM 系列Cross-Encoder 是個在 Hugging Face 上訓(xùn)練了很多 Text Reranking 模型的組織類型 4分類器 / 判別模型Classifier根據(jù)數(shù)據(jù)特征預(yù)測其所屬的預(yù)定義類別輸出離散的類別標(biāo)簽或概率分布。輸出標(biāo)簽 / 概率 / Yes-No典型應(yīng)用垃圾郵件識別、情感分析、圖像分類、疾病診斷等二分類或多分類任務(wù)代表通常是微調(diào)過的小模型比如基于 BERT 微調(diào)的分類模型四者橫向?qū)Ρ染S度生成式大模型嵌入模型重排序模型分類模型核心任務(wù)內(nèi)容生成語義編碼相關(guān)性排序類別預(yù)測輸出形式自然語言/圖像/音頻高維向量相關(guān)性分數(shù)類別標(biāo)簽?zāi)Ｐ鸵?guī)模百億~千億參數(shù)百萬~億級參數(shù)千萬~億級參數(shù)百萬~千萬參數(shù)計算成本極高極低中低低典型架構(gòu)Transformer 解碼器Transformer 編碼器交叉編碼器邏輯回歸/SVM/決策樹4.3 這四類模型不是競爭關(guān)系是流水線這一塊是很多人第一次看會漏掉的重點實際系統(tǒng)里四類模型往往協(xié)同工作尤其是 RAG 場景。知識庫文檔 -- 嵌入模型編碼成向量 -- 存入向量數(shù)據(jù)庫 ↓ 用戶提問 -- 嵌入模型檢索候選文檔 -- 重排序模型精排 -- 分類模型過濾/判定 -- 生成式大模型輸出答案檢索Embedding Rerank負責(zé)找得準(zhǔn)生成LLM負責(zé)說得清。這種組合正是 RAG 的標(biāo)準(zhǔn)形態(tài)。5. 開源 vs 閉源差別不只是要不要錢5.1 先拆四要素一個大模型由四個要素構(gòu)成模型權(quán)重參數(shù)、推理代碼、訓(xùn)練代碼、訓(xùn)練數(shù)據(jù)集。四者層次一旦理清就會發(fā)現(xiàn)開源這個詞的含金量差別很大。需要注意的是大模型的開源和傳統(tǒng)軟件的開源不是一回事。這里要特別拎一個概念出來嚴(yán)格來說業(yè)界大量所謂開源大模型更準(zhǔn)確的叫法其實是Open Weight開放權(quán)重模型。權(quán)重開放 ≠ 推理代碼開放 ≠ 訓(xùn)練代碼開放 ≠ 訓(xùn)練數(shù)據(jù)開放 ≠ 可自由商用這幾件事完全不是一回事。大模型開源通常只開放權(quán)重可能附帶推理代碼但一般不包含訓(xùn)練代碼和數(shù)據(jù)集。如果涉及企業(yè)商業(yè)化或私有部署License 一定要單獨檢查。陣營含義典型代表開源 / 開放權(quán)重主要指開放權(quán)重模型參數(shù)任何人可查看、修改、分發(fā)DeepSeek 系列、Qwen 系列、Llama 系列、文心大模型 4.5閉源特定企業(yè)開發(fā)并保密源代碼和內(nèi)部實現(xiàn)不對外公開GPT 系列早期 GPT-1/GPT-2 和后來開源的 GPT-OSS 系列除外、Gemini 系列大多數(shù)、Claude 系列5.2 七個維度的正面對比維度開源大模型閉源大模型透明度代碼和算法完全透明可審查驗證內(nèi)部機制不透明存在黑箱問題可訪問性免費使用降低技術(shù)門檻需要特定許可或授權(quán)通常付費定制性支持深度定制和優(yōu)化定制能力受限僅限 API 參數(shù)調(diào)整創(chuàng)新速度社區(qū)協(xié)作推動快速迭代依賴單一團隊創(chuàng)新速度較慢成本結(jié)構(gòu)免費使用但需硬件和運維投入按使用量付費前期投入低但長期成本高技術(shù)支持依賴社區(qū)缺乏官方專業(yè)支持提供企業(yè)級技術(shù)支持和維護服務(wù)安全性透明可審計但可能被惡意利用代碼不公開保護知識產(chǎn)權(quán)和用戶數(shù)據(jù)Q開源不是免費嗎為什么常說自建比調(diào) API 貴關(guān)鍵就在成本結(jié)構(gòu)這一行。開源免掉的是模型授權(quán)費但權(quán)重跑起來要卡、要電、要運維而且推理量小的時候這筆固定投入攤不薄。閉源按 token 付費前期幾乎零投入但量級一大長期成本會反超。所以真實分界線通常是調(diào)用量和數(shù)據(jù)能否出內(nèi)網(wǎng)不是開源省錢、閉源貴這么簡單。5.3 各自的商業(yè)邏輯開源的商業(yè)邏輯技術(shù)擴散換取生態(tài)影響核心策略用免費廚房模式吸引開發(fā)者構(gòu)建龐大用戶生態(tài)再通過云服務(wù)、工具鏈、行業(yè)解決方案等增值服務(wù)盈利變現(xiàn)路徑云服務(wù)變現(xiàn)、企業(yè)級定制、硬件生態(tài)、工具鏈和平臺優(yōu)勢快速占領(lǐng)市場、建立行業(yè)標(biāo)準(zhǔn)、降低用戶采用門檻形成創(chuàng)新飛輪——企業(yè)貢獻基礎(chǔ)模型學(xué)術(shù)界優(yōu)化算法開發(fā)者創(chuàng)造應(yīng)用最終反哺模型迭代閉源的邏輯專有技術(shù)換取商業(yè)利潤核心策略用技術(shù)壟斷建立護城河通過 API 調(diào)用、企業(yè)級定制方案、云平臺集成直接變現(xiàn)盈利模式API 訂閱服務(wù)、企業(yè)級解決方案、技術(shù)授權(quán)和專利變現(xiàn)、云平臺增值服務(wù)優(yōu)勢直接盈利能力強、技術(shù)溢價高、服務(wù)質(zhì)量穩(wěn)定、保護知識產(chǎn)權(quán)——在短期激烈競爭中能確實拿到利潤5.4 混合模式已經(jīng)是主流隨著競爭加劇開源引流、閉源變現(xiàn)成了很多企業(yè)的標(biāo)準(zhǔn)打法廠商開源的那一半閉源的那一半谷歌Gemma吸引開發(fā)者生態(tài)Gemini服務(wù)高利潤企業(yè)客戶MetaLlama 系列建生態(tài)自研模型用于商業(yè)服務(wù)阿里巴巴通義千問中國最大的開源模型家族閉源企業(yè)級服務(wù)百度2025 年 6 月開源文心 4.5 系列閉源 API 服務(wù)這種模式既能靠開源快速立生態(tài)又能靠閉源保住商業(yè)回報目前看是主流解法。最后總結(jié)什么是大模型目前沒有統(tǒng)一定義經(jīng)驗線是參數(shù)量 10 億以上、頂尖已到萬億級真正的價值不在于大而在于規(guī)模上去之后能力出現(xiàn)躍遷。為什么是現(xiàn)在數(shù)據(jù)自監(jiān)督范式解放語料規(guī)模、算力GPU/TPU 三種并行成熟、架構(gòu)Transformer 的可擴展性三條同時到位缺一條都起不來。怎么看參數(shù)表B說模型多大T token說喂了多少FLOPs說燒了多少算力。三者不要混為一談。怎么選模型類型日常文本用 LLM要處理圖片/視頻/音頻的理解用多模態(tài)理解模型要產(chǎn)出圖像視頻用多模態(tài)生成模型做檢索則離不開嵌入 重排序。開源還是閉源真正該關(guān)心的是開放到哪一層權(quán)重/推理代碼/訓(xùn)練代碼/數(shù)據(jù)以及自己的調(diào)用量和數(shù)據(jù)合規(guī)要求。對于準(zhǔn)備做工程落地的開發(fā)者我個人更建議先記住這一句模型 ≠ 產(chǎn)品權(quán)重開放 ≠ 自由商用檢索和生成是兩類模型在協(xié)作。第二篇會接著講這些能力到底是怎么訓(xùn)練出來的——預(yù)訓(xùn)練、SFT、RLHF 三階段各解決了什么問題。參考資料 致謝[1] 尚硅谷大模型技術(shù)之大模型概述 V1.0.3-課件[2] Transformer 論文 Attention Is All You Need-arXiv[3] OpenAI Tokenizer-官方工具[4] Qwen 官網(wǎng)[5] DeepSeek 官網(wǎng)[6] NVIDIA 官網(wǎng)[7] Stability AI 官網(wǎng)[8] Hugging Face Cross-Encoder Reranker-模型庫[9] Llama 官網(wǎng)[10] Anthropic 官網(wǎng)