多模態(tài) LLM 實戰(zhàn)一張圖等于多少 token賬怎么算結論先放這兒圖像視覺 token 數(shù)16px patch 估算336 × 336441512 × 51210241024 × 10244096長截圖 1280 × 400020000一張高分辨率截圖輕松吃掉幾千到兩萬個視覺 token比一段長文字貴得多。多模態(tài)的賬先算圖像側(cè)再算文本側(cè)混著估會翻車。一、圖像怎么變成 token視覺模型把圖片切成小方塊每個方塊過一個編碼器變成一個向量這就是視覺 token。切法通常按固定邊長14 或 16 像素劃網(wǎng)格token 數(shù)就是幾何題import math def vision_tokens(width, height, patch16): return (width // patch) * (height // patch) for w, h in [(336, 336), (512, 512), (1024, 1024), (1280, 4000)]: print(w, x, h, -, vision_tokens(w, h), token)分辨率翻一倍token 數(shù)翻四倍成本跟著平方漲。這也是很多產(chǎn)品在上傳前先壓縮圖片的原因畫質(zhì)損失可接受省下來的賬單實在。二、分辨率和成本的三筆賬第一筆輸入計費。視覺 token 按輸入價計費一張 1024 見方的圖約 4000 token按常見價格折算比一段幾百字的中文還貴。批量截圖理解的場景先把圖壓到模型能認清的最小尺寸。第二筆上下文窗口。視覺 token 和文本 token 共享同一個窗口。塞幾張高分辨率圖留給對話歷史的余量就被擠掉多圖任務先算總賬。第三筆延遲。視覺 token 越多首 token 延遲越長。實時場景截圖問答、攝像頭流要么降分辨率要么只送關鍵幀。三、選型注意各家模型對圖像的處理方式不一樣。有的固定分辨率切一格超過就壓縮到規(guī)格內(nèi)有的動態(tài)分辨率按長寬比切塊長圖切成多塊逐塊編碼。選型時先看兩點支持的圖像 token 上限和計費方式再把你的真實圖片樣本跑一遍實測 token 數(shù)別拿文檔示例當自己場景的賬。實測方法和 Tokenizer 篇一個道理同一段內(nèi)容不同編碼差異很大圖像側(cè)同理# 用 API 返回的 usage 對賬圖像 token 通常單列 # usage.prompt_tokens_details.image_tokens 或類似字段四、三個坑坑一整頁長圖直接塞。一張 4000 像素高的長截圖就是兩萬 token先按視口切段再喂每段配一行說明。坑二表格當圖片送。表格類截圖用視覺模型提取容易丟行列能轉(zhuǎn)文本OCR 或結構化輸出的先轉(zhuǎn)視覺模型留給圖表和示意圖?？尤浂鄨D累積。十張圖的對話視覺 token 累積進歷史后續(xù)每一輪都在為它付費。歷史里的舊圖及時替換成摘要。寫在最后多模態(tài)的賬分圖像側(cè)和文本側(cè)圖像側(cè)是幾何題token 數(shù)隨分辨率平方漲。上傳前壓圖、長圖切段、表格先轉(zhuǎn)文本、歷史舊圖換摘要四招下來成本差數(shù)倍。把真實圖片樣本跑一遍實測再定預算。實測口徑以各家 API 返回的 usage 為準估自己的賬要用自己的圖片樣本。