1. 先坦白我為什么放著云端 AI 不用非要本地跑1.1 一次緊急任務(wù)讓我意識(shí)到數(shù)據(jù)主權(quán)不是玄學(xué)我最早對(duì)自托管 AI 動(dòng)心不是因?yàn)橛X(jué)得云端 AI 不好用而是有次趕項(xiàng)目需要把一批內(nèi)部合同和代碼片段交給 AI 處理。合同里全是客戶(hù)信息、價(jià)格條款和未公開(kāi)的技術(shù)細(xì)節(jié)點(diǎn)下發(fā)送之前我猶豫了十分鐘。那批數(shù)據(jù)一旦進(jìn)了別人的服務(wù)后續(xù)怎么流轉(zhuǎn)、存多久、拿來(lái)訓(xùn)練什么我都控制不了。也就是從那次之后我開(kāi)始認(rèn)真研究自托管 AI——把大模型部署在自己能掌控的機(jī)器上數(shù)據(jù)不出內(nèi)網(wǎng)模型行為自己定義離線(xiàn)也能繼續(xù)干活?？赡苡腥擞X(jué)得這是多慮現(xiàn)在主流服務(wù)商都有企業(yè)版協(xié)議出了事可以追責(zé)。但協(xié)議解決的是事后責(zé)任問(wèn)題解決不了事前控制問(wèn)題。在醫(yī)療、法律、金融這類(lèi)對(duì)保密要求極高的行業(yè)數(shù)據(jù)外發(fā)的審批流程本身就足以讓一個(gè)內(nèi)部工具項(xiàng)目黃掉。我認(rèn)識(shí)的一位朋友做合同審查工具方案評(píng)審會(huì)上被問(wèn)了一句數(shù)據(jù)放哪、誰(shuí)來(lái)管密鑰當(dāng)場(chǎng)就沒(méi)下文了。自托管 AI 之所以值得試第一理由不是性能而是它把數(shù)據(jù)安全這件事從信任問(wèn)題變成了技術(shù)問(wèn)題。1.2 自托管 AI 到底托管了什么很多人以為自托管就是把模型下載下來(lái)跑個(gè)對(duì)話(huà)窗口其實(shí)它的含義比這廣得多。完整地看一套自托管 AI 方案至少包含四層模型權(quán)重跑的是開(kāi)源模型如 Llama、Qwen、Mistral 系列而不是某個(gè)服務(wù)商封裝好的黑盒。推理算力生成回答的 GPU/CPU 計(jì)算發(fā)生在你自己的機(jī)器上每一次請(qǐng)求都不需要發(fā)到外部服務(wù)器。數(shù)據(jù)存儲(chǔ)對(duì)話(huà)記錄、知識(shí)庫(kù)文檔、向量數(shù)據(jù)庫(kù)全部落在本地磁盤(pán)或內(nèi)網(wǎng)存儲(chǔ)里。工具與配置提示詞、系統(tǒng)角色、插件、API 接口都由你維護(hù)改一條 prompt 不用等任何人審批。云端 AI 的本質(zhì)是租賃你付錢(qián)換使用權(quán)但數(shù)據(jù)入口、模型版本、服務(wù)策略全在對(duì)方手里。自托管的本質(zhì)是擁有哪怕斷網(wǎng)、哪怕服務(wù)商調(diào)整條款你手上的這套東西依然能跑。我后來(lái)在一次出差途中體會(huì)很深——高鐵上信號(hào)斷斷續(xù)續(xù)云端對(duì)話(huà)隔幾秒就轉(zhuǎn)圈但本地部署的模型一點(diǎn)不受影響照樣幫我改方案。那種踏實(shí)感是用過(guò)就回不去的。1.3 適合誰(shuí)、不適合誰(shuí)先說(shuō)結(jié)論為了避免大家看完文章才發(fā)現(xiàn)方向不對(duì)我把適用人群擺前面。適合自托管不太適合開(kāi)發(fā)者愿意折騰命令行和配置完全不想碰硬件和終端的人處理敏感數(shù)據(jù)代碼、合同、病歷等核心訴求是要最強(qiáng)模型的用戶(hù)有離線(xiàn)或內(nèi)網(wǎng)部署需求需要大規(guī)模并發(fā)生產(chǎn)環(huán)境高頻重度用戶(hù)想省訂閱費(fèi)預(yù)算緊張且只偶爾用 AI想深入理解 LLM 機(jī)制的人無(wú)法接受模型能力與云端旗艦有差距的人后面所有內(nèi)容都是圍繞適合這一欄展開(kāi)的。如果你的畫(huà)像更接近右邊建議直接劃走省下時(shí)間。2. 算一筆明白賬自托管的成本到底高不高2.1 訂閱制 vs 一次性硬件投入網(wǎng)上聊自托管必提省錢(qián)但省錢(qián)這件事得算細(xì)賬。先看云端成本訂閱制主流 AI 聊天服務(wù)大約每月 20 美元按人民幣算一年約 1700 元左右三年約 5000 元。API 按量付費(fèi)如果每天都高強(qiáng)度使用比如寫(xiě)代碼、處理長(zhǎng)文檔、跑批量任務(wù)一個(gè)月燒掉幾百塊很正常重度用戶(hù)年開(kāi)銷(xiāo)可能上萬(wàn)。企業(yè)級(jí)版本更貴費(fèi)用通常是個(gè)人版的數(shù)倍。再看自托管的一次性投入。以 2025 年初的市場(chǎng)行情為例價(jià)格波動(dòng)大僅供參考方案大致預(yù)算能跑什么二手 RTX 3090 24GB 現(xiàn)有主機(jī)5000~7000 元7B~14B 量化模型流暢跑32B 勉強(qiáng)中等配置主機(jī) 64GB 內(nèi)存純 CPU4000~6000 元7B 量化模型能跑速度較慢Apple Silicon Mac16~32GB 統(tǒng)一內(nèi)存6000~10000 元7B~14B 量化模型體驗(yàn)很好租云 GPU 按小時(shí)1~3 元/小時(shí)彈性使用長(zhǎng)期成本高核心結(jié)論是只要你屬于高頻用戶(hù)自托管的硬件成本通常在一年左右就能被訂閱費(fèi)攤平。更重要的是這筆錢(qián)花完?yáng)|西是你的不像訂閱費(fèi)是純消耗。我自己的情況是重度使用半年回本。2.2 電費(fèi)和損耗隱藏支出別忽略但別只盯著硬件價(jià)格電費(fèi)是很多人忽略的隱藏項(xiàng)。一臺(tái) RTX 3090 滿(mǎn)載功耗約 350W整機(jī)算 450W。假設(shè)每天高強(qiáng)度推理 4 小時(shí)一年下來(lái)大約 650 度電按 0.6~1 元/度算就是 400~650 元。如果機(jī)器 7x24 小時(shí)掛機(jī)跑服務(wù)電費(fèi)翻倍是大概率事件。損耗也要算進(jìn)去GPU 風(fēng)扇、電源、固態(tài)硬盤(pán)都有壽命二手卡尤其要做好可能用兩年就得換的心理準(zhǔn)備。我把這些寫(xiě)出來(lái)不是勸退而是想說(shuō)自托管的成本不是買(mǎi)塊顯卡就完了它是一次性投入 持續(xù)電費(fèi) 偶爾維修的組合。做預(yù)算時(shí)按三年周期算才不會(huì)被第一眼的便宜誤導(dǎo)。2.3 什么時(shí)候成本賬真的劃算我的體感是下面三種情況最劃算每天使用時(shí)間超過(guò) 2 小時(shí)訂閱費(fèi)按時(shí)間攤已經(jīng)很貴本地跑邊際成本幾乎為零。數(shù)據(jù)敏感導(dǎo)致云端工具根本不能用這種情況不是省錢(qián)是能不能做的問(wèn)題成本賬反而不重要。業(yè)務(wù)需要定制模型行為云端改一個(gè)系統(tǒng)提示詞都要考慮合規(guī)、審核本地想怎么調(diào)就怎么調(diào)。反過(guò)來(lái)說(shuō)如果你一個(gè)月就用十次每次問(wèn)幾個(gè)問(wèn)題那訂閱制顯然是更理性的選擇。自托管不該是信仰它是工具工具就要講性?xún)r(jià)比。3. 硬件與模型選型別腦子一熱就買(mǎi)四塊顯卡3.1 顯存、內(nèi)存帶寬與模型體積的關(guān)系新手最容易犯的錯(cuò)是以為顯卡越多越快、顯存越大越能跑大模型。實(shí)際搞 LLM 推理有兩條鐵律鐵律一模型要裝進(jìn)內(nèi)存或顯存里。模型文件多大就需要多大的內(nèi)存。以 7B 參數(shù)模型為例FP16 精度下權(quán)重約占 14GB換算方式是參數(shù)量 × 2 字節(jié)。跑模型時(shí)除了權(quán)重還要留出上下文KV cache和運(yùn)行開(kāi)銷(xiāo)所以單卡 8GB 顯存跑 7B 模型會(huì)非常緊張。鐵律二推理速度受內(nèi)存帶寬限制不是受算力限制。生成每個(gè) token 都要把全部權(quán)重讀一遍讀取速度直接決定生成速度。同樣是 7B 量化模型在 DDR4 內(nèi)存的 CPU 機(jī)器上可能只有 5~8 token/秒在 RTX 3090 上能跑到 100 token/秒。差距不在顯卡會(huì)算而在顯存帶寬比內(nèi)存帶寬高一個(gè)數(shù)量級(jí)。硬件內(nèi)存帶寬約7B Q4 模型體驗(yàn)雙通道 DDR450 GB/s龜速只適合測(cè)試Apple M1/M2100~200 GB/s能接受約 20~40 token/秒RTX 3060 12GB360 GB/s流暢RTX 3090 24GB936 GB/s很快100 token/秒選硬件的邏輯就兩條先保證內(nèi)存/顯存夠大再追求高帶寬。Apple Silicon 的統(tǒng)一內(nèi)存架構(gòu)在跑中等模型時(shí)性?xún)r(jià)比很高這也是為什么很多搞本地 AI 的人首選 Mac。3.2 主流通用模型與中文場(chǎng)景的選擇模型選型上我建議從這幾條線(xiàn)入手Qwen 2.5 系列7B / 14B中文能力強(qiáng)指令跟隨穩(wěn)是目前中文自托管的首選。7B 量化后約 5GB14B 約 9GB。Llama 3.1 8B英文和代碼表現(xiàn)均衡生態(tài)最豐富社區(qū)資料多。DeepSeek-R1-Distill-Qwen-14B推理型模型適合數(shù)學(xué)、邏輯、復(fù)雜分析速度比同尺寸通用模型慢一些。GLM-4-9B-chat中文場(chǎng)景可用亮點(diǎn)是對(duì)話(huà)風(fēng)格自然。新手第一臺(tái)機(jī)器我推薦直接上qwen2.5:7b理由很實(shí)際內(nèi)存壓力小、中文效果好、后續(xù)換 14B 也不浪費(fèi)現(xiàn)有架構(gòu)。顯存有 24GB 再考慮 14B 或 32B別一上來(lái)就挑戰(zhàn) 70B那不是入門(mén)該干的事。3.3 量化是怎么把模型塞進(jìn)普通電腦的很多人好奇為什么 7B 模型 FP16 要 14GB網(wǎng)上卻說(shuō) 4GB 顯存也能跑。答案就是量化。模型權(quán)重本質(zhì)是浮點(diǎn)數(shù)。FP16 用 16 位表示一個(gè)數(shù)INT4 用 4 位量化就是把這些數(shù)從高精度壓縮到低精度。效果是體積縮小到原來(lái)的 1/3~1/4速度反而更快因?yàn)橐x取的數(shù)據(jù)變少了但會(huì)有輕微的精度損失。日常對(duì)話(huà)基本感覺(jué)不到復(fù)雜推理偶爾能看出區(qū)別。當(dāng)前最主流的格式是 GGUF常見(jiàn)的量化等級(jí)有Q4_K_M體積小、速度快綜合性?xún)r(jià)比最高入門(mén)首選。Q5_K_M質(zhì)量略好體積略大顯存夠就選它。Q8_0接近原始精度體積約比 Q4 大一倍。F16 原始精度顯存大戶(hù)才玩得起。實(shí)操建議先用 Q4_K_M 跑通流程再根據(jù)顯存余量逐步升檔。我見(jiàn)過(guò)太多人一上來(lái)就下 F16結(jié)果爆顯存走了一晚上彎路。4. 從零搭一套自托管 AI我復(fù)現(xiàn)過(guò)很多次的流程4.1 工具鏈選擇Ollama、llama.cpp、vLLM 各管哪一段自托管 AI 工具鏈有三個(gè)層次搞清楚分層就不會(huì)亂推理引擎真正加載模型、生成 token 的底層組件。前端界面給你提供聊天框、歷史記錄、參數(shù)調(diào)節(jié)的界面。對(duì)接層把本地推理服務(wù)包裝成標(biāo)準(zhǔn) API讓其他軟件能調(diào)用。主流選擇里Ollama是最容易上手的推理引擎自帶 OpenAI 兼容 API還能管理模型下載適合個(gè)人和小團(tuán)隊(duì)。llama.cpp是許多引擎底層的庫(kù)跨平臺(tái)、支持 CPU/GPU 混合推理適合想深入控制的人。vLLM面向生產(chǎn)環(huán)境吞吐量高但需要足夠顯存?zhèn)€人玩家一般用不上。前端界面我最常用的是Open WebUI它把聊天、文件上傳、聯(lián)網(wǎng)搜索、多用戶(hù)管理都做了幾秒鐘就能起一個(gè)帶界面的服務(wù)。如果不想用 Docker也可以用 LM Studio 這類(lèi)圖形化工具連命令都不用敲。4.2 用 Ollama Open WebUI 跑通第一個(gè)對(duì)話(huà)以 Linux 或 macOS 為例完整的入門(mén)鏈路如下。先裝 Ollama# 安裝 OllamaWindows 用戶(hù)直接去官網(wǎng)下安裝包 curl -fsSL https://ollama.com/install.sh | sh # 拉取一個(gè)適合入門(mén)的中文模型 ollama pull qwen2.5:7b # 啟動(dòng)對(duì)話(huà)測(cè)試 ollama run qwen2.5:7b看到模型輸出正常的回復(fù)推理引擎就通了。這時(shí)候你只有一個(gè)命令行窗口想要網(wǎng)頁(yè)界面就加 Open WebUI推薦用 Docker 部署docker run -d \ -p 3000:8080 \ -v open-webui:/app/backend/data \ --name open-webui \ --add-hosthost.docker.internal:host-gateway \ ghcr.io/open-webui/open-webui:main用 Linux 且想讓容器里的 WebUI 調(diào)用宿主機(jī)的 GPU啟動(dòng)命令里加上--gpus all。裝好后瀏覽器訪(fǎng)問(wèn)http://localhost:3000注冊(cè)第一個(gè)管理員賬號(hào)在設(shè)置里選擇qwen2.5:7b就可以開(kāi)始對(duì)話(huà)了。跑通這一步你已經(jīng)有了一套完整可用的本地 AI 服務(wù)全程大概二十分鐘。提示如果不想用 Docker也可以直接pip install open-webui然后運(yùn)行open-webui serve效果一樣只是環(huán)境依賴(lài)需要自己處理。4.3 接入既有服務(wù)的 OpenAI 兼容接口自托管跑通之后真正的爆發(fā)點(diǎn)是 OpenAI 兼容 API。現(xiàn)在幾乎所有 AI 工具——Dify、Continue.dev、n8n、LangChain、各種客戶(hù)端——都支持自定義 API 地址。你只要把 Base URL 指到http://localhost:11434/v1就能讓它們用上本地模型。以 Python 代碼為例之前寫(xiě)好的云端調(diào)用代碼幾乎不用改from openai import OpenAI client OpenAI( base_urlhttp://localhost:11434/v1, # 本地服務(wù)地址 api_keyollama, # 本地網(wǎng)關(guān)不校驗(yàn)填什么都可以 ) resp client.chat.completions.create( modelqwen2.5:7b, messages[{role: user, content: 用一個(gè)比喻解釋 KV cache}], ) print(resp.choices[0].message.content)這一步的價(jià)值是你日常在用的所有云端 AI 腳本、配置、工作流全部可以無(wú)縫切到本地。我就靠這個(gè)接口把原來(lái)掛在云端 API 上的自動(dòng)化腳本一次性遷移到了內(nèi)網(wǎng)數(shù)據(jù)從此不再出內(nèi)網(wǎng)而調(diào)用方式毫無(wú)感知。5. 讓它真正干活編程、知識(shí)庫(kù)與輕量 Agent5.1 本地代碼助手的搭配思路搭好基礎(chǔ)服務(wù)之后第一件值得干的事是接編程助手。我用的是Continue.dev Ollama 的組合在 VS Code 里裝好 Continue 插件配置文件寫(xiě)成本地模型models: - name: Local Coder provider: ollama model: qwen2.5-coder:7b配置完就能在 IDE 內(nèi)獲得代碼補(bǔ)全、解釋、重構(gòu)建議。實(shí)測(cè)下來(lái)qwen2.5-coder:7b這類(lèi)專(zhuān)用模型在補(bǔ)全和中型函數(shù)修改上表現(xiàn)不錯(cuò)足夠應(yīng)付大部分日常編碼。要誠(chéng)實(shí)地說(shuō)復(fù)雜跨文件重構(gòu)、框架級(jí)架構(gòu)設(shè)計(jì)本地模型和云端頂級(jí)模型的差距仍然明顯。我的用法是簡(jiǎn)單任務(wù)直接本地做復(fù)雜任務(wù)本地先給思路再?zèng)Q定是否上云端。安全性是這套方案的隱藏收益。公司代碼倉(cāng)庫(kù)里有密鑰、內(nèi)部注釋、未發(fā)布的功能分支這些內(nèi)容丟到云端 IDE 插件里是有風(fēng)險(xiǎn)的本地模型完全沒(méi)有這個(gè)問(wèn)題。5.2 RAG 知識(shí)庫(kù)問(wèn)答的搭建要點(diǎn)想讓本地 AI 回答我們公司的報(bào)銷(xiāo)流程是什么這種問(wèn)題靠模型本身的知識(shí)是不夠的需要引入 RAG檢索增強(qiáng)生成。流程不復(fù)雜把文檔切塊、向量化、存進(jìn)向量庫(kù)、提問(wèn)時(shí)檢索相關(guān)片段拼進(jìn)提示詞。本地搭建我推薦AnythingLLM或Dify兩者都內(nèi)置了 RAG 全流程不需要自己寫(xiě)代碼。文檔處理階段的幾個(gè)參數(shù)直接影響效果場(chǎng)景推薦分塊大小重疊比例代碼倉(cāng)庫(kù)200~400 token10%合同/制度文檔500 token15%長(zhǎng)論文/書(shū)籍800 token10%分塊太小檢索碎片化太大則浪費(fèi)上下文窗口且命中不精準(zhǔn)。嵌入模型可以選本地的bge-m3中文效果好完全離線(xiàn)運(yùn)行。做知識(shí)庫(kù)最容易翻車(chē)的地方是文檔格式混亂PDF 里帶掃描圖片必須先 OCR否則檢索質(zhì)量慘不忍睹——這一步偷懶的話(huà)后面全白干。5.3 多模型協(xié)作與輕量 Agent 的嘗試自托管的好處之一是你可以同時(shí)跑多個(gè)模型讓它們各司其職。我目前搭了一個(gè)很輕的協(xié)作流一個(gè)模型負(fù)責(zé)意圖識(shí)別把請(qǐng)求路由到具體任務(wù)一個(gè) 7B 參數(shù)模型負(fù)責(zé)格式化與總結(jié)再用一個(gè)小模型做關(guān)鍵詞提取喂給搜索引擎或數(shù)據(jù)庫(kù)。整體效果接近一個(gè)迷你 Agent 組但每個(gè)環(huán)節(jié)都很便宜因?yàn)槎际潜镜赝评怼Ｈ绻阆氚?Agent 做得更完整可以研究一下 Model Context ProtocolMCP。它是讓模型連接外部工具的統(tǒng)一協(xié)議配置好之后本地模型可以調(diào)用文件系統(tǒng)、數(shù)據(jù)庫(kù)、甚至專(zhuān)業(yè)軟件的接口。我從熱詞里看到不少朋友在關(guān)注AI agent 搭建和MCP server我的建議是別一上來(lái)就上復(fù)雜框架先用一條最簡(jiǎn)單的鏈路模型收到指令 — 調(diào)用 MCP 工具 — 返回結(jié)果 — 模型匯總輸出。這套鏈路跑通之后再逐步疊加工具面比直接套大廠(chǎng)框架容易落地得多。6. 踩坑清單這些坑我基本都踩過(guò)一遍6.1 模型能加載但速度慢問(wèn)題多半在內(nèi)存帶寬我第一次跑本地模型用的是一臺(tái) 64GB 內(nèi)存的普通臺(tái)式機(jī)純 CPU 推理7B 量化模型只有每秒 6~8 個(gè) token。打一句話(huà)要等十幾秒體驗(yàn)極差。當(dāng)時(shí)我以為是 CPU 核心數(shù)不夠折騰了半天后來(lái)才明白瓶頸在內(nèi)存帶寬——DDR4 雙通道的帶寬只有 50GB/s 左右而模型每生成一個(gè) token 就要把幾個(gè) GB 的權(quán)重從頭讀一遍物理上限就擺在那。解決辦法三條路換高帶寬硬件GPU 或 Apple Silicon、換更小的量化模型、縮短上下文長(zhǎng)度上下文越長(zhǎng)每次生成要處理的 KV cache 越大。先看每秒 token 數(shù)是不是低于 10再?zèng)Q定走哪條路。別盲目加 CPU 核心那是在錯(cuò)誤的方向上燒錢(qián)。6.2 上下文一長(zhǎng)就爆顯存很多人都盯著模型權(quán)重大小卻漏了 KV cache。隨著對(duì)話(huà)變長(zhǎng)模型要把歷史 token 的鍵值緩存記在內(nèi)存里這部分開(kāi)銷(xiāo)隨上下文長(zhǎng)度線(xiàn)性增長(zhǎng)。顯存 8GB 的卡跑 7B 模型默認(rèn) 8K 上下文都未必穩(wěn)一旦窗口拉滿(mǎn)很容易 OOM。在 Ollama 里可以通過(guò)參數(shù)控制/set parameter num_ctx 4096我的經(jīng)驗(yàn)是個(gè)人日常對(duì)話(huà) 4K 就夠知識(shí)庫(kù)問(wèn)答看文檔長(zhǎng)度酌情設(shè) 8K~16K但設(shè)得越高內(nèi)存余量越要留足。別被模型標(biāo)稱(chēng)的128K 上下文騙了那是理想配置下的紙面數(shù)據(jù)。6.3 溫度、提示詞與模板的影響本地模型對(duì)參數(shù)和提示詞的敏感度比想象中高。做代碼任務(wù)時(shí)溫度設(shè) 0.1~0.3輸出更穩(wěn)定、更少幻覺(jué)做創(chuàng)意寫(xiě)作再調(diào)到 0.7~0.9。很多人直接默認(rèn)溫度結(jié)果代碼生成經(jīng)常發(fā)揮過(guò)頭以為是模型不行其實(shí)是參數(shù)沒(méi)調(diào)。提示詞模板也值得固化。Ollama 支持用 Modelfile 定制系統(tǒng)提示詞FROM qwen2.5:7b SYSTEM 你是一個(gè)熟悉 Linux 運(yùn)維的技術(shù)助手回答盡量簡(jiǎn)潔步驟必須可執(zhí)行。 PARAMETER temperature 0.3ollama create my-ops-assistant -f Modelfile以后啟動(dòng)ollama run my-ops-assistant就自動(dòng)帶上這套角色和參數(shù)。這個(gè)習(xí)慣幫我省了大量重復(fù)調(diào)教的時(shí)間本質(zhì)上是在把調(diào)模型變成配配置。6.4 并發(fā)瓶頸本地模型不是生產(chǎn)服務(wù)器最后潑盆冷水本地模型在并發(fā)能力上遠(yuǎn)不能和云端服務(wù)比。一塊 24GB 顯卡跑 7B 模型兩三個(gè)人同時(shí)用可能還行五六個(gè)人同時(shí)提問(wèn)就開(kāi)始排隊(duì)響應(yīng)時(shí)間肉眼可見(jiàn)地變長(zhǎng)。我就犯過(guò)這個(gè)錯(cuò)興沖沖給團(tuán)隊(duì)搭了個(gè)內(nèi)網(wǎng) AI 工具結(jié)果第一天下午就卡到?jīng)]法用。如果真的要支撐幾十人規(guī)模方案是換 vLLM 這類(lèi)高吞吐引擎、上多卡或干脆用混合架構(gòu)。關(guān)于混合架構(gòu)多說(shuō)一句不需要在全本地和全云端之間二選一。敏感數(shù)據(jù)走本地模型大規(guī)模高難任務(wù)按需走云端 API既保安全又保體驗(yàn)這是我目前最推薦的狀態(tài)。踩過(guò)這些坑之后我反而更確信自托管 AI 值得一試。它不是那個(gè)什么都能干的最強(qiáng) AI但它是那個(gè)完全屬于你、隨時(shí)能改、離線(xiàn)也能用的 AI。這半年下來(lái)我最大的收獲不是省了多少錢(qián)而是真正理解了模型是怎么被加載、量化、調(diào)優(yōu)的——這種理解讓我回頭用任何云端 AI 時(shí)都清醒得多。如果你想動(dòng)手從一臺(tái)內(nèi)存不低于 16GB、最好 32GB 的機(jī)器開(kāi)始拉一個(gè) 7B 量化模型先把第一個(gè)對(duì)話(huà)跑通。后面的路會(huì)越走越順。