1. 項(xiàng)目概述為什么要在openEuler上部署ChatGLM2最近接手了一臺全新的服務(wù)器任務(wù)很明確從零開始在openEuler操作系統(tǒng)上完整部署一個(gè)能跑起來的ChatGLM2-6B大模型。這聽起來像是一個(gè)標(biāo)準(zhǔn)的“環(huán)境搭建”任務(wù)但實(shí)際操作下來你會(huì)發(fā)現(xiàn)它遠(yuǎn)不止是敲幾行命令那么簡單。它更像是一個(gè)系統(tǒng)工程串聯(lián)起了國產(chǎn)操作系統(tǒng)適配、Python環(huán)境治理、大模型部署優(yōu)化以及生產(chǎn)環(huán)境穩(wěn)定性保障等多個(gè)環(huán)節(jié)。對于很多剛接觸大模型部署的開發(fā)者或者從Ubuntu/CentOS轉(zhuǎn)向openEuler的運(yùn)維人員來說這個(gè)過程充滿了“坑”。網(wǎng)上教程很多但大多是基于Ubuntu的在openEuler上直接套用經(jīng)常會(huì)遇到依賴庫不兼容、編譯失敗、性能不佳甚至根本跑不起來的問題。我這個(gè)流程就是基于多次實(shí)戰(zhàn)踩坑后總結(jié)出來的“避坑指南”目標(biāo)是給你一份開箱即用、邏輯清晰的部署手冊。這個(gè)流程能幫你解決什么核心就三點(diǎn)第一在openEuler系統(tǒng)上搭建一個(gè)純凈、可控、易于維護(hù)的Python深度學(xué)習(xí)環(huán)境。第二成功下載并運(yùn)行ChatGLM2-6B模型實(shí)現(xiàn)本地對話。第三理解部署過程中的關(guān)鍵配置和優(yōu)化點(diǎn)為后續(xù)的微調(diào)、API服務(wù)化打下堅(jiān)實(shí)基礎(chǔ)。無論你是想學(xué)習(xí)大模型技術(shù)還是需要為團(tuán)隊(duì)搭建一個(gè)內(nèi)部的AI能力底座這篇從零到一的實(shí)踐記錄都值得你參考。2. 整體部署思路與架構(gòu)設(shè)計(jì)部署一個(gè)大模型尤其是像ChatGLM2-6B這樣的“大家伙”不能上來就pip install。我們需要一個(gè)清晰的藍(lán)圖把整個(gè)系統(tǒng)拆解成幾個(gè)松耦合、可管理的部分。我的整體思路遵循“環(huán)境隔離 - 核心依賴 - 模型獲取 - 應(yīng)用驗(yàn)證”的路徑。2.1 為什么選擇openEuler Conda PyTorch的技術(shù)棧首先看基礎(chǔ)操作系統(tǒng)。我選擇openEuler一方面是出于對國產(chǎn)化技術(shù)棧的探索和適配需求另一方面openEuler作為一款企業(yè)級Linux發(fā)行版在安全性、穩(wěn)定性和對新興硬件如昇騰AI處理器的支持上做得不錯(cuò)。它基于RHEL體系使用yum/dnf包管理器對于習(xí)慣了CentOS的用戶來說遷移成本較低。但需要注意的是其軟件倉庫中的部分庫版本可能較保守這是我們后續(xù)需要手動(dòng)解決依賴的主要原因。Python環(huán)境管理是重中之重。大模型依賴復(fù)雜且經(jīng)常需要特定版本的PyTorch、CUDA等。直接在系統(tǒng)Python里安裝會(huì)導(dǎo)致依賴污染和版本沖突未來幾乎無法維護(hù)。因此使用Miniconda創(chuàng)建獨(dú)立的虛擬環(huán)境是絕對必要的。這相當(dāng)于為你的ChatGLM2項(xiàng)目建立一個(gè)專屬的“沙箱”與系統(tǒng)及其他項(xiàng)目完全隔離。深度學(xué)習(xí)框架方面PyTorch是當(dāng)前大模型生態(tài)的事實(shí)標(biāo)準(zhǔn)ChatGLM2也是基于PyTorch實(shí)現(xiàn)的。我們的核心任務(wù)就是安裝與你的顯卡驅(qū)動(dòng)匹配的PyTorch版本。這里的關(guān)鍵在于匹配CUDA版本如果服務(wù)器沒有NVIDIA顯卡純CPU運(yùn)行則需要安裝CPU版本的PyTorch但推理速度會(huì)非常慢。最后是模型本身。ChatGLM2-6B模型文件大約12GB直接從Hugging Face或ModelScope下載是常規(guī)操作?？紤]到國內(nèi)網(wǎng)絡(luò)環(huán)境提前準(zhǔn)備好模型文件或者使用鏡像源是加速部署的關(guān)鍵一步。2.2 部署流程全景圖整個(gè)部署可以劃分為四個(gè)主要階段它們之間存在清晰的依賴關(guān)系系統(tǒng)基礎(chǔ)環(huán)境準(zhǔn)備包括更新系統(tǒng)、安裝必要的開發(fā)工具包如gcc, cmake、配置網(wǎng)絡(luò)和防火墻。這是所有后續(xù)工作的地基。Python與CUDA環(huán)境搭建安裝Miniconda創(chuàng)建虛擬環(huán)境并根據(jù)顯卡情況安裝對應(yīng)版本的PyTorch和CUDA Toolkit。這是模型能夠運(yùn)行的計(jì)算核心。模型下載與推理環(huán)境配置下載ChatGLM2-6B模型權(quán)重和源碼安裝模型運(yùn)行所需的特定Python依賴庫如transformers, cpm-kernels, sentencepiece等。模型運(yùn)行測試與基礎(chǔ)優(yōu)化編寫一個(gè)簡單的推理腳本測試模型是否能正常完成對話。在此基礎(chǔ)上進(jìn)行初步的性能優(yōu)化如啟用半精度fp16、量化int8/int4或者使用更快的推理后端如vLLM。這個(gè)流程的優(yōu)勢在于模塊化。每個(gè)階段都可以獨(dú)立驗(yàn)證遇到問題時(shí)可以快速定位到是系統(tǒng)層、環(huán)境層還是應(yīng)用層的問題。3. 第一階段openEuler服務(wù)器基礎(chǔ)環(huán)境準(zhǔn)備拿到一臺嶄新的openEuler服務(wù)器第一步不是急著裝Python而是要把系統(tǒng)基礎(chǔ)打牢。很多后續(xù)編譯錯(cuò)誤和依賴缺失問題都是因?yàn)檫@一步?jīng)]做到位。3.1 系統(tǒng)更新與基礎(chǔ)工具安裝首先通過SSH登錄你的服務(wù)器。假設(shè)你已經(jīng)有root權(quán)限或者具有sudo權(quán)限的普通用戶。第一步更新系統(tǒng)軟件包到最新版本這能確保你獲得最新的安全補(bǔ)丁和軟件源信息。sudo dnf update -y更新完成后我們需要安裝一系列編譯和開發(fā)工具。這些工具是后續(xù)從源碼編譯某些Python包比如transformers庫中可能用到的本地?cái)U(kuò)展所必需的。sudo dnf groupinstall -y “Development Tools” sudo dnf install -y cmake git wget curl openssl-devel bzip2-devel libffi-devel sqlite-develDevelopment Tools這是一個(gè)軟件包組包含了gcc、g、make、autoconf等一整套編譯工具鏈。cmake許多C/C項(xiàng)目使用CMake作為構(gòu)建系統(tǒng)。git用于克隆模型倉庫和代碼。openssl-devel,libffi-develPython的pip和某些加密相關(guān)庫如cryptography在安裝時(shí)可能需要這些頭文件。3.2 網(wǎng)絡(luò)與安全配置考量在部署大模型應(yīng)用前需要考慮網(wǎng)絡(luò)訪問。如果你只是本地測試可以暫時(shí)忽略。但如果后續(xù)需要提供API服務(wù)則需要配置防火墻。openEuler默認(rèn)可能使用firewalld。查看防火墻狀態(tài)并開放必要端口例如如果你計(jì)劃在5000端口啟動(dòng)一個(gè)Web demosudo systemctl status firewalld # 如果防火墻開啟并需要開放端口 sudo firewall-cmd --permanent --add-port5000/tcp sudo firewall-cmd --reload注意在生產(chǎn)環(huán)境中強(qiáng)烈建議不要直接向公網(wǎng)開放大模型服務(wù)的端口。應(yīng)通過Nginx反向代理、配置SSL證書、設(shè)置訪問認(rèn)證如API Key等多層安全措施進(jìn)行保護(hù)。本地測試時(shí)也可僅綁定到127.0.0.1地址。另外如果你的服務(wù)器需要通過代理訪問外網(wǎng)以下載模型需要配置curl和git的代理export http_proxyhttp://your-proxy:port export https_proxyhttp://your-proxy:port git config --global http.proxy http://your-proxy:port git config --global https.proxy http://your-proxy:port請將your-proxy:port替換為你的實(shí)際代理地址。4. 第二階段Python與CUDA環(huán)境精準(zhǔn)搭建基礎(chǔ)系統(tǒng)就緒后我們進(jìn)入核心環(huán)節(jié)構(gòu)建一個(gè)專為ChatGLM2服務(wù)的Python環(huán)境。這一步的準(zhǔn)確性直接決定了模型能否成功運(yùn)行。4.1 使用Miniconda創(chuàng)建獨(dú)立環(huán)境我傾向于使用Miniconda它比完整的Anaconda更輕量。我們直接從清華鏡像源下載安裝速度更快。wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda3安裝完成后將conda加入當(dāng)前shell的環(huán)境變量中echo ‘export PATH“$HOME/miniconda3/bin:$PATH”’ ~/.bashrc source ~/.bashrc現(xiàn)在可以創(chuàng)建我們的專屬環(huán)境了。我指定Python 3.10這是一個(gè)在兼容性和新特性之間比較平衡的版本。conda create -n chatglm2 python3.10 -y conda activate chatglm2激活環(huán)境后你的命令行提示符前應(yīng)該會(huì)出現(xiàn)(chatglm2)這表示你已經(jīng)在虛擬環(huán)境中了。之后所有的pip install操作都只影響這個(gè)環(huán)境。4.2 PyTorch與CUDA的版本匹配實(shí)戰(zhàn)這是最關(guān)鍵也最容易出錯(cuò)的一步。首先你需要確認(rèn)服務(wù)器顯卡的CUDA驅(qū)動(dòng)版本。nvidia-smi在命令輸出的右上角你會(huì)看到類似“CUDA Version: 12.2”的信息。這指的是驅(qū)動(dòng)支持的最高CUDA運(yùn)行時(shí)版本。記住這個(gè)版本號比如12.2。然后前往 PyTorch官網(wǎng) 根據(jù)你的CUDA驅(qū)動(dòng)版本選擇安裝命令。例如對于CUDA 12.1官網(wǎng)可能推薦pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121但這里有個(gè)巨坑PyTorch的CUDA版本cu121指的是其預(yù)編譯二進(jìn)制文件所依賴的CUDA運(yùn)行時(shí)庫CUDA Toolkit版本它必須小于等于你的NVIDIA驅(qū)動(dòng)支持的CUDA版本。通常安裝比驅(qū)動(dòng)支持版本低1-2個(gè)小版本的PyTorch是安全的。更穩(wěn)妥的做法是在虛擬環(huán)境中安裝一個(gè)與你的驅(qū)動(dòng)兼容的CUDA Toolkit。例如驅(qū)動(dòng)是12.2我們可以安裝CUDA 11.8 Toolkit然后安裝對應(yīng)版本的PyTorch。# 在conda環(huán)境中安裝cudatoolkitconda會(huì)自動(dòng)處理依賴 conda install cudatoolkit11.8 -c nvidia # 然后安裝對應(yīng)CUDA 11.8的PyTorch pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118驗(yàn)證安裝是否成功python -c “import torch; print(torch.__version__); print(torch.cuda.is_available())”如果輸出True恭喜你GPU環(huán)境配置成功。如果服務(wù)器沒有NVIDIA GPU則只能安裝CPU版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu實(shí)操心得我強(qiáng)烈建議在安裝PyTorch前先通過conda install cudatoolkitx.x來固定CUDA運(yùn)行時(shí)環(huán)境。這比單純依賴pip install torch時(shí)系統(tǒng)去查找全局CUDA要可靠得多能極大避免libcudart.so找不到之類的動(dòng)態(tài)鏈接庫錯(cuò)誤。5. 第三階段ChatGLM2模型獲取與依賴安裝環(huán)境準(zhǔn)備好了現(xiàn)在可以把“主角”請上臺了。我們需要獲取模型權(quán)重和源代碼。5.1 從國內(nèi)鏡像高效下載模型ChatGLM2-6B的模型文件托管在Hugging Face和國內(nèi)的ModelScope上。從ModelScope下載通常對國內(nèi)網(wǎng)絡(luò)更友好。首先安裝ModelScope的庫pip install modelscope然后在Python腳本中下載模型。這里我推薦創(chuàng)建一個(gè)單獨(dú)的download_model.py腳本因?yàn)橄螺d過程可能較長腳本化更可控。# download_model.py from modelscope import snapshot_download model_dir snapshot_download(‘ZhipuAI/chatglm2-6b’, cache_dir‘./model’) print(f’Model downloaded to: {model_dir}‘)運(yùn)行這個(gè)腳本python download_model.py模型會(huì)被下載到當(dāng)前目錄下的model文件夾中大約需要12GB磁盤空間。如果下載中斷可以重新運(yùn)行腳本它會(huì)自動(dòng)續(xù)傳。5.2 安裝模型運(yùn)行所需的特定依賴ChatGLM2-6B除了需要標(biāo)準(zhǔn)的transformers庫還需要一些特定的依賴來支持其獨(dú)特的代碼實(shí)現(xiàn)和分詞器。首先我們克隆官方倉庫以獲取最新的示例代碼和可能的需求文件git clone https://github.com/THUDM/ChatGLM2-6B.git cd ChatGLM2-6B查看項(xiàng)目根目錄下的requirements.txt文件里面列出了核心依賴。我們使用pip安裝pip install -r requirements.txt這個(gè)requirements.txt通常會(huì)包含transformers4.30.2 Hugging Face的核心庫。cpm-kernels 清華大學(xué)開源的用于加速模型中線性層計(jì)算的高效內(nèi)核對性能提升有幫助。sentencepiece 用于分詞的非Python依賴的Python封裝需要系統(tǒng)有protobuf編譯器我們之前安裝的開發(fā)工具已涵蓋。gradio 如果你想運(yùn)行官方提供的Web UI演示。mdtex2html 用于Web UI中Markdown渲染。注意事項(xiàng)在安裝過程中你可能會(huì)遇到某些包如accelerate,ninja的編譯錯(cuò)誤。這通常是因?yàn)橄到y(tǒng)缺少更細(xì)粒度的開發(fā)庫。例如如果報(bào)錯(cuò)與libstdc有關(guān)可以嘗試sudo dnf install libstdc-static。遇到編譯錯(cuò)誤時(shí)仔細(xì)閱讀錯(cuò)誤信息缺失什么就通過dnf search和dnf install來補(bǔ)充對應(yīng)-devel包。6. 第四階段模型推理測試與基礎(chǔ)優(yōu)化模型和依賴都齊備了是時(shí)候點(diǎn)燃引擎看看它能否正常工作了。我們從最簡單的命令行交互開始。6.1 編寫與運(yùn)行基礎(chǔ)推理腳本官方倉庫提供了cli_demo.py等示例但為了徹底理解流程我們可以自己寫一個(gè)最簡化的版本。創(chuàng)建一個(gè)infer_simple.py文件# infer_simple.py from transformers import AutoTokenizer, AutoModel import torch # 指定模型路徑指向你下載的模型目錄 model_path “./model/ZhipuAI/chatglm2-6b” # 請根據(jù)實(shí)際路徑修改 # 加載tokenizer和模型 tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) # 使用GPU并設(shè)置為bfloat16半精度以節(jié)省顯存 model AutoModel.from_pretrained(model_path, trust_remote_codeTrue).cuda().bfloat16() # 將模型設(shè)置為評估模式 model model.eval() # 進(jìn)行多輪對話測試 history [] print(“ChatGLM2-6B 已加載請輸入您的問題輸入’clear’清空歷史輸入’stop’退出:”) while True: query input(“\n用戶: “) if query “stop”: break if query “clear”: history [] print(“歷史已清空?！? continue # 流式輸出響應(yīng) print(“ChatGLM2: “, end“”, flushTrue) response, history model.chat(tokenizer, query, historyhistory) # 注意上面的chat方法內(nèi)部已實(shí)現(xiàn)流式這里打印完整結(jié)果。若要逐字流式需使用stream_chat方法。 print(response)運(yùn)行這個(gè)腳本python infer_simple.py如果一切順利你會(huì)看到模型加載信息加載分詞器、加載模型權(quán)重等然后出現(xiàn)提示符。輸入一個(gè)問題比如“你好”模型應(yīng)該會(huì)生成一段友好的回復(fù)。這標(biāo)志著最核心的部署流程已經(jīng)跑通。6.2 顯存優(yōu)化與量化實(shí)踐對于6B參數(shù)量的模型使用完整的FP32精度推理需要超過20GB的顯存這對于大多數(shù)消費(fèi)級顯卡是不可承受的。因此優(yōu)化顯存使用是部署的必修課。1. 半精度BF16/FP16我們在加載模型時(shí)已經(jīng)使用了.bfloat16()這是最簡單有效的顯存減半方法且對精度損失很小。A100、RTX 30/40系列等較新GPU都支持BF16。2. 量化Quantization將模型權(quán)重從高精度如FP16轉(zhuǎn)換為低精度如INT8/INT4能大幅減少顯存占用和加速推理。Hugging Face的transformers庫與bitsandbytes庫集成可以輕松實(shí)現(xiàn)8位或4位量化。首先安裝bitsandbytes注意它可能需要編譯pip install bitsandbytes然后修改模型加載方式使用8位量化# 修改infer_simple.py中的模型加載行 model AutoModel.from_pretrained( model_path, trust_remote_codeTrue, load_in_8bitTrue, # 啟用8位量化 device_map“auto” # 自動(dòng)分配模型層到可用設(shè)備多卡或CPU卸載 ).eval() # 注意使用量化后不要再調(diào)用.cuda()和.bfloat16()使用load_in_8bitTrue后顯存占用可能降至8GB左右使得在RTX 4070等顯卡上運(yùn)行成為可能。4位量化load_in_4bitTrue可以壓到更低但對精度影響更大需要根據(jù)任務(wù)測試。3. 使用vLLM等高性能推理后端如果你的目標(biāo)是高并發(fā)、低延遲的API服務(wù)那么使用專門優(yōu)化的推理引擎如vLLM或TGIText Generation Inference是更好的選擇。它們通過PagedAttention等技術(shù)極大地提高了吞吐量。但這需要額外的安裝和配置屬于進(jìn)階優(yōu)化范疇。常見問題實(shí)錄在加載量化模型時(shí)可能會(huì)報(bào)錯(cuò)‘bitsandbytes’ module has no attribute ‘xxx’。這通常是因?yàn)閎itsandbytes編譯版本與你的CUDA版本不匹配。解決方法是嘗試從源碼編譯bitsandbytesgit clone https://github.com/TimDettmers/bitsandbytes.git cd bitsandbytes # 根據(jù)你的CUDA版本修改CUDA環(huán)境變量例如 export CUDA_HOME/usr/local/cuda-11.8 pip install -e .7. 部署過程常見問題排查與解決即使按照步驟操作也難免會(huì)遇到各種問題。這里我整理了從系統(tǒng)層到應(yīng)用層可能遇到的典型錯(cuò)誤及其解決方案。7.1 依賴與編譯類錯(cuò)誤問題1安裝transformers或sentencepiece時(shí)編譯失敗提示g: fatal error: Killed signal terminated program cc1plus。原因這通常是服務(wù)器內(nèi)存不足導(dǎo)致的。編譯某些C擴(kuò)展時(shí)如果可用內(nèi)存特別是Swap空間太小系統(tǒng)會(huì)終止編譯進(jìn)程。解決檢查內(nèi)存和Swapfree -h。如果Swap很小或?yàn)?可以臨時(shí)增加一個(gè)Swap文件sudo fallocate -l 4G /swapfile # 創(chuàng)建4G文件 sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile # 如需永久生效需寫入/etc/fstab或者在pip安裝時(shí)使用--no-build-isolation選項(xiàng)并確保已安裝所有-devel包減少編譯時(shí)的內(nèi)存壓力。問題2運(yùn)行模型時(shí)報(bào)錯(cuò)ImportError: libcudart.so.11.0: cannot open shared object file: No such file or directory。原因PyTorch找不到對應(yīng)版本的CUDA運(yùn)行時(shí)庫。雖然通過conda安裝了cudatoolkit但環(huán)境變量可能未正確設(shè)置。解決確認(rèn)conda環(huán)境中已安裝cudatoolkitconda list | grep cudatoolkit。Conda環(huán)境下的CUDA庫路徑通常在$CONDA_PREFIX/lib?？梢允謩?dòng)添加該路徑到動(dòng)態(tài)鏈接庫搜索路徑export LD_LIBRARY_PATH$CONDA_PREFIX/lib:$LD_LIBRARY_PATH將這行命令添加到你的~/.bashrc或虛擬環(huán)境的激活腳本中使其永久生效。7.2 模型加載與運(yùn)行類錯(cuò)誤問題3加載模型時(shí)警告或報(bào)錯(cuò)提示skipping because of function ‘…’或速度極慢。原因ChatGLM2使用了自定義的CUDA內(nèi)核如cpm_kernels來加速。首次運(yùn)行時(shí)系統(tǒng)需要對這些內(nèi)核進(jìn)行JIT即時(shí)編譯這會(huì)消耗一些時(shí)間并可能因?yàn)榄h(huán)境問題而失敗或回退到慢速的純PyTorch實(shí)現(xiàn)。解決確保cpm-kernels庫已正確安裝。檢查CUDA環(huán)境是否正常torch.cuda.is_available()為True。首次運(yùn)行耐心等待編譯完成。編譯后的內(nèi)核會(huì)被緩存下次啟動(dòng)會(huì)快很多。如果持續(xù)失敗可以嘗試在加載模型時(shí)設(shè)置環(huán)境變量CPM_KERNELS_NO_COMPILE1來強(qiáng)制使用純PyTorch實(shí)現(xiàn)不推薦速度慢。問題4對話生成速度很慢甚至卡住。原因可能的原因有很多。排查與解決檢查硬件占用運(yùn)行nvidia-smi查看GPU利用率。如果利用率很低可能是CPU預(yù)處理或后處理成了瓶頸。檢查輸入長度過長的history或query會(huì)導(dǎo)致生成時(shí)間指數(shù)級增長。在代碼中限制輸入token長度。使用量化如前所述使用8位或4位量化不僅能降低顯存通常也能加速推理。啟用緩存KV Cache確保在調(diào)用model.chat()時(shí)正確傳遞并更新了history參數(shù)模型內(nèi)部會(huì)自動(dòng)利用鍵值緩存來加速后續(xù)生成。批處理如果有多條輸入盡量批處理一次推理而不是循環(huán)單條處理。7.3 網(wǎng)絡(luò)與權(quán)限類問題問題5從ModelScope下載模型失敗連接超時(shí)或速度極慢。解決使用proxychains等工具在命令行設(shè)置代理?；蛘呦仍谄渌W(wǎng)絡(luò)通暢的機(jī)器上下載好模型文件model目錄然后通過scp或rsync同步到服務(wù)器。也可以嘗試更換其他國內(nèi)鏡像源如阿里云、華為云等具體需參考ModelScope文檔。問題6運(yùn)行腳本時(shí)提示Permission denied無法寫入某些目錄。原因當(dāng)前用戶對目標(biāo)目錄如模型緩存目錄、代碼目錄沒有寫權(quán)限。解決使用ls -ld檢查目錄權(quán)限。最直接的方法確保你的操作都在用戶家目錄/home/yourname下進(jìn)行這里你通常擁有完全控制權(quán)。避免在/tmp或/root等目錄下進(jìn)行需要持久化文件的操作。8. 從測試到服務(wù)構(gòu)建基礎(chǔ)API接口讓模型在命令行里跑起來只是第一步。要真正投入使用我們通常需要將其封裝成一個(gè)Web API服務(wù)。這里使用輕量級的FastAPI框架來實(shí)現(xiàn)。8.1 使用FastAPI搭建模型服務(wù)首先在虛擬環(huán)境中安裝FastAPI和異步Web服務(wù)器Uvicornpip install fastapi uvicorn pydantic創(chuàng)建一個(gè)簡單的API服務(wù)文件api_server.py# api_server.py from fastapi import FastAPI, HTTPException from pydantic import BaseModel from transformers import AutoTokenizer, AutoModel import uvicorn import torch from typing import List, Optional app FastAPI(title“ChatGLM2-6B API Server”) # 全局加載模型和分詞器簡單示例生產(chǎn)環(huán)境需考慮更優(yōu)的加載方式 model_path “./model/ZhipuAI/chatglm2-6b” tokenizer None model None class ChatRequest(BaseModel): prompt: str history: Optional[List[List[str]]] None max_length: Optional[int] 2048 top_p: Optional[float] 0.7 temperature: Optional[float] 0.95 class ChatResponse(BaseModel): response: str history: List[List[str]] app.on_event(“startup”) async def load_model(): global tokenizer, model print(“Loading model and tokenizer…”) tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModel.from_pretrained(model_path, trust_remote_codeTrue, load_in_8bitTrue, # 使用量化節(jié)省顯存 device_map“auto”).eval() print(“Model loaded successfully.”) app.post(“/chat”, response_modelChatResponse) async def chat_completion(request: ChatRequest): if model is None or tokenizer is None: raise HTTPException(status_code503, detail“Model is not loaded yet.”) try: # 調(diào)用模型生成 response, updated_history model.chat( tokenizer, request.prompt, historyrequest.history if request.history else [], max_lengthrequest.max_length, top_prequest.top_p, temperaturerequest.temperature ) return ChatResponse(responseresponse, historyupdated_history) except Exception as e: raise HTTPException(status_code500, detailf”Generation error: {str(e)}“) app.get(“/health”) async def health_check(): return {“status”: “healthy”, “model_loaded”: model is not None} if __name__ “__main__”: # 啟動(dòng)服務(wù)綁定到本地端口生產(chǎn)環(huán)境應(yīng)使用反向代理 uvicorn.run(app, host“0.0.0.0”, port8000)這個(gè)API提供了一個(gè)/chat端點(diǎn)用于對話一個(gè)/health端點(diǎn)用于健康檢查。模型在服務(wù)啟動(dòng)時(shí)加載。8.2 服務(wù)化部署的進(jìn)階考量上面的簡單示例離生產(chǎn)級服務(wù)還有距離你需要考慮以下幾點(diǎn)并發(fā)與性能上面的代碼是同步的多個(gè)請求會(huì)排隊(duì)。生產(chǎn)環(huán)境需要使用異步處理、請求隊(duì)列或者結(jié)合vLLM這樣的高性能推理引擎。安全務(wù)必在Nginx等反向代理后配置SSLHTTPS、設(shè)置API Key認(rèn)證或限流防止服務(wù)被濫用。健壯性添加更完善的錯(cuò)誤處理、請求驗(yàn)證、日志記錄和監(jiān)控。資源管理實(shí)現(xiàn)模型的熱加載、多模型切換、GPU內(nèi)存監(jiān)控與清理等功能。容器化使用Docker將整個(gè)環(huán)境openEuler系統(tǒng)依賴、Conda環(huán)境、模型、代碼打包成一個(gè)鏡像。這能實(shí)現(xiàn)環(huán)境的一致性極大簡化部署和遷移流程。一個(gè)簡單的Dockerfile需要包含系統(tǒng)包安裝、Miniconda安裝、環(huán)境創(chuàng)建、依賴安裝、模型下載或從卷掛載和啟動(dòng)命令。個(gè)人體會(huì)從單次腳本運(yùn)行到穩(wěn)定的API服務(wù)是部署大模型價(jià)值升華的關(guān)鍵一步。這個(gè)過程會(huì)讓你更深入地思考資源管理、系統(tǒng)架構(gòu)和運(yùn)維問題。建議先從簡單的FastAPI服務(wù)開始讓流程跑通再根據(jù)實(shí)際訪問量和需求逐步引入更復(fù)雜的組件如消息隊(duì)列、模型緩存、動(dòng)態(tài)批處理等。不要試圖一開始就搭建一個(gè)完美的系統(tǒng)迭代優(yōu)化才是工程實(shí)踐的主旋律。