及Ollama部署全流程實(shí)踐)
1. 項(xiàng)目概述一次完整的大模型微調(diào)與部署實(shí)踐最近在折騰大模型本地化應(yīng)用目標(biāo)很明確想基于一個(gè)輕量級(jí)的開源大模型用我自己的數(shù)據(jù)訓(xùn)練一個(gè)垂直領(lǐng)域的助手然后把它變成一個(gè)可以隨時(shí)對(duì)話的本地服務(wù)。經(jīng)過(guò)一番調(diào)研我鎖定了Google的Gemma 2B/7B模型它開源、性能不錯(cuò)而且對(duì)個(gè)人開發(fā)者相對(duì)友好。整個(gè)流程走下來(lái)涉及從底層驅(qū)動(dòng)環(huán)境搭建、模型微調(diào)到最后的服務(wù)化部署算是一次比較完整的實(shí)踐。今天就把從零開始在支持AMD顯卡的Linux服務(wù)器上基于ROCm環(huán)境對(duì)Gemma 2B模型進(jìn)行LoRA微調(diào)并最終通過(guò)Ollama部署上線的全過(guò)程記錄下來(lái)。如果你手頭有AMD顯卡比如RX 6000/7000系列或Instinct系列或者單純想了解大模型微調(diào)與部署的完整鏈路這篇記錄應(yīng)該能提供不少參考。整個(gè)過(guò)程可以拆解為三個(gè)核心階段首先是搭建ROCm計(jì)算環(huán)境這是讓AMD顯卡能跑PyTorch深度學(xué)習(xí)訓(xùn)練的前提其次是使用LoRA技術(shù)對(duì)Gemma模型進(jìn)行微調(diào)這是本次實(shí)踐的核心旨在用較小的代價(jià)讓模型學(xué)會(huì)特定領(lǐng)域的知識(shí)或技能最后是將微調(diào)好的模型整合進(jìn)Ollama框架實(shí)現(xiàn)本地化的模型服務(wù)與管理。每個(gè)階段都有不少細(xì)節(jié)和坑我會(huì)結(jié)合自己的實(shí)操把關(guān)鍵步驟、原理和避坑心得都攤開來(lái)講清楚。2. 環(huán)境準(zhǔn)備ROCm在Linux下的搭建與踩坑實(shí)錄我的實(shí)驗(yàn)環(huán)境是一臺(tái)搭載了AMD Radeon RX 7900 XTX顯卡的Ubuntu 22.04 LTS服務(wù)器。選擇ROCm是因?yàn)樗茿MD官方推出的開源GPU計(jì)算平臺(tái)對(duì)標(biāo)NVIDIA的CUDA是讓PyTorch等框架在AMD顯卡上運(yùn)行的基礎(chǔ)。2.1 ROCm安裝與系統(tǒng)配置安裝ROCm的第一步是確認(rèn)顯卡兼容性。并非所有AMD顯卡都受官方支持我查閱了ROCm的官方支持列表確認(rèn)RX 7900 XTX在支持范圍內(nèi)。然后需要添加ROCm的APT倉(cāng)庫(kù)并安裝核心包。這里命令并不復(fù)雜但系統(tǒng)層面的依賴和配置是關(guān)鍵。# 添加ROCm官方APT倉(cāng)庫(kù) wget https://repo.radeon.com/amdgpu-install/latest/ubuntu/jammy/amdgpu-install_6.1.60100-1_all.deb sudo apt install ./amdgpu-install_6.1.60100-1_all.deb sudo amdgpu-install --usecaserocm --no-dkms安裝完成后需要將當(dāng)前用戶添加到render和video組以便有權(quán)限訪問(wèn)GPU設(shè)備。sudo usermod -a -G render,video $LOGNAME之后必須重啟系統(tǒng)這是很多教程里輕描淡寫但極其重要的一步不重啟用戶組變更和內(nèi)核模塊加載可能不會(huì)完全生效。重啟后驗(yàn)證安裝是否成功rocminfo這個(gè)命令會(huì)輸出詳細(xì)的GPU信息。更直觀的驗(yàn)證是運(yùn)行rocm-smi它類似于NVIDIA的nvidia-smi可以查看GPU狀態(tài)、溫度、功耗和顯存占用。注意驅(qū)動(dòng)版本匹配問(wèn)題。ROCm版本、Linux內(nèi)核版本、顯卡固件版本之間需要匹配。我曾因內(nèi)核自動(dòng)升級(jí)到較新版本導(dǎo)致與特定版本的ROCm驅(qū)動(dòng)不兼容出現(xiàn)kfd模塊加載失敗的錯(cuò)誤。解決方案是暫時(shí)鎖定內(nèi)核版本或者尋找與當(dāng)前內(nèi)核匹配的ROCm版本。對(duì)于生產(chǎn)環(huán)境建議在部署初期就確定一個(gè)穩(wěn)定的版本組合并凍結(jié)更新。2.2 PyTorch與深度學(xué)習(xí)環(huán)境配置ROCm只是底層驅(qū)動(dòng)和運(yùn)行時(shí)上層還需要適配了ROCm的PyTorch。PyTorch官方提供了預(yù)編譯的ROCm版本。pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.1這里的rocm6.1需要與你安裝的ROCm主版本號(hào)對(duì)應(yīng)。安裝后在Python中運(yùn)行以下代碼進(jìn)行驗(yàn)證import torch print(torch.__version__) print(torch.cuda.is_available()) # 對(duì)于ROCm這里仍返回True但實(shí)際使用的是ROCm后端 print(torch.cuda.get_device_name(0))如果一切正常會(huì)打印出版本號(hào)、True以及你的AMD顯卡型號(hào)。這表明PyTorch已經(jīng)可以識(shí)別并調(diào)用你的AMD GPU進(jìn)行計(jì)算了。接下來(lái)安裝微調(diào)所需的其他庫(kù)主要是Hugging Face的transformers,datasets,accelerate以及LoRA相關(guān)的peft和bitsandbytes用于量化。這里有個(gè)大坑bitsandbytes對(duì)ROCm的支持并不像CUDA那樣完善。經(jīng)過(guò)測(cè)試在ROCm 6.1環(huán)境下直接pip install bitsandbytes可能會(huì)編譯失敗或運(yùn)行時(shí)出錯(cuò)。一個(gè)可行的替代方案是使用pip install bitsandbytes-rocm這是一個(gè)社區(qū)維護(hù)的針對(duì)ROCm的移植版本或者考慮使用其他量化庫(kù)如auto-gptq或gptq-for-llama但這需要模型本身有對(duì)應(yīng)的GPTQ量化版本。對(duì)于本次Gemma 2B的LoRA微調(diào)由于參數(shù)量不大我選擇先不使用量化直接在全精度FP16下進(jìn)行這對(duì)24GB顯存的7900 XTX來(lái)說(shuō)是可行的。3. 模型微調(diào)核心LoRA技術(shù)解析與實(shí)戰(zhàn)環(huán)境就緒后進(jìn)入核心環(huán)節(jié)——微調(diào)。我們采用LoRALow-Rank Adaptation方法它因其高效和輕量化成為微調(diào)大模型的首選技術(shù)之一。3.1 LoRA原理淺析為什么它能省顯存在深入代碼之前有必要理解LoRA為什么有效。傳統(tǒng)微調(diào)Full Fine-Tuning會(huì)更新模型的所有參數(shù)對(duì)于動(dòng)輒數(shù)十億參數(shù)的大模型這需要存儲(chǔ)兩份模型參數(shù)原始參數(shù)和優(yōu)化器狀態(tài)顯存開銷巨大。LoRA提出了一種巧妙的“旁路”機(jī)制。它凍結(jié)預(yù)訓(xùn)練模型的所有原始參數(shù)不進(jìn)行更新。然后在模型的某些關(guān)鍵層通常是Transformer結(jié)構(gòu)中的注意力模塊的Query, Key, Value和輸出投影層旁插入一組可訓(xùn)練的“低秩適配器”。具體來(lái)說(shuō)對(duì)于一個(gè)預(yù)訓(xùn)練權(quán)重矩陣 ( W \in \mathbb{R}^{d \times k} )LoRA不直接改變 ( W )而是用一個(gè)低秩分解來(lái)表示其更新量( \Delta W BA )其中 ( B \in \mathbb{R}^{d \times r} ), ( A \in \mathbb{R}^{r \times k} )秩 ( r \ll min(d, k) )。在正向傳播時(shí)實(shí)際執(zhí)行的運(yùn)算是 ( h Wx BAx )。這樣做的好處極其明顯顯存效率只需存儲(chǔ)和優(yōu)化適配器參數(shù) ( A ) 和 ( B )其數(shù)量遠(yuǎn)少于原始參數(shù)。例如對(duì)于70億參數(shù)的模型LoRA參數(shù)可能只有幾百萬(wàn)到幾千萬(wàn)顯存占用從幾十GB降到幾GB。訓(xùn)練效率由于大部分參數(shù)被凍結(jié)只需要計(jì)算適配器部分的梯度訓(xùn)練速度更快。模塊化與切換不同的適配器對(duì)應(yīng)不同的任務(wù)可以像插件一樣在同一個(gè)基礎(chǔ)模型上快速加載和切換便于管理多任務(wù)。減輕災(zāi)難性遺忘因?yàn)榛A(chǔ)模型參數(shù)不變它原有的廣泛知識(shí)得以保留主要學(xué)習(xí)的是針對(duì)新任務(wù)的新特征。3.2 數(shù)據(jù)準(zhǔn)備與處理我準(zhǔn)備了一個(gè)關(guān)于某個(gè)垂直領(lǐng)域比如咖啡知識(shí)的指令微調(diào)數(shù)據(jù)集。數(shù)據(jù)格式遵循常見的指令-響應(yīng)對(duì)話格式每條數(shù)據(jù)是一個(gè)JSON對(duì)象包含instruction、input可選、output字段。例如{ instruction: 請(qǐng)介紹手沖咖啡的步驟。, input: , output: 1. 研磨咖啡豆將咖啡豆研磨至白砂糖粗細(xì)... 2. 濕潤(rùn)濾紙用熱水沖洗濾紙去除紙味并溫壺... 3. 悶蒸注入少量熱水讓咖啡粉充分排氣約30秒... 4. 分段注水以畫圈方式緩慢注入剩余熱水... 5. 完成萃取等待水滴完移開濾杯即可享用。 }使用Hugging Facedatasets庫(kù)加載和預(yù)處理數(shù)據(jù)from datasets import load_dataset dataset load_dataset(json, data_filescoffee_qa.json)接著需要將文本數(shù)據(jù)轉(zhuǎn)換為模型可接受的token ID序列。這里使用Gemma的tokenizer。from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(google/gemma-2b-it) # 使用指令微調(diào)版本 tokenizer.pad_token tokenizer.eos_token # 設(shè)置填充token def tokenize_function(examples): # 構(gòu)建指令格式的文本 prompts [] for inst, inp, outp in zip(examples[instruction], examples[input], examples[output]): if inp: prompt fstart_of_turnuser\n{inst}\n{inp}end_of_turn\nstart_of_turnmodel\n else: prompt fstart_of_turnuser\n{inst}end_of_turn\nstart_of_turnmodel\n prompts.append(prompt) # 將輸出部分也拼接上但只在計(jì)算loss時(shí)考慮輸出部分 full_text prompt outp tokenizer.eos_token examples[text] full_text return tokenizer(examples[text], truncationTrue, paddingmax_length, max_length512) tokenized_dataset dataset.map(tokenize_function, batchedTrue, remove_columnsdataset[train].column_names)這里的關(guān)鍵是構(gòu)建正確的對(duì)話格式Gemma-IT模型特定的start_of_turn標(biāo)簽和設(shè)置正確的損失掩碼。我們只希望在模型輸出部分即output字段計(jì)算損失而在指令和輸入部分忽略損失。這通常通過(guò)attention_mask和labels的巧妙設(shè)置來(lái)實(shí)現(xiàn)確保梯度只來(lái)自我們希望模型學(xué)習(xí)的響應(yīng)部分。3.3 LoRA微調(diào)腳本與參數(shù)詳解接下來(lái)是核心的訓(xùn)練腳本。我們使用peft庫(kù)來(lái)方便地配置LoRA。from transformers import AutoModelForCausalLM, TrainingArguments, Trainer from peft import LoraConfig, get_peft_model, TaskType import torch # 1. 加載基礎(chǔ)模型 model AutoModelForCausalLM.from_pretrained( google/gemma-2b-it, torch_dtypetorch.float16, # 使用FP16節(jié)省顯存 device_mapauto, # 讓accelerate自動(dòng)分配模型層到設(shè)備 trust_remote_codeFalse, ) # 2. 配置LoRA參數(shù) lora_config LoraConfig( task_typeTaskType.CAUSAL_LM, # 因果語(yǔ)言模型任務(wù) r8, # LoRA秩即低秩矩陣的維度r。值越小參數(shù)量越少但能力可能越弱。通常從8、16開始嘗試。 lora_alpha32, # 縮放因子與學(xué)習(xí)率相關(guān)。通常設(shè)置為r的2-4倍。 lora_dropout0.1, # LoRA層的dropout率用于防止過(guò)擬合。 target_modules[q_proj, k_proj, v_proj, o_proj], # 將LoRA適配器注入到注意力層的這些線性模塊中。 biasnone, # 是否訓(xùn)練偏置項(xiàng)。none表示不訓(xùn)練。 ) # 3. 將基礎(chǔ)模型轉(zhuǎn)換為PEFT模型 model get_peft_model(model, lora_config) model.print_trainable_parameters() # 打印可訓(xùn)練參數(shù)數(shù)量確認(rèn)只有一小部分參數(shù)被激活 # 4. 定義訓(xùn)練參數(shù) training_args TrainingArguments( output_dir./gemma-2b-coffee-lora, num_train_epochs3, per_device_train_batch_size4, # 根據(jù)顯存調(diào)整。RX 7900 XTX 24G對(duì)于2B模型batch_size4是安全的。 gradient_accumulation_steps4, # 梯度累積模擬更大的batch size。 warmup_steps100, logging_steps10, save_steps200, evaluation_strategyno, # 如果沒(méi)有驗(yàn)證集設(shè)為no save_total_limit2, learning_rate2e-4, # LoRA學(xué)習(xí)率通常比全量微調(diào)大例如1e-4到5e-4。 fp16True, # 使用混合精度訓(xùn)練ROCm環(huán)境下確保torch版本支持。 remove_unused_columnsFalse, push_to_hubFalse, # 本地訓(xùn)練不上傳 report_totensorboard, ) # 5. 創(chuàng)建Trainer并開始訓(xùn)練 trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset[train], data_collatorDataCollatorForLanguageModeling(tokenizertokenizer, mlmFalse), ) trainer.train()關(guān)鍵參數(shù)解析與調(diào)優(yōu)經(jīng)驗(yàn)r(秩)這是LoRA最重要的超參數(shù)之一。它決定了適配器的表達(dá)能力。對(duì)于2B的模型r8或16是常見的起點(diǎn)。如果任務(wù)簡(jiǎn)單或數(shù)據(jù)量少可以嘗試更小的r如4如果任務(wù)復(fù)雜或希望模型有更強(qiáng)的適應(yīng)能力可以增大到32甚至64但這會(huì)增加參數(shù)量和過(guò)擬合風(fēng)險(xiǎn)。我的咖啡知識(shí)QA任務(wù)相對(duì)明確r8效果已足夠。lora_alpha可以理解為適配器輸出的縮放因子。在代碼實(shí)現(xiàn)中LoRA的輸出會(huì)乘以alpha/r。因此固定alpha增大r會(huì)減小縮放比例。通常將alpha設(shè)為r的2倍或4倍是一個(gè)經(jīng)驗(yàn)法則。我設(shè)置為32。target_modules指定將LoRA適配器加到哪些層。對(duì)于Decoder-only的模型如Gemma, LLaMA通常選擇注意力機(jī)制中的q_proj,k_proj,v_proj,o_proj。有些研究也建議加入FFN層的gate_proj,up_proj,down_proj但這會(huì)顯著增加可訓(xùn)練參數(shù)量。對(duì)于初步實(shí)驗(yàn)只加在注意力層是標(biāo)準(zhǔn)做法。per_device_train_batch_size與gradient_accumulation_steps實(shí)際有效的batch size是per_device_train_batch_size * gradient_accumulation_steps * GPU數(shù)量。受限于顯存單卡batch size可能只能設(shè)到1或2。通過(guò)梯度累積gradient_accumulation_steps4我們可以每4步才更新一次權(quán)重相當(dāng)于模擬了batch size為4或8的訓(xùn)練有助于訓(xùn)練穩(wěn)定。需要權(quán)衡的是累積步數(shù)越多更新越慢但梯度估計(jì)更準(zhǔn)。learning_rateLoRA訓(xùn)練的學(xué)習(xí)率通常比全量微調(diào)大例如1e-4到5e-4因?yàn)橹桓乱恍〔糠謪?shù)。我從2e-4開始如果訓(xùn)練損失下降很慢或不降可以嘗試提高到3e-4或4e-4。實(shí)操心得監(jiān)控顯存與調(diào)整batch size。在ROCm環(huán)境下使用rocm-smi或watch -n 1 rocm-smi來(lái)實(shí)時(shí)監(jiān)控顯存占用。如果訓(xùn)練開始不久顯存就接近爆滿需要降低per_device_train_batch_size。如果顯存還有富余但訓(xùn)練速度慢可以嘗試增大batch size以提高硬件利用率。另外開啟fp16混合精度訓(xùn)練能有效節(jié)省顯存并加速但要注意數(shù)值穩(wěn)定性如果訓(xùn)練中出現(xiàn)損失NaN可以嘗試關(guān)閉fp16或使用bf16如果硬件支持。4. 模型合并與轉(zhuǎn)換為Ollama部署做準(zhǔn)備訓(xùn)練完成后我們得到的是LoRA適配器權(quán)重通常是一個(gè)adapter_model.bin或safetensors文件而不是一個(gè)完整的模型文件。Ollama目前主要支持加載完整的模型GGUF或類似格式的文件。因此我們需要將LoRA權(quán)重與原始的基礎(chǔ)模型合并得到一個(gè)完整的、經(jīng)過(guò)微調(diào)的新模型。4.1 合并LoRA權(quán)重使用peft庫(kù)可以方便地合并權(quán)重from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 加載原始基礎(chǔ)模型 base_model AutoModelForCausalLM.from_pretrained( google/gemma-2b-it, torch_dtypetorch.float16, device_mapauto, ) # 加載訓(xùn)練好的LoRA適配器 model PeftModel.from_pretrained(base_model, ./gemma-2b-coffee-lora/checkpoint-600) # 將適配器權(quán)重合并到基礎(chǔ)模型中 merged_model model.merge_and_unload() # 保存合并后的完整模型 merged_model.save_pretrained(./gemma-2b-coffee-merged) tokenizer.save_pretrained(./gemma-2b-coffee-merged)這個(gè)過(guò)程會(huì)在指定目錄下生成完整的PyTorch模型文件pytorch_model.bin和config.json等。4.2 轉(zhuǎn)換為Ollama支持的GGUF格式Ollama推薦使用GGUFGPT-Generated Unified Format格式這是一種為GGML推理引擎設(shè)計(jì)的二進(jìn)制格式支持量化能在CPU和GPU上高效運(yùn)行。我們需要使用llama.cpp項(xiàng)目的工具來(lái)進(jìn)行轉(zhuǎn)換。首先需要將PyTorch模型轉(zhuǎn)換為GGUF支持的中間格式通常是HF格式我們已經(jīng)有了。然后使用llama.cpp的convert.py腳本或convert-hf-to-gguf.py進(jìn)行轉(zhuǎn)換。# 1. 克隆 llama.cpp 倉(cāng)庫(kù) git clone https://github.com/ggerganov/llama.cpp cd llama.cpp # 2. 編譯項(xiàng)目確保已安裝cmake等編譯工具 make # 3. 將Hugging Face模型轉(zhuǎn)換為GGUF格式 python convert-hf-to-gguf.py ../gemma-2b-coffee-merged --outtype f16 --outfile ../gemma-2b-coffee-f16.gguf這里--outtype f16指定輸出為FP16精度。你也可以選擇量化版本以減小模型體積、降低部署資源需求例如q4_04位整數(shù)量化、q8_08位整數(shù)量化等。量化會(huì)輕微損失精度但能極大提升推理速度并降低內(nèi)存占用。對(duì)于本地部署q4_0或q5_0是一個(gè)不錯(cuò)的權(quán)衡。# 量化示例將FP16模型量化為Q4_0格式 ./quantize ../gemma-2b-coffee-f16.gguf ../gemma-2b-coffee-q4_0.gguf q4_0注意事項(xiàng)版本兼容性。llama.cpp和其轉(zhuǎn)換腳本在快速迭代中不同版本對(duì)模型架構(gòu)如Gemma的支持程度可能不同。如果轉(zhuǎn)換失敗常見錯(cuò)誤是“不支持的張量類型”或架構(gòu)識(shí)別錯(cuò)誤可以嘗試回退到llama.cpp的某個(gè)穩(wěn)定發(fā)布版本或者查看其GitHub Issues中關(guān)于Gemma轉(zhuǎn)換的討論。我使用的是llama.cpp較新的提交成功轉(zhuǎn)換了Gemma 2B模型。5. Ollama本地部署與模型服務(wù)化Ollama的出現(xiàn)極大地簡(jiǎn)化了在本地運(yùn)行大模型的過(guò)程。它類似于一個(gè)模型管理器可以拉取、運(yùn)行和管理各種GGUF格式的模型。5.1 Ollama安裝與自定義模型創(chuàng)建首先在Linux上安裝Ollamacurl -fsSL https://ollama.com/install.sh | sh安裝后Ollama服務(wù)會(huì)自動(dòng)啟動(dòng)。默認(rèn)情況下Ollama會(huì)從官方倉(cāng)庫(kù)下載模型。但我們需要運(yùn)行自己微調(diào)的模型這就需要?jiǎng)?chuàng)建一個(gè)自定義的Modelfile。在包含我們GGUF模型文件的目錄下創(chuàng)建一個(gè)名為Modelfile的文本文件FROM ./gemma-2b-coffee-q4_0.gguf TEMPLATE start_of_turnuser {{ .Prompt }}end_of_turn start_of_turnmodel PARAMETER temperature 0.7 PARAMETER top_p 0.9 PARAMETER num_ctx 4096FROM指定模型文件的路徑。這里使用相對(duì)路徑指向我們量化后的GGUF文件。TEMPLATE定義對(duì)話模板。這是至關(guān)重要的一步必須與模型訓(xùn)練時(shí)使用的格式一致。Gemma指令微調(diào)版本使用了特定的start_of_turn標(biāo)簽。這個(gè)模板確保了用戶輸入被正確包裝模型才能生成符合預(yù)期的回復(fù)。PARAMETER設(shè)置推理參數(shù)如temperature創(chuàng)造性值越高越隨機(jī)、top_p核采樣影響詞匯選擇多樣性、num_ctx上下文長(zhǎng)度。5.2 創(chuàng)建并運(yùn)行自定義模型使用ollama create命令基于Modelfile創(chuàng)建自定義模型ollama create my-gemma-coffee -f ./Modelfilemy-gemma-coffee是你給這個(gè)自定義模型起的名字。然后就可以像使用任何其他Ollama模型一樣運(yùn)行它ollama run my-gemma-coffee運(yùn)行后會(huì)進(jìn)入一個(gè)交互式對(duì)話界面。你可以輸入問(wèn)題測(cè)試?yán)纭笆譀_咖啡應(yīng)該如何悶蒸” 模型應(yīng)該會(huì)基于我們微調(diào)的數(shù)據(jù)集給出專業(yè)、準(zhǔn)確的回答。5.3 集成與API調(diào)用Ollama不僅提供命令行交互還內(nèi)置了一個(gè)HTTP API服務(wù)器默認(rèn)在11434端口這使得它可以輕松集成到其他應(yīng)用中。啟動(dòng)Ollama服務(wù)后可以通過(guò)curl進(jìn)行測(cè)試curl http://localhost:11434/api/generate -d { model: my-gemma-coffee, prompt: 請(qǐng)介紹手沖咖啡的步驟。, stream: false }也可以使用Python的requests庫(kù)進(jìn)行調(diào)用構(gòu)建簡(jiǎn)單的應(yīng)用程序import requests import json def ask_ollama(prompt, modelmy-gemma-coffee): url http://localhost:11434/api/generate data { model: model, prompt: prompt, stream: False, options: { temperature: 0.7, top_p: 0.9 } } response requests.post(url, jsondata) if response.status_code 200: return response.json()[response] else: return fError: {response.status_code} answer ask_ollama(拿鐵和卡布奇諾有什么區(qū)別) print(answer)部署優(yōu)化與問(wèn)題排查GPU加速Ollama在Linux下默認(rèn)可能使用CPU推理。要啟用AMD GPU加速需要確保系統(tǒng)已安裝ROCm并在運(yùn)行Ollama時(shí)設(shè)置環(huán)境變量OLLAMA_GPU_DRIVERrocm?？梢酝ㄟ^(guò)ollama run時(shí)添加--verbose標(biāo)志或在Ollama服務(wù)日志中查看是否成功加載了GPU后端。顯存不足如果遇到顯存不足錯(cuò)誤可以考慮使用量化程度更高的模型如q4_0替代q8_0或f16或者在Modelfile中減少num_gpu_layers參數(shù)該參數(shù)控制有多少模型層被卸載到GPU減少它會(huì)讓更多層留在CPU內(nèi)存中。響應(yīng)速度慢首先確認(rèn)是否使用了GPU。如果仍在CPU上運(yùn)行速度必然慢。其次檢查num_ctx是否設(shè)置過(guò)高過(guò)長(zhǎng)的上下文會(huì)消耗更多計(jì)算資源。對(duì)于簡(jiǎn)單的QA任務(wù)2048可能就足夠了。模型回復(fù)格式不對(duì)最常見的原因是TEMPLATE定義錯(cuò)誤。務(wù)必與模型訓(xùn)練時(shí)使用的對(duì)話格式完全匹配?？梢曰仡櫽?xùn)練數(shù)據(jù)集的構(gòu)建方式和tokenize函數(shù)中的prompt模板。6. 全流程回顧與進(jìn)階思考走完從ROCm環(huán)境搭建、LoRA微調(diào)到Ollama部署的整個(gè)流程相當(dāng)于打通了大模型“煉”與“用”的本地化閉環(huán)。這個(gè)過(guò)程里最深的體會(huì)是細(xì)節(jié)決定成敗。無(wú)論是ROCm驅(qū)動(dòng)版本的選擇、LoRA超參數(shù)的調(diào)整、數(shù)據(jù)格式的嚴(yán)格對(duì)齊還是GGUF轉(zhuǎn)換時(shí)的版本兼容性任何一個(gè)環(huán)節(jié)的疏忽都可能導(dǎo)致失敗。對(duì)于想復(fù)現(xiàn)類似流程的朋友我的建議是環(huán)境隔離強(qiáng)烈建議使用Conda或Docker創(chuàng)建獨(dú)立的環(huán)境避免系統(tǒng)級(jí)依賴沖突。ROCm的安裝尤其容易受系統(tǒng)狀態(tài)影響。小步快跑及時(shí)驗(yàn)證不要一次性準(zhǔn)備大量數(shù)據(jù)、設(shè)置過(guò)長(zhǎng)epoch。先用一個(gè)極小的數(shù)據(jù)集比如50條跑通1個(gè)epoch驗(yàn)證從訓(xùn)練到推理的整個(gè)流程是否正常。然后再逐步增加數(shù)據(jù)量、調(diào)整參數(shù)。善用監(jiān)控工具訓(xùn)練時(shí)用rocm-smi監(jiān)控GPU狀態(tài)用Tensorboard或WB看損失曲線部署時(shí)關(guān)注Ollama的日志和系統(tǒng)資源占用。理解原理而非死記命令明白LoRA為什么能省顯存理解對(duì)話模板的作用知道量化會(huì)帶來(lái)什么影響。這樣當(dāng)遇到問(wèn)題時(shí)你才有思路去排查而不是盲目搜索錯(cuò)誤信息。這次實(shí)踐也讓我思考下一步的優(yōu)化方向。例如嘗試QLoRA量化版的LoRA能否在保持性能的同時(shí)進(jìn)一步降低顯存需求如何構(gòu)建更高質(zhì)量、多樣化的指令微調(diào)數(shù)據(jù)集來(lái)提升模型泛化能力如何將Ollama服務(wù)通過(guò)更友好的Web UI如OpenAI WebUI或Chatbot UI暴露出來(lái)提供更好的用戶體驗(yàn)這些都是可以在現(xiàn)有基礎(chǔ)上深入探索的課題。本地大模型應(yīng)用的生態(tài)還在快速演進(jìn)但親手搭建并調(diào)優(yōu)一個(gè)專屬模型所帶來(lái)的掌控感和定制能力是使用云端API無(wú)法比擬的。 基于ROCm與LoRA的Gemma 2B大模型微調(diào)及Ollama部署全流程實(shí)踐
1. 項(xiàng)目概述一次完整的大模型微調(diào)與部署實(shí)踐最近在折騰大模型本地化應(yīng)用目標(biāo)很明確想基于一個(gè)輕量級(jí)的開源大模型用我自己的數(shù)據(jù)訓(xùn)練一個(gè)垂直領(lǐng)域的助手然后把它變成一個(gè)可以隨時(shí)對(duì)話的本地服務(wù)。經(jīng)過(guò)一番調(diào)研我鎖定了Google的Gemma 2B/7B模型它開源、性能不錯(cuò)而且對(duì)個(gè)人開發(fā)者相對(duì)友好。整個(gè)流程走下來(lái)涉及從底層驅(qū)動(dòng)環(huán)境搭建、模型微調(diào)到最后的服務(wù)化部署算是一次比較完整的實(shí)踐。今天就把從零開始在支持AMD顯卡的Linux服務(wù)器上基于ROCm環(huán)境對(duì)Gemma 2B模型進(jìn)行LoRA微調(diào)并最終通過(guò)Ollama部署上線的全過(guò)程記錄下來(lái)。如果你手頭有AMD顯卡比如RX 6000/7000系列或Instinct系列或者單純想了解大模型微調(diào)與部署的完整鏈路這篇記錄應(yīng)該能提供不少參考。整個(gè)過(guò)程可以拆解為三個(gè)核心階段首先是搭建ROCm計(jì)算環(huán)境這是讓AMD顯卡能跑PyTorch深度學(xué)習(xí)訓(xùn)練的前提其次是使用LoRA技術(shù)對(duì)Gemma模型進(jìn)行微調(diào)這是本次實(shí)踐的核心旨在用較小的代價(jià)讓模型學(xué)會(huì)特定領(lǐng)域的知識(shí)或技能最后是將微調(diào)好的模型整合進(jìn)Ollama框架實(shí)現(xiàn)本地化的模型服務(wù)與管理。每個(gè)階段都有不少細(xì)節(jié)和坑我會(huì)結(jié)合自己的實(shí)操把關(guān)鍵步驟、原理和避坑心得都攤開來(lái)講清楚。2. 環(huán)境準(zhǔn)備ROCm在Linux下的搭建與踩坑實(shí)錄我的實(shí)驗(yàn)環(huán)境是一臺(tái)搭載了AMD Radeon RX 7900 XTX顯卡的Ubuntu 22.04 LTS服務(wù)器。選擇ROCm是因?yàn)樗茿MD官方推出的開源GPU計(jì)算平臺(tái)對(duì)標(biāo)NVIDIA的CUDA是讓PyTorch等框架在AMD顯卡上運(yùn)行的基礎(chǔ)。2.1 ROCm安裝與系統(tǒng)配置安裝ROCm的第一步是確認(rèn)顯卡兼容性。并非所有AMD顯卡都受官方支持我查閱了ROCm的官方支持列表確認(rèn)RX 7900 XTX在支持范圍內(nèi)。然后需要添加ROCm的APT倉(cāng)庫(kù)并安裝核心包。這里命令并不復(fù)雜但系統(tǒng)層面的依賴和配置是關(guān)鍵。# 添加ROCm官方APT倉(cāng)庫(kù) wget https://repo.radeon.com/amdgpu-install/latest/ubuntu/jammy/amdgpu-install_6.1.60100-1_all.deb sudo apt install ./amdgpu-install_6.1.60100-1_all.deb sudo amdgpu-install --usecaserocm --no-dkms安裝完成后需要將當(dāng)前用戶添加到render和video組以便有權(quán)限訪問(wèn)GPU設(shè)備。sudo usermod -a -G render,video $LOGNAME之后必須重啟系統(tǒng)這是很多教程里輕描淡寫但極其重要的一步不重啟用戶組變更和內(nèi)核模塊加載可能不會(huì)完全生效。重啟后驗(yàn)證安裝是否成功rocminfo這個(gè)命令會(huì)輸出詳細(xì)的GPU信息。更直觀的驗(yàn)證是運(yùn)行rocm-smi它類似于NVIDIA的nvidia-smi可以查看GPU狀態(tài)、溫度、功耗和顯存占用。注意驅(qū)動(dòng)版本匹配問(wèn)題。ROCm版本、Linux內(nèi)核版本、顯卡固件版本之間需要匹配。我曾因內(nèi)核自動(dòng)升級(jí)到較新版本導(dǎo)致與特定版本的ROCm驅(qū)動(dòng)不兼容出現(xiàn)kfd模塊加載失敗的錯(cuò)誤。解決方案是暫時(shí)鎖定內(nèi)核版本或者尋找與當(dāng)前內(nèi)核匹配的ROCm版本。對(duì)于生產(chǎn)環(huán)境建議在部署初期就確定一個(gè)穩(wěn)定的版本組合并凍結(jié)更新。2.2 PyTorch與深度學(xué)習(xí)環(huán)境配置ROCm只是底層驅(qū)動(dòng)和運(yùn)行時(shí)上層還需要適配了ROCm的PyTorch。PyTorch官方提供了預(yù)編譯的ROCm版本。pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.1這里的rocm6.1需要與你安裝的ROCm主版本號(hào)對(duì)應(yīng)。安裝后在Python中運(yùn)行以下代碼進(jìn)行驗(yàn)證import torch print(torch.__version__) print(torch.cuda.is_available()) # 對(duì)于ROCm這里仍返回True但實(shí)際使用的是ROCm后端 print(torch.cuda.get_device_name(0))如果一切正常會(huì)打印出版本號(hào)、True以及你的AMD顯卡型號(hào)。這表明PyTorch已經(jīng)可以識(shí)別并調(diào)用你的AMD GPU進(jìn)行計(jì)算了。接下來(lái)安裝微調(diào)所需的其他庫(kù)主要是Hugging Face的transformers,datasets,accelerate以及LoRA相關(guān)的peft和bitsandbytes用于量化。這里有個(gè)大坑bitsandbytes對(duì)ROCm的支持并不像CUDA那樣完善。經(jīng)過(guò)測(cè)試在ROCm 6.1環(huán)境下直接pip install bitsandbytes可能會(huì)編譯失敗或運(yùn)行時(shí)出錯(cuò)。一個(gè)可行的替代方案是使用pip install bitsandbytes-rocm這是一個(gè)社區(qū)維護(hù)的針對(duì)ROCm的移植版本或者考慮使用其他量化庫(kù)如auto-gptq或gptq-for-llama但這需要模型本身有對(duì)應(yīng)的GPTQ量化版本。對(duì)于本次Gemma 2B的LoRA微調(diào)由于參數(shù)量不大我選擇先不使用量化直接在全精度FP16下進(jìn)行這對(duì)24GB顯存的7900 XTX來(lái)說(shuō)是可行的。3. 模型微調(diào)核心LoRA技術(shù)解析與實(shí)戰(zhàn)環(huán)境就緒后進(jìn)入核心環(huán)節(jié)——微調(diào)。我們采用LoRALow-Rank Adaptation方法它因其高效和輕量化成為微調(diào)大模型的首選技術(shù)之一。3.1 LoRA原理淺析為什么它能省顯存在深入代碼之前有必要理解LoRA為什么有效。傳統(tǒng)微調(diào)Full Fine-Tuning會(huì)更新模型的所有參數(shù)對(duì)于動(dòng)輒數(shù)十億參數(shù)的大模型這需要存儲(chǔ)兩份模型參數(shù)原始參數(shù)和優(yōu)化器狀態(tài)顯存開銷巨大。LoRA提出了一種巧妙的“旁路”機(jī)制。它凍結(jié)預(yù)訓(xùn)練模型的所有原始參數(shù)不進(jìn)行更新。然后在模型的某些關(guān)鍵層通常是Transformer結(jié)構(gòu)中的注意力模塊的Query, Key, Value和輸出投影層旁插入一組可訓(xùn)練的“低秩適配器”。具體來(lái)說(shuō)對(duì)于一個(gè)預(yù)訓(xùn)練權(quán)重矩陣 ( W \in \mathbb{R}^{d \times k} )LoRA不直接改變 ( W )而是用一個(gè)低秩分解來(lái)表示其更新量( \Delta W BA )其中 ( B \in \mathbb{R}^{d \times r} ), ( A \in \mathbb{R}^{r \times k} )秩 ( r \ll min(d, k) )。在正向傳播時(shí)實(shí)際執(zhí)行的運(yùn)算是 ( h Wx BAx )。這樣做的好處極其明顯顯存效率只需存儲(chǔ)和優(yōu)化適配器參數(shù) ( A ) 和 ( B )其數(shù)量遠(yuǎn)少于原始參數(shù)。例如對(duì)于70億參數(shù)的模型LoRA參數(shù)可能只有幾百萬(wàn)到幾千萬(wàn)顯存占用從幾十GB降到幾GB。訓(xùn)練效率由于大部分參數(shù)被凍結(jié)只需要計(jì)算適配器部分的梯度訓(xùn)練速度更快。模塊化與切換不同的適配器對(duì)應(yīng)不同的任務(wù)可以像插件一樣在同一個(gè)基礎(chǔ)模型上快速加載和切換便于管理多任務(wù)。減輕災(zāi)難性遺忘因?yàn)榛A(chǔ)模型參數(shù)不變它原有的廣泛知識(shí)得以保留主要學(xué)習(xí)的是針對(duì)新任務(wù)的新特征。3.2 數(shù)據(jù)準(zhǔn)備與處理我準(zhǔn)備了一個(gè)關(guān)于某個(gè)垂直領(lǐng)域比如咖啡知識(shí)的指令微調(diào)數(shù)據(jù)集。數(shù)據(jù)格式遵循常見的指令-響應(yīng)對(duì)話格式每條數(shù)據(jù)是一個(gè)JSON對(duì)象包含instruction、input可選、output字段。例如{ instruction: 請(qǐng)介紹手沖咖啡的步驟。, input: , output: 1. 研磨咖啡豆將咖啡豆研磨至白砂糖粗細(xì)... 2. 濕潤(rùn)濾紙用熱水沖洗濾紙去除紙味并溫壺... 3. 悶蒸注入少量熱水讓咖啡粉充分排氣約30秒... 4. 分段注水以畫圈方式緩慢注入剩余熱水... 5. 完成萃取等待水滴完移開濾杯即可享用。 }使用Hugging Facedatasets庫(kù)加載和預(yù)處理數(shù)據(jù)from datasets import load_dataset dataset load_dataset(json, data_filescoffee_qa.json)接著需要將文本數(shù)據(jù)轉(zhuǎn)換為模型可接受的token ID序列。這里使用Gemma的tokenizer。from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(google/gemma-2b-it) # 使用指令微調(diào)版本 tokenizer.pad_token tokenizer.eos_token # 設(shè)置填充token def tokenize_function(examples): # 構(gòu)建指令格式的文本 prompts [] for inst, inp, outp in zip(examples[instruction], examples[input], examples[output]): if inp: prompt fstart_of_turnuser\n{inst}\n{inp}end_of_turn\nstart_of_turnmodel\n else: prompt fstart_of_turnuser\n{inst}end_of_turn\nstart_of_turnmodel\n prompts.append(prompt) # 將輸出部分也拼接上但只在計(jì)算loss時(shí)考慮輸出部分 full_text prompt outp tokenizer.eos_token examples[text] full_text return tokenizer(examples[text], truncationTrue, paddingmax_length, max_length512) tokenized_dataset dataset.map(tokenize_function, batchedTrue, remove_columnsdataset[train].column_names)這里的關(guān)鍵是構(gòu)建正確的對(duì)話格式Gemma-IT模型特定的start_of_turn標(biāo)簽和設(shè)置正確的損失掩碼。我們只希望在模型輸出部分即output字段計(jì)算損失而在指令和輸入部分忽略損失。這通常通過(guò)attention_mask和labels的巧妙設(shè)置來(lái)實(shí)現(xiàn)確保梯度只來(lái)自我們希望模型學(xué)習(xí)的響應(yīng)部分。3.3 LoRA微調(diào)腳本與參數(shù)詳解接下來(lái)是核心的訓(xùn)練腳本。我們使用peft庫(kù)來(lái)方便地配置LoRA。from transformers import AutoModelForCausalLM, TrainingArguments, Trainer from peft import LoraConfig, get_peft_model, TaskType import torch # 1. 加載基礎(chǔ)模型 model AutoModelForCausalLM.from_pretrained( google/gemma-2b-it, torch_dtypetorch.float16, # 使用FP16節(jié)省顯存 device_mapauto, # 讓accelerate自動(dòng)分配模型層到設(shè)備 trust_remote_codeFalse, ) # 2. 配置LoRA參數(shù) lora_config LoraConfig( task_typeTaskType.CAUSAL_LM, # 因果語(yǔ)言模型任務(wù) r8, # LoRA秩即低秩矩陣的維度r。值越小參數(shù)量越少但能力可能越弱。通常從8、16開始嘗試。 lora_alpha32, # 縮放因子與學(xué)習(xí)率相關(guān)。通常設(shè)置為r的2-4倍。 lora_dropout0.1, # LoRA層的dropout率用于防止過(guò)擬合。 target_modules[q_proj, k_proj, v_proj, o_proj], # 將LoRA適配器注入到注意力層的這些線性模塊中。 biasnone, # 是否訓(xùn)練偏置項(xiàng)。none表示不訓(xùn)練。 ) # 3. 將基礎(chǔ)模型轉(zhuǎn)換為PEFT模型 model get_peft_model(model, lora_config) model.print_trainable_parameters() # 打印可訓(xùn)練參數(shù)數(shù)量確認(rèn)只有一小部分參數(shù)被激活 # 4. 定義訓(xùn)練參數(shù) training_args TrainingArguments( output_dir./gemma-2b-coffee-lora, num_train_epochs3, per_device_train_batch_size4, # 根據(jù)顯存調(diào)整。RX 7900 XTX 24G對(duì)于2B模型batch_size4是安全的。 gradient_accumulation_steps4, # 梯度累積模擬更大的batch size。 warmup_steps100, logging_steps10, save_steps200, evaluation_strategyno, # 如果沒(méi)有驗(yàn)證集設(shè)為no save_total_limit2, learning_rate2e-4, # LoRA學(xué)習(xí)率通常比全量微調(diào)大例如1e-4到5e-4。 fp16True, # 使用混合精度訓(xùn)練ROCm環(huán)境下確保torch版本支持。 remove_unused_columnsFalse, push_to_hubFalse, # 本地訓(xùn)練不上傳 report_totensorboard, ) # 5. 創(chuàng)建Trainer并開始訓(xùn)練 trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset[train], data_collatorDataCollatorForLanguageModeling(tokenizertokenizer, mlmFalse), ) trainer.train()關(guān)鍵參數(shù)解析與調(diào)優(yōu)經(jīng)驗(yàn)r(秩)這是LoRA最重要的超參數(shù)之一。它決定了適配器的表達(dá)能力。對(duì)于2B的模型r8或16是常見的起點(diǎn)。如果任務(wù)簡(jiǎn)單或數(shù)據(jù)量少可以嘗試更小的r如4如果任務(wù)復(fù)雜或希望模型有更強(qiáng)的適應(yīng)能力可以增大到32甚至64但這會(huì)增加參數(shù)量和過(guò)擬合風(fēng)險(xiǎn)。我的咖啡知識(shí)QA任務(wù)相對(duì)明確r8效果已足夠。lora_alpha可以理解為適配器輸出的縮放因子。在代碼實(shí)現(xiàn)中LoRA的輸出會(huì)乘以alpha/r。因此固定alpha增大r會(huì)減小縮放比例。通常將alpha設(shè)為r的2倍或4倍是一個(gè)經(jīng)驗(yàn)法則。我設(shè)置為32。target_modules指定將LoRA適配器加到哪些層。對(duì)于Decoder-only的模型如Gemma, LLaMA通常選擇注意力機(jī)制中的q_proj,k_proj,v_proj,o_proj。有些研究也建議加入FFN層的gate_proj,up_proj,down_proj但這會(huì)顯著增加可訓(xùn)練參數(shù)量。對(duì)于初步實(shí)驗(yàn)只加在注意力層是標(biāo)準(zhǔn)做法。per_device_train_batch_size與gradient_accumulation_steps實(shí)際有效的batch size是per_device_train_batch_size * gradient_accumulation_steps * GPU數(shù)量。受限于顯存單卡batch size可能只能設(shè)到1或2。通過(guò)梯度累積gradient_accumulation_steps4我們可以每4步才更新一次權(quán)重相當(dāng)于模擬了batch size為4或8的訓(xùn)練有助于訓(xùn)練穩(wěn)定。需要權(quán)衡的是累積步數(shù)越多更新越慢但梯度估計(jì)更準(zhǔn)。learning_rateLoRA訓(xùn)練的學(xué)習(xí)率通常比全量微調(diào)大例如1e-4到5e-4因?yàn)橹桓乱恍〔糠謪?shù)。我從2e-4開始如果訓(xùn)練損失下降很慢或不降可以嘗試提高到3e-4或4e-4。實(shí)操心得監(jiān)控顯存與調(diào)整batch size。在ROCm環(huán)境下使用rocm-smi或watch -n 1 rocm-smi來(lái)實(shí)時(shí)監(jiān)控顯存占用。如果訓(xùn)練開始不久顯存就接近爆滿需要降低per_device_train_batch_size。如果顯存還有富余但訓(xùn)練速度慢可以嘗試增大batch size以提高硬件利用率。另外開啟fp16混合精度訓(xùn)練能有效節(jié)省顯存并加速但要注意數(shù)值穩(wěn)定性如果訓(xùn)練中出現(xiàn)損失NaN可以嘗試關(guān)閉fp16或使用bf16如果硬件支持。4. 模型合并與轉(zhuǎn)換為Ollama部署做準(zhǔn)備訓(xùn)練完成后我們得到的是LoRA適配器權(quán)重通常是一個(gè)adapter_model.bin或safetensors文件而不是一個(gè)完整的模型文件。Ollama目前主要支持加載完整的模型GGUF或類似格式的文件。因此我們需要將LoRA權(quán)重與原始的基礎(chǔ)模型合并得到一個(gè)完整的、經(jīng)過(guò)微調(diào)的新模型。4.1 合并LoRA權(quán)重使用peft庫(kù)可以方便地合并權(quán)重from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 加載原始基礎(chǔ)模型 base_model AutoModelForCausalLM.from_pretrained( google/gemma-2b-it, torch_dtypetorch.float16, device_mapauto, ) # 加載訓(xùn)練好的LoRA適配器 model PeftModel.from_pretrained(base_model, ./gemma-2b-coffee-lora/checkpoint-600) # 將適配器權(quán)重合并到基礎(chǔ)模型中 merged_model model.merge_and_unload() # 保存合并后的完整模型 merged_model.save_pretrained(./gemma-2b-coffee-merged) tokenizer.save_pretrained(./gemma-2b-coffee-merged)這個(gè)過(guò)程會(huì)在指定目錄下生成完整的PyTorch模型文件pytorch_model.bin和config.json等。4.2 轉(zhuǎn)換為Ollama支持的GGUF格式Ollama推薦使用GGUFGPT-Generated Unified Format格式這是一種為GGML推理引擎設(shè)計(jì)的二進(jìn)制格式支持量化能在CPU和GPU上高效運(yùn)行。我們需要使用llama.cpp項(xiàng)目的工具來(lái)進(jìn)行轉(zhuǎn)換。首先需要將PyTorch模型轉(zhuǎn)換為GGUF支持的中間格式通常是HF格式我們已經(jīng)有了。然后使用llama.cpp的convert.py腳本或convert-hf-to-gguf.py進(jìn)行轉(zhuǎn)換。# 1. 克隆 llama.cpp 倉(cāng)庫(kù) git clone https://github.com/ggerganov/llama.cpp cd llama.cpp # 2. 編譯項(xiàng)目確保已安裝cmake等編譯工具 make # 3. 將Hugging Face模型轉(zhuǎn)換為GGUF格式 python convert-hf-to-gguf.py ../gemma-2b-coffee-merged --outtype f16 --outfile ../gemma-2b-coffee-f16.gguf這里--outtype f16指定輸出為FP16精度。你也可以選擇量化版本以減小模型體積、降低部署資源需求例如q4_04位整數(shù)量化、q8_08位整數(shù)量化等。量化會(huì)輕微損失精度但能極大提升推理速度并降低內(nèi)存占用。對(duì)于本地部署q4_0或q5_0是一個(gè)不錯(cuò)的權(quán)衡。# 量化示例將FP16模型量化為Q4_0格式 ./quantize ../gemma-2b-coffee-f16.gguf ../gemma-2b-coffee-q4_0.gguf q4_0注意事項(xiàng)版本兼容性。llama.cpp和其轉(zhuǎn)換腳本在快速迭代中不同版本對(duì)模型架構(gòu)如Gemma的支持程度可能不同。如果轉(zhuǎn)換失敗常見錯(cuò)誤是“不支持的張量類型”或架構(gòu)識(shí)別錯(cuò)誤可以嘗試回退到llama.cpp的某個(gè)穩(wěn)定發(fā)布版本或者查看其GitHub Issues中關(guān)于Gemma轉(zhuǎn)換的討論。我使用的是llama.cpp較新的提交成功轉(zhuǎn)換了Gemma 2B模型。5. Ollama本地部署與模型服務(wù)化Ollama的出現(xiàn)極大地簡(jiǎn)化了在本地運(yùn)行大模型的過(guò)程。它類似于一個(gè)模型管理器可以拉取、運(yùn)行和管理各種GGUF格式的模型。5.1 Ollama安裝與自定義模型創(chuàng)建首先在Linux上安裝Ollamacurl -fsSL https://ollama.com/install.sh | sh安裝后Ollama服務(wù)會(huì)自動(dòng)啟動(dòng)。默認(rèn)情況下Ollama會(huì)從官方倉(cāng)庫(kù)下載模型。但我們需要運(yùn)行自己微調(diào)的模型這就需要?jiǎng)?chuàng)建一個(gè)自定義的Modelfile。在包含我們GGUF模型文件的目錄下創(chuàng)建一個(gè)名為Modelfile的文本文件FROM ./gemma-2b-coffee-q4_0.gguf TEMPLATE start_of_turnuser {{ .Prompt }}end_of_turn start_of_turnmodel PARAMETER temperature 0.7 PARAMETER top_p 0.9 PARAMETER num_ctx 4096FROM指定模型文件的路徑。這里使用相對(duì)路徑指向我們量化后的GGUF文件。TEMPLATE定義對(duì)話模板。這是至關(guān)重要的一步必須與模型訓(xùn)練時(shí)使用的格式一致。Gemma指令微調(diào)版本使用了特定的start_of_turn標(biāo)簽。這個(gè)模板確保了用戶輸入被正確包裝模型才能生成符合預(yù)期的回復(fù)。PARAMETER設(shè)置推理參數(shù)如temperature創(chuàng)造性值越高越隨機(jī)、top_p核采樣影響詞匯選擇多樣性、num_ctx上下文長(zhǎng)度。5.2 創(chuàng)建并運(yùn)行自定義模型使用ollama create命令基于Modelfile創(chuàng)建自定義模型ollama create my-gemma-coffee -f ./Modelfilemy-gemma-coffee是你給這個(gè)自定義模型起的名字。然后就可以像使用任何其他Ollama模型一樣運(yùn)行它ollama run my-gemma-coffee運(yùn)行后會(huì)進(jìn)入一個(gè)交互式對(duì)話界面。你可以輸入問(wèn)題測(cè)試?yán)纭笆譀_咖啡應(yīng)該如何悶蒸” 模型應(yīng)該會(huì)基于我們微調(diào)的數(shù)據(jù)集給出專業(yè)、準(zhǔn)確的回答。5.3 集成與API調(diào)用Ollama不僅提供命令行交互還內(nèi)置了一個(gè)HTTP API服務(wù)器默認(rèn)在11434端口這使得它可以輕松集成到其他應(yīng)用中。啟動(dòng)Ollama服務(wù)后可以通過(guò)curl進(jìn)行測(cè)試curl http://localhost:11434/api/generate -d { model: my-gemma-coffee, prompt: 請(qǐng)介紹手沖咖啡的步驟。, stream: false }也可以使用Python的requests庫(kù)進(jìn)行調(diào)用構(gòu)建簡(jiǎn)單的應(yīng)用程序import requests import json def ask_ollama(prompt, modelmy-gemma-coffee): url http://localhost:11434/api/generate data { model: model, prompt: prompt, stream: False, options: { temperature: 0.7, top_p: 0.9 } } response requests.post(url, jsondata) if response.status_code 200: return response.json()[response] else: return fError: {response.status_code} answer ask_ollama(拿鐵和卡布奇諾有什么區(qū)別) print(answer)部署優(yōu)化與問(wèn)題排查GPU加速Ollama在Linux下默認(rèn)可能使用CPU推理。要啟用AMD GPU加速需要確保系統(tǒng)已安裝ROCm并在運(yùn)行Ollama時(shí)設(shè)置環(huán)境變量OLLAMA_GPU_DRIVERrocm?？梢酝ㄟ^(guò)ollama run時(shí)添加--verbose標(biāo)志或在Ollama服務(wù)日志中查看是否成功加載了GPU后端。顯存不足如果遇到顯存不足錯(cuò)誤可以考慮使用量化程度更高的模型如q4_0替代q8_0或f16或者在Modelfile中減少num_gpu_layers參數(shù)該參數(shù)控制有多少模型層被卸載到GPU減少它會(huì)讓更多層留在CPU內(nèi)存中。響應(yīng)速度慢首先確認(rèn)是否使用了GPU。如果仍在CPU上運(yùn)行速度必然慢。其次檢查num_ctx是否設(shè)置過(guò)高過(guò)長(zhǎng)的上下文會(huì)消耗更多計(jì)算資源。對(duì)于簡(jiǎn)單的QA任務(wù)2048可能就足夠了。模型回復(fù)格式不對(duì)最常見的原因是TEMPLATE定義錯(cuò)誤。務(wù)必與模型訓(xùn)練時(shí)使用的對(duì)話格式完全匹配?？梢曰仡櫽?xùn)練數(shù)據(jù)集的構(gòu)建方式和tokenize函數(shù)中的prompt模板。6. 全流程回顧與進(jìn)階思考走完從ROCm環(huán)境搭建、LoRA微調(diào)到Ollama部署的整個(gè)流程相當(dāng)于打通了大模型“煉”與“用”的本地化閉環(huán)。這個(gè)過(guò)程里最深的體會(huì)是細(xì)節(jié)決定成敗。無(wú)論是ROCm驅(qū)動(dòng)版本的選擇、LoRA超參數(shù)的調(diào)整、數(shù)據(jù)格式的嚴(yán)格對(duì)齊還是GGUF轉(zhuǎn)換時(shí)的版本兼容性任何一個(gè)環(huán)節(jié)的疏忽都可能導(dǎo)致失敗。對(duì)于想復(fù)現(xiàn)類似流程的朋友我的建議是環(huán)境隔離強(qiáng)烈建議使用Conda或Docker創(chuàng)建獨(dú)立的環(huán)境避免系統(tǒng)級(jí)依賴沖突。ROCm的安裝尤其容易受系統(tǒng)狀態(tài)影響。小步快跑及時(shí)驗(yàn)證不要一次性準(zhǔn)備大量數(shù)據(jù)、設(shè)置過(guò)長(zhǎng)epoch。先用一個(gè)極小的數(shù)據(jù)集比如50條跑通1個(gè)epoch驗(yàn)證從訓(xùn)練到推理的整個(gè)流程是否正常。然后再逐步增加數(shù)據(jù)量、調(diào)整參數(shù)。善用監(jiān)控工具訓(xùn)練時(shí)用rocm-smi監(jiān)控GPU狀態(tài)用Tensorboard或WB看損失曲線部署時(shí)關(guān)注Ollama的日志和系統(tǒng)資源占用。理解原理而非死記命令明白LoRA為什么能省顯存理解對(duì)話模板的作用知道量化會(huì)帶來(lái)什么影響。這樣當(dāng)遇到問(wèn)題時(shí)你才有思路去排查而不是盲目搜索錯(cuò)誤信息。這次實(shí)踐也讓我思考下一步的優(yōu)化方向。例如嘗試QLoRA量化版的LoRA能否在保持性能的同時(shí)進(jìn)一步降低顯存需求如何構(gòu)建更高質(zhì)量、多樣化的指令微調(diào)數(shù)據(jù)集來(lái)提升模型泛化能力如何將Ollama服務(wù)通過(guò)更友好的Web UI如OpenAI WebUI或Chatbot UI暴露出來(lái)提供更好的用戶體驗(yàn)這些都是可以在現(xiàn)有基礎(chǔ)上深入探索的課題。本地大模型應(yīng)用的生態(tài)還在快速演進(jìn)但親手搭建并調(diào)優(yōu)一個(gè)專屬模型所帶來(lái)的掌控感和定制能力是使用云端API無(wú)法比擬的。