試、微調(diào)與部署)
AI Toolkit for VS Code在編輯器里完成 AI 模型的測(cè)試、微調(diào)與部署【免費(fèi)下載鏈接】foundry-dev-tools項(xiàng)目地址: https://gitcode.com/GitHub_Trending/vs/foundry-dev-tools測(cè)一個(gè)模型要復(fù)制 API、手寫(xiě)測(cè)試腳本微調(diào)又要配 Python 環(huán)境、搭訓(xùn)練流水線工具鏈來(lái)回切換。AI Toolkit for VS Code 把模型發(fā)現(xiàn)、對(duì)話測(cè)試、微調(diào)整合進(jìn)一個(gè)擴(kuò)展覆蓋從本地 Ollama 模型到云端端點(diǎn)的場(chǎng)景。讀完后你能在 Playground 里跑通第一次模型測(cè)試并生成一個(gè)可用的微調(diào)項(xiàng)目?？焖偕鲜职惭b擴(kuò)展并通過(guò)環(huán)境檢測(cè)在 VS Code 擴(kuò)展市場(chǎng)搜索 AI Toolkit選擇正式版本安裝按提示重載窗口。安裝完成后側(cè)邊欄會(huì)出現(xiàn) AI Toolkit 面板首次打開(kāi)會(huì)進(jìn)入 Get Started 引導(dǎo)頁(yè)勾選Explore AI models并點(diǎn)擊 Open Model Catalog即可進(jìn)入模型目錄。擴(kuò)展會(huì)自動(dòng)做前置檢查本地模型依賴 GPU 驅(qū)動(dòng)與 WSLWindows 下檢查未通過(guò)時(shí)界面會(huì)提示你缺什么、怎么補(bǔ)。若網(wǎng)絡(luò)環(huán)境不穩(wěn)定裝不了擴(kuò)展可以先克隆倉(cāng)庫(kù)查閱文檔與示例git clone https://gitcode.com/GitHub_Trending/vs/vscode-ai-toolkit在 Playground 跑通第一次模型對(duì)話打開(kāi) TOOLS 分組下的 Playground在右側(cè) Model 下拉框選一個(gè)模型遠(yuǎn)程模型無(wú)需下載本地模型會(huì)先加載權(quán)重在底部輸入框發(fā)送 Hi。模型響應(yīng)、Token 計(jì)數(shù)會(huì)立即顯示在對(duì)話區(qū)這一步確認(rèn)你的環(huán)境能正常推理。核心能力用模型目錄按硬件和來(lái)源篩選模型點(diǎn)擊側(cè)邊欄 CATALOG 分組的 Models 打開(kāi)模型目錄。頂部篩選器按托管方GitHub、ONNX、OpenAI、Anthropic、Google、發(fā)布者、設(shè)備類型CPU/GPU/NPU過(guò)濾打開(kāi) Fine-Tuning Support 開(kāi)關(guān)則只顯示支持微調(diào)的模型。沒(méi)有 GPU 的機(jī)器選帶 cpu-int4 標(biāo)識(shí)的量化版本部分云端模型需要登錄對(duì)應(yīng)服務(wù)商賬號(hào)才能使用。用 Temperature 和 Top P 調(diào)出穩(wěn)定輸出Playground 右側(cè)的 Model Preferences 面板提供三組控制Context instructions給模型的常駐系統(tǒng)提示、Max response length、以及 Temperature 與 Top P。Temperature 越低輸出越確定適合需要固定格式的調(diào)用調(diào)高則適合發(fā)散性創(chuàng)作。對(duì)比不同模型對(duì)同一提示的回答可以直觀看出參數(shù)變化的影響再?zèng)Q定項(xiàng)目里用哪套設(shè)置。多模態(tài)模型還支持在輸入框旁附加本地文件作為視覺(jué)輸入一起參與推理。接入 Ollama 本地模型與遠(yuǎn)程端點(diǎn)目錄之外的模型也能進(jìn) Playground。鼠標(biāo)懸停 MY MODELS點(diǎn)擊出現(xiàn)的加號(hào)按鈕選 Add an Ollama model再選 Select models from Ollama library勾選已用ollama pull下載好的模型它們會(huì)出現(xiàn)在 MY MODELS 列表中與內(nèi)置模型用法一致。已有 OpenAI 兼容的聊天端點(diǎn)自建推理服務(wù)或云廠商 API時(shí)執(zhí)行命令A(yù)I Toolkit: Add model for remote inference填模型名、端點(diǎn) URL 和鑒權(quán)頭OpenAI 格式為Authorization: Bearer YOUR_API_KEY模型會(huì)以 Remote 標(biāo)簽加入樹(shù)視圖。一個(gè)完整小案例微調(diào)一個(gè)情感分類模型用項(xiàng)目自帶的流程把一個(gè)通用小模型訓(xùn)練成輸入一句話、輸出情緒標(biāo)簽的分類器。生成微調(diào)項(xiàng)目在 AI Toolkit 面板點(diǎn)擊 Model Fine-tuning輸入項(xiàng)目名如emotion-tutorial和保存位置在 Model Catalog 中選中 microsoft/phi-2點(diǎn)擊 Configure Project。此時(shí)只生成項(xiàng)目腳手架模型尚未下載。把數(shù)據(jù)集字段指到 text 和 label 列在 Data settings 區(qū)域Dataset name 下拉框選 Add HF Name輸入dair-ai/emotionHugging Face 上的情緒分類數(shù)據(jù)集。再改兩處Text columns 改為text,label聲明訓(xùn)練要讀哪些列Text template 與 Inference prompt template 保持對(duì)應(yīng)模板中的{{text}}占位符會(huì)替換成真實(shí)文本。點(diǎn)擊 Generate Project擴(kuò)展會(huì)下載模型、創(chuàng)建 Conda 環(huán)境完成后選擇 Relaunch Window in Workspace窗口重啟并打開(kāi)生成的項(xiàng)目finetuning、dataset、inference、setup 等目錄。啟動(dòng)微調(diào)并在 Gradio 里驗(yàn)證結(jié)果在項(xiàng)目終端中激活環(huán)境并啟動(dòng)訓(xùn)練conda activate phi-2-env python finetuning/invoke_olive.py微調(diào)采用 QLoRA 方式生成 LoRA 適配器終端實(shí)時(shí)打印訓(xùn)練進(jìn)度。完成后進(jìn)入驗(yàn)證階段cd inference python gradio_chat.py終端會(huì)給出本地訪問(wèn)鏈接瀏覽器打開(kāi) Gradio 界面輸入 Walking down the road cheering.點(diǎn)擊 Submit模型輸出情緒標(biāo)簽 joy右側(cè)滑條可以現(xiàn)場(chǎng)調(diào) Top-k、Top-p、Temperature 觀察輸出變化。進(jìn)階與延伸沒(méi)有本地 GPU 時(shí)把微調(diào)放到云端打開(kāi)擴(kuò)展設(shè)置中的 Enable Remote Fine-tuning And Inference用命令A(yù)I Toolkit: Provision Azure Container Apps job for fine-tuning開(kāi)通云資源之后執(zhí)行AI Toolkit: Run fine-tuning訓(xùn)練就在 Azure Container Apps 上跑日志可直接在 VS Code 輸出面板流式查看AI Toolkit: Deploy for inference會(huì)把微調(diào)后的推理端點(diǎn)部署出去拿到 URL 即可調(diào)用。按硬件挑對(duì)模型檔位CPU 機(jī)器優(yōu)先選 cpu-int4 量化版本體積和內(nèi)存占用都小有 NVIDIA GPU 的機(jī)器先確認(rèn)nvidia-smi能識(shí)別設(shè)備再選 GPU 檔位模型推理速度會(huì)明顯不同。參數(shù)層面Max response length 控制單次輸出的 token 上限長(zhǎng)文本任務(wù)才需要調(diào)高。參考總覽與安裝doc/overview.md模型目錄與自帶模型doc/models.mdPlayground 用法doc/playground.md微調(diào)含遠(yuǎn)程開(kāi)發(fā)doc/finetune.md常見(jiàn)問(wèn)題doc/faq.md完整實(shí)操示例archive/walkthrough-simple-dataset.md、archive/walkthrough-hf-dataset.mdFoundry Canvas 插件源碼microsoft-foundry/【免費(fèi)下載鏈接】foundry-dev-tools項(xiàng)目地址: https://gitcode.com/GitHub_Trending/vs/foundry-dev-tools創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 AI Toolkit for VS Code：在編輯器里完成 AI 模型的測(cè)試、微調(diào)與部署
AI Toolkit for VS Code在編輯器里完成 AI 模型的測(cè)試、微調(diào)與部署【免費(fèi)下載鏈接】foundry-dev-tools項(xiàng)目地址: https://gitcode.com/GitHub_Trending/vs/foundry-dev-tools測(cè)一個(gè)模型要復(fù)制 API、手寫(xiě)測(cè)試腳本微調(diào)又要配 Python 環(huán)境、搭訓(xùn)練流水線工具鏈來(lái)回切換。AI Toolkit for VS Code 把模型發(fā)現(xiàn)、對(duì)話測(cè)試、微調(diào)整合進(jìn)一個(gè)擴(kuò)展覆蓋從本地 Ollama 模型到云端端點(diǎn)的場(chǎng)景。讀完后你能在 Playground 里跑通第一次模型測(cè)試并生成一個(gè)可用的微調(diào)項(xiàng)目?？焖偕鲜职惭b擴(kuò)展并通過(guò)環(huán)境檢測(cè)在 VS Code 擴(kuò)展市場(chǎng)搜索 AI Toolkit選擇正式版本安裝按提示重載窗口。安裝完成后側(cè)邊欄會(huì)出現(xiàn) AI Toolkit 面板首次打開(kāi)會(huì)進(jìn)入 Get Started 引導(dǎo)頁(yè)勾選Explore AI models并點(diǎn)擊 Open Model Catalog即可進(jìn)入模型目錄。擴(kuò)展會(huì)自動(dòng)做前置檢查本地模型依賴 GPU 驅(qū)動(dòng)與 WSLWindows 下檢查未通過(guò)時(shí)界面會(huì)提示你缺什么、怎么補(bǔ)。若網(wǎng)絡(luò)環(huán)境不穩(wěn)定裝不了擴(kuò)展可以先克隆倉(cāng)庫(kù)查閱文檔與示例git clone https://gitcode.com/GitHub_Trending/vs/vscode-ai-toolkit在 Playground 跑通第一次模型對(duì)話打開(kāi) TOOLS 分組下的 Playground在右側(cè) Model 下拉框選一個(gè)模型遠(yuǎn)程模型無(wú)需下載本地模型會(huì)先加載權(quán)重在底部輸入框發(fā)送 Hi。模型響應(yīng)、Token 計(jì)數(shù)會(huì)立即顯示在對(duì)話區(qū)這一步確認(rèn)你的環(huán)境能正常推理。核心能力用模型目錄按硬件和來(lái)源篩選模型點(diǎn)擊側(cè)邊欄 CATALOG 分組的 Models 打開(kāi)模型目錄。頂部篩選器按托管方GitHub、ONNX、OpenAI、Anthropic、Google、發(fā)布者、設(shè)備類型CPU/GPU/NPU過(guò)濾打開(kāi) Fine-Tuning Support 開(kāi)關(guān)則只顯示支持微調(diào)的模型。沒(méi)有 GPU 的機(jī)器選帶 cpu-int4 標(biāo)識(shí)的量化版本部分云端模型需要登錄對(duì)應(yīng)服務(wù)商賬號(hào)才能使用。用 Temperature 和 Top P 調(diào)出穩(wěn)定輸出Playground 右側(cè)的 Model Preferences 面板提供三組控制Context instructions給模型的常駐系統(tǒng)提示、Max response length、以及 Temperature 與 Top P。Temperature 越低輸出越確定適合需要固定格式的調(diào)用調(diào)高則適合發(fā)散性創(chuàng)作。對(duì)比不同模型對(duì)同一提示的回答可以直觀看出參數(shù)變化的影響再?zèng)Q定項(xiàng)目里用哪套設(shè)置。多模態(tài)模型還支持在輸入框旁附加本地文件作為視覺(jué)輸入一起參與推理。接入 Ollama 本地模型與遠(yuǎn)程端點(diǎn)目錄之外的模型也能進(jìn) Playground。鼠標(biāo)懸停 MY MODELS點(diǎn)擊出現(xiàn)的加號(hào)按鈕選 Add an Ollama model再選 Select models from Ollama library勾選已用ollama pull下載好的模型它們會(huì)出現(xiàn)在 MY MODELS 列表中與內(nèi)置模型用法一致。已有 OpenAI 兼容的聊天端點(diǎn)自建推理服務(wù)或云廠商 API時(shí)執(zhí)行命令A(yù)I Toolkit: Add model for remote inference填模型名、端點(diǎn) URL 和鑒權(quán)頭OpenAI 格式為Authorization: Bearer YOUR_API_KEY模型會(huì)以 Remote 標(biāo)簽加入樹(shù)視圖。一個(gè)完整小案例微調(diào)一個(gè)情感分類模型用項(xiàng)目自帶的流程把一個(gè)通用小模型訓(xùn)練成輸入一句話、輸出情緒標(biāo)簽的分類器。生成微調(diào)項(xiàng)目在 AI Toolkit 面板點(diǎn)擊 Model Fine-tuning輸入項(xiàng)目名如emotion-tutorial和保存位置在 Model Catalog 中選中 microsoft/phi-2點(diǎn)擊 Configure Project。此時(shí)只生成項(xiàng)目腳手架模型尚未下載。把數(shù)據(jù)集字段指到 text 和 label 列在 Data settings 區(qū)域Dataset name 下拉框選 Add HF Name輸入dair-ai/emotionHugging Face 上的情緒分類數(shù)據(jù)集。再改兩處Text columns 改為text,label聲明訓(xùn)練要讀哪些列Text template 與 Inference prompt template 保持對(duì)應(yīng)模板中的{{text}}占位符會(huì)替換成真實(shí)文本。點(diǎn)擊 Generate Project擴(kuò)展會(huì)下載模型、創(chuàng)建 Conda 環(huán)境完成后選擇 Relaunch Window in Workspace窗口重啟并打開(kāi)生成的項(xiàng)目finetuning、dataset、inference、setup 等目錄。啟動(dòng)微調(diào)并在 Gradio 里驗(yàn)證結(jié)果在項(xiàng)目終端中激活環(huán)境并啟動(dòng)訓(xùn)練conda activate phi-2-env python finetuning/invoke_olive.py微調(diào)采用 QLoRA 方式生成 LoRA 適配器終端實(shí)時(shí)打印訓(xùn)練進(jìn)度。完成后進(jìn)入驗(yàn)證階段cd inference python gradio_chat.py終端會(huì)給出本地訪問(wèn)鏈接瀏覽器打開(kāi) Gradio 界面輸入 Walking down the road cheering.點(diǎn)擊 Submit模型輸出情緒標(biāo)簽 joy右側(cè)滑條可以現(xiàn)場(chǎng)調(diào) Top-k、Top-p、Temperature 觀察輸出變化。進(jìn)階與延伸沒(méi)有本地 GPU 時(shí)把微調(diào)放到云端打開(kāi)擴(kuò)展設(shè)置中的 Enable Remote Fine-tuning And Inference用命令A(yù)I Toolkit: Provision Azure Container Apps job for fine-tuning開(kāi)通云資源之后執(zhí)行AI Toolkit: Run fine-tuning訓(xùn)練就在 Azure Container Apps 上跑日志可直接在 VS Code 輸出面板流式查看AI Toolkit: Deploy for inference會(huì)把微調(diào)后的推理端點(diǎn)部署出去拿到 URL 即可調(diào)用。按硬件挑對(duì)模型檔位CPU 機(jī)器優(yōu)先選 cpu-int4 量化版本體積和內(nèi)存占用都小有 NVIDIA GPU 的機(jī)器先確認(rèn)nvidia-smi能識(shí)別設(shè)備再選 GPU 檔位模型推理速度會(huì)明顯不同。參數(shù)層面Max response length 控制單次輸出的 token 上限長(zhǎng)文本任務(wù)才需要調(diào)高。參考總覽與安裝doc/overview.md模型目錄與自帶模型doc/models.mdPlayground 用法doc/playground.md微調(diào)含遠(yuǎn)程開(kāi)發(fā)doc/finetune.md常見(jiàn)問(wèn)題doc/faq.md完整實(shí)操示例archive/walkthrough-simple-dataset.md、archive/walkthrough-hf-dataset.mdFoundry Canvas 插件源碼microsoft-foundry/【免費(fèi)下載鏈接】foundry-dev-tools項(xiàng)目地址: https://gitcode.com/GitHub_Trending/vs/foundry-dev-tools創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考