)
【免費下載鏈接】cait_xxs24_384.fb_dist_in1k項目地址https://ai.gitcode.com/hf_mirrors/timm/cait_xxs24_384.fb_dist_in1k點擊查看免費下載cait_xxs24_384.fb_dist_in1k 是一個基于 timm 框架的 CaiTClass-Attention in Image Transformers圖像分類模型由 Facebook 研究團隊在 ImageNet-1k 數(shù)據(jù)集上通過知識蒸餾預(yù)訓(xùn)練僅約 1200 萬參數(shù)可對任意圖片輸出 1000 個類別的概率分布。本文帶你從零環(huán)境搭建到跑通第一張圖像的推理10 分鐘內(nèi)即可完成全部步驟。一、1分鐘了解這個模型是什么CaiT 是 2021 年 ICCV 論文《Going Deeper With Image Transformers》提出的模型結(jié)構(gòu)它在 ViT 的基礎(chǔ)上增加了局部注意力讓網(wǎng)絡(luò)既能看局部細節(jié)、又能看全局語義。cait_xxs24_384.fb_dist_in1k中的命名拆解如下名稱片段含義caitClass-Attention in Image Transformers 模型家族xxs24xxs 超小型規(guī)格patch size 為 24384輸入圖像尺寸為 384×384fb_distFacebook 官方權(quán)重經(jīng)知識蒸餾訓(xùn)練in1k在 ImageNet-1k1000 類上預(yù)訓(xùn)練幾個關(guān)鍵指標(biāo)非常適合入門嘗鮮 參數(shù)量約 12.0M很小CPU 也能跑? 計算量約 9.6 GMACs推理速度很快? 輸入尺寸384×384固定不可隨意更改? 輸出類別1000ImageNet-1k 類別編號 0~999倉庫內(nèi)包含 4 個核心文件文件說明README.md模型卡片包含模型詳情與使用示例config.json模型配置文件含輸入尺寸、歸一化參數(shù)等model.safetensors模型權(quán)重safetensors 格式pytorch_model.bin模型權(quán)重PyTorch 格式二、環(huán)境準(zhǔn)備一條命令裝好依賴推理只需要 3 個依賴PyTorch、timm 和 Pillow。pip install torch timm Pillow 說明timm.create_model(cait_xxs24_384.fb_dist_in1k, pretrainedTrue)首次調(diào)用時會自動下載預(yù)訓(xùn)練權(quán)重并緩存到本地?zé)o需手動 clone 倉庫。三、完整推理代碼一次跑通圖像分類把下面這段代碼保存為inference.py用一張本地圖片如cat.jpg替換路徑即可運行import torch import timm from PIL import Image # 1. 加載預(yù)訓(xùn)練模型首次會自動下載權(quán)重 model timm.create_model(cait_xxs24_384.fb_dist_in1k, pretrainedTrue) model.eval() # 2. 自動獲取該模型的預(yù)處理配置縮放、歸一化等 data_config timm.data.resolve_model_data_config(model) transforms timm.data.create_transform(**data_config, is_trainingFalse) # 3. 打開本地圖片 - 預(yù)處理 - 增加 batch 維度 - 放到對應(yīng)設(shè)備 device cuda if torch.cuda.is_available() else cpu model model.to(device) img Image.open(cat.jpg).convert(RGB) tensor transforms(img).unsqueeze(0).to(device) # 形狀 (1, 3, 384, 384) # 4. 推理取 Top-5 類別 with torch.no_grad(): output model(tensor) top5_probs, top5_idx torch.topk(output.softmax(dim1) * 100, k5) print(Top-5 概率(%), top5_probs) print(Top-5 類別編號, top5_idx)代碼關(guān)鍵點解讀第 2 步是新手最容易忽略的不同模型需要的 resize、裁剪、歸一化參數(shù)不同resolve_model_data_config會直接從 config.json 中讀取正確配置避免圖片處理不對導(dǎo)致結(jié)果不準(zhǔn)。unsqueeze(0)把單張圖片變成 batch這是 PyTorch 模型的輸入慣例。輸出的類別編號對應(yīng) ImageNet-1k 的 1000 個類別0~999例如206通常是金毛尋回犬。四、讀懂 config.json這些參數(shù)意味著什么打開 config.json有幾個字段值得了解{ architecture: cait_xxs24_384, num_classes: 1000, num_features: 192, global_pool: token }num_classes: 1000分類頭輸出 1000 個類別的得分num_features: 192模型主干特征維度若用于提取圖像向量就是這個維度global_pool: token用分類 token 做全局聚合pretrained_cfg.input_size: [3, 384, 384]輸入必須是 3 通道、384×384 的 RGB 圖像pretrained_cfg.mean / stdImageNet 標(biāo)準(zhǔn)的歸一化均值和標(biāo)準(zhǔn)差0.485/0.456/0.406create_transform已自動應(yīng)用五、新手最易踩的 3 個坑與排查方法報錯 / 現(xiàn)象原因解決方式Expected all tensors to be on the same device模型和輸入圖片張量不在同一設(shè)備CPU/GPU按上文代碼統(tǒng)一model.to(device)和tensor.to(device)結(jié)果明顯不準(zhǔn)確自己手寫了 resize/歸一化參數(shù)不匹配用resolve_model_data_configcreate_transform自動生成預(yù)處理首次運行卡住無響應(yīng)正在自動下載約 50MB 的預(yù)訓(xùn)練權(quán)重耐心等待權(quán)重會緩存到~/.cache第二次秒開六、進階玩法把模型當(dāng)圖像特征提取器除了分類該模型還能輸出 192 維的圖像特征向量可用于相似圖片檢索、聚類、做下游小樣本分類等model timm.create_model(cait_xxs24_384.fb_dist_in1k, pretrainedTrue, num_classes0) # 去掉分類頭只保留特征主干 model.eval() with torch.no_grad(): features model(transforms(img).unsqueeze(0)) # 形狀 (1, 192)更多用法如forward_features獲取未池化的 577×192 token 級特征可參考 README.md 中的 Image Embeddings 章節(jié)。七、總結(jié) 模型定位輕量級12M 參數(shù)CaiT 圖像分類器ImageNet-1k 蒸餾預(yù)訓(xùn)練?? 上手成本裝依賴 1 條命令 推理代碼約 20 行10 分鐘可跑通 倉庫文件模型卡片見 README.md配置見 config.json權(quán)重見 model.safetensors 下一步建議嘗試更換不同圖片觀察 Top-5 變化把num_classes換成你的數(shù)據(jù)類別數(shù)做少量數(shù)據(jù)的微調(diào)訓(xùn)練現(xiàn)在就可以打開終端把cat.jpg換成你手邊的任意一張照片跑通屬于你自己的第一次 AI 圖像分類推理。贊分享【免費下載鏈接】cait_xxs24_384.fb_dist_in1k項目地址https://ai.gitcode.com/hf_mirrors/timm/cait_xxs24_384.fb_dist_in1k點擊查看免費下載相關(guān)推薦基于 Claude Code 子代理實現(xiàn)加密貨幣實時分析crypto-coin-analyzer-sonnet 配置與提示詞全解基于 Claude Code 子代理實現(xiàn)加密貨幣實時分析crypto coin analyzer sonnet 配置與提示詞全解 本篇技術(shù)指南圍繞 claud人工智能計算機視覺深度學(xué)習(xí)如何快速上手 AgentScope Java10 分鐘從零跑通你的第一個智能體附完整代碼如何快速上手 AgentScope Java10 分鐘從零跑通你的第一個智能體附完整代碼 AgentScope Java 是一個面向生產(chǎn)環(huán)境的 Java人工智能AI Agent多智能體Agent 框架工具調(diào)用RAG如何5分鐘跑通 InternVL3-8B-Instruct零基礎(chǔ)上手你的第一張圖像對話附完整代碼如何5分鐘跑通 InternVL3 8B Instruct零基礎(chǔ)上手你的第一張圖像對話附完整代碼 想在 5 分鐘內(nèi)讓多模態(tài)大模型 InternVL3上一篇SpinKit動畫時間管理基于請求優(yōu)先級的動態(tài)調(diào)整下一篇開源射頻設(shè)計工具的未來RF-Tools-KiCAD路線圖與社區(qū)發(fā)展創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考