LongCat-Video模型選擇指南LongCat-Video、Avatar與Avatar 1.5該選哪個(gè)【免費(fèi)下載鏈接】LongCat-Video項(xiàng)目地址: https://gitcode.com/GitHub_Trending/lo/LongCat-VideoLongCat-Video 是美團(tuán)開源的 13.6B 參數(shù)視頻生成模型家族一個(gè)框架里提供了基礎(chǔ)視頻生成LongCat-Video、音頻驅(qū)動(dòng)數(shù)字人Avatar和升級(jí)版數(shù)字人Avatar 1.5三套模型。很多新手下載了倉庫卻不知道從哪入手——這篇指南用大白話講清楚三者分別能做什么、參數(shù)和速度有何差異、你的場(chǎng)景該選哪個(gè)并附上一鍵運(yùn)行步驟幫你 10 分鐘跑通第一個(gè)數(shù)字人視頻。一、先搞清楚三個(gè)模型各是什么LongCat-Video 采用統(tǒng)一架構(gòu)設(shè)計(jì)文本生成視頻Text-to-Video、圖像生成視頻Image-to-Video、視頻續(xù)寫Video-Continuation都由同一個(gè)模型原生支持配合塊稀疏注意力Block Sparse Attention和由粗到細(xì)的生成策略幾分鐘內(nèi)即可生成 720p、30fps 的長(zhǎng)視頻。維度LongCat-VideoAvatar (1.0)Avatar 1.5定位基礎(chǔ)視頻生成底座音頻驅(qū)動(dòng)數(shù)字人生產(chǎn)級(jí)音頻驅(qū)動(dòng)數(shù)字人核心能力文生視頻、圖生視頻、長(zhǎng)視頻續(xù)寫、交互式生成音頻文本/圖像生成口播視頻支持單人/多人音頻流更準(zhǔn)的嘴型同步、風(fēng)格化角色、快速推理音頻編碼器—無音頻輸入Wav2Vec2Whisper-Large-v3同步更準(zhǔn)推理速度常規(guī)步數(shù)常規(guī)步數(shù)步數(shù)蒸餾最快8 步出片支持 INT8 量化省顯存長(zhǎng)視頻原生支持分鐘級(jí)續(xù)寫無色彩漂移支持分段續(xù)寫物理合理性與時(shí)間穩(wěn)定性更強(qiáng)適用對(duì)象內(nèi)容創(chuàng)作、創(chuàng)意短片口播視頻、單人數(shù)字人正式交付的口播、訪談、對(duì)唱類視頻 簡(jiǎn)單記憶LongCat-Video 管畫面Avatar 管開口說話Avatar 1.5 管說得又快又準(zhǔn)。二、如何根據(jù)場(chǎng)景選擇模型場(chǎng)景 1只需要畫面不涉及說話 → 選 LongCat-Video寫一句提示詞生成短片、給一張靜態(tài)圖加動(dòng)作、把已有視頻續(xù)寫成分鐘級(jí)長(zhǎng)片或是做可交互的視頻用底座模型即可。相關(guān)入口腳本文生視頻run_demo_text_to_video.py圖生視頻run_demo_image_to_video.py長(zhǎng)視頻續(xù)寫run_demo_long_video.py交互式生成run_demo_interactive_video.py不想寫命令直接啟動(dòng)網(wǎng)頁界面run_streamlit.py場(chǎng)景 2做單人數(shù)字人口播 → 選 Avatar 或 1.5輸入一張人物照片 一段音頻如唱歌、朗讀模型會(huì)生成嘴型匹配的動(dòng)態(tài)視頻支持音頻文本at2v和音頻圖像ai2v兩種模式還能通過--num_segments分段續(xù)寫長(zhǎng)口播。示例配置可直接參考 assets/avatar/single_example_1.json場(chǎng)景 3做雙人對(duì)話、對(duì)唱等多人視頻 → 選 Avatar / 1.5 多人模式多人模式支持兩路音頻輸入audio_type有兩種玩法para合并模式兩段音頻等長(zhǎng)同時(shí)疊加播放適合雙人同時(shí)說話的訪談、對(duì)唱add拼接模式先后說話自動(dòng)靜音補(bǔ)齊間隙適合一問一答。示例配置見 assets/avatar/multi_example_1.json三、Avatar 與 Avatar 1.5 的關(guān)鍵差異嘴型同步1.5 用 Whisper-Large-v3 替換 Wav2Vec2口型對(duì)齊明顯更準(zhǔn)速度1.5 通過步數(shù)蒸餾step distillation把推理壓到8 步且--use_distill在 1.5 上是必選項(xiàng)顯存1.5 支持 INT8 量化--use_int8顯存更省消費(fèi)級(jí)顯卡更友好泛化1.5 擴(kuò)展到動(dòng)漫、動(dòng)物、復(fù)雜真實(shí)場(chǎng)景等風(fēng)格化領(lǐng)域長(zhǎng)時(shí)間生成時(shí)物理合理性和時(shí)序穩(wěn)定性也更強(qiáng)畫質(zhì)兩者均支持 480P / 720P--resolution控制1.5 輸出 25fps1.0 為 16fps。結(jié)論新項(xiàng)目直接上Avatar 1.5只有當(dāng)你需要與 1.0 權(quán)重完全對(duì)齊時(shí)才選 Avatar 1.0。音頻處理相關(guān)源碼在 longcat_video/audio_process/模型主體定義在 longcat_video/modules/avatar/想深入原理可閱讀 LongCat-Video-Avatar-1.5-Tech-Report.pdf。四、快速上手從克隆到出片的最快路徑第 1 步獲取代碼git clone --single-branch --branch main https://gitcode.com/GitHub_Trending/lo/LongCat-Video cd LongCat-Video第 2 步搭建環(huán)境conda create -n longcat-video python3.10 conda activate longcat-video # 安裝 PyTorch 與 FlashAttention-2按 CUDA 版本調(diào)整 pip install torch2.6.0cu124 torchvision0.21.0cu124 torchaudio2.6.0 --index-url https://download.pytorch.org/whl/cu124 pip install ninja psutil packaging pip install flash_attn2.7.4.post1 # 安裝依賴Avatar 功能額外需要 librosa、ffmpeg 與音頻依賴 pip install -r requirements.txt conda install -c conda-forge librosa conda install -c conda-forge ffmpeg pip install -r requirements_avatar.txt第 3 步下載模型權(quán)重三個(gè)模型按需用哪個(gè)下哪個(gè)pip install huggingface_hub[cli] huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.5 --local-dir ./weights/LongCat-Video-Avatar-1.5第 4 步跑通第一個(gè)數(shù)字人視頻torchrun --nproc_per_node2 run_demo_avatar_single_audio_to_video.py \ --context_parallel_size2 \ --checkpoint_dir./weights/LongCat-Video-Avatar-1.5 \ --stage_1ai2v \ --input_jsonassets/avatar/single_example_1.json \ --use_distill --model_type avatar-v1.5 --use_int8多人視頻則運(yùn)行 run_demo_avatar_multi_audio_to_video.py單人腳本為 run_demo_avatar_single_audio_to_video.py。項(xiàng)目采用 MIT 協(xié)議開源見 LICENSE可放心用于商業(yè)場(chǎng)景。五、避坑清單官方推薦的關(guān)鍵參數(shù)音頻 CFGaudio_guidance_scale3–5 之間效果最佳想嘴型更準(zhǔn)就調(diào)高提示詞要長(zhǎng)要細(xì)1.5 明確建議寫出人物外貌、動(dòng)作、場(chǎng)景例如一位黑色長(zhǎng)發(fā)的年輕女性微笑著說話穿白色襯衫坐在明亮的咖啡館里比短句效果好得多緩解重復(fù)動(dòng)作--ref_img_index在 0–24 之間保證一致性設(shè) 30 可減少重復(fù)動(dòng)作--mask_frame_range默認(rèn) 3適當(dāng)調(diào)大可進(jìn)一步抑制重復(fù)但過大易出偽影分辨率顯存緊張先用 480p 驗(yàn)證流程再切 720p 出成片。六、常見問題FAQQ顯存不夠怎么辦優(yōu)先使用 Avatar 1.5 的--use_int8量化 8 步蒸餾顯存占用最低多卡可用--context_parallel_size做上下文并行context parallel 實(shí)現(xiàn)見 longcat_video/context_parallel/。Q三個(gè)模型權(quán)重要全下載嗎不用。只跑基礎(chǔ)視頻下 LongCat-Video做數(shù)字人下 Avatar-1.5 即可其依賴底座模型的 tokenizer/VAE 組件。Q音頻必須是純?nèi)寺晢崮_本內(nèi)置了人聲分離audio-separator會(huì)自動(dòng)從帶背景音的音頻中提取人聲原始音頻直接丟進(jìn)去就行。七、一句話選型總結(jié)創(chuàng)意短片、圖生視頻、長(zhǎng)視頻→ LongCat-Video?單人/多人數(shù)字人口播新項(xiàng)目→ LongCat-Video-Avatar 1.5--model_type avatar-v1.5 --use_distill --use_int8與舊版 1.0 行為對(duì)齊的存量流程→ Avatar 1.0選對(duì)模型只是第一步配合長(zhǎng)提示詞與合理的音頻 CFG你的數(shù)字人視頻就能直接進(jìn)入交付水準(zhǔn)?！久赓M(fèi)下載鏈接】LongCat-Video項(xiàng)目地址: https://gitcode.com/GitHub_Trending/lo/LongCat-Video創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考