最近接到一個(gè)看起來有點(diǎn)反常的需求給現(xiàn)有的視頻生成管線加一個(gè)“長(zhǎng)視頻”能力生成一分鐘以上的內(nèi)容。以前大家默認(rèn)的做法是用短視頻素材剪接或者把長(zhǎng)視頻拆成短片段逐段生成再接起來但這兩條路都有明顯硬傷——畫面不連貫角色一換鏡頭就變臉。后來我嘗試了一個(gè)把20秒視頻歷史壓縮成5000個(gè)Token再參與生成的新方案才真正把消費(fèi)級(jí)顯卡上跑長(zhǎng)視頻這件事變成可能。這篇就把這個(gè)方案的原理、壓縮機(jī)制、顯存賬本和我的實(shí)測(cè)避坑經(jīng)驗(yàn)完整拆開講。1. 長(zhǎng)視頻生成衰敗的分水嶺從“隨隨便便10秒”到“堅(jiān)持60秒”1.1 生成模型續(xù)寫的其實(shí)不是劇情而是上下文我在本地跑過不少視頻生成模型10秒內(nèi)的單鏡頭生成效果都還不錯(cuò)稍微拉長(zhǎng)一點(diǎn)就開始出問題。最常見的是人物細(xì)節(jié)逐漸漂移同一張臉在第五秒、第十秒、第十五秒看起來完全不像同一個(gè)人背景紋理也會(huì)在幾個(gè)片段之間慢慢“融化”。原因并不復(fù)雜——模型其實(shí)是在做一個(gè)“看歷史、寫未來”的任務(wù)而一旦歷史超過它能承載的有效長(zhǎng)度它就開始瞎猜。你可以把視頻生成理解成一直在玩一個(gè)“接龍游戲”每生成一幀都要依據(jù)之前所有幀的狀態(tài)去預(yù)測(cè)下一幀長(zhǎng)什么樣。問題在于之前所有幀的信息并不是簡(jiǎn)單堆在那里就能用的。生成模型要把歷史幀的視覺特征、運(yùn)動(dòng)趨勢(shì)、場(chǎng)景光照這些信號(hào)全部讀取出來融進(jìn)當(dāng)前幀的預(yù)測(cè)里。之前的大多數(shù)做法是讓模型把過去20秒的視頻幀“直接當(dāng)作上下文”硬塞進(jìn)去。這意味著模型要在每一幀生成時(shí)都重新計(jì)算一遍和全部歷史幀的關(guān)系。理論上這也能跑但代價(jià)非常直觀上下文越長(zhǎng)計(jì)算量越呈爆炸式增長(zhǎng)而且模型根本沒法高效地從幾十秒的畫面里找到最重要的信息。1.2 注意力機(jī)制的“會(huì)議室效應(yīng)”拖垮了質(zhì)量這里有個(gè)很關(guān)鍵的比喻注意力機(jī)制有點(diǎn)像開會(huì)。會(huì)議室里人越多每個(gè)人分到的發(fā)言時(shí)間就越少真正有價(jià)值的信息會(huì)被大量噪聲稀釋。視頻歷史也一樣幀數(shù)多了以后當(dāng)前幀和幾秒前關(guān)鍵幀的關(guān)聯(lián)會(huì)被中間一大堆無關(guān)畫面沖淡。更惡心的還有顯存。視頻生成模型的骨干網(wǎng)絡(luò)每一層都要維護(hù)一個(gè)“鍵值緩存”本質(zhì)上就是把歷史信息按位置存一份副本供后續(xù)的每一幀去查詢。這個(gè)緩存的大小大體上和序列長(zhǎng)度的平方成正比。假設(shè)20秒視頻有480幀每一幀在視覺編碼器里會(huì)展開成128個(gè)視覺Token那么20秒歷史就是6萬多個(gè)Token。這個(gè)量級(jí)對(duì)消費(fèi)級(jí)顯卡來說已經(jīng)完全超出正常推理范圍。所以很多人一開始跑長(zhǎng)視頻就爆顯存根本不是顯卡不夠好而是方案的設(shè)計(jì)本身就離譜。1.3 切塊拼接看上去保險(xiǎn)實(shí)則后患無窮有人會(huì)說“那我直接分段生成再接起來不就行了”我一開始也這么想過還專門試過把60秒的視頻切成6段每段10秒分別生成后首尾硬切。結(jié)果就是換鏡頭之后背景色調(diào)對(duì)不上人物服裝細(xì)節(jié)忽明忽暗動(dòng)作幅度也在拼接處出現(xiàn)跳變。這個(gè)問題本質(zhì)上是跨片段信息沒有傳遞。分段生成時(shí)每一段都是獨(dú)立生成的前一段的人物發(fā)型、衣服顏色、光照角度到后一段完全不受約束。就算你手動(dòng)把文字提示詞改成“風(fēng)格一致”模型也只會(huì)把它理解為一種模糊的風(fēng)格描述而不是精確到“這個(gè)人現(xiàn)在穿著深藍(lán)色連帽衛(wèi)衣左肩有反光條”這種級(jí)別的硬約束。所以長(zhǎng)視頻生成的真正分水嶺不是怎么控制單個(gè)片段而是怎么生成并攜帶一個(gè)可靠的長(zhǎng)效歷史。下面這個(gè)方案的切入點(diǎn)正是把“歷史”本身做成一種可壓縮、可攜帶、可更新的記憶單元。2. 5000個(gè)Token如何承載20秒視頻歷史壓縮機(jī)制拆解2.1 壓縮的是“生成證據(jù)”不是像素要理解5000個(gè)Token的用意得先分清兩種信息。一種是直接緩存原始視頻幀另一種是提取“再生成一幀所需要的證據(jù)”。前者的信息密度非常低——一幀畫面里的大部分像素對(duì)預(yù)測(cè)下一幀其實(shí)沒有用處。比如靜止的背景天花板每幀都一樣存960幀和存1幀的信息價(jià)值幾乎沒差別。這版方案的核心思路是用一個(gè)專門的可學(xué)習(xí)壓縮器把視頻歷史編碼成一堆緊湊的記憶Token。這些Token不再對(duì)應(yīng)某個(gè)具體像素位置而是對(duì)應(yīng)一些更抽象的東西主角當(dāng)前的外貌狀態(tài)、場(chǎng)景光照的整體趨勢(shì)、鏡頭運(yùn)動(dòng)的方向和速度、物體在畫面中的相對(duì)位置變化。我最初看到這套設(shè)計(jì)時(shí)感覺不太直觀后來類比了一下就通了它跟你做會(huì)議紀(jì)要一樣不把會(huì)議全程錄音整理成逐字稿而是提煉出“誰、在什么地方、做了什么事、下一步可能是什么”。要預(yù)測(cè)會(huì)議后半段的發(fā)展逐字稿反而干擾判斷紀(jì)要比原始錄音更容易把握方向。所以5000個(gè)Token本質(zhì)上就是20秒視頻的“會(huì)議紀(jì)要”。它丟掉的是冗余像素信息保留的是跨幀之間的連續(xù)關(guān)系和關(guān)鍵變化。2.2 從6.1萬到5000我按公開思路算了一筆賬具體壓縮率我可以給個(gè)相對(duì)清晰的估算。假設(shè)視頻是24幀每秒每幀在生成模型的視覺分支里展開為128個(gè)Token。20秒的歷史直接展開就是478到480幀乘上128個(gè)Token大約是61000到62000個(gè)Token。這個(gè)方案的設(shè)計(jì)把歷史Token壓到5000壓縮率大概在12倍左右。對(duì)于視頻生成這種高熵場(chǎng)景來說12倍壓縮聽起來有點(diǎn)激進(jìn)但要注意的是Token的維度并沒有被削減。每個(gè)記憶Token仍然保留著一個(gè)密集的特征向量相當(dāng)于5000個(gè)“高度濃縮的狀態(tài)變量”在參與后續(xù)生成而不是5000個(gè)孤立的像素塊。我用一個(gè)簡(jiǎn)單腳本算過直觀一點(diǎn)fps 24 seconds 20 frames fps * seconds per_frame_tokens 128 direct_tokens frames * per_frame_tokens memory_tokens 5000 print(f原始?xì)v史Token數(shù): {direct_tokens}) print(f壓縮后Token數(shù): {memory_tokens}) print(f壓縮倍率: {direct_tokens / memory_tokens:.2f}x)按這個(gè)基礎(chǔ)數(shù)據(jù)算壓縮倍率大約是12.29倍。當(dāng)然不同實(shí)現(xiàn)里每幀Token數(shù)量不一樣但數(shù)量級(jí)基本在這個(gè)區(qū)間。關(guān)鍵在于壓縮后的5000并不是隨便定的數(shù)字它要?jiǎng)偤每ㄔ凇跋M(fèi)級(jí)顯卡能承載的序列長(zhǎng)度”和“信息表達(dá)充分度”之間。太少了歷史信息會(huì)被過度抽象生成結(jié)果失去細(xì)節(jié)太多了顯存壓力又回到舊方案的死胡同。2.3 可學(xué)習(xí)壓縮器跟普通池化是完全不同的東西我一開始嘗試過偷懶版把歷史幀的特征圖做平均池化或者每隔幾幀抽一幀再傳進(jìn)模型。效果立刻崩盤而且崩的問題很有代表意義——平均池化把運(yùn)動(dòng)信息完全抹平了。畫面里如果有一只手從左側(cè)滑到右側(cè)平均池化會(huì)把“中間所有位置”揉成一個(gè)糊狀狀態(tài)導(dǎo)致下一幀根本不知道該從哪邊繼續(xù)運(yùn)動(dòng)。人物的轉(zhuǎn)頭動(dòng)作也會(huì)被平均出一個(gè)“既不向左也不向右”的錯(cuò)誤姿態(tài)生成出的畫面就像速度很慢的定格動(dòng)畫?？蓪W(xué)習(xí)壓縮器完全不同。它的訓(xùn)練目標(biāo)不是讓壓縮結(jié)果去還原原始畫面而是讓壓縮結(jié)果能最大化幫助主生成網(wǎng)絡(luò)把下一幀預(yù)測(cè)準(zhǔn)。換句話說壓縮器是被“為了讓視頻生成得更連貫”這個(gè)任務(wù)牽著走而不是被“讓重建誤差更低”這個(gè)任務(wù)牽著走。如果壓縮器丟掉運(yùn)動(dòng)方向、丟掉光照變化趨勢(shì)那主生成模型的下一幀預(yù)測(cè)就會(huì)出錯(cuò)模型在訓(xùn)練時(shí)就能感知到這個(gè)錯(cuò)誤并把梯度傳回去修正壓縮器。這就是“可學(xué)習(xí)”的本質(zhì)5000個(gè)Token并不是一個(gè)固定濾波器切出來的而是被長(zhǎng)期訓(xùn)練逼出來的最優(yōu)摘要。3. 消費(fèi)級(jí)顯卡能跑的原因顯存賬單到底省在哪里3.1 直接緩存每幀的狀態(tài)顯存呈指數(shù)心態(tài)崩塌顯存占用最大的來源往往不是模型權(quán)重而是每一層注意力都要保存的鍵值緩存。視頻生成模型在預(yù)測(cè)當(dāng)前幀時(shí)會(huì)拿當(dāng)前幀的Token去“查詢”歷史Token。為了不做重復(fù)計(jì)算框架會(huì)把歷史Token的鍵和值都存下來這個(gè)鍵值緩存在內(nèi)存里占的空間基本等于“序列長(zhǎng)度 × 特征維度 × 層數(shù) × 2”。如果直接保留6萬多個(gè)歷史Token這個(gè)乘法的結(jié)果會(huì)非常可觀。我在一張24GB顯存的消費(fèi)級(jí)顯卡上做過推算哪怕只算一小部分層的鍵值緩存也遠(yuǎn)遠(yuǎn)超出單卡能承受的范圍。這也是為什么很多人一嘗試長(zhǎng)視頻生成前臺(tái)界面剛跑兩步就報(bào)顯存不足甚至直接黑屏嚇人。壓縮成5000個(gè)Token后歷史序列從6萬直接降到了5000乘以注意力層數(shù)和特征維度之后鍵值緩存總量會(huì)縮小到原來的10%左右。對(duì)消費(fèi)級(jí)顯卡來說這才是可以把長(zhǎng)視頻生成真正跑起來的關(guān)鍵。3.2 一張24GB消費(fèi)級(jí)顯卡的顯存賬目對(duì)比為了不紙上談兵我用之前的估算做了個(gè)對(duì)比表。以下數(shù)據(jù)基于一個(gè)中等規(guī)模的視頻生成模型視覺分支每幀Token設(shè)為128歷史窗口20秒權(quán)重按照標(biāo)準(zhǔn)精度簡(jiǎn)化計(jì)算對(duì)比項(xiàng)直接緩存歷史幀記憶Token方案20秒總Token數(shù)約61440480幀×1285000注意力計(jì)算復(fù)雜度單幀與61440全部交互與5000交互鍵值緩存量級(jí)容易超過24GB壓縮后降低約一個(gè)數(shù)量級(jí)24GB消費(fèi)卡體驗(yàn)普遍溢出可以跑但要看模型個(gè)體量生成質(zhì)量上限容易受長(zhǎng)上下文噪聲干擾信息被摘要質(zhì)量相對(duì)穩(wěn)定這個(gè)表格不是絕對(duì)精確但能反映出核心邏輯顯存開銷的大頭是序列長(zhǎng)度先把序列長(zhǎng)度砍下來再用多出來的顯存空間去跑更多幀這個(gè)思路比單純?cè)绎@卡硬件要聰明得多。3.3 錢省出來的另外三個(gè)“小操作”壓縮Token是大頭但要讓消費(fèi)級(jí)顯卡跑得更舒服還有三個(gè)細(xì)節(jié)值得一起做。第一是量化。模型權(quán)重用8位整數(shù)量化激活值保留一定浮點(diǎn)精度能在幾乎不損失生成質(zhì)量的前提下再省出一部分顯存。我在實(shí)際測(cè)試中發(fā)現(xiàn)這個(gè)操作對(duì)視頻生成這類大模型很友好注意力模塊對(duì)量化比較敏感但關(guān)鍵層保留高精度就不會(huì)有實(shí)質(zhì)性畫質(zhì)下滑。第二是激活重計(jì)算。視頻生成的迭代過程中每一層會(huì)有大量中間激活值默認(rèn)會(huì)全部留在顯存里。打開重計(jì)算選項(xiàng)后這些中間值會(huì)在反向傳播或下一輪生成時(shí)臨時(shí)重算用少量額外計(jì)算時(shí)間換回大量顯存空間屬于典型的“拿時(shí)間換顯存”。第三是分塊滾動(dòng)生成。不把完整長(zhǎng)視頻一次性塞進(jìn)模型而是每次只生成一小段比如8秒然后把上一段壓縮出的記憶Token滾動(dòng)傳給下一段。新一段生成時(shí)歷史是完整攜帶的但它不需要在顯存里同時(shí)放下兩段完整畫面的所有中間狀態(tài)。長(zhǎng)視頻生成的過程就變成了一次又一次“帶著記憶前進(jìn)”而不是“追求一口氣跑完”。4. 復(fù)現(xiàn)過程中的實(shí)測(cè)參數(shù)與三個(gè)大坑4.1 我在24GB顯存消費(fèi)級(jí)顯卡上的測(cè)試配置先交代一下我的實(shí)驗(yàn)環(huán)境。我沒有用任何服務(wù)端的滿血大卡就用一張消費(fèi)級(jí)顯卡顯存24GB驅(qū)動(dòng)和推理框架都保持了常規(guī)版本。視頻目標(biāo)輸出是960×540分辨率歷史窗口設(shè)為20秒約等于300幀到480幀不等取決于我測(cè)試時(shí)的幀率。我采用的流程是先按原方案把歷史壓縮成5000個(gè)Token然后按8秒一個(gè)塊滾動(dòng)生成。生成過程里每一塊的起始狀態(tài)都要重新讀取一次記憶Token而不是沿用上一個(gè)塊的所有中間緩存。實(shí)測(cè)下來整段視頻生成過程中峰值顯存大概在17GB到19GB之間沒有爆顯存也沒有出現(xiàn)模型直接拒絕工作的情況。相比以前直接塞歷史幀的做法這個(gè)方案讓我第一次在一張普通消費(fèi)卡上連續(xù)生成了一分鐘以上連貫內(nèi)容代價(jià)是生成總時(shí)長(zhǎng)比短片段生成慢了不少主要慢在每次滾動(dòng)前都要重新編碼一次記憶Token。4.2 坑一用池化代替可學(xué)習(xí)壓縮器必然出現(xiàn)畫風(fēng)漂移我剛開始復(fù)現(xiàn)的時(shí)候圖省事想直接用池化把歷史幀特征揉成一個(gè)固定向量理由是“反正模型規(guī)模不大先跑通再說”。結(jié)果生成到第20秒左右人物衣服的顏色開始微變?cè)偻髱酌氡尘暗拇u縫紋理也逐漸變形。這驗(yàn)證了壓縮器本身必須是可學(xué)習(xí)的。池化版本的Token里缺少“運(yùn)動(dòng)趨勢(shì)”這個(gè)關(guān)鍵維度。模型知道過去有些幀里發(fā)生過動(dòng)作但它不知道動(dòng)作是從哪個(gè)方向往哪個(gè)方向走所以只能在預(yù)測(cè)下一幀時(shí)取一個(gè)中間態(tài)最終表現(xiàn)為畫面逐漸向均值逼近。后來我換上可學(xué)習(xí)壓縮器重新訓(xùn)練一段時(shí)間之后同一長(zhǎng)度視頻生成結(jié)果里人物服裝、發(fā)型、背景結(jié)構(gòu)都能維持穩(wěn)定。這個(gè)坑我印象特別深因?yàn)樗f明了一個(gè)道理壓縮方案里真正值錢的是壓縮器跟生成網(wǎng)絡(luò)的聯(lián)合優(yōu)化而不是單純把Token數(shù)降下來。4.3 坑二記憶Token的更新策略會(huì)直接影響連貫性第二個(gè)坑發(fā)生在緩存更新環(huán)節(jié)。生成新一幀之后記憶Token要怎么更新我一開始的做法比較暴力每一幀生成完就把這一幀的特征直接拼進(jìn)記憶Token里然后把最老的Token擠出去。結(jié)果出現(xiàn)了明顯閃爍畫面上有些輕微的視角抖動(dòng)不是因?yàn)樯赡Ｐ捅旧矶秳?dòng)而是因?yàn)橛洃汿oken的更新太頻繁導(dǎo)致每一段生成時(shí)接收到的歷史信息都在小幅度震蕩一會(huì)偏重前幾秒一會(huì)偏重后幾秒。我后來的處理方式是加了一個(gè)“滑動(dòng)淘汰”機(jī)制每個(gè)記憶Token內(nèi)部帶一個(gè)積分計(jì)數(shù)器每一幀生成時(shí)如果某個(gè)Token被當(dāng)前幀顯著引用就把它保留并提高積分如果連續(xù)多幀沒有被引用積分下降到閾值后才會(huì)被新Token替換。這樣記憶的更新是漸變的不會(huì)被最新一幀瞬間沖掉也不會(huì)讓舊信息賴著不走。4.4 坑三鏡頭切換時(shí)必須重置部分記憶第三個(gè)坑是長(zhǎng)視頻里最常見的場(chǎng)景切換。如果視頻內(nèi)容里有一個(gè)硬切比如從室內(nèi)切到室外整個(gè)光照條件、背景結(jié)構(gòu)、運(yùn)動(dòng)模式全部變了。這時(shí)候如果還沿用切鏡頭之前的記憶Token去預(yù)測(cè)下一個(gè)鏡頭模型會(huì)試圖在新場(chǎng)景里維持舊場(chǎng)景的光照邏輯做出來的畫面經(jīng)常是“室外場(chǎng)景帶著室內(nèi)濾鏡”。我的解決方案是給生成管線加了一個(gè)“場(chǎng)景邊界檢測(cè)”信號(hào)。檢測(cè)到鏡頭切換時(shí)對(duì)一部分Token做整體重置只保留人物外觀和身份類Token清空運(yùn)動(dòng)類和環(huán)境類Token讓新鏡頭從一套相對(duì)中性的歷史狀態(tài)開始重新積累。這個(gè)方法聽起來簡(jiǎn)單但對(duì)長(zhǎng)視頻的實(shí)際質(zhì)感提升很大切換之后的畫面不再帶著上一段場(chǎng)景的“記憶殘留”。5. 這套思路的實(shí)際應(yīng)用邊界和我最看好的延伸方向5.1 它解決的是連續(xù)性而不是創(chuàng)意需要明確一點(diǎn)Token壓縮方案解決的是長(zhǎng)視頻生成的連續(xù)性和一致性它不會(huì)讓模型突然變得更有創(chuàng)意。如果你給它的提示詞本身就很弱生成的畫面依然會(huì)平淡如果場(chǎng)景內(nèi)容本身缺乏邏輯壓縮再好的Token也補(bǔ)不出合理劇情。這套方案最實(shí)用的場(chǎng)景是多鏡頭的故事性內(nèi)容生成、產(chǎn)品展示、角色演示這類“需要讓同一對(duì)象在不同角度和時(shí)間段里保持一致”的視頻。它更像是一個(gè)“記憶加固層”幫助生成模型的畫面不跑偏而不是替代導(dǎo)演或編劇去做創(chuàng)意決策。5.2 從“歷史壓縮”到“設(shè)定壓縮”可控性會(huì)變強(qiáng)我更看好的延伸方向是用同一套記憶Token機(jī)制去壓“設(shè)定”而不是只壓“歷史”。角色外貌、服裝、場(chǎng)景光照、鏡頭運(yùn)動(dòng)風(fēng)格這些信息其實(shí)都可以做成固定的記憶Token在生成全過程里常駐。這會(huì)帶來一個(gè)很有趣的質(zhì)變未來的視頻生成不再需要每次都在提示詞里反復(fù)描述角色長(zhǎng)相而可以像加載“記憶包”一樣把某個(gè)角色或某個(gè)場(chǎng)景的穩(wěn)定設(shè)定直接注入模型。長(zhǎng)視頻生成會(huì)變成類似于“演員帶著劇本進(jìn)組拍戲”的過程角色設(shè)定已經(jīng)是既定事實(shí)生成器只需要負(fù)責(zé)把戲演好。5.3 我也在留意跨模態(tài)記憶的統(tǒng)一趨勢(shì)視頻記憶Token只是這個(gè)思路的一個(gè)應(yīng)用方向文本、音頻、三維場(chǎng)景其實(shí)都在面對(duì)同樣的問題。很多生成模型都卡在“上下文太長(zhǎng)歷史攜帶不動(dòng)”的瓶頸上而解決方案幾乎都指向同一個(gè)方向把原始序列壓縮成可檢索的高層記憶。音頻生成長(zhǎng)音頻時(shí)需要記住前幾分鐘的旋律、說話人音色和節(jié)奏三維場(chǎng)景生成時(shí)需要記住已生成區(qū)域的材質(zhì)和幾何結(jié)構(gòu)。它們都可以用“記憶Token”的方式抽象表達(dá)。當(dāng)前這套思路在視頻里跑通之后至少證明了一點(diǎn)與其無腦堆顯存或者無限拉長(zhǎng)上下文不如先把生成模型真正需要的歷史信息單獨(dú)提煉出來。我自己在實(shí)操中的體會(huì)是這類方案對(duì)參數(shù)調(diào)整的需求反而集中在記憶Token的數(shù)量和更新策略上一旦這兩個(gè)參數(shù)調(diào)順了長(zhǎng)視頻生成會(huì)變得非?？煽?。最后分享一個(gè)小技巧不要一上來就直接挑戰(zhàn)60秒視頻先拿10秒歷史窗口和4秒生成塊把5000個(gè)Token的穩(wěn)定性測(cè)出來再逐步加長(zhǎng)視頻時(shí)長(zhǎng)。這樣一層層往上疊比一次性把參數(shù)拉滿要省時(shí)間得多也更容易定位是哪一環(huán)節(jié)拖垮了連貫性。