1. 視頻口型同步的核心邏輯與場(chǎng)景拆解視頻口型同步這件事說(shuō)白了就是讓畫(huà)面里人物的嘴部動(dòng)作和新?lián)Q上去的音軌嚴(yán)絲合縫地對(duì)上。你手里有一段視頻原聲可能是中文現(xiàn)在要換成英文、日文或者別的語(yǔ)言甚至只是換一個(gè)配音演員重新錄了一遍但畫(huà)面還是原來(lái)那個(gè)畫(huà)面。這時(shí)候觀眾的眼睛是雪亮的只要嘴型和聲音差上哪怕一兩百毫秒大腦立刻就會(huì)發(fā)出“不對(duì)勁”的信號(hào)那種別扭感就像看譯制片時(shí)發(fā)現(xiàn)聲音比畫(huà)面快了半拍一樣。這個(gè)需求最早集中在影視本地化和動(dòng)畫(huà)配音行業(yè)后來(lái)隨著短視頻、在線教育、企業(yè)宣傳片、游戲本地化這些場(chǎng)景的爆發(fā)越來(lái)越多普通創(chuàng)作者也開(kāi)始碰到這個(gè)問(wèn)題。比如你給一個(gè)知識(shí)類(lèi)視頻換了更清晰的錄音或者給一段訪談重新配了降噪后的人聲甚至只是把視頻里某句話剪掉換了一句新的都會(huì)面臨口型對(duì)不上的尷尬。傳統(tǒng)做法是手動(dòng)在剪輯軟件里一幀一幀地對(duì)費(fèi)時(shí)費(fèi)力不說(shuō)遇到語(yǔ)速變化大的段落基本就是災(zāi)難。從技術(shù)層面看口型同步要解決的核心矛盾是音頻的時(shí)間軸和視頻中嘴部動(dòng)作的時(shí)間軸原本是一一對(duì)應(yīng)的一旦音頻被替換或修改這種對(duì)應(yīng)關(guān)系就被打破了。新音軌的節(jié)奏、停頓、重音位置和原音軌不可能完全一致所以需要一套機(jī)制把兩者重新對(duì)齊。這套機(jī)制通常包含三個(gè)環(huán)節(jié)音頻特征提取、視頻嘴部區(qū)域分析、以及時(shí)間軸映射與調(diào)整。音頻這邊要看的是音素序列和每個(gè)音素的起止時(shí)間視頻那邊要看的是嘴部開(kāi)合程度、唇形變化的關(guān)鍵幀然后把兩邊的時(shí)間戳做匹配找到最佳的偏移量和伸縮比例。適合誰(shuí)來(lái)參考這篇內(nèi)容如果你是視頻剪輯師、配音導(dǎo)演、本地化項(xiàng)目經(jīng)理或者只是一個(gè)經(jīng)常處理視頻內(nèi)容的普通創(chuàng)作者只要你的工作流里出現(xiàn)過(guò)“換音軌后口型對(duì)不上”的問(wèn)題這里面的思路和操作細(xì)節(jié)都能直接拿去用。我不打算只講概念而是會(huì)把整個(gè)流程拆開(kāi)告訴你每一步在做什么、為什么這么做、以及實(shí)際動(dòng)手時(shí)哪些地方容易翻車(chē)。1.1 為什么口型同步不是簡(jiǎn)單的“拉伸音頻”很多人第一反應(yīng)是既然新音軌和原音軌長(zhǎng)度不一樣那我直接把新音軌拉伸或者壓縮到和原音軌一樣長(zhǎng)不就行了這個(gè)思路在理論上成立但實(shí)際操作中幾乎不可行。原因在于音頻的時(shí)間伸縮會(huì)改變語(yǔ)速和音調(diào)輕微調(diào)整還好一旦超過(guò)百分之五到百分之十聲音就會(huì)變得怪異要么像快進(jìn)后的花栗鼠要么像慢放后的低音炮。更關(guān)鍵的是新音軌的停頓位置和原音軌往往不同你強(qiáng)行拉伸只能保證總時(shí)長(zhǎng)一致但中間某個(gè)詞可能提前了半秒另一個(gè)詞又滯后了半秒嘴型照樣對(duì)不上。真正有效的做法是分段對(duì)齊。把音頻切成一個(gè)個(gè)小段每段對(duì)應(yīng)一個(gè)詞或者一個(gè)短句然后分別計(jì)算每段需要的時(shí)間偏移量再在段與段之間做平滑過(guò)渡。這樣既能保證整體同步又不會(huì)讓聲音失真。分段對(duì)齊的粒度越細(xì)同步精度越高但計(jì)算量也越大所以實(shí)際工程中需要在精度和效率之間找平衡。通常以音素或者音節(jié)為單位來(lái)切分對(duì)于中文來(lái)說(shuō)一個(gè)字就是一個(gè)音節(jié)切分起來(lái)相對(duì)規(guī)整對(duì)于英文則需要依賴音素識(shí)別模型來(lái)定位每個(gè)音素的邊界。還有一個(gè)容易被忽略的點(diǎn)視頻幀率決定了口型同步的理論精度上限。如果視頻是每秒24幀那么每幀之間的間隔大約是41.7毫秒這意味著你的對(duì)齊誤差最小也只能控制在一幀以內(nèi)也就是正負(fù)20毫秒左右。如果視頻是每秒60幀精度可以提高到正負(fù)8毫秒左右。所以如果你對(duì)同步要求極高前期拍攝時(shí)就應(yīng)該用高幀率后期處理時(shí)才有更大的調(diào)整空間。這個(gè)細(xì)節(jié)很多教程不會(huì)提但實(shí)際項(xiàng)目中非常關(guān)鍵。1.2 常見(jiàn)應(yīng)用場(chǎng)景與對(duì)應(yīng)的同步策略不同場(chǎng)景對(duì)口型同步的要求差異很大不能一套參數(shù)打天下。我按經(jīng)驗(yàn)把常見(jiàn)場(chǎng)景分成三類(lèi)每類(lèi)的處理策略都不一樣。第一類(lèi)是影視劇和動(dòng)畫(huà)的本地化配音。這類(lèi)場(chǎng)景對(duì)同步精度要求最高因?yàn)橛^眾會(huì)長(zhǎng)時(shí)間盯著角色的臉看任何細(xì)微的偏差都會(huì)被放大。通常需要人工介入先由算法做初步對(duì)齊然后由配音導(dǎo)演或者剪輯師逐句微調(diào)。這類(lèi)項(xiàng)目里口型同步只是整個(gè)本地化流程中的一環(huán)還要考慮文化適配、臺(tái)詞長(zhǎng)度調(diào)整、表演風(fēng)格匹配等問(wèn)題。實(shí)際操作中配音演員在錄音時(shí)就會(huì)盡量貼合原片的節(jié)奏和停頓這能大幅降低后期對(duì)齊的難度。第二類(lèi)是短視頻和在線課程。這類(lèi)內(nèi)容通常以人物口播為主鏡頭固定嘴部區(qū)域清晰算法處理起來(lái)相對(duì)容易。很多創(chuàng)作者會(huì)用自動(dòng)化工具有針對(duì)性地處理精度要求沒(méi)那么苛刻只要觀眾不覺(jué)得明顯出戲就行。這類(lèi)場(chǎng)景的關(guān)鍵是效率最好能批量處理所以工具的選擇比手動(dòng)調(diào)整更重要。第三類(lèi)是游戲和虛擬角色的實(shí)時(shí)口型驅(qū)動(dòng)。這類(lèi)場(chǎng)景的特點(diǎn)是音頻可能是實(shí)時(shí)生成的比如玩家通過(guò)語(yǔ)音輸入觸發(fā)角色說(shuō)話或者游戲劇情根據(jù)玩家選擇動(dòng)態(tài)生成對(duì)話。這時(shí)候口型同步必須在極短時(shí)間內(nèi)完成通常采用基于音素的實(shí)時(shí)映射方案預(yù)先建立音素到口型模板的對(duì)應(yīng)關(guān)系運(yùn)行時(shí)根據(jù)音頻流實(shí)時(shí)驅(qū)動(dòng)嘴部動(dòng)畫(huà)。這類(lèi)方案對(duì)精度要求相對(duì)寬松但對(duì)延遲極其敏感超過(guò)一百毫秒的延遲就會(huì)讓玩家感到不適。2. 核心技術(shù)與工具選型背后的考量口型同步的技術(shù)路線大致可以分成兩類(lèi)一類(lèi)是基于信號(hào)處理的傳統(tǒng)方法另一類(lèi)是基于深度學(xué)習(xí)的現(xiàn)代方法。兩者各有優(yōu)劣適用場(chǎng)景也不同。我在實(shí)際項(xiàng)目中兩種都用過(guò)下面把選型邏輯和具體工具拆開(kāi)講。2.1 傳統(tǒng)信號(hào)處理方案的原理與適用邊界傳統(tǒng)方法的核心思路是提取音頻的梅爾頻率倒譜系數(shù)或者線性預(yù)測(cè)系數(shù)同時(shí)提取視頻中嘴部區(qū)域的外觀特征然后通過(guò)動(dòng)態(tài)時(shí)間規(guī)整算法把兩個(gè)時(shí)間序列對(duì)齊。動(dòng)態(tài)時(shí)間規(guī)整的好處是允許時(shí)間軸有彈性的伸縮能夠處理語(yǔ)速不一致的情況。具體來(lái)說(shuō)它會(huì)計(jì)算音頻特征序列和視頻特征序列之間的累積距離矩陣然后找一條從起點(diǎn)到終點(diǎn)的最優(yōu)路徑這條路徑就代表了最佳的時(shí)間對(duì)齊關(guān)系。這套方法在二十年前是主流現(xiàn)在依然有用武之地。它的優(yōu)勢(shì)是計(jì)算量小、可解釋性強(qiáng)、不需要大量訓(xùn)練數(shù)據(jù)。如果你只是處理一段幾分鐘的視頻而且嘴部區(qū)域比較清晰用傳統(tǒng)方法跑一遍動(dòng)態(tài)時(shí)間規(guī)整再手動(dòng)微調(diào)幾個(gè)關(guān)鍵點(diǎn)基本就能達(dá)到可用的效果。但它的局限性也很明顯對(duì)噪聲敏感如果音頻里有背景音樂(lè)或者環(huán)境噪音特征提取就會(huì)受干擾對(duì)嘴部遮擋也無(wú)能為力比如人物用手擋嘴或者側(cè)臉說(shuō)話特征提取會(huì)失敗。我早期做過(guò)一個(gè)企業(yè)宣傳片的項(xiàng)目原聲是中文要換成英文配音。當(dāng)時(shí)用的就是傳統(tǒng)方法先提取音頻的梅爾頻率倒譜系數(shù)再手動(dòng)標(biāo)注視頻中每一幀的嘴部開(kāi)合程度然后用動(dòng)態(tài)時(shí)間規(guī)整做對(duì)齊。整個(gè)過(guò)程花了大概兩天時(shí)間處理十分鐘的視頻精度勉強(qiáng)能看但遇到配音演員語(yǔ)速變化大的段落還是需要手動(dòng)調(diào)整。這個(gè)經(jīng)歷讓我意識(shí)到傳統(tǒng)方法適合小規(guī)模、高質(zhì)量要求的項(xiàng)目但不適合批量處理。2.2 深度學(xué)習(xí)方案的能力邊界與落地成本深度學(xué)習(xí)方案是近幾年的主流核心思路是用神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)音頻到口型區(qū)域的映射關(guān)系或者學(xué)習(xí)如何把新音頻的特征遷移到原視頻的嘴部動(dòng)作上。前者通常用于生成新的口型動(dòng)畫(huà)后者用于調(diào)整現(xiàn)有視頻的時(shí)間軸。對(duì)于“換音軌后對(duì)齊口型”這個(gè)具體需求更常用的是基于時(shí)間對(duì)齊的深度模型比如用卷積神經(jīng)網(wǎng)絡(luò)提取音頻和視頻的幀級(jí)特征然后用注意力機(jī)制計(jì)算每一幀的對(duì)應(yīng)關(guān)系最后輸出一個(gè)時(shí)間偏移量序列。這類(lèi)方案的優(yōu)勢(shì)是魯棒性強(qiáng)對(duì)噪聲、遮擋、側(cè)臉都有一定的容忍度而且精度通常比傳統(tǒng)方法高一個(gè)檔次。但代價(jià)是計(jì)算資源需求大訓(xùn)練一個(gè)可用的模型需要大量配對(duì)數(shù)據(jù)推理時(shí)也需要圖形處理器加速。如果你只是偶爾處理一兩個(gè)視頻用現(xiàn)成的預(yù)訓(xùn)練模型做推理就夠了沒(méi)必要自己訓(xùn)練。但如果你有大量視頻需要批量處理或者對(duì)特定場(chǎng)景有特殊要求比如處理動(dòng)畫(huà)角色的口型那就需要考慮微調(diào)模型或者自己收集數(shù)據(jù)訓(xùn)練。這里有個(gè)經(jīng)驗(yàn)之談不要盲目追求最先進(jìn)的模型而是要看你的數(shù)據(jù)條件和硬件條件。我見(jiàn)過(guò)一些團(tuán)隊(duì)花大價(jià)錢(qián)買(mǎi)了高端圖形處理器結(jié)果發(fā)現(xiàn)自己的視頻素材質(zhì)量太差嘴部區(qū)域模糊不清再好的模型也救不回來(lái)。相反如果前期拍攝時(shí)注意打光和構(gòu)圖保證嘴部區(qū)域清晰可見(jiàn)用中等復(fù)雜度的模型就能達(dá)到很好的效果。所以我的建議是先把素材質(zhì)量提上去再考慮模型選型。2.3 工具選型對(duì)照表與決策路徑下面這張表是我根據(jù)實(shí)際項(xiàng)目經(jīng)驗(yàn)整理的列出了幾種常見(jiàn)方案的特點(diǎn)和適用場(chǎng)景你可以根據(jù)自己的需求對(duì)號(hào)入座。方案類(lèi)型代表工具/庫(kù)精度處理速度硬件要求適用場(chǎng)景手動(dòng)剪輯對(duì)齊常見(jiàn)視頻剪輯軟件極高極慢無(wú)特殊要求短片、精度要求極高的項(xiàng)目傳統(tǒng)信號(hào)處理動(dòng)態(tài)時(shí)間規(guī)整相關(guān)庫(kù)中等較快中央處理器即可小規(guī)模、素材質(zhì)量好的項(xiàng)目深度學(xué)習(xí)推理預(yù)訓(xùn)練口型同步模型高中等需要圖形處理器批量處理、素材質(zhì)量一般的項(xiàng)目實(shí)時(shí)音素映射游戲引擎內(nèi)置方案中等極快中央處理器圖形處理器游戲、虛擬角色實(shí)時(shí)對(duì)話決策路徑可以這樣走先看你的視頻總時(shí)長(zhǎng)和數(shù)量如果只有幾分鐘且只有一兩個(gè)視頻手動(dòng)剪輯可能比折騰工具更快如果有幾十個(gè)視頻需要批量處理那就考慮深度學(xué)習(xí)方案如果是實(shí)時(shí)應(yīng)用那就只能選音素映射方案。再看你的素材質(zhì)量如果嘴部區(qū)域清晰、光線均勻傳統(tǒng)方法也能湊合用如果素材質(zhì)量差那就必須上深度學(xué)習(xí)方案。最后看你的硬件條件沒(méi)有圖形處理器的話深度學(xué)習(xí)推理會(huì)非常慢這時(shí)候要么升級(jí)硬件要么退回傳統(tǒng)方法。3. 完整實(shí)操流程與關(guān)鍵環(huán)節(jié)實(shí)現(xiàn)這一部分我以一段五分鐘的人物口播視頻為例假設(shè)原聲是中文現(xiàn)在要換成一段英文配音目標(biāo)是讓英文配音的嘴型盡量貼合原視頻的嘴部動(dòng)作。整個(gè)流程分成五步素材準(zhǔn)備、音頻特征提取、視頻嘴部區(qū)域分析、時(shí)間軸對(duì)齊、以及最終渲染與校驗(yàn)。每一步我都會(huì)說(shuō)明操作意圖和關(guān)鍵參數(shù)。3.1 素材準(zhǔn)備與預(yù)處理規(guī)范素材準(zhǔn)備這一步經(jīng)常被忽視但它直接決定了后續(xù)所有環(huán)節(jié)的上限。我踩過(guò)的坑包括視頻分辨率太低導(dǎo)致嘴部區(qū)域模糊、音頻采樣率不一致導(dǎo)致特征提取出錯(cuò)、視頻幀率不穩(wěn)定導(dǎo)致時(shí)間戳混亂。所以正式處理之前一定要做三件事。第一統(tǒng)一視頻幀率。用視頻處理工具把視頻轉(zhuǎn)成固定幀率推薦每秒25幀或每秒30幀這兩個(gè)幀率在后續(xù)對(duì)齊時(shí)比較方便計(jì)算。如果原始視頻是可變幀率必須轉(zhuǎn)成固定幀率否則時(shí)間戳?xí)?duì)不上。第二統(tǒng)一音頻采樣率。把新音軌和原音軌都轉(zhuǎn)成16000赫茲或44100赫茲推薦16000赫茲因?yàn)榇蠖鄶?shù)音頻特征提取模型都是在這個(gè)采樣率下訓(xùn)練的。第三裁剪嘴部區(qū)域。如果視頻鏡頭固定可以手動(dòng)框出嘴部區(qū)域后續(xù)只處理這個(gè)區(qū)域能大幅減少計(jì)算量。如果鏡頭有移動(dòng)那就需要先做面部檢測(cè)和跟蹤確保每一幀都能準(zhǔn)確定位嘴部。注意裁剪嘴部區(qū)域時(shí)不要裁得太緊要留出一定的邊緣余量因?yàn)槿宋镎f(shuō)話時(shí)嘴部周?chē)∪庖矔?huì)動(dòng)留出余量能讓特征提取更準(zhǔn)確。一般建議以嘴唇為中心上下左右各留出嘴唇高度的百分之五十作為余量。預(yù)處理完成后你會(huì)得到一段固定幀率的視頻和一個(gè)統(tǒng)一采樣率的音頻文件。這時(shí)候先別急著跑對(duì)齊算法而是應(yīng)該手動(dòng)聽(tīng)一遍新音軌標(biāo)記出明顯的停頓和重音位置。這些標(biāo)記點(diǎn)可以作為后續(xù)對(duì)齊的錨點(diǎn)能顯著提高對(duì)齊精度。我通常會(huì)用音頻編輯軟件在新音軌上打標(biāo)記導(dǎo)出標(biāo)記點(diǎn)的時(shí)間戳然后在后續(xù)步驟中把這些時(shí)間戳作為強(qiáng)約束條件。3.2 音頻特征提取與音素邊界定位音頻特征提取的目標(biāo)是把連續(xù)的聲音信號(hào)轉(zhuǎn)換成離散的特征序列方便和視頻幀做匹配。我常用的特征是梅爾頻率倒譜系數(shù)它模擬了人耳對(duì)頻率的非線性感知對(duì)語(yǔ)音信號(hào)特別有效。提取時(shí)通常取25毫秒的窗長(zhǎng)和10毫秒的窗移這樣每秒鐘能得到100個(gè)特征向量。對(duì)于五分鐘的音頻就是三萬(wàn)個(gè)特征向量這個(gè)規(guī)模用普通計(jì)算機(jī)就能處理。但光有梅爾頻率倒譜系數(shù)還不夠還需要定位音素的邊界。音素是語(yǔ)音的最小單位一個(gè)音素對(duì)應(yīng)一個(gè)穩(wěn)定的嘴型。如果能準(zhǔn)確知道每個(gè)音素的起止時(shí)間就能把音頻和視頻的對(duì)應(yīng)關(guān)系精確到音素級(jí)別。定位音素邊界通常用強(qiáng)制對(duì)齊工具輸入音頻和對(duì)應(yīng)的文本工具會(huì)輸出每個(gè)詞甚至每個(gè)音素的時(shí)間戳。對(duì)于中文可以先用語(yǔ)音識(shí)別得到文字再用強(qiáng)制對(duì)齊得到音素邊界對(duì)于英文直接輸入臺(tái)詞文本即可。這里有個(gè)實(shí)操技巧強(qiáng)制對(duì)齊的精度受文本準(zhǔn)確度影響很大。如果臺(tái)詞文本有錯(cuò)別字或者漏詞對(duì)齊結(jié)果就會(huì)偏移。所以一定要確保文本和音頻完全一致包括語(yǔ)氣詞和重復(fù)的詞。我一般會(huì)先跑一遍語(yǔ)音識(shí)別把識(shí)別結(jié)果和原始臺(tái)詞對(duì)比修正不一致的地方然后再做強(qiáng)制對(duì)齊。這一步多花十分鐘后面能省一個(gè)小時(shí)的手動(dòng)調(diào)整。3.3 視頻嘴部區(qū)域分析與關(guān)鍵幀提取視頻這邊的核心任務(wù)是提取每一幀的嘴部特征。最簡(jiǎn)單的方法是計(jì)算嘴部區(qū)域的開(kāi)合程度也就是上下嘴唇之間的距離用像素?cái)?shù)表示。這個(gè)特征雖然簡(jiǎn)單但對(duì)于判斷嘴巴是張開(kāi)還是閉合已經(jīng)足夠了。更精細(xì)的方法是用面部關(guān)鍵點(diǎn)檢測(cè)提取嘴唇輪廓的多個(gè)關(guān)鍵點(diǎn)坐標(biāo)然后計(jì)算這些關(guān)鍵點(diǎn)之間的距離和角度形成一個(gè)高維特征向量。我通常用面部關(guān)鍵點(diǎn)檢測(cè)來(lái)提取嘴唇的二十個(gè)關(guān)鍵點(diǎn)然后計(jì)算六個(gè)特征上下唇距離、左右嘴角距離、上唇外翻程度、下唇外翻程度、嘴角上揚(yáng)角度、以及嘴唇面積。這六個(gè)特征基本能描述嘴型的主要變化。提取完每一幀的特征后會(huì)得到一個(gè)時(shí)間序列接下來(lái)就是把這個(gè)序列和音頻特征序列做對(duì)齊。注意面部關(guān)鍵點(diǎn)檢測(cè)在側(cè)臉或者遮擋情況下容易失敗如果視頻中有這種鏡頭需要手動(dòng)標(biāo)記或者用多幀插值來(lái)補(bǔ)全。我一般會(huì)先跑一遍檢測(cè)把置信度低的幀標(biāo)記出來(lái)然后人工檢查這些幀能修的修修不了的就在對(duì)齊時(shí)降低這些幀的權(quán)重。關(guān)鍵幀提取是另一個(gè)重要環(huán)節(jié)。不是每一幀都需要參與對(duì)齊計(jì)算因?yàn)橄噜弾g的嘴型變化很小。通常每秒取十到十五個(gè)關(guān)鍵幀就夠了這樣既能保證精度又能減少計(jì)算量。關(guān)鍵幀的選取可以基于嘴型變化幅度變化大的地方多取變化小的地方少取。我一般用均勻采樣加變化幅度加權(quán)的混合策略效果比較穩(wěn)定。3.4 時(shí)間軸對(duì)齊與平滑處理時(shí)間軸對(duì)齊是整個(gè)流程的核心。輸入是音頻特征序列和視頻特征序列輸出是一個(gè)時(shí)間映射函數(shù)把新音軌的每個(gè)時(shí)間點(diǎn)映射到視頻的對(duì)應(yīng)時(shí)間點(diǎn)。如果新音軌和原音軌的總時(shí)長(zhǎng)差不多映射函數(shù)可能就是一個(gè)簡(jiǎn)單的線性偏移如果時(shí)長(zhǎng)差異大映射函數(shù)就需要是非線性的允許不同段落有不同的伸縮比例。我常用的對(duì)齊算法是動(dòng)態(tài)時(shí)間規(guī)整的變體加入了錨點(diǎn)約束。具體來(lái)說(shuō)先用手動(dòng)標(biāo)記的停頓點(diǎn)和重音點(diǎn)作為錨點(diǎn)把整個(gè)時(shí)間軸分成若干段每段內(nèi)獨(dú)立做動(dòng)態(tài)時(shí)間規(guī)整然后段與段之間做平滑過(guò)渡。這樣既能保證錨點(diǎn)處的精確對(duì)齊又能避免全局規(guī)整帶來(lái)的累積誤差。平滑過(guò)渡通常用三次樣條插值保證映射函數(shù)的一階導(dǎo)數(shù)連續(xù)這樣時(shí)間軸不會(huì)出現(xiàn)突變。對(duì)齊完成后會(huì)得到一個(gè)時(shí)間偏移量序列表示新音軌的每個(gè)時(shí)間點(diǎn)相對(duì)于視頻應(yīng)該提前或延后多少。這個(gè)序列通常會(huì)有一些高頻抖動(dòng)需要做低通濾波。濾波的截止頻率一般設(shè)在五赫茲左右既能去掉抖動(dòng)又不會(huì)影響正常的語(yǔ)速變化。濾波之后再把偏移量應(yīng)用到音頻上通過(guò)重采樣或者時(shí)間伸縮來(lái)調(diào)整音頻的時(shí)間軸。這里有個(gè)關(guān)鍵參數(shù)最大允許偏移量。如果某個(gè)時(shí)間點(diǎn)的偏移量超過(guò)了一定閾值比如三百毫秒那就說(shuō)明對(duì)齊可能出錯(cuò)了需要人工檢查。我一般把這個(gè)閾值設(shè)在兩百毫秒超過(guò)這個(gè)值的段落會(huì)標(biāo)記出來(lái)然后手動(dòng)聽(tīng)一遍確認(rèn)是算法錯(cuò)誤還是配音本身的問(wèn)題。如果是配音本身的問(wèn)題比如配音演員漏了一句詞那就需要重新錄算法救不了。3.5 渲染輸出與同步質(zhì)量校驗(yàn)對(duì)齊完成后把調(diào)整過(guò)時(shí)間軸的音頻和原視頻合并渲染輸出。渲染時(shí)要注意音頻編碼格式和視頻編碼格式的兼容性避免出現(xiàn)音畫(huà)不同步的二次問(wèn)題。我一般用無(wú)損或者高質(zhì)量的有損編碼比如音頻用高級(jí)音頻編碼格式視頻用H.264這樣兼容性最好。輸出之后必須做同步質(zhì)量校驗(yàn)。校驗(yàn)方法有三種第一種是肉眼觀察隨機(jī)抽取幾個(gè)時(shí)間點(diǎn)暫停視頻看嘴型是否和聲音匹配第二種是用工具測(cè)量計(jì)算音頻和視頻的互相關(guān)函數(shù)看峰值是否在零延遲附近第三種是找人試看讓沒(méi)看過(guò)原視頻的人看一遍問(wèn)他們有沒(méi)有覺(jué)得哪里不對(duì)勁。三種方法結(jié)合使用基本能覆蓋所有問(wèn)題。注意校驗(yàn)時(shí)一定要看完整段視頻不能只看開(kāi)頭和結(jié)尾。我遇到過(guò)中間某一段因?yàn)榕湟粞輪T語(yǔ)速突然變化導(dǎo)致對(duì)齊失敗的情況只看開(kāi)頭結(jié)尾根本發(fā)現(xiàn)不了。所以校驗(yàn)時(shí)至少要以兩倍速過(guò)一遍全片重點(diǎn)關(guān)注語(yǔ)速變化大、停頓多、以及有背景音樂(lè)的段落。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄口型同步這件事理論上流程很清晰但實(shí)際操作中會(huì)遇到各種各樣的問(wèn)題。我把這些年踩過(guò)的坑整理成一張速查表方便你遇到問(wèn)題時(shí)快速定位。4.1 同步失敗典型癥狀與對(duì)應(yīng)原因癥狀可能原因排查方法解決方案整體偏移固定值音頻和視頻起始時(shí)間不一致檢查兩個(gè)文件的時(shí)間戳起點(diǎn)在時(shí)間軸上整體平移音頻開(kāi)頭對(duì)得上后面越來(lái)越偏音頻和視頻總時(shí)長(zhǎng)不一致對(duì)比兩個(gè)文件的總時(shí)長(zhǎng)分段對(duì)齊不要全局拉伸某些段落對(duì)不上其他正常配音語(yǔ)速變化大或漏詞逐段試聽(tīng)標(biāo)記問(wèn)題段落重新錄制問(wèn)題段落或手動(dòng)調(diào)整嘴型抖動(dòng)忽快忽慢對(duì)齊算法參數(shù)不當(dāng)檢查平滑濾波的截止頻率調(diào)整濾波參數(shù)或增加錨點(diǎn)側(cè)臉或遮擋處對(duì)不上面部關(guān)鍵點(diǎn)檢測(cè)失敗查看檢測(cè)置信度手動(dòng)標(biāo)記或降低該段權(quán)重背景音樂(lè)導(dǎo)致對(duì)齊錯(cuò)誤音頻特征被音樂(lè)干擾試聽(tīng)純?nèi)寺暫蛶б魳?lè)版本先分離人聲再對(duì)齊這張表里的每一種癥狀我都實(shí)際遇到過(guò)其中最常見(jiàn)的是“開(kāi)頭對(duì)得上后面越來(lái)越偏”。這個(gè)問(wèn)題通常是因?yàn)樾乱糗壓驮糗壍目倳r(shí)長(zhǎng)差異較大而算法用了全局線性拉伸導(dǎo)致誤差累積。解決辦法就是分段對(duì)齊把長(zhǎng)音頻切成短段每段獨(dú)立計(jì)算偏移量然后平滑過(guò)渡。切段的粒度可以根據(jù)語(yǔ)速變化來(lái)定語(yǔ)速變化大的地方切細(xì)一點(diǎn)語(yǔ)速平穩(wěn)的地方切粗一點(diǎn)。4.2 提升對(duì)齊精度的五個(gè)實(shí)操技巧第一個(gè)技巧是手動(dòng)標(biāo)記錨點(diǎn)。不要完全依賴算法自動(dòng)對(duì)齊在音頻和視頻中手動(dòng)標(biāo)記幾個(gè)明顯的同步點(diǎn)比如重音、停頓、或者特定的口型動(dòng)作然后把這些錨點(diǎn)作為強(qiáng)約束傳給對(duì)齊算法。錨點(diǎn)不需要多每三十秒一個(gè)就夠了但效果非常明顯。我通常會(huì)在音頻編輯軟件里聽(tīng)一遍新音軌在明顯的停頓處打標(biāo)記然后在視頻里找到對(duì)應(yīng)的嘴部閉合幀把這兩個(gè)時(shí)間戳配對(duì)作為錨點(diǎn)。第二個(gè)技巧是分頻段處理。如果音頻里有背景音樂(lè)或者環(huán)境噪音先把人聲分離出來(lái)只用人聲做對(duì)齊對(duì)齊完成后再把背景音樂(lè)混回去。人聲分離現(xiàn)在有很多現(xiàn)成的工具效果都還不錯(cuò)。分離后的人聲更干凈特征提取更準(zhǔn)確對(duì)齊精度能提高不少。第三個(gè)技巧是多尺度對(duì)齊。先用粗粒度對(duì)齊比如以詞為單位得到一個(gè)粗略的時(shí)間映射然后在這個(gè)映射的基礎(chǔ)上做細(xì)粒度對(duì)齊比如以音素為單位微調(diào)每個(gè)音素的時(shí)間偏移。這樣既能保證全局一致又能提高局部精度。粗粒度對(duì)齊可以用動(dòng)態(tài)時(shí)間規(guī)整細(xì)粒度對(duì)齊可以用隱馬爾可夫模型或者深度模型。第四個(gè)技巧是利用視頻的視覺(jué)節(jié)奏。人物說(shuō)話時(shí)除了嘴部動(dòng)作頭部也會(huì)有輕微的晃動(dòng)這些晃動(dòng)和語(yǔ)音的節(jié)奏是相關(guān)的?？梢园杨^部晃動(dòng)的特征也加入對(duì)齊計(jì)算作為輔助信息。具體來(lái)說(shuō)提取每一幀的頭部姿態(tài)角度計(jì)算角度變化的頻率然后和音頻的能量變化做互相關(guān)找到最佳的延遲量。這個(gè)延遲量可以作為嘴部對(duì)齊的參考。第五個(gè)技巧是迭代優(yōu)化。第一遍對(duì)齊完成后不要直接輸出而是把對(duì)齊結(jié)果可視化出來(lái)看看哪些段落的偏移量異常大。然后針對(duì)這些段落調(diào)整參數(shù)重新對(duì)齊或者手動(dòng)微調(diào)。通常迭代兩到三輪就能達(dá)到很好的效果。我一般會(huì)把偏移量曲線畫(huà)出來(lái)橫軸是時(shí)間縱軸是偏移量正常的曲線應(yīng)該是平滑的如果有尖峰或者突變就說(shuō)明那里有問(wèn)題。4.3 工具鏈搭建與自動(dòng)化批處理思路如果你需要批量處理大量視頻手動(dòng)操作肯定不現(xiàn)實(shí)必須搭建自動(dòng)化工具鏈。我的做法是用腳本把整個(gè)流程串起來(lái)輸入是一個(gè)包含視頻和音頻的文件夾輸出是同步好的視頻文件。腳本的核心是一個(gè)配置文件里面定義了各種參數(shù)比如音頻采樣率、視頻幀率、對(duì)齊算法類(lèi)型、平滑濾波參數(shù)等。不同的項(xiàng)目可以用不同的配置文件靈活切換。自動(dòng)化批處理的關(guān)鍵是錯(cuò)誤處理和日志記錄。批量處理時(shí)難免會(huì)遇到個(gè)別文件出錯(cuò)比如視頻損壞、音頻格式不支持、或者對(duì)齊失敗。腳本要能捕獲這些錯(cuò)誤記錄到日志里然后繼續(xù)處理下一個(gè)文件而不是整個(gè)任務(wù)中斷。我一般會(huì)在腳本里加一個(gè)重試機(jī)制對(duì)于對(duì)齊失敗的文件自動(dòng)調(diào)整參數(shù)重試一次如果還失敗就跳過(guò)并標(biāo)記最后統(tǒng)一人工處理。還有一個(gè)經(jīng)驗(yàn)是先小批量測(cè)試再全量運(yùn)行。不要一上來(lái)就把所有文件都跑一遍先拿三五個(gè)文件測(cè)試確認(rèn)參數(shù)合適、流程通暢、輸出質(zhì)量達(dá)標(biāo)然后再全量運(yùn)行。這樣能避免因?yàn)閰?shù)錯(cuò)誤導(dǎo)致大量文件需要重新處理。我吃過(guò)這個(gè)虧有一次參數(shù)設(shè)錯(cuò)了跑了一整夜才發(fā)現(xiàn)輸出的視頻全部偏移了半秒只能全部重來(lái)。4.4 人工校驗(yàn)的標(biāo)準(zhǔn)化流程無(wú)論算法多先進(jìn)最終輸出前一定要有人工校驗(yàn)環(huán)節(jié)。我總結(jié)了一套標(biāo)準(zhǔn)化的校驗(yàn)流程分三步走。第一步是快速瀏覽。用兩倍速把視頻過(guò)一遍重點(diǎn)關(guān)注開(kāi)頭、結(jié)尾、以及語(yǔ)速變化大的段落。這一步的目的是發(fā)現(xiàn)明顯的同步問(wèn)題比如整體偏移或者某一段完全對(duì)不上。如果發(fā)現(xiàn)明顯問(wèn)題直接退回重新對(duì)齊不用繼續(xù)往下看。第二步是逐段精查。把視頻分成若干段每段一到兩分鐘逐段正常速度播放同時(shí)盯著嘴部看。這一步能發(fā)現(xiàn)細(xì)微的同步問(wèn)題比如某個(gè)詞提前或滯后了半拍。發(fā)現(xiàn)問(wèn)題就記錄下時(shí)間戳和問(wèn)題描述方便后續(xù)針對(duì)性調(diào)整。第三步是交叉驗(yàn)證。找兩到三個(gè)沒(méi)看過(guò)原視頻的人讓他們看一遍問(wèn)他們有沒(méi)有覺(jué)得哪里不對(duì)勁。人的主觀感受有時(shí)候比工具測(cè)量更敏感特別是對(duì)于那種“說(shuō)不上哪里不對(duì)但就是覺(jué)得別扭”的問(wèn)題。如果多個(gè)人都指出同一個(gè)地方有問(wèn)題那就說(shuō)明那里確實(shí)需要調(diào)整。校驗(yàn)完成后把所有問(wèn)題匯總按照嚴(yán)重程度排序優(yōu)先解決影響大的問(wèn)題。有些問(wèn)題可能只是個(gè)別詞偏移了幾十毫秒觀眾根本注意不到這種就可以忽略。把精力集中在那些明顯影響觀看體驗(yàn)的問(wèn)題上效率更高。5. 不同場(chǎng)景下的參數(shù)調(diào)優(yōu)與經(jīng)驗(yàn)總結(jié)口型同步?jīng)]有一套萬(wàn)能參數(shù)不同場(chǎng)景需要不同的調(diào)優(yōu)策略。我按場(chǎng)景把經(jīng)驗(yàn)整理一下方便你直接參考。5.1 口播類(lèi)視頻的快速處理方案口播類(lèi)視頻的特點(diǎn)是鏡頭固定、人物正面、嘴部清晰、語(yǔ)速平穩(wěn)。這類(lèi)視頻處理起來(lái)最簡(jiǎn)單用默認(rèn)參數(shù)通常就能達(dá)到不錯(cuò)的效果。我的建議是音頻采樣率設(shè)16000赫茲視頻幀率設(shè)25幀每秒對(duì)齊算法用動(dòng)態(tài)時(shí)間規(guī)整平滑濾波截止頻率設(shè)5赫茲最大允許偏移量設(shè)200毫秒。這套參數(shù)我用了很多次基本不需要調(diào)整。如果口播視頻的語(yǔ)速特別快比如一些知識(shí)類(lèi)博主說(shuō)話像連珠炮那就需要把平滑濾波的截止頻率提高到8赫茲否則對(duì)齊算法跟不上語(yǔ)速變化。同時(shí)錨點(diǎn)的密度也要增加每十五秒一個(gè)錨點(diǎn)確?？焖僬Z(yǔ)速下的對(duì)齊精度。5.2 影視劇配音的高精度對(duì)齊策略影視劇配音對(duì)精度要求最高而且經(jīng)常遇到側(cè)臉、遮擋、多人對(duì)話等復(fù)雜情況。這類(lèi)項(xiàng)目我建議用深度學(xué)習(xí)方案并且一定要人工介入。具體流程是先用深度模型做初步對(duì)齊然后由剪輯師逐句檢查對(duì)偏差超過(guò)一幀的地方手動(dòng)調(diào)整。錨點(diǎn)要密集每五到十秒一個(gè)而且錨點(diǎn)要選在嘴部閉合或者明顯張開(kāi)的幀上這樣對(duì)齊最穩(wěn)定。影視劇還有一個(gè)特殊問(wèn)題臺(tái)詞長(zhǎng)度可能不一致。比如中文臺(tái)詞十個(gè)字英文翻譯可能只有七個(gè)詞念出來(lái)的時(shí)長(zhǎng)不一樣。這時(shí)候不能強(qiáng)行拉伸音頻而是要在翻譯階段就考慮口型匹配盡量讓譯文長(zhǎng)度和原文接近。如果實(shí)在差太多就需要在剪輯時(shí)調(diào)整畫(huà)面速度或者插入短暫的靜音或環(huán)境音來(lái)填補(bǔ)時(shí)間差。5.3 實(shí)時(shí)場(chǎng)景的低延遲方案設(shè)計(jì)實(shí)時(shí)場(chǎng)景比如游戲?qū)υ捇蛘咛摂M主播對(duì)口型同步的要求是延遲低、計(jì)算快精度可以適當(dāng)放寬。這類(lèi)場(chǎng)景通常用音素映射方案預(yù)先建立一張表記錄每個(gè)音素對(duì)應(yīng)的嘴型模板運(yùn)行時(shí)根據(jù)音頻流實(shí)時(shí)識(shí)別音素然后驅(qū)動(dòng)嘴部動(dòng)畫(huà)。這張表需要針對(duì)具體的角色和語(yǔ)言來(lái)制作中文大概需要五十到六十個(gè)音素模板英文大概需要四十到五十個(gè)。實(shí)時(shí)方案的關(guān)鍵是降低識(shí)別延遲。音素識(shí)別不能等一整句話說(shuō)完再識(shí)別而是要在音頻流輸入的同時(shí)逐幀識(shí)別。通常用滑動(dòng)窗口的方式每十毫秒輸入一幀音頻輸出當(dāng)前音素的概率分布然后取概率最高的音素作為當(dāng)前嘴型。為了平滑過(guò)渡相鄰音素之間要做插值避免嘴型突變。我一般用線性插值窗口長(zhǎng)度設(shè)三十毫秒效果比較自然。5.4 我踩過(guò)的三個(gè)典型坑與規(guī)避方法第一個(gè)坑是忽略音頻的直流偏移。有些錄音設(shè)備會(huì)產(chǎn)生直流偏移導(dǎo)致音頻波形整體偏離零線這會(huì)影響特征提取的準(zhǔn)確性。我遇到過(guò)好幾次對(duì)齊結(jié)果莫名其妙偏移的情況后來(lái)發(fā)現(xiàn)是直流偏移導(dǎo)致的。解決辦法很簡(jiǎn)單在預(yù)處理階段加一個(gè)高通濾波器截止頻率設(shè)20赫茲把直流分量濾掉就行。第二個(gè)坑是視頻幀率轉(zhuǎn)換導(dǎo)致的時(shí)間戳錯(cuò)誤。有些視頻原始幀率是每秒23.976幀轉(zhuǎn)成每秒25幀時(shí)如果處理不當(dāng)時(shí)間戳?xí)霈F(xiàn)累積誤差。我建議在幀率轉(zhuǎn)換時(shí)用專(zhuān)業(yè)的視頻處理工具并且轉(zhuǎn)換后校驗(yàn)時(shí)間戳的連續(xù)性。如果發(fā)現(xiàn)時(shí)間戳有跳變就重新轉(zhuǎn)換不要湊合用。第三個(gè)坑是過(guò)度依賴自動(dòng)對(duì)齊。自動(dòng)對(duì)齊再先進(jìn)也有出錯(cuò)的時(shí)候特別是遇到不常見(jiàn)的口音、背景噪音、或者特殊的說(shuō)話方式。我現(xiàn)在的習(xí)慣是自動(dòng)對(duì)齊完成后至少手動(dòng)檢查一遍關(guān)鍵段落確認(rèn)沒(méi)問(wèn)題再輸出。這個(gè)習(xí)慣幫我避免了好幾次尷尬的發(fā)布事故。口型同步這件事工具和算法只是輔助最終還是要靠人對(duì)細(xì)節(jié)的把控。我的經(jīng)驗(yàn)是把百分之七十的精力花在素材準(zhǔn)備和預(yù)處理上百分之二十花在對(duì)齊算法上百分之十花在校驗(yàn)上。素材質(zhì)量好了后面的事情就順理成章素材質(zhì)量差再好的算法也救不回來(lái)。這個(gè)內(nèi)容后續(xù)還可以往多語(yǔ)言混合配音、情感風(fēng)格遷移、以及自動(dòng)臺(tái)詞長(zhǎng)度適配這些方向擴(kuò)展每一個(gè)方向都有不少可以深挖的細(xì)節(jié)。