1. 先說(shuō)清楚濁音、清音、爆破音到底在講什么做語(yǔ)音信號(hào)處理的人包里都應(yīng)該有一份“聲音三兄弟”的檔案。不管是做語(yǔ)音識(shí)別、說(shuō)話人識(shí)別、語(yǔ)音合成的音素切分還是對(duì)音頻做端點(diǎn)檢測(cè)第一個(gè)繞不開(kāi)的就是把這段音頻里到底哪些片段是濁音、哪些是清音、哪些是爆破音這件事整明白。這個(gè)項(xiàng)目標(biāo)題雖然看著像教科書(shū)目錄但它其實(shí)是我日常調(diào)試算法時(shí)最常翻的案頭手冊(cè)。簡(jiǎn)單給大家建立個(gè)共識(shí)濁音是聲帶振動(dòng)、帶有準(zhǔn)周期激勵(lì)的聲音比如漢語(yǔ)普通話里的元音[a][o][i]以及[b][d][g]這類(lèi)濁輔音清音是聲帶不振動(dòng)、靠氣流穿過(guò)聲道狹窄處產(chǎn)生湍流噪聲的聲音典型如[s][f][h]爆破音指發(fā)聲時(shí)先形成完全閉塞然后突然釋放的那類(lèi)輔音像是[p][t][k]這種“憋一口氣再炸出去”的聲音。這個(gè)內(nèi)容適合誰(shuí)看我覺(jué)得主要是三類(lèi)人一是剛?cè)胧终Z(yǔ)音識(shí)別、關(guān)鍵詞喚醒項(xiàng)目卻總在切音素、標(biāo)數(shù)據(jù)上栽跟頭的工程師二是做音頻內(nèi)容分析、需要從波形圖判斷發(fā)音類(lèi)型的從業(yè)者三是對(duì)語(yǔ)音學(xué)好奇、想靠代碼把“聲音長(zhǎng)得什么樣”這個(gè)問(wèn)題徹底弄明白的學(xué)習(xí)者。只要你想通過(guò)時(shí)域波形和頻域頻譜來(lái)理解一段語(yǔ)音這篇文章就能直接拿來(lái)當(dāng)“看圖指南”。接下來(lái)我按我自己分析語(yǔ)音的習(xí)慣把三類(lèi)音從時(shí)域到頻域逐一拆開(kāi)講每一步都會(huì)把你需要關(guān)注的參數(shù)、判斷標(biāo)準(zhǔn)、可能踩的坑寫(xiě)清楚。2. 時(shí)域上的“長(zhǎng)相”波形、能量和過(guò)零率怎么說(shuō)活時(shí)域分析是打開(kāi)音頻文件的第一個(gè)視角。所謂時(shí)域就是看聲音的振幅隨時(shí)間怎么變化。樸素地說(shuō)這段波形像什么是正弦波一樣的起伏、還是密密麻麻的毛刺直接決定了我們對(duì)聲音類(lèi)型的初步判斷。在語(yǔ)音端點(diǎn)檢測(cè)和音素切分的實(shí)戰(zhàn)當(dāng)中這個(gè)視角不需要太復(fù)雜的東西三個(gè)參數(shù)就夠用了短時(shí)能量、短時(shí)過(guò)零率、以及波形是否表現(xiàn)出周期性。2.1 濁音波形里藏著“穩(wěn)定的心跳”濁音最直觀的時(shí)域特征是周期性。隨便抓一段元音波形放大看你能看到一個(gè)個(gè)重復(fù)出現(xiàn)的“鼓包”每一個(gè)鼓包對(duì)應(yīng)一次聲帶開(kāi)閉。這個(gè)鼓包的重復(fù)速率就是基頻F0成年男性一般落在80到200赫茲區(qū)間女性大概是180到400赫茲。在實(shí)際波形上這個(gè)周期表現(xiàn)為每隔固定的時(shí)間間隔波形就會(huì)以相似的形狀重復(fù)出現(xiàn)。我在做音素切分時(shí)最常用的一個(gè)判斷方法就是看這一段波形有沒(méi)有“穩(wěn)定的心跳”。如果有規(guī)律的峰谷起伏且振幅明顯高于靜音段那幾乎可以斷定是濁音段。這里要特別注意一個(gè)細(xì)節(jié)濁音的振幅并不是恒定的開(kāi)元音比如[a]的振幅通常會(huì)比閉元音[i]大輔音前的濁音段往往幅度會(huì)先衰減。所以不要只盯著絕對(duì)振幅判斷要關(guān)注波形形態(tài)的相似性說(shuō)得直白點(diǎn)就是“像不像同一個(gè)模子刻出來(lái)的”。短時(shí)過(guò)零率在濁音段的表現(xiàn)也很有特點(diǎn)。過(guò)零率簡(jiǎn)單理解就是單位時(shí)間內(nèi)波形穿越零軸振幅為0的水平線的次數(shù)。因?yàn)闈嵋裟芰考性诘皖l低頻成分意味著波形在一個(gè)周期里穿越零軸的次數(shù)不多所以濁音的過(guò)零率通常比較低一般在幾十次每秒到兩三百次每秒的區(qū)間。這個(gè)指標(biāo)在靜音和清音的對(duì)比下特別有區(qū)分度后面做自動(dòng)分類(lèi)的時(shí)候短時(shí)過(guò)零率是第一個(gè)進(jìn)特征列表的。另外做濁音端點(diǎn)檢測(cè)時(shí)短時(shí)能量是最經(jīng)典的工具。一般會(huì)先對(duì)信號(hào)取一幀比如25毫秒一幀、10毫秒幀移然后計(jì)算這一幀的幅值平方和或者對(duì)數(shù)能量。濁音段的短時(shí)能量顯著高于靜音段也明顯高于大部分摩擦音這是它作為“有聲音”的天然優(yōu)勢(shì)。但切記在靠近清音邊界的濁音段能量會(huì)有一個(gè)漸變過(guò)程閾值設(shè)置不合理的話很容易把清音起始處的低能量段誤判成靜音。2.2 清音滿屏毛刺毫無(wú)規(guī)律清音的時(shí)域波形和濁音完全不是一個(gè)畫(huà)風(fēng)。因?yàn)闆](méi)有聲帶振動(dòng)作為激勵(lì)源波形表現(xiàn)為高頻的、隨機(jī)震蕩的噪聲樣信號(hào)像是一把細(xì)砂撒在屏幕上沒(méi)有任何可重復(fù)的規(guī)律。拿[s]這個(gè)典型的清擦音來(lái)說(shuō)波形看上去就是密密麻麻的毛刺振幅相對(duì)濁音往往偏小但毛刺的密度極高。過(guò)零率在這個(gè)場(chǎng)景下是最好用的判別指標(biāo)。清音因?yàn)楦哳l成分占主導(dǎo)波形穿越零軸的頻率非常高往往能做到每秒幾萬(wàn)次。當(dāng)然這個(gè)數(shù)值和采樣率有關(guān)如果音頻是16kHz采樣清音段的短時(shí)過(guò)零率通常會(huì)大幅跑贏濁音段。我曾經(jīng)做一個(gè)簡(jiǎn)單的清濁判別器就靠“短時(shí)能量短時(shí)過(guò)零率”兩個(gè)特征在干凈錄音上準(zhǔn)確率已經(jīng)能到九成以上可見(jiàn)這兩個(gè)時(shí)域特征對(duì)清濁區(qū)分是真的硬核。不過(guò)有兩點(diǎn)要提醒。第一清音的振幅分布并不均勻同一個(gè)[s]在詞首、詞中、詞尾能量差異會(huì)很大尤其是處在弱讀音節(jié)里的清音能量只比靜音高出一點(diǎn)點(diǎn)第二有些摩擦音比如[z][v]其實(shí)是濁擦音它既有摩擦噪聲成分底下又疊著聲帶振動(dòng)的周期性這類(lèi)音在時(shí)域波形上會(huì)表現(xiàn)出“毛刺里裹著周期突起”的混合形態(tài)切分時(shí)別被它迷惑。2.3 爆破音靜默、尖刺和過(guò)渡的“三段式”爆破音在時(shí)域上是三兄弟里最有辨識(shí)度的因?yàn)樗鼈冏詭∏橄劝察o再炸開(kāi)然后收尾。以普通話/p/為例。你先看到一段接近靜音的閉塞段——這是雙唇閉合、氣流積聚的時(shí)間窗口波形幾乎是一條平線緊接著是一個(gè)極短的、振幅劇烈跳變的脈沖尖峰這是爆破瞬間的burst尖峰之后會(huì)接上一段過(guò)渡可能是濁音的開(kāi)始也可能是一個(gè)弱噪聲尾巴取決于這個(gè)爆破音后面跟的是什么音。我看到很多新手第一次看爆破音波形時(shí)最大的困擾是“找不到閉塞段在哪兒”。這其實(shí)是個(gè)經(jīng)驗(yàn)問(wèn)題你要先找到burst那個(gè)突刺然后從突刺往前找一段時(shí)間窗窗內(nèi)能量極低且波形幅度沒(méi)有明顯起伏那段就是閉塞段。閉塞段的長(zhǎng)短因人而異可能只有30毫秒也可能長(zhǎng)達(dá)150毫秒發(fā)音越用力、閉塞越完整這段“靜音”就越明顯。爆破音的另一個(gè)時(shí)域關(guān)鍵時(shí)刻是VOT即嗓音起始時(shí)間指的是從爆破釋放到聲帶開(kāi)始振動(dòng)之間的時(shí)間間隔。普通話不送氣清塞音比如[b]的VOT接近零甚至為負(fù)送氣清塞音比如[p]的VOT則較長(zhǎng)往往在60到100毫秒以上。這個(gè)參數(shù)在時(shí)域波形上很好量看上burst后到波形出現(xiàn)周期性鼓包之間隔了多久。這個(gè)值不光是語(yǔ)音學(xué)研究的指標(biāo)在語(yǔ)音合成里控制送氣感時(shí)我調(diào)的就是它。如果再往細(xì)節(jié)里摳爆破音的脈沖尖峰往往不是單一的正弦峰而是一個(gè)帶有高頻衰減振鈴的窄脈沖。這個(gè)振鈴在時(shí)域看上去像尖峰之后緊接著幾個(gè)快速衰減的小振蕩它對(duì)應(yīng)的是聲道在爆破瞬間被寬帶激勵(lì)后的快速響應(yīng)。分析爆破音時(shí)這段“炸開(kāi)后緊接著的小尾巴”非常重要它承載了發(fā)音部位的關(guān)鍵線索比如雙唇音的burst能量集中在低頻而齒齦音[t]的burst高頻成分更突出。3. 頻域上的“指紋”頻譜、共振峰與語(yǔ)譜圖時(shí)域只是第一眼印象真正把三類(lèi)音徹底分開(kāi)的還得靠頻域分析。時(shí)域告訴你“這段波形長(zhǎng)什么樣”頻域告訴你“這段聲音里哪些頻率成分占主導(dǎo)、能量如何按頻率分布”。對(duì)語(yǔ)音來(lái)說(shuō)頻域就像是聲音的指紋。分析頻域最常用的可視化工具是語(yǔ)譜圖橫軸是時(shí)間縱軸是頻率顏色深淺代表該時(shí)刻該頻率上的能量大小。一張語(yǔ)譜圖就能把濁音的諧波線、清音的寬帶噪聲云、爆破音的豎條紋同時(shí)展示出來(lái)這是語(yǔ)音分析里性價(jià)比最高的看圖方式。3.1 濁音的頻譜諧波梳子和共振峰的絕配濁音的頻域特征由兩個(gè)核心要素組成一個(gè)是基頻及其諧波另一個(gè)是共振峰。因?yàn)槁曢T(mén)激勵(lì)信號(hào)是準(zhǔn)周期的脈沖串它的頻譜天然是一根根離散的譜線間隔等于基頻F0。比如基頻100赫茲那么頻譜上就會(huì)在100Hz、200Hz、300Hz、400Hz……這些位置出現(xiàn)一排排等間距的峰值像一把梳子這就是諧波結(jié)構(gòu)。這些諧波經(jīng)過(guò)口腔、鼻腔構(gòu)成的聲道濾波之后某些頻率區(qū)域會(huì)被放大某些會(huì)被衰減于是頻譜的包絡(luò)上會(huì)出現(xiàn)幾個(gè)鼓包這些鼓包就是共振峰。第一共振峰F1和第二共振峰F2決定了我們能區(qū)分出[a][i][u]這些不同的元音。舉一個(gè)我經(jīng)常拿來(lái)跟同事開(kāi)玩笑的例子/i/的F1低F2高頻譜上就是“前低后高兩個(gè)峰”/a/恰好相反F1高F2也相對(duì)高頻譜包絡(luò)就像一座平緩的山。你只要看頻譜包絡(luò)形狀就能大致猜出發(fā)的是什么元音。這里要提醒一個(gè)實(shí)操問(wèn)題如果基頻太高諧波間距就會(huì)變大用頻譜包絡(luò)去估計(jì)共振峰時(shí)會(huì)受到諧波“顆粒感”的嚴(yán)重干擾。處理女性或兒童語(yǔ)音時(shí)尤其明顯這時(shí)候我一般會(huì)先對(duì)頻譜做平滑或者用線性預(yù)測(cè)系數(shù)LPC來(lái)提取共振峰包絡(luò)比直接找峰值穩(wěn)得多。在語(yǔ)譜圖上濁音段呈現(xiàn)為一系列水平的亮條紋每一條代表一個(gè)諧波?；l的軌跡就是最底下那條亮線音調(diào)升高時(shí)整組條紋會(huì)一起向上彎。看語(yǔ)譜圖時(shí)只要看到成串的平行橫條紋不用回頭查波形就知道這段是濁音。3.2 清音的頻譜一望無(wú)際的噪聲“垛子”清音的頻譜沒(méi)有諧波結(jié)構(gòu)它是一段連續(xù)分布在整個(gè)頻帶上的寬帶噪聲像是一垛均勻堆放的干草。拿/s/來(lái)說(shuō)它的能量主要集中在4kHz以上甚至到8kHz以上的高頻區(qū)域在語(yǔ)譜圖上表現(xiàn)為一大片分布在高頻位置、紋理顆粒細(xì)密的暗色云團(tuán)。再拿/f/來(lái)說(shuō)它的頻率峰值會(huì)比/s/略低一些但也明顯是中高頻主導(dǎo)。清音頻譜的包絡(luò)雖然也有起伏但它沒(méi)有穩(wěn)定的共振峰結(jié)構(gòu)更不會(huì)出現(xiàn)等間距的譜線。在自動(dòng)識(shí)別場(chǎng)景里判斷一段頻是否是清音一個(gè)簡(jiǎn)單有效的方法是計(jì)算頻譜的平坦程度濁音的頻譜表現(xiàn)出明顯的離散峰值清音的頻譜則相對(duì)平坦、能量分散。功率譜的譜平坦度spectral flatness數(shù)值上濁音遠(yuǎn)遠(yuǎn)低于清音這個(gè)指標(biāo)做清濁判別比時(shí)域過(guò)零率還穩(wěn)定。有一點(diǎn)別忽略清音雖然在整體上被認(rèn)為是噪聲樣的但在不同發(fā)音部位上它的頻譜能量峰值位置是不同的這正是區(qū)分s、f、sh的線索。我們?cè)谧稣Z(yǔ)音增強(qiáng)時(shí)如果誤把清音段當(dāng)成背景噪聲去減掉會(huì)把語(yǔ)音的可懂度毀掉因?yàn)榍逡粼陬l帶上和噪聲高度重疊。學(xué)會(huì)在語(yǔ)譜圖里認(rèn)出清音的“噪聲垛子”是避免這種誤殺的第一步。3.3 爆破音的頻域瞬時(shí)寬帶脈沖與發(fā)音部位線索爆破音在頻域上的樣子是最有戲劇性的。因?yàn)楸扑查g是一段極短的寬帶脈沖持續(xù)時(shí)間往往只有5到20毫秒在語(yǔ)譜圖上表現(xiàn)為一條幾乎覆蓋全頻帶的豎直亮條紋就像一堵豎起來(lái)的墻。這條豎條之后的瞬態(tài)會(huì)暴露出一個(gè)關(guān)鍵信息不同的發(fā)音部位對(duì)應(yīng)不同的頻譜能量集中區(qū)域。雙唇音如/p/、/b/因?yàn)榭谇磺扒淮蟆①|(zhì)量大諧振頻率低burst的頻譜能量集中在較低頻率通常在500Hz到1.5kHz附近齒齦音/t/、/d/前腔小頻率高burst能量明顯上移到3kHz到5kHz軟腭音/k/、/g/能量則集中在2kHz到4kHz之間但往往還伴隨一個(gè)低頻的“鼓包”。也就是說(shuō)只要看burst豎條在哪個(gè)頻段顏色最深就能大致判斷是哪個(gè)部位的爆破音這就是所謂爆破音的“音征”locus效應(yīng)。爆破音不只是看burst那一瞬間。爆破后的輔音到元音過(guò)渡段在語(yǔ)譜圖上會(huì)呈現(xiàn)共振峰的“轉(zhuǎn)向”比如/t/后接元音時(shí)第二共振峰通常從高頻向下彎進(jìn)元音的穩(wěn)態(tài)值/b/后接元音時(shí)F2則往往從低頻向上彎。這種共振峰的轉(zhuǎn)移軌跡是自動(dòng)識(shí)別爆破音和后續(xù)元音邊界的重要依據(jù)看語(yǔ)譜圖時(shí)千萬(wàn)別只盯著那條豎線要看豎線之后共振峰的走向。另外爆破音的無(wú)聲閉塞段在語(yǔ)譜圖上幾乎是一片空白偶爾有一些極其微弱的低頻殘余這是前一個(gè)音在聲道里留下的慣性振動(dòng)。這一段“空白”反而是識(shí)別爆破音的強(qiáng)信號(hào)一個(gè)很窄的全頻帶豎條前面跟著一段空白后面接著共振峰轉(zhuǎn)向三者連起來(lái)讀就是爆破音的完整故事。3.4 一張表把三類(lèi)音的頻域特征收攏起來(lái)為了方便大家在工作里快速對(duì)照我把三類(lèi)音在時(shí)域和頻域的核心特征整理成一張速查表。這張表我貼在自己工位上很久了調(diào)試算法拿不準(zhǔn)的時(shí)候掃一眼基本心里就有數(shù)。特征維度濁音清音爆破音激勵(lì)源聲帶振動(dòng)準(zhǔn)周期脈沖氣流湍流隨機(jī)噪聲閉塞后瞬間壓力釋放沖擊脈沖時(shí)域波形周期性鼓包明顯節(jié)律隨機(jī)毛刺無(wú)規(guī)律靜默-尖刺-過(guò)渡三段式短時(shí)能量高中低閉塞段極低burst瞬間極高短時(shí)過(guò)零率低高閉塞段極低burst后瞬間飆升頻譜形態(tài)離散諧波譜線寬帶連續(xù)噪聲寬帶瞬態(tài)脈沖語(yǔ)譜圖特征平行橫條紋高頻分布的不規(guī)則云團(tuán)全頻帶豎直亮條后接共振峰轉(zhuǎn)向4. 實(shí)操用Python把三類(lèi)音扒開(kāi)看理論講了一堆不如實(shí)際跑一遍代碼來(lái)得直觀。下面我分享一套我自己常用的分析流程用Python對(duì)一段中文語(yǔ)音做清音、濁音、爆破音的三分類(lèi)可視化。整個(gè)過(guò)程基于librosa和matplotlib環(huán)境準(zhǔn)備不算復(fù)雜核心是讓你能親手看到三類(lèi)音在波形、頻譜、語(yǔ)譜圖上的差異同時(shí)也能讓你直接把這段代碼改造成自己的調(diào)試工具。4.1 準(zhǔn)備工作裝庫(kù)、讀音頻、定參數(shù)先說(shuō)一下依賴。我推薦的組合是librosa、numpy、matplotlib和scipy。librosa是音頻分析的老牌庫(kù)讀寫(xiě)音頻、算短時(shí)特征、畫(huà)語(yǔ)譜圖都很方便。安裝一行搞定pip install librosa numpy matplotlib scipy讀音頻我用librosa.load這里有個(gè)坑要特別提醒librosa.load默認(rèn)會(huì)把采樣率轉(zhuǎn)成22050Hz如果你要分析的是原本48kHz的錄音這個(gè)隱式重采樣會(huì)改變高頻細(xì)節(jié)尤其是清音和爆破音的高頻能量分布。所以我一般會(huì)指定sr參數(shù)保持原采樣率或者用16000Hz統(tǒng)一重采樣因?yàn)檎Z(yǔ)音處理項(xiàng)目里16kHz是兼顧信息量和計(jì)算量的常見(jiàn)選擇而且從16kHz降下來(lái)的普適性也最強(qiáng)。import librosa import numpy as np import matplotlib.pyplot as plt audio_path your_speech.wav sr 16000 y, sr librosa.load(audio_path, srsr)讀進(jìn)來(lái)之后先聽(tīng)一遍、看一眼流程上不要省這一步。很多時(shí)候我踩的雷都是錄音出問(wèn)題而不是分析算法出錯(cuò)比如直流偏移、削波、背景底噪太大這些問(wèn)題不看波形根本發(fā)現(xiàn)不了。用plt.plot畫(huà)一下原始波形前5秒鐘如果能有一條明顯的周期段和毛刺段交織那段素材基本就合格了。4.2 計(jì)算短時(shí)能量與過(guò)零率并疊加顯示接下來(lái)做經(jīng)典操作分幀、加窗、算短時(shí)能量和過(guò)零率。librosa已經(jīng)封裝好了這兩個(gè)函數(shù)但細(xì)節(jié)還是值得說(shuō)一下。分幀的幀長(zhǎng)我設(shè)置為25毫秒也就是在16kHz采樣下每幀400個(gè)采樣點(diǎn)幀移10毫秒即160個(gè)采樣點(diǎn)。frame_length int(0.025 * sr) # 25ms hop_length int(0.010 * sr) # 10ms energy librosa.feature.rms(yy, frame_lengthframe_length, hop_lengthhop_length)[0] zcr librosa.feature.zero_crossing_rate(y, frame_lengthframe_length, hop_lengthhop_length)[0]把能量和過(guò)零率畫(huà)在一個(gè)雙y軸圖里再把原始波形一起畫(huà)出來(lái)我能直接看到三類(lèi)音的區(qū)分度濁音段能量抬起、過(guò)零率壓低清音段能量中低、過(guò)零率沖高爆破音的閉塞段能量幾乎歸零burst處能量瞬時(shí)爆表。這三段在圖上往往清晰得可以用肉眼直接框出邊界。這里有一個(gè)實(shí)戰(zhàn)經(jīng)驗(yàn)?zāi)芰坑肦MS均方根值而不直接用幅值平方和為了讓你在畫(huà)圖時(shí)有個(gè)更直觀的“響度”概念。RMS的單位和原始波形保持一致數(shù)值解讀不抽象。如果原始錄音有直流偏移過(guò)零率會(huì)被干擾得很?chē)?yán)重波形整體偏離零軸上下不對(duì)稱這時(shí)最好先做一個(gè)高通濾波把它濾掉。4.3 畫(huà)頻譜和語(yǔ)譜圖看完時(shí)域指標(biāo)下一步畫(huà)頻譜。為了對(duì)比濁音段和清音段的頻譜形態(tài)我一般會(huì)手動(dòng)切出兩個(gè)片段來(lái)做比較。比如用librosa的幀時(shí)間戳找到一處明顯的濁音區(qū)間和一處清音區(qū)間分別取中間的一幀算它的幅值譜。n_fft 1024 D librosa.stft(y, n_fftn_fft, hop_lengthhop_length) magnitude np.abs(D) # 在某個(gè)時(shí)間幀處取頻譜 frame_index 80 # 換成你感興趣的幀 spectrum magnitude[:, frame_index] freqs librosa.fft_frequencies(srsr, n_fftn_fft) plt.figure(figsize(12, 4)) plt.plot(freqs, spectrum) plt.xlabel(Frequency (Hz)) plt.ylabel(Magnitude) plt.xlim(0, sr // 2)跑完之后濁音幀的頻譜上會(huì)出現(xiàn)等間距的梳狀峰譜線間隔就是基頻而清音幀的頻譜則表現(xiàn)為不規(guī)則的連續(xù)起伏沒(méi)有明顯的諧波峰串。這個(gè)對(duì)照實(shí)驗(yàn)強(qiáng)烈建議做一次一幀圖的沖擊力超過(guò)看書(shū)十頁(yè)。語(yǔ)譜圖直接用librosa的specshow畫(huà)S_db librosa.amplitude_to_db(magnitude, refnp.max) plt.figure(figsize(14, 6)) librosa.display.specshow(S_db, srsr, hop_lengthhop_length, x_axistime, y_axishz) plt.colorbar(format%2.0f dB)語(yǔ)譜圖畫(huà)出來(lái)后去找我前面說(shuō)的三類(lèi)標(biāo)志平行橫條紋是濁音不規(guī)則云團(tuán)是清音全頻帶豎直亮條是爆破音。這一眼看圖的能力比任何指標(biāo)都能幫助你快速定位問(wèn)題音頻中的事件。4.4 用Praat做二次驗(yàn)證Python分析跑完我習(xí)慣再用Praat把關(guān)鍵片段驗(yàn)證一下尤其是爆破音的VOT測(cè)量。Praat是語(yǔ)音學(xué)領(lǐng)域的免費(fèi)神器直接打開(kāi)音頻選中波形上想要測(cè)量的區(qū)域用“View spectral slice”看某個(gè)時(shí)刻的頻譜再點(diǎn)“Show formants”看共振峰軌跡。它的優(yōu)勢(shì)在于交互式操作很順手鼠標(biāo)一拖就能測(cè)量時(shí)長(zhǎng)尤其適合核對(duì)自動(dòng)算法結(jié)果的邊界。我自己的習(xí)慣是自動(dòng)切分先跑粗結(jié)果然后抽樣把邊界和Praat手動(dòng)標(biāo)注的結(jié)果做對(duì)比。如果一段語(yǔ)音里爆破音的burst自動(dòng)檢測(cè)誤差超過(guò)10毫秒就得回頭調(diào)參數(shù)。這種“算法-工具”雙確認(rèn)的工作流看起來(lái)多了一步實(shí)際上能省掉后面一大堆標(biāo)注返工的時(shí)間。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄做了這么久語(yǔ)音分析我在這幾個(gè)坑上反復(fù)栽過(guò)跟頭也總結(jié)了不少排查經(jīng)驗(yàn)。整理成速查表分享給大家希望對(duì)你有幫助。異常現(xiàn)象可能原因排查與解決思路濁音段波形看不出周期錄音通道混入嚴(yán)重背景噪聲或基頻過(guò)高先看頻譜是否仍有等間距諧波必要時(shí)做帶通濾波或重新錄音清音過(guò)零率不高采樣率過(guò)低高頻成分被截掉確認(rèn)音頻采樣率若原始采樣率低于8kHz清音分析基本不可靠爆破音的burst找不到爆破音處在詞尾或輕聲位置burst能量太弱把語(yǔ)譜圖動(dòng)態(tài)范圍調(diào)大vmin/vmax或?qū)Ω哳l段做預(yù)加重閉塞段和靜音段分不清閉塞段前的音帶有尾音混響通過(guò)閉塞段后是否跟有burst來(lái)判斷位置信息結(jié)合上下文處理共振峰提取值振蕩劇烈基頻過(guò)高導(dǎo)致諧波顆粒感干擾改用LPC頻譜包絡(luò)提取或先對(duì)語(yǔ)譜圖做平滑處理自動(dòng)清濁判別把爆破音誤判為靜音爆破音的閉塞段能量過(guò)低被端點(diǎn)檢測(cè)當(dāng)成無(wú)聲不要只看短時(shí)能量要結(jié)合burst檢測(cè)和VOT做聯(lián)合判定這些問(wèn)題是初聽(tīng)起來(lái)很基礎(chǔ)但每一個(gè)在真實(shí)語(yǔ)音數(shù)據(jù)上都足以讓算法跑偏。我自己在調(diào)語(yǔ)音端點(diǎn)檢測(cè)時(shí)就曾經(jīng)因?yàn)榘驯埔糸]塞段全部判成靜音導(dǎo)致一句話被硬生生切成了兩段后來(lái)才發(fā)現(xiàn)是閾值設(shè)得太粗暴缺少對(duì)burst釋放事件的感知。后來(lái)把“短時(shí)能量過(guò)零率burst檢測(cè)”三者合到一起做狀態(tài)機(jī)問(wèn)題才徹底解決。還有一個(gè)經(jīng)驗(yàn)值得單獨(dú)說(shuō)分析語(yǔ)音前一定要看頻譜范圍。如果你的錄音設(shè)備高頻衰減嚴(yán)重清音的頻譜能量會(huì)被吃得所剩無(wú)幾表現(xiàn)在語(yǔ)譜圖上就是糊成一片、邊界模糊。這種情況只能從源頭解決要么換錄音設(shè)備要么在做分析前用高頻補(bǔ)償濾波器做修正。永遠(yuǎn)別指望算法能從已經(jīng)被抹掉的信息里變出結(jié)果。6. 這些分析在真實(shí)項(xiàng)目里能干什么聊完方法最后講講這些分析能力在真實(shí)項(xiàng)目里的落地場(chǎng)景。很多人覺(jué)得清濁音是書(shū)本概念離工程很遠(yuǎn)其實(shí)恰恰相反幾乎每一個(gè)語(yǔ)音類(lèi)項(xiàng)目的前處理環(huán)節(jié)都在和這三類(lèi)音打交道。最典型的是語(yǔ)音識(shí)別系統(tǒng)中的音素切分。中文語(yǔ)音識(shí)別里聲母韻母的邊界本質(zhì)就是清音、爆破音與濁音之間的切換。比如“他”這個(gè)字聲母/t/是爆破音韻母/a/是濁音/t/的burst之后到/a/的共振峰穩(wěn)態(tài)之間正好對(duì)應(yīng)VOT這個(gè)物理量。把這個(gè)邊界切準(zhǔn)了后面的聲學(xué)模型訓(xùn)練數(shù)據(jù)質(zhì)量才有保障。語(yǔ)音合成里同樣離不開(kāi)的。合成器要生成真實(shí)自然的語(yǔ)音必須控制濁音段的基頻曲線和振幅包絡(luò)清音段的噪聲能量爆破音的burst強(qiáng)度和VOT。如果VOT設(shè)得太短合成的/p/聽(tīng)起來(lái)就像/b/“怕”和“爸”瞬間不分家。這個(gè)就是調(diào)參的核心依據(jù)。說(shuō)話人識(shí)別中也常用到這些特征。濁音段的基頻和共振峰體現(xiàn)說(shuō)話人的音色和韻律清音段和爆破音則更多體現(xiàn)發(fā)音習(xí)慣和聲道形狀綜合起來(lái)才能刻畫(huà)一個(gè)說(shuō)話人的聲紋。之前我做過(guò)一個(gè)簡(jiǎn)單實(shí)驗(yàn)只取清音段特征做說(shuō)話人匹配效果竟然比濁音段更好因?yàn)榍逡舻膫€(gè)體差異其實(shí)非常大。再往小處說(shuō)做錄音質(zhì)檢、音頻自動(dòng)標(biāo)注、口語(yǔ)評(píng)測(cè)、發(fā)音糾錯(cuò)這類(lèi)應(yīng)用清濁音分析都是底層基礎(chǔ)設(shè)施。一套好用的清濁爆破檢測(cè)模塊就像一把鋼尺不管上層做什么功能都繞不開(kāi)它來(lái)量一量聲音的結(jié)構(gòu)。我個(gè)人這些年在實(shí)際調(diào)試?yán)镒钌畹捏w會(huì)是分析語(yǔ)音千萬(wàn)不要只看波形或者只看頻譜把時(shí)域、頻域、語(yǔ)譜圖三個(gè)視角疊起來(lái)讀得到的信息永遠(yuǎn)是任何單一維度給不了你的。學(xué)會(huì)聽(tīng)聲音、看波形、讀語(yǔ)譜圖三者聯(lián)動(dòng)這套功夫一旦練起來(lái)以后處理任何音頻數(shù)據(jù)你都會(huì)有一種“心里有底”的感覺(jué)。