神經(jīng)科學(xué)有一個(gè)讓我特別頭疼的地方大腦從來(lái)不會(huì)把它的工作方式整整齊齊地寫進(jìn)某一種數(shù)據(jù)里。EEG能給出毫秒級(jí)的電活動(dòng)變化fMRI能提供毫米級(jí)的血氧代謝信息fNIRS又反映皮層局部的氧合與脫氧過(guò)程PET則直接觀測(cè)分子層面的示蹤劑分布。單看其中任何一個(gè)都會(huì)覺得大腦還有好幾副面孔完全看不清。尤其這幾年凡是和腦成像沾邊的方向都在談多模態(tài)信號(hào)處理領(lǐng)域也在反復(fù)討論神經(jīng)科學(xué)中的多模態(tài)數(shù)據(jù)融合問(wèn)題。前陣子我翻到一本信號(hào)處理權(quán)威刊物上的綜述文章題目就是“神經(jīng)科學(xué)中的多模態(tài)數(shù)據(jù)融合”讀完以后又在自己手頭的模擬項(xiàng)目里把主要思路跑了一遍今天就來(lái)把這些信號(hào)處理背后的邏輯、實(shí)操步驟和經(jīng)驗(yàn)教訓(xùn)一起拆開講。這篇內(nèi)容適合三類朋友一類是做腦成像分析的研究者手里同時(shí)攢著EEG和fMRI但不知道怎么才能把它們真正結(jié)合起來(lái)一類是從信號(hào)處理轉(zhuǎn)過(guò)來(lái)的工程師想快速搞明白神經(jīng)科學(xué)場(chǎng)景里到底有哪些融合問(wèn)題、該用哪類工具還有一類是做腦機(jī)接口、認(rèn)知狀態(tài)評(píng)估這類應(yīng)用開發(fā)的需要一套穩(wěn)定可靠的多模態(tài)特征方案。如果你只是聽說(shuō)過(guò)“融合”兩個(gè)字也沒關(guān)系我會(huì)把原理、步驟、參數(shù)和驗(yàn)證方式講得盡量像一份可以直接參考的操作手冊(cè)。1. 為什么神經(jīng)科學(xué)繞不開多模態(tài)數(shù)據(jù)融合1.1 單一模態(tài)只是“一只手電筒”每類神經(jīng)影像本質(zhì)上都在用不同的物理探針“看”同一個(gè)腦。EEG檢測(cè)的是頭皮上的電位變化時(shí)間分辨率可以到毫秒級(jí)但頭皮和顱骨會(huì)把皮層上的電活動(dòng)像糊了一層毛玻璃一樣抹平空間定位非常粗糙反演到皮層表面往往面臨很嚴(yán)重的不適定問(wèn)題。fMRI空間分辨率很不錯(cuò)能到毫米級(jí)但它測(cè)的是血氧水平依賴信號(hào)是神經(jīng)元活動(dòng)之后幾秒才出現(xiàn)的間接響應(yīng)時(shí)間分辨率受采樣周期限制沒法像EEG那樣捕捉快速動(dòng)態(tài)變化。MEG雖然一定程度上避免了頭皮容積導(dǎo)體效應(yīng)但設(shè)備昂貴對(duì)深部源也不敏感。fNIRS可以移動(dòng)采集適合做自然場(chǎng)景但探測(cè)深度有限。PET能看代謝和受體分布卻需要注射示蹤劑時(shí)間分辨率就更低了。所以你把任何單一模態(tài)捧到天上都只能拿到大腦某一側(cè)面的信息。把大腦比作一間黑屋子EEG是聽聲音判斷有人在走動(dòng)fMRI是透過(guò)窗戶看燈光亮滅fNIRS是摸墻壁感受溫度。每個(gè)線索都有用但任何一個(gè)拎出來(lái)都不足以完整描述房間里發(fā)生了什么。做神經(jīng)科學(xué)的多模態(tài)數(shù)據(jù)融合說(shuō)白了就是把這些物理測(cè)量線索放在同一個(gè)分析框架里讓它們互相補(bǔ)充最后還原出更完整的神經(jīng)過(guò)程。這也是為什么幾乎所有腦疾病、認(rèn)知解碼、腦機(jī)接口方向的研究都在往多模態(tài)方向走。1.2 融合真正想保留的是“共享特有”不過(guò)這里有一個(gè)很容易誤解的點(diǎn)多模態(tài)融合不等于把所有數(shù)據(jù)拼成一個(gè)超級(jí)大向量。很多新手拿到EEG和fMRI第一步就是把特征直接橫向拼接這種做法在數(shù)學(xué)上行得通在實(shí)際項(xiàng)目中卻經(jīng)常翻車因?yàn)楦髂B(tài)的物理單位、噪聲結(jié)構(gòu)、采樣密度完全不一樣硬拼會(huì)讓模型被某些高維度模態(tài)牽著走還會(huì)帶來(lái)嚴(yán)重的過(guò)擬合。融合要做的其實(shí)是先把信號(hào)拆成兩部分一部分是跨模態(tài)共享成分另一部分是各模態(tài)獨(dú)有的特有成分享受。打個(gè)比方你在同時(shí)記錄EEG和fMRI兩者都關(guān)注視覺皮層的某個(gè)激活過(guò)程這個(gè)激活會(huì)在兩類數(shù)據(jù)里留下方向一致的痕跡這就是共享成分但EEG里還有大量與血氧無(wú)關(guān)的節(jié)律性振蕩fMRI里也有神經(jīng)元活動(dòng)之外的血管生理噪聲這些就是模態(tài)特有成分。融合算法最重要的技能是既能把共享成分提取出來(lái)增強(qiáng)信號(hào)又能把特有成分分開保留不把偽影或機(jī)制差異當(dāng)成通用特征這才是多模態(tài)數(shù)據(jù)融合能提升后續(xù)分析的根本原因。如果只追求統(tǒng)計(jì)相關(guān)性那簡(jiǎn)單做兩個(gè)模態(tài)的相關(guān)系數(shù)就夠了但神經(jīng)科學(xué)要的是機(jī)制解釋。給定EEG和fMRI共享成分可能對(duì)應(yīng)一個(gè)共同的神經(jīng)事件特有成分可能對(duì)應(yīng)模態(tài)本身的物理局限也可能是另一類神經(jīng)過(guò)程。好的融合方法會(huì)提出一個(gè)顯式的數(shù)據(jù)生成假設(shè)比如獨(dú)立成分、低秩子空間或概率圖模型把“共享”和“特有”當(dāng)作可估計(jì)的變量來(lái)處理而不是把它們混在一個(gè)特征袋里。這一點(diǎn)是整個(gè)技術(shù)體系的靈魂也是后面談ICA、CCA、深度模型時(shí)必須時(shí)刻記住的判斷標(biāo)準(zhǔn)。1.3 數(shù)據(jù)級(jí)、特征級(jí)、決策級(jí)怎么選在這類綜述文章里融合方法通常先按融合發(fā)生的層級(jí)分成三類。數(shù)據(jù)級(jí)融合是在最原始的信號(hào)層面拼接比如把EEG和fMRI都插值到同一個(gè)時(shí)空網(wǎng)格上這類方法對(duì)配準(zhǔn)精度要求極高臨床上異常個(gè)體差異很大時(shí)容易直接把誤差引入模型。特征級(jí)融合是目前最常用的每個(gè)模態(tài)先各自提取特征再在特征空間做聯(lián)合分析CCA、jICA、多核學(xué)習(xí)都屬于這一層。它最大的好處是靈活可以在特征階段就把噪聲和無(wú)關(guān)維度剔除掉而且不需要兩個(gè)模態(tài)的信號(hào)嚴(yán)格逐點(diǎn)對(duì)齊只要在時(shí)間窗或空間區(qū)域上保持一致就行。決策級(jí)融合則讓每個(gè)模態(tài)先獨(dú)立做出判斷再用投票、加權(quán)平均或元分類器合并結(jié)果魯棒性很好但會(huì)損失跨模態(tài)早期的交互信息如果兩個(gè)模態(tài)本來(lái)就有很強(qiáng)的互補(bǔ)關(guān)系決策級(jí)融合可能拿不到那個(gè)“112”的效果。做一個(gè)實(shí)驗(yàn)時(shí)怎么選層級(jí)我的經(jīng)驗(yàn)是如果目標(biāo)是探索共享神經(jīng)機(jī)制優(yōu)先考慮特征級(jí)如果目標(biāo)是魯棒的在線分類比如腦機(jī)接口決策級(jí)融合往往更抗噪聲如果數(shù)據(jù)預(yù)處理已經(jīng)很完善兩個(gè)模態(tài)的空間分辨率都很高再考慮數(shù)據(jù)級(jí)融合。沒有絕對(duì)最優(yōu)關(guān)鍵要與問(wèn)題匹配很多發(fā)表的融合系統(tǒng)實(shí)際采用的是混合策略就是把特征級(jí)和決策級(jí)結(jié)合起來(lái)既保留交互又增加容錯(cuò)。融合層級(jí)典型實(shí)現(xiàn)優(yōu)點(diǎn)代價(jià)數(shù)據(jù)級(jí)原始信號(hào)拼接、統(tǒng)一網(wǎng)格重建信息損失少、交互完整配準(zhǔn)誤差敏感、維度爆炸特征級(jí)CCA、聯(lián)合ICA、多核學(xué)習(xí)靈活、適合探索共享成分需要合理特征設(shè)計(jì)決策級(jí)投票、元分類器、概率融合魯棒、可處理缺失模態(tài)丟失早期跨模態(tài)交互2. 核心技術(shù)點(diǎn)拆解從經(jīng)典信號(hào)處理到新一代多模態(tài)框架2.1 經(jīng)典方法CCA、mCCAjICA 到底在做什么經(jīng)典信號(hào)處理里最不能繞開的一個(gè)工具是典型相關(guān)分析也就是CCA。它做的事情很簡(jiǎn)單找兩組線性投影讓投影后的兩個(gè)模態(tài)特征相關(guān)性最大。寫成語(yǔ)言化表達(dá)就是給定同一個(gè)被試的EEG特征矩陣X和fMRI特征矩陣YCCA要找出方向向量a和b使得X乘a與Y乘b之間的相關(guān)系數(shù)盡可能高。求解過(guò)程最后會(huì)變成一個(gè)廣義特征值問(wèn)題屬于數(shù)學(xué)上很成熟的框架不需要過(guò)多調(diào)參就能穩(wěn)定求解。CCA之所以適合多模態(tài)神經(jīng)科學(xué)是因?yàn)樗烊辉趯ふ摇肮蚕淼途S子空間”。EEG和fMRI分別從電活動(dòng)和血氧兩個(gè)側(cè)面反映同一個(gè)認(rèn)知過(guò)程CCA可以把它們投影到一個(gè)公共坐標(biāo)系里讓共享信號(hào)浮現(xiàn)出來(lái)。但CCA只保證了相關(guān)性強(qiáng)并沒有保證這些投影對(duì)應(yīng)獨(dú)立的神經(jīng)源所以實(shí)際項(xiàng)目里經(jīng)常把CCA作為前置降維再配合獨(dú)立成分分析使用。這就引出了另一套經(jīng)典組合mCCAjICA即先做多模態(tài)CCA把每個(gè)模態(tài)內(nèi)部做一次重排和降維再把降維后的多模態(tài)特征拼接起來(lái)輸入到聯(lián)合ICA中做盲源分離。jICA的核心假設(shè)是每個(gè)模態(tài)的數(shù)據(jù)經(jīng)過(guò)標(biāo)準(zhǔn)化后可以被有限個(gè)空間獨(dú)立成分線性混合。把多個(gè)模態(tài)的特征矩陣在樣本維上“摞”成一個(gè)聯(lián)合矩陣然后假設(shè)這個(gè)聯(lián)合矩陣存在一個(gè)公共的混合過(guò)程通過(guò)獨(dú)立成分分析把共享源和特有源同時(shí)解出來(lái)。這樣得到的獨(dú)立成分可能就對(duì)應(yīng)一類具有明確時(shí)間或空間模式的神經(jīng)過(guò)程。這個(gè)方法在腦成像融合里很受歡迎因?yàn)樗苊饬思僀CA只能找相關(guān)性、不能區(qū)分來(lái)源的問(wèn)題。需要注意ICA本身存在成分順序不確定、幅值尺度不確定兩個(gè)老毛病所以在實(shí)際操作時(shí)不能跑一次就相信結(jié)果需要多次運(yùn)行并做穩(wěn)定性驗(yàn)證這個(gè)后面再展開。除了CCA和ICA矩陣分解和張量分解也常被拿來(lái)做多模態(tài)融合。把數(shù)據(jù)組織成“被試×?xí)r間×空間”三階張量時(shí)可以用張量分解把不同被試、不同模態(tài)的共享模式抽出來(lái)。張量方法對(duì)缺失數(shù)據(jù)比較敏感但它在保留多維結(jié)構(gòu)方面比簡(jiǎn)單的矩陣拼接更合理。對(duì)于初學(xué)者我建議先掌握CCA、mCCAjICA這兩套它們基本覆蓋了“找相關(guān)”和“盲源分離”兩類最重要的需求而且算法成熟跑起來(lái)也快。2.2 深度多模態(tài)非線性交互與表征學(xué)習(xí)傳統(tǒng)方法在處理線性關(guān)系時(shí)很穩(wěn)但真實(shí)神經(jīng)數(shù)據(jù)往往是強(qiáng)非線性的。比如EEG中的節(jié)律變化與fMRI血氧響應(yīng)之間并不只存在線性映射不同任務(wù)狀態(tài)下可能還會(huì)切換模式。這時(shí)候深度學(xué)習(xí)模型就體現(xiàn)出優(yōu)勢(shì)。深度多模態(tài)融合大體上也分三個(gè)思路早期融合是直接把原始特征喂進(jìn)網(wǎng)絡(luò)讓網(wǎng)絡(luò)自己學(xué)底層交互后期融合是每個(gè)模態(tài)先單獨(dú)過(guò)一個(gè)網(wǎng)絡(luò)再把高層特征拼接或用注意力加權(quán)混合融合則在不同層級(jí)多處合并。在神經(jīng)科學(xué)場(chǎng)景里跨模態(tài)注意力是一種特別值得留意的設(shè)計(jì)。它的做法是讓fMRI特征去“查詢”EEG時(shí)間特征中最重要的時(shí)間片段反過(guò)來(lái)也讓EEG特征去關(guān)注fMRI中對(duì)應(yīng)的空間區(qū)域。這種機(jī)制相當(dāng)于讓模型動(dòng)態(tài)判斷哪些信息需要跨模態(tài)對(duì)齊而不是靠固定拼接權(quán)重。另一個(gè)常見結(jié)構(gòu)是多模態(tài)自編碼器目標(biāo)是學(xué)習(xí)一個(gè)共享的隱空間表示同時(shí)保留每個(gè)模態(tài)自己的重構(gòu)能力。這類模型的好處是即使有一半模態(tài)缺失還能通過(guò)隱空間補(bǔ)全對(duì)實(shí)際采集中“某個(gè)模態(tài)沒有記錄成功”的情況比較友好。還有一個(gè)很有用的方向是對(duì)比學(xué)習(xí)。核心思想是拉近同一認(rèn)知狀態(tài)下不同模態(tài)的表示推開不同狀態(tài)下的表示。這種思路很適配神經(jīng)科學(xué)里“同一個(gè)認(rèn)知過(guò)程會(huì)同時(shí)在多個(gè)腦信號(hào)中出現(xiàn)”的假設(shè)而且對(duì)比學(xué)習(xí)對(duì)標(biāo)簽依賴較低在無(wú)監(jiān)督或弱監(jiān)督場(chǎng)景下也能學(xué)到有意義的共享表征。不過(guò)深度模型的樣本量要求是個(gè)硬門檻。神經(jīng)影像數(shù)據(jù)動(dòng)輒幾千維特征但一個(gè)實(shí)驗(yàn)通常只有幾十到幾百個(gè)被試直接上復(fù)雜深度模型很容易過(guò)擬合。我個(gè)人的判斷是當(dāng)樣本量小于五百、模態(tài)異質(zhì)性很強(qiáng)時(shí)經(jīng)典CCA/ICA加上線性分類器經(jīng)常比深度模型更可靠深度模型更適合那些數(shù)據(jù)量大、需要做非線性交互建模、或者要直接解碼復(fù)雜認(rèn)知狀態(tài)的任務(wù)。2.3 圖信號(hào)處理把大腦當(dāng)圖來(lái)融合圖信號(hào)處理這幾年給多模態(tài)融合帶來(lái)了一個(gè)很不一樣的視角。它的基本想法是把大腦看成一個(gè)圖結(jié)構(gòu)節(jié)點(diǎn)是感興趣腦區(qū)邊是這些腦區(qū)之間的結(jié)構(gòu)連接或功能連接。多模態(tài)數(shù)據(jù)在這里變得非常自然——結(jié)構(gòu)成像得到的纖維連接強(qiáng)度可以作為圖邊的權(quán)重功能數(shù)據(jù)的時(shí)間序列則當(dāng)作定義在圖節(jié)點(diǎn)上的信號(hào)。有了圖就能用圖傅里葉變換、圖濾波器這類工具把功能信號(hào)映射到結(jié)構(gòu)拓?fù)淅锓治觥Ｅe個(gè)例子如果我們知道兩個(gè)腦區(qū)之間有一條很強(qiáng)的白質(zhì)纖維通路圖信號(hào)處理就會(huì)認(rèn)為這兩個(gè)節(jié)點(diǎn)上的功能時(shí)間序列應(yīng)該以某種方式耦合。你可以把結(jié)構(gòu)連接當(dāng)作先驗(yàn)的“接線圖”然后對(duì)功能信號(hào)做平滑或?yàn)V波得到全腦同步性或局部信息差異。這種融合方式最迷人的地方在于它不是簡(jiǎn)單地把兩個(gè)模態(tài)特征拼在一起而是在一個(gè)統(tǒng)一的表示空間里同時(shí)利用結(jié)構(gòu)和功能并且結(jié)果有很強(qiáng)的可解釋性。結(jié)構(gòu)連接決定了信號(hào)傳播的路徑功能信號(hào)是這條路徑上實(shí)際跑起來(lái)的信息。兩者不一致的地方往往才是最有科研價(jià)值的點(diǎn)比如某種疾病狀態(tài)下結(jié)構(gòu)連接還很完整功能耦合卻已經(jīng)下降這種“結(jié)構(gòu)-功能解耦”現(xiàn)象很難用傳統(tǒng)特征拼接捕捉到。圖信號(hào)處理也有一堆坑最核心的是圖定義要可靠。如果結(jié)構(gòu)連接本身帶有纖維追蹤算法引入的偏差后面的圖濾波結(jié)果就會(huì)被污染。所以做這類分析時(shí)需要先檢查圖的連通性、邊權(quán)分布、是否存在孤立節(jié)點(diǎn)再做融合。另外圖濾波器有多個(gè)參數(shù)比如低通濾波的截止頻率除非你明確知道自己在提取什么神經(jīng)模式否則不要隨手改參數(shù)這會(huì)讓結(jié)果很難解釋。圖信號(hào)處理在神經(jīng)科學(xué)里算相對(duì)新銳的方向但它為多模態(tài)融合提供的是一個(gè)結(jié)構(gòu)性很強(qiáng)的假設(shè)這在很多實(shí)證研究里格外有價(jià)值。2.4 按目標(biāo)選方法的速查表算法選擇不是越高級(jí)越好而是要和實(shí)驗(yàn)?zāi)繕?biāo)、樣本量、數(shù)據(jù)質(zhì)量匹配。我習(xí)慣在開會(huì)設(shè)計(jì)階段先問(wèn)清楚是要探索共享子空間還是要做狀態(tài)分類還是要解釋結(jié)構(gòu)和功能的關(guān)系。不同的答案直接指向不同的工具。實(shí)驗(yàn)?zāi)繕?biāo)適用方案理由探索跨模態(tài)共享低維結(jié)構(gòu)CCA、mCCA無(wú)監(jiān)督、穩(wěn)健、解釋性強(qiáng)分離共享神經(jīng)源與特有源jICA、mCCAjICA能同時(shí)得到獨(dú)立成分和空間模式認(rèn)知狀態(tài)分類與回歸稀疏線性模型、深度混合融合可以學(xué)習(xí)復(fù)雜非線性決策邊界結(jié)構(gòu)-功能關(guān)系分析圖信號(hào)處理、圖神經(jīng)網(wǎng)絡(luò)直接利用大腦拓?fù)湎闰?yàn)在線系統(tǒng)、欠佳信噪比決策級(jí)融合抗噪、便于處理缺失通道3. 一套可以落到代碼里的多模態(tài)融合實(shí)操流程3.1 預(yù)處理與時(shí)間空間對(duì)齊這一步直接決定結(jié)果的上限很多團(tuán)隊(duì)做多模態(tài)融合非常投入模型一個(gè)比一個(gè)復(fù)雜最后效果卻不行問(wèn)題往往不是出在算法而是出在預(yù)處理和對(duì)齊。必須先承認(rèn)一個(gè)事實(shí)EEG和fMRI的時(shí)間標(biāo)記系統(tǒng)是兩套完全不同的采樣時(shí)鐘空間坐標(biāo)系也完全不同指望它們天然對(duì)齊是不可能的。時(shí)間對(duì)齊方面最穩(wěn)妥的做法是在采集階段就建立同步標(biāo)志。例如每次fMRI掃描開始時(shí)用一臺(tái)同步設(shè)備同時(shí)給EEG系統(tǒng)打一個(gè)觸發(fā)脈沖這樣后處理時(shí)可以根據(jù)觸發(fā)碼把兩個(gè)數(shù)據(jù)流拉到同一個(gè)時(shí)間軸上。EEG采樣率通常是1000Hz左右fMRI每個(gè)腦體積的采樣間隔往往是2秒或更長(zhǎng)二者不能逐點(diǎn)對(duì)應(yīng)需要決定是在fMRI體積內(nèi)聚合EEG特征還是把fMRI信號(hào)插值到更細(xì)的時(shí)間網(wǎng)格。我的建議是優(yōu)先做時(shí)間窗聚合比如把120個(gè)EEG時(shí)間點(diǎn)平均成一個(gè)特征去對(duì)應(yīng)一個(gè)fMRI體積這種做法的好處是時(shí)間平滑本身能壓掉一部分噪聲而單純插值反而會(huì)引入虛假的時(shí)間分辨率?？臻g對(duì)齊的核心是按標(biāo)準(zhǔn)腦空間統(tǒng)一。第一步是把每個(gè)被試的解剖像處理和分割然后用非線性配準(zhǔn)把所有腦影像映射到一個(gè)標(biāo)準(zhǔn)模板空間對(duì)EEG和fNIRS來(lái)說(shuō)則需要把電極或通道位置也配到同一個(gè)空間坐標(biāo)這樣后續(xù)計(jì)算源性分析或區(qū)域統(tǒng)計(jì)時(shí)才能保證每個(gè)模態(tài)對(duì)應(yīng)同一批腦區(qū)。如果忽略空間對(duì)齊哪怕算法再高級(jí)得到的所謂融合特征也可能是同一個(gè)腦區(qū)的不同部分在互相對(duì)話意義就變味了。再看偽影去除。EEG里最常處理的是眨眼、水平眼動(dòng)和肌肉偽影fMRI里主要是頭動(dòng)、呼吸和心臟搏動(dòng)相關(guān)噪聲。一個(gè)常見的錯(cuò)誤是祈禱或過(guò)度濾波。ICA清理EEG偽影時(shí)如果跑出太多成分很容易把真實(shí)神經(jīng)信號(hào)當(dāng)成偽影扔掉fMRI如果空間平滑核取得過(guò)大又會(huì)讓原本銳利的激活邊界變得模糊。最好的做法是保留足夠多的診斷圖把每個(gè)模態(tài)的清理前清理后對(duì)比都留下來(lái)這個(gè)習(xí)慣在我后來(lái)寫報(bào)告和應(yīng)對(duì)審稿意見時(shí)幫了大忙。3.2 特征提取、標(biāo)準(zhǔn)化和降維完成預(yù)處理后就會(huì)面對(duì)第二個(gè)關(guān)鍵問(wèn)題模態(tài)特征到底提取什么。EEG這邊常用的特征包括頻段功率、時(shí)頻能量、事件相關(guān)電位等在任務(wù)時(shí)間點(diǎn)上的幅度、以及功能連接矩陣等。fMRI這邊常用的是腦區(qū)平均時(shí)間序列、腦區(qū)兩兩之間的皮爾遜相關(guān)、以及從相關(guān)矩陣派生的圖論指標(biāo)。fNIRS則重點(diǎn)關(guān)注氧合血紅蛋白和脫氧血紅蛋白的變化斜率與幅度。這些特征的選擇應(yīng)該由實(shí)驗(yàn)假設(shè)決定不要順手把所有能算的都算出來(lái)。特征加得越多樣本維度越高后續(xù)模型就越容易過(guò)擬合。在融合建模之前一定要做跨模態(tài)標(biāo)準(zhǔn)化。最簡(jiǎn)單也最有效的是按樣本做Z-score把每個(gè)模態(tài)的每個(gè)特征在所有樣本上的均值減掉、除以標(biāo)準(zhǔn)差讓不同單位、不同尺度的特征放在同一數(shù)量級(jí)上。這一步聽上去簡(jiǎn)單但真的有很多人忘了做結(jié)果某個(gè)模態(tài)因?yàn)閿?shù)值范圍更大在后續(xù)分析中被單獨(dú)控制整個(gè)融合結(jié)果被一個(gè)模態(tài)主導(dǎo)。另一個(gè)容易被忽略的細(xì)節(jié)是樣本配對(duì)。EEG數(shù)據(jù)、fMRI數(shù)據(jù)、行為數(shù)據(jù)應(yīng)該來(lái)自同一次實(shí)驗(yàn)中的同一時(shí)間窗如果不同模態(tài)來(lái)自略有差異的試次數(shù)要先對(duì)齊樣本索引或者用插值補(bǔ)全。至于降維CCA本身是一種降維mCCAjICA也是一樣。如果特征量很大比如EEG的時(shí)頻特征加上fMRI的連接矩陣整體維度可能到幾千甚至上萬(wàn)而樣本量只有幾十個(gè)這時(shí)必須把維度壓下來(lái)。實(shí)際操作中我會(huì)先用主成分分析在每個(gè)模態(tài)內(nèi)部做初步降維保留盡可能多的方差但不強(qiáng)行設(shè)定一個(gè)固定維度然后讓CCA或聯(lián)合ICA在這個(gè)壓縮空間里去搜索跨模態(tài)結(jié)構(gòu)。這比直接拼原始特征穩(wěn)健很多。3.3 模型訓(xùn)練、交叉驗(yàn)證與置換檢驗(yàn)的參數(shù)選擇神經(jīng)影像數(shù)據(jù)的樣本量通常不大所以驗(yàn)證方案比模型本身更講究。多模態(tài)融合里最常見的錯(cuò)誤是隨機(jī)劃分訓(xùn)練集和測(cè)試集時(shí)忽略了同一被試的多段數(shù)據(jù)會(huì)同時(shí)出現(xiàn)在兩邊造成信息泄漏。正確的做法是首先按被試劃分所有屬于同一個(gè)被試的樣本必須全部放進(jìn)訓(xùn)練集或全部放進(jìn)測(cè)試集不能跨集。其次如果用了嵌套交叉驗(yàn)證內(nèi)層用來(lái)選擇超參數(shù)外層用來(lái)評(píng)估泛化誤差這樣模型成績(jī)才經(jīng)得起檢驗(yàn)。舉個(gè)例子假設(shè)有一個(gè)融合分類任務(wù)特征是EEG和fMRI融合后的低維表示分類器用支持向量機(jī)。外層的十折交叉驗(yàn)證把一百個(gè)被試分成十份每次留一份做測(cè)試內(nèi)層在訓(xùn)練數(shù)據(jù)上再分五折用交叉驗(yàn)證選分類器參數(shù)。這樣做出來(lái)的準(zhǔn)確率不會(huì)因?yàn)閰?shù)調(diào)得太多而虛高。最后還要做一個(gè)置換檢驗(yàn)把標(biāo)簽隨機(jī)打亂若干次重復(fù)訓(xùn)練得到一組“純屬偶然”的準(zhǔn)確率分布看原始模型的準(zhǔn)確率落在分布的哪個(gè)位置。如果實(shí)際分類準(zhǔn)確率比置換分布高出很遠(yuǎn)我們才敢認(rèn)為這個(gè)融合結(jié)論不是碰巧。在這個(gè)流程里有幾個(gè)參數(shù)需要你明確記錄ICA成分?jǐn)?shù)、CCA保留下來(lái)的典型變量對(duì)數(shù)、分類器的正則化參數(shù)、置換檢驗(yàn)次數(shù)。不同的參數(shù)組合會(huì)導(dǎo)致結(jié)果不同所以建議設(shè)置一個(gè)比較小的參數(shù)網(wǎng)格固定隨機(jī)種子做幾次重復(fù)實(shí)驗(yàn)把結(jié)果的均值與方差都報(bào)告出來(lái)。尤其要小心的是不要為了提高準(zhǔn)確率反復(fù)回到同一個(gè)測(cè)試集上試參數(shù)這等于把測(cè)試集變成了訓(xùn)練集的一部分。這在多模態(tài)數(shù)據(jù)融合中很普遍因?yàn)樘卣鞫唷?shù)多一不留神就變成“測(cè)試集竊取”。3.4 一個(gè)視覺工作記憶實(shí)驗(yàn)的融合模板用我最近在某個(gè)模擬項(xiàng)目里搭過(guò)的一套流程來(lái)舉例。實(shí)驗(yàn)任務(wù)是視覺工作記憶負(fù)荷分低、中、高三個(gè)條件同步采集64導(dǎo)EEG和fMRIfMRI采樣時(shí)間設(shè)為兩秒一個(gè)腦體積共招募了一批健康被試。預(yù)處理階段我做了這么幾件事對(duì)EEG做帶通濾波和ICA偽影清理把頭部運(yùn)動(dòng)和眼跳段剔除對(duì)fMRI做頭動(dòng)校正、時(shí)間層校正并配準(zhǔn)到標(biāo)準(zhǔn)腦模板空間。每個(gè)被試的EEG時(shí)間窗與fMRI體積在時(shí)間軸上通過(guò)觸發(fā)脈沖對(duì)齊最后用相同的時(shí)間窗切出樣本。特征層面從EEG中提取枕區(qū)節(jié)律功率和視覺工作記憶相關(guān)的事件相關(guān)電位成分從fMRI中提取與視覺加工相關(guān)的腦區(qū)平均激活值以及這些腦區(qū)之間的功能連接。然后對(duì)兩個(gè)模態(tài)分別做Z-score各自做主成分降維降到大約十五到二十個(gè)主成分再用mCCAjICA去搜索共享源和特有源。最終特征由共享源對(duì)應(yīng)的投影組成輸入到支持向量機(jī)做三分類。單模態(tài)作為參照時(shí)EEG分類準(zhǔn)確率在六成到七成的范圍fMRI略高一些融合以后能到八成以上。這個(gè)數(shù)字不是拿來(lái)當(dāng)作固定基準(zhǔn)只是想說(shuō)明融合提升通常不是線性疊加而更像“一個(gè)模態(tài)提供了時(shí)間精度另一個(gè)模態(tài)提供了空間約束”兩個(gè)維度一旦對(duì)齊分類邊界就變得非常干凈。整個(gè)流程里最費(fèi)時(shí)間的其實(shí)是預(yù)處理和質(zhì)量檢查建模本身可能只需要很短的時(shí)間。現(xiàn)在我做類似實(shí)驗(yàn)會(huì)直接把質(zhì)量檢查流程固定成腳本先把所有被試的配準(zhǔn)質(zhì)量、偽影殘留、時(shí)間同步誤差跑一遍報(bào)表再?zèng)Q定要不要進(jìn)入融合分析。4. 常見問(wèn)題與排查技巧實(shí)錄4.1 時(shí)間空間對(duì)不齊結(jié)果到處漂移多模態(tài)融合第一類常見問(wèn)題就是時(shí)序不同步。EEG和fMRI設(shè)備各有自己的內(nèi)部時(shí)鐘實(shí)驗(yàn)控制電腦發(fā)送的觸發(fā)信號(hào)也可能存在延遲。如果開始分析后才發(fā)現(xiàn)兩個(gè)模態(tài)在同一個(gè)時(shí)間點(diǎn)上的對(duì)應(yīng)關(guān)系錯(cuò)了幾百毫秒后面所有結(jié)果都會(huì)變亂。排查技巧是先做一個(gè)簡(jiǎn)單任務(wù)比如短促的視覺閃光分別在EEG和fMRI中找到對(duì)應(yīng)響應(yīng)峰值核對(duì)兩個(gè)峰值的時(shí)間差是否和實(shí)驗(yàn)設(shè)計(jì)一致。如果發(fā)現(xiàn)系統(tǒng)延遲就要在預(yù)處理腳本中加入固定的時(shí)間偏移校正而不是在模型階段試圖“學(xué)”出這個(gè)延遲?？臻g對(duì)齊問(wèn)題同樣隱蔽。EEG電極位置記錄和fMRI標(biāo)準(zhǔn)空間之間如果坐標(biāo)轉(zhuǎn)換出錯(cuò)最后分析的腦區(qū)歸屬就會(huì)錯(cuò)位。我自己踩過(guò)一次坑某個(gè)被試的電極位置因?yàn)轭^圍記錄錯(cuò)誤在空間圖里整體偏移了好幾個(gè)厘米融合結(jié)果里出現(xiàn)了一個(gè)虛假的“跨模態(tài)相關(guān)峰”排查到最后才發(fā)現(xiàn)是配準(zhǔn)出錯(cuò)。解決方法是先把每個(gè)模態(tài)的個(gè)體空間配準(zhǔn)可視化疊加檢查再進(jìn)入統(tǒng)計(jì)建模不要只看數(shù)值。還有一類是時(shí)間窗不一致。fMRI時(shí)間序列本身包含血流動(dòng)力學(xué)延遲EEG則幾乎是實(shí)時(shí)的做一個(gè)事件相關(guān)設(shè)計(jì)時(shí)不能把兩者直接按刺激起點(diǎn)對(duì)齊。比較穩(wěn)妥的做法是給fMRI信號(hào)做血流動(dòng)力學(xué)響應(yīng)函數(shù)的延遲建?；蛘甙袳EG特征也挪到相同的時(shí)間窗口上讓兩個(gè)模態(tài)反映的是同樣一段認(rèn)知加工后的大腦狀態(tài)。4.2 過(guò)擬合、不穩(wěn)定與可解釋性翻車神經(jīng)數(shù)據(jù)維度高、樣本少過(guò)擬合幾乎是多模態(tài)融合的默認(rèn)風(fēng)險(xiǎn)。最典型的表現(xiàn)是訓(xùn)練集準(zhǔn)確率接近滿分測(cè)試集準(zhǔn)確率卻掉得離譜。除了前面說(shuō)的按被試劃分交叉驗(yàn)證我還會(huì)做一次“特征開關(guān)實(shí)驗(yàn)”只留EEG、只留fMRI、隨機(jī)打亂其中一個(gè)模態(tài)的時(shí)間序列看看融合模型的成績(jī)會(huì)因此下降多少。如果隨機(jī)打亂后性能沒有明顯下降說(shuō)明模型根本沒有在真正利用那個(gè)模態(tài)的信息所謂融合增益就是假象。這個(gè)測(cè)試操作成本低說(shuō)服力很高。ICA的不穩(wěn)定是另一個(gè)困擾很多人的問(wèn)題。獨(dú)立成分分析每次運(yùn)行時(shí)混疊矩陣和成分排序都是隨機(jī)初始化產(chǎn)生的如果只跑一次就把某個(gè)獨(dú)立成分當(dāng)成結(jié)果很可能被隨機(jī)噪聲誤導(dǎo)。我的做法是把ICA重復(fù)運(yùn)行多次每次記錄得到的空間模式然后把這些模式做聚類只保留那些重復(fù)出現(xiàn)超過(guò)一半的成分作為穩(wěn)定成分進(jìn)入后續(xù)融合分析。同時(shí)固定隨機(jī)種子并記錄ICASSO等穩(wěn)定性指標(biāo)雖然會(huì)多花一點(diǎn)時(shí)間但結(jié)果可解釋性大幅度提升。最后可解釋性要求特征能夠映射回原始的腦空間。如果融合模型得到的是高維向量最好用權(quán)重可視化的方式把重要特征投回到電極位置或體素位置看看激活是否落在預(yù)期的腦區(qū)。否則模型只會(huì)給你一個(gè)數(shù)字沒有科學(xué)意義。4.3 多模態(tài)研究報(bào)告里的幾條“防拒稿”細(xì)節(jié)這部分的經(jīng)驗(yàn)來(lái)自多次和審稿人打交道的體會(huì)也來(lái)自閱讀大量同行工作后的總結(jié)。第一多模態(tài)融合論文最受質(zhì)疑的就是“融合增益是不是真的”。審稿人通常希望看到融合結(jié)果與最優(yōu)單模態(tài)的比較而且比較應(yīng)該在同一套交叉驗(yàn)證流程下進(jìn)行不能用單模態(tài)的舊結(jié)果和融合的新結(jié)果對(duì)比。第二要充分報(bào)告缺失數(shù)據(jù)。真實(shí)實(shí)驗(yàn)里總會(huì)有幾個(gè)被試某一模態(tài)的數(shù)據(jù)不合格你必須說(shuō)清楚排除了多少被試以及缺失模態(tài)是否用插值或決策級(jí)融合處理了。第三給出參數(shù)選擇的依據(jù)。ICA成分?jǐn)?shù)為什么是這么多CCA保留了哪些典型變量這些細(xì)節(jié)既是可復(fù)現(xiàn)性的基礎(chǔ)也是我不被懷疑“挑參數(shù)”的關(guān)鍵。第四圖像化呈現(xiàn)融合權(quán)重很重要。只用柱狀圖說(shuō)明準(zhǔn)確率提升是不夠的把融合之后的空間模式或時(shí)間模式畫出來(lái)讀者才能直觀看到模型到底融合了什么。提示準(zhǔn)備一篇多模態(tài)論文時(shí)我建議把“模態(tài)單獨(dú)結(jié)果”“模態(tài)隨機(jī)打亂結(jié)果”“融合結(jié)果”三張表都做出來(lái)放不放進(jìn)正文另說(shuō)至少在你的工作文檔里必須有這樣應(yīng)對(duì)審稿疑問(wèn)時(shí)心里不虛。最后再分享一點(diǎn)長(zhǎng)期心得我做了幾個(gè)多模態(tài)融合相關(guān)的模擬項(xiàng)目和復(fù)盤之后最大的體會(huì)是多模態(tài)數(shù)據(jù)融合真正難的不是算法而是你在把數(shù)據(jù)倒進(jìn)模型之前有沒有想清楚每個(gè)模態(tài)背后的物理機(jī)制和時(shí)間尺度。EEG、fMRI、fNIRS各有各的時(shí)間響應(yīng)特性各受各的噪聲影響如果不理解這些本質(zhì)差異再?gòu)?fù)雜的模型也只會(huì)幫你“編”出一個(gè)好看的統(tǒng)計(jì)結(jié)果而不是還原出一段真實(shí)的神經(jīng)過(guò)程。我現(xiàn)在拿到一批新數(shù)據(jù)第一時(shí)間不是打開軟件跑模型而是先把時(shí)間軸、坐標(biāo)空間、偽影殘留、樣本配對(duì)這些基礎(chǔ)問(wèn)題梳理清楚這個(gè)過(guò)程往往能避開后續(xù)絕大多數(shù)的坑。如果你正在計(jì)劃做多模態(tài)融合我的建議是從一個(gè)簡(jiǎn)單、穩(wěn)定、可解釋的基線開始比如mCCAjICA加線性分類器先把流程跑通確認(rèn)融合確實(shí)帶來(lái)增量再考慮引入深度模型或圖信號(hào)處理這些更復(fù)雜的工具。這套思路讓我少走了很多彎路也希望這些信號(hào)處理的拆解和實(shí)操筆記能成為你進(jìn)入這個(gè)方向的一塊穩(wěn)定踏板。