元電路對不規(guī)則脈沖序列輸入的響應)
做神經(jīng)形態(tài)電路這幾年我越來越覺得把輸入從整齊的規(guī)則脈沖換成雜亂的不規(guī)則脈沖序列才是真正考驗電路設計水平的時候。這次研究的共振混沌神經(jīng)元電路對不規(guī)則脈沖序列輸入的響應目標很直接搞清楚混沌、共振與隨機脈沖輸入同時作用時電路響應規(guī)律到底怎么變。文章內容不擺教科書推導講的是從模型選型、電路搭建、脈沖生成到指標刻畫全過程的實際操作適合正在搭混沌電路、做脈沖神經(jīng)網(wǎng)絡硬件或者想用非線性動力學手段分析神經(jīng)編碼的研究者和工程師參考。我把能落地、能復現(xiàn)的步驟和踩過的坑都寫出來希望幫你少走彎路。1. 為什么要把共振、混沌和脈沖輸入放到一個電路里1.1 真實神經(jīng)元的工作環(huán)境不規(guī)則脈沖才是常態(tài)大多數(shù)剛接觸神經(jīng)元模型的人習慣先從周期脈沖輸入學起因為周期輸入條件下很容易觀察到鎖相、頻率跟隨這些教科書式現(xiàn)象。但真實神經(jīng)系統(tǒng)里幾乎沒有哪個神經(jīng)元收到嚴格的周期脈沖串。皮層神經(jīng)元的輸入來自成千上萬個突觸前神經(jīng)元的疊加每個突觸前神經(jīng)元本身又在隨機放電所以突觸后神經(jīng)元實際感受到的輸入是高度不規(guī)則、近似隨機的時間序列。把這種不規(guī)則性當作基本背景而不是干擾是這類實驗的出發(fā)點。我最早做規(guī)則脈沖串實驗時數(shù)據(jù)漂亮得讓人上癮放電間隔幾乎落在同一個值附近鎖相指標也好看到可以直接寫論文?？梢坏Q成泊松分布的脈沖間隔同一個電路的輸出立刻變得一團亂麻。當時的第一反應是電路出問題了排查了很久才發(fā)現(xiàn)不是電路壞了而是系統(tǒng)本身在隨機輸入下的行為就會呈現(xiàn)全新的復雜度。這個認知轉變很關鍵研究共振混沌神經(jīng)元電路不能只停留在規(guī)則輸入混沌輸出的簡化圖景里必須把不規(guī)則脈沖序列作為標準輸入條件來看待。1.2 混沌不是亂而是神經(jīng)計算的一種資源很多人聽到混沌兩個字直覺認為是隨機、不穩(wěn)定、沒法控制。但非線性動力學里的混沌是一種確定性的非周期行為系統(tǒng)看似不可預測實際由確定方程支配。對神經(jīng)元電路來說混沌狀態(tài)的核心價值在于對外部輸入的敏感性。一個很小的輸入差別經(jīng)過混沌吸引子的拉伸折疊可以被放大成完全不同的放電模式。用生活化的話說規(guī)則狀態(tài)像一臺老實的機器輸入什么就大致輸出什么混沌狀態(tài)像一匹有力量的野馬對每一下刺激都反應過度但這種過度反應恰恰能在復雜輸入下提供更豐富的編碼空間。但混沌也帶來了麻煩。同一套電路參數(shù)換一塊運放、溫度變化幾度、電容殘余電荷不同都可能讓工作點從混沌區(qū)漂移到周期區(qū)。研究這類電路統(tǒng)計重復必須成為實驗設計的默認環(huán)節(jié)而不是出現(xiàn)問題之后的補救措施。我后面會專門講初值敏感和參數(shù)漂移的處理方式這里先立一個原則單次波形不代表系統(tǒng)行為統(tǒng)計分布才代表系統(tǒng)行為。1.3 共振機制與混沌的交互值得單獨做一輪實驗共振在物理里很直觀當驅動頻率接近系統(tǒng)固有頻率時響應幅度會急劇增大。神經(jīng)形態(tài)電路里的共振通常有兩個層面。一個是線性諧振帶來的頻率選擇性比如RLC回路在特定頻率附近增益最高另一個是隨機共振現(xiàn)象即合適強度的噪聲反而能幫助系統(tǒng)檢測微弱信號。把這兩層共振疊到混沌神經(jīng)元上問題就變得有意思了混沌本身有寬帶功率譜共振環(huán)節(jié)有窄帶選擇特性不規(guī)則脈沖輸入又相當于覆蓋寬頻范圍的驅動源三者同時存在時系統(tǒng)響應不再是簡單的放大關系而是多種頻率分量的競爭與協(xié)作。查資料時能看到不少文獻報道混沌系統(tǒng)在合適的隨機輸入強度下會表現(xiàn)出類似隨機共振的信號增強效應。但我們這里的輸入并不是周期信號噪聲而是純不規(guī)則脈沖串。能不能觀察到同類效應需要實驗數(shù)據(jù)說話。這也正是我做這個實驗的動機不去重復經(jīng)典隨機共振實驗而是測試混沌加共振的神經(jīng)元電路面對真實不規(guī)則輸入時信息通道到底是打開還是關閉。2. 電路模型構建從神經(jīng)元方程到可搭接的拓撲2.1 神經(jīng)元電路基座選擇哪種模型做主體神經(jīng)元電路候選模型很多我最終選的是Izhikevich型主體加一條額外混沌支路。選它的理由很實際參數(shù)少、方程不復雜、硬件上只需要一個電容、兩個運算放大器加若干線性電阻就能實現(xiàn)。而且Izhikevich模型既能復現(xiàn)規(guī)則的單峰放電也能復現(xiàn)bursting爆發(fā)放電正好對應實驗需要的兩種基礎狀態(tài)。如果追更復雜的慢變量動力學Hindmarsh-Rose模型也可以但硬件元器件明顯增多調試成本會成倍上升?；A參數(shù)我標定過一套自己常用的組合膜電容C_m取10 nF膜電壓相關的比例電阻取100 kΩ級別恢復變量的時間常數(shù)由串聯(lián)電容決定整體放電頻率落在幾十赫茲量級。這里有一條經(jīng)驗先在小面包板上搭通確認波形符合預期之后再轉PCB布局?；煦珉娐氛{試過程中元器件替換頻率非常高直接上PCB反而拖慢進度而且改一次板子的成本遠高于多插幾根跳線。2.2 混沌從哪里來非線性負阻與等效電感要讓神經(jīng)元電路進入混沌至少需要一個非線性環(huán)節(jié)加一個額外儲能環(huán)節(jié)。我采用的是分段線性負阻加等效電感方案。負阻用運算放大器和電阻網(wǎng)絡構造成三段式分段線性I-V特性曲線等效電感用電容加運放的回轉器結構實現(xiàn)。這樣避免了體積龐大的真實電感也減少雜散磁場的干擾板上布線會干凈很多。關鍵參數(shù)有兩個負阻曲線中間段的斜率以及等效電感值。仿真里我掃過一組典型取值負阻段斜率從-1.5 mS調到-4 mS的過程中系統(tǒng)經(jīng)歷了周期態(tài)、倍周期分岔到混沌態(tài)的多次切換等效電感值在幾十毫亨范圍內配合膜電容決定了混沌吸引子的主要頻率成分。硬件上調這兩個參數(shù)非常直觀負阻斜率靠更換反饋電阻實現(xiàn)等效電感值靠更換回轉器里的電容實現(xiàn)。每次換件后都要重新觀察示波器上的相圖確認工作點是否還在目標區(qū)域內。2.3 共振環(huán)節(jié)怎么加進去參數(shù)設計與頻率匹配共振環(huán)節(jié)我對比過無源RLC并聯(lián)諧振和有源帶通濾波兩種方案最后選了有源帶通。原因很簡單有源帶通的Q值可調、中心頻率可獨立設置不用為每一檔輸入頻率重新匹配電感。電路上加在輸入脈沖注入節(jié)點和神經(jīng)元膜電容之間相當于在信號通路上做一次頻率預選。中心頻率的設定參照了神經(jīng)元電路混沌態(tài)的主功率頻率。當時用頻譜分析觀察到混沌放電的主要能量集中在8 Hz到20 Hz區(qū)間我就把帶通中心頻率設為15 HzQ值先取5后續(xù)從2到12掃描觀察系統(tǒng)響應差異。輸入脈沖本身是寬頻信號經(jīng)過共振環(huán)節(jié)后接近中心頻率的分量被放大遠離的則被衰減。這樣在保持外部脈沖序列不變的前提下我能獨立考察頻率匹配程度對響應的影響這也是后續(xù)分析共振峰偏移現(xiàn)象的基礎。環(huán)節(jié)參數(shù)典型取值調節(jié)影響膜電容C_m10 nF決定神經(jīng)元時間尺度等效電感L_eq2060 mH影響混沌吸引子頻率成分負阻斜率g_N-1.5-4 mS控制混沌強度與分岔路徑帶通中心頻率f_015 Hz共振頻率匹配點帶通Q值Q212頻率選擇性寬窄3. 不規(guī)則脈沖序列的生成與注入這一環(huán)節(jié)決定實驗的上限3.1 什么是不規(guī)則泊松序列與Gamma序列的差別不規(guī)則脈沖序列嚴格說是由一系列觸發(fā)時刻構成的點過程。最常用的是泊松過程脈沖間隔相互獨立、都服從指數(shù)分布平均發(fā)放率恒定脈沖串看起來完全隨機。比它更復雜的是Gamma間隔分布形狀參數(shù)κ控制不規(guī)則程度。κ1時退化為泊松過程κ遠大于1時接近周期κ遠小于1時能模擬突發(fā)性爆發(fā)。做這個實驗必須明白一點不規(guī)則不是簡單地把周期信號加抖動關鍵在間隔分布的統(tǒng)計特性本身。我前期仿真用了三檔輸入泊松序列、弱規(guī)則的Gamma序列、強不規(guī)則的Gamma突發(fā)序列。對比三檔數(shù)據(jù)就能分離輸入隨機性程度這一個變量。硬件測試階段考慮到生成高精度Gamma分布的實現(xiàn)成本我先用泊松序列跑通整體鏈路之后再加突發(fā)模式對照。這里給一段生成泊松脈沖時間戳的基礎代碼事件間隔嚴格按照指數(shù)分布生成import numpy as np rate 20.0 # 平均發(fā)放率單位 Hz duration 10.0 # 持續(xù)時間單位 s rng np.random.default_rng(42) isi rng.exponential(1.0 / rate, sizeint(rate * duration)) spike_times np.cumsum(isi) spike_times spike_times[spike_times duration]固定隨機種子這點極其重要?；煦珉娐繁旧砭统踔得舾腥绻斎胄蛄械碾S機種子不固定兩次實驗之間既換了輸入又換了初值出什么問題都說不清。固定種子至少能保證輸入源這一側是可復現(xiàn)的。3.2 硬件注入與軟件仿真注入的差異同樣的數(shù)學模型在純仿真和硬件實測里走的路徑完全不同。軟件仿真用事件驅動方式生成時間戳序列直接作為電流源項驅動微分方程精度只受積分算法控制。硬件實測則需要真實脈沖發(fā)生器或者微控制器加數(shù)模轉換產(chǎn)生脈沖電壓再經(jīng)隔離放大電路注入神經(jīng)元節(jié)點。兩條路線的差異直接決定實驗能跑多準、能跑多快。我這邊硬件端用的微控制器產(chǎn)生脈沖序列外接電平變換電路把3.3 V邏輯電平轉換成適合電路輸入幅度的雙極性電流脈沖。這里最容易被忽視的是脈沖寬度。算法層面生成的事件是無限窄的但硬件脈沖必須有寬度我按1 ms脈寬注入這直接限制了可分辨的脈沖間隔下限。如果平均發(fā)放率太高兩個間隔過近的脈沖會在硬件層被整形合并成單個脈沖這個失真必須靠統(tǒng)計校驗提前發(fā)現(xiàn)。每次更換輸入?yún)?shù)后我都在輸入端掛一個監(jiān)聽節(jié)點獨立記錄真實注入的脈沖串確保程序設定值和物理注入值一致。3.3 注入幅度、極性與耦合方式的再三確認脈沖注入不是簡單把電平接到電路上幅度、極性、耦合位置都要分開控制。興奮性突觸輸入按慣例用正電流脈沖抑制性輸入用負電流脈沖。這一輪實驗我主要做興奮性輸入通道注入幅度從0.5 μA掃到5 μA分8檔。幅度太低驅動不了放電太高直接把系統(tǒng)推向飽和中間那一段才是非線性響應最豐富的區(qū)域。耦合方式上我試過兩種位置直接注入膜電容節(jié)點和經(jīng)共振環(huán)節(jié)注入。前者繞過帶通濾波器單獨考察混沌系統(tǒng)本身對脈沖串的響應后者則包含完整鏈路。兩套數(shù)據(jù)對照能清楚看到共振環(huán)節(jié)帶來的差分效應。實際操作時我還加了一路模擬加法器把輸入脈沖和可調直流偏置疊加后共同注入這樣可以同時觀察偏置點變化對響應的影響。極少有文獻會寫這一步但它對判斷系統(tǒng)是否工作在分岔臨界區(qū)非常有幫助。4. 響應怎么度量從放電頻率到混沌狀態(tài)的三層評價體系4.1 第一層放電率與脈沖間隔分布統(tǒng)計反映系統(tǒng)對輸入響應的第一層指標是放電率統(tǒng)計固定窗口內輸出脈沖個數(shù)再除以窗口時長。這個指標看似簡單實際統(tǒng)計時必須小心窗口長度。窗口太短放電率波動劇烈噪聲主導窗口太長又會平滑掉間隔上的動態(tài)變化。我的做法是用500 ms滑動窗口、步長50 ms在多次實驗間做平均最終畫出來的放電率曲線才有可比性。除了總放電率輸出脈沖間隔分布的形態(tài)更有信息量?；煦缟窠?jīng)元對規(guī)則輸入容易產(chǎn)生近似等間隔放電對不規(guī)則輸入則可能出現(xiàn)間隔混合。把輸出間隔直方圖和輸入間隔直方圖疊在一起對比一眼能看出系統(tǒng)是在放大不規(guī)則性還是在整理不規(guī)則性。這層判斷雖然基礎卻能決定后續(xù)高級指標的解釋方向。比如某個數(shù)據(jù)點的排列熵異常升高如果基礎間隔統(tǒng)計顯示系統(tǒng)只是簡單跟隨輸入那高排列熵就不值得過度解讀。4.2 第二層鎖相指數(shù)與相位滑移規(guī)則輸入下最常見的響應模式是鎖相輸入脈沖和輸出脈沖之間存在穩(wěn)定的時間相位關系。不規(guī)則輸入下完美鎖相很難維持于是需要量化鎖相程度。我用的指標是vector strength即相位鎖定指數(shù)把輸出脈沖相對輸入脈沖的時間差折算到0到2π區(qū)間計算合成向量的平均長度取值0代表完全無鎖相1代表完全鎖相。實測下來輸入很不規(guī)則時vector strength會明顯下降但下降過程不是單調的中間存在平臺區(qū)。更值得關注的是相位滑移現(xiàn)象輸出脈沖相對輸入相位慢慢漂移積累到某個閾值后突然跳變一次。這類跳變在混沌電路里往往伴隨放電模式的切換背后對應相空間拓撲結構的變化。單位時間內跳變的次數(shù)比單純的平均鎖相值更能反映系統(tǒng)動態(tài)穩(wěn)定性。我后期分析時同時記錄兩個量鎖相指數(shù)和滑移次數(shù)兩者聯(lián)合使用才有解釋力。4.3 第三層排列熵、相關維數(shù)與Lyapunov指數(shù)前兩層指標回答輸出頻率多少、相位關系如何第三層回答輸出動力學處于什么狀態(tài)。排列熵是我用得最多的工具取嵌入維數(shù)m4、延遲τ取一個脈沖間隔把輸出時間序列轉成符號模式序列計算符號分布的信息熵。排列熵接近最大熵說明輸出模式復雜度高接近0說明序列趨于規(guī)則。配合輸入不規(guī)則度檔位一起看可以判斷混沌電路對輸入的模式復制能力。Lyapunov指數(shù)則給出更本質的判據(jù)。我用Benettin算法從實驗時間序列估計最大Lyapunov指數(shù)指數(shù)為正說明處于混沌態(tài)接近零或為負說明周期或準周期態(tài)。實測中我發(fā)現(xiàn)一個很有意思的情況最大Lyapunov指數(shù)接近零、排列熵又相對較高的區(qū)間往往對應響應最靈敏的輸入強度。這個區(qū)間比完全混沌態(tài)還要好用正好踩在混沌邊緣。因此我建議把這兩類指標放在一起看單一指標很容易誤導。層級指標回答的問題注意事項第一層放電率、間隔分布輸出數(shù)量與時間構成窗口長度影響統(tǒng)計可信度第二層鎖相指數(shù)、滑移次數(shù)是否鎖相、穩(wěn)定性如何需聯(lián)合使用單看易誤判第三層排列熵、最大Lyapunov指數(shù)輸出處于何種動力學狀態(tài)必須先校驗數(shù)值步長5. 仿真與實測中看到的三種關鍵現(xiàn)象5.1 中等強度輸入誘發(fā)的隨機共振效應第一個明確現(xiàn)象是輸入脈沖幅度從低到高掃描時輸出序列與輸入序列之間的相干性不是單調遞增而是先升后降出現(xiàn)一個明顯的峰值區(qū)間。我的相干性指標定義為輸出脈沖觸發(fā)平均后的峰值幅度除以背景標準差相當于一種信噪比度量。在注入幅度約2 μA的位置相干性達到最高前后各衰減。這條倒U形曲線正是隨機共振的典型特征。關鍵在于經(jīng)典隨機共振通常要求周期信號加噪聲而這里的輸入是純不規(guī)則脈沖串。得到倒U形曲線說明對混沌神經(jīng)元電路而言輸入脈沖幅度本身就扮演了類似噪聲強度的角色太弱時信息淹沒在電路固有漲落里太強時系統(tǒng)被大幅驅動而失去選擇性中間存在一個最佳工作點。這個發(fā)現(xiàn)直接影響后續(xù)參數(shù)選取我把后續(xù)實驗的注入幅度盡量壓在峰值點附近而不是盲目加大驅動。5.2 混沌邊緣效應離臨界點越近響應越敏感第二個現(xiàn)象與混沌強度參數(shù)有關。我把分段線性負阻斜率作為混沌旋鈕從周期態(tài)連續(xù)向深度混沌態(tài)調節(jié)每個狀態(tài)下測量輸入輸出相干性。結果在所有輸入強度檔位上相干性都在混沌態(tài)邊界附近出現(xiàn)局部最大值一旦深入混沌區(qū)內部相干性反而下降。這個趨勢一開始讓我不太敢相信因為混沌越強等于響應越強的直覺很有誘惑力但數(shù)據(jù)明確否定了這一點。反復檢查確認后我認定這是真實效應在混沌邊緣系統(tǒng)對輸入擾動最敏感略強或略弱的輸入會引起顯著的模式變化進入深度混沌后系統(tǒng)自身軌道的膨脹率太高輸入信息反而被自身的混沌運動掩蓋。這和神經(jīng)科學里關于臨界點附近信息處理能力增強的假說一致但也說明一個實際問題很多仿真里隨手把混沌參數(shù)調到最大追求看起來更混沌的做法在信息處理目標下并不劃算。5.3 不規(guī)則度升高后鎖相逐步瓦解的過程第三個現(xiàn)象來自改變輸入Gamma分布κ值的系列實驗。κ20、接近周期時電路展現(xiàn)清晰的鎖相放電間隔集中在少數(shù)幾個值上鎖相指數(shù)在0.8以上。κ降到5鎖相開始松散放電間隔直方圖明顯展寬。κ降到1、變成泊松序列時鎖相指數(shù)落到0.3以下輸出間隔分布幾乎與輸入間隔分布一樣連續(xù)。這符合不規(guī)則輸入打散鎖相的直覺。真正有意思的是κ繼續(xù)降到0.5、輸入變成強突發(fā)型之后。輸出并不簡單跟隨輸入的突發(fā)結構而是表現(xiàn)出間歇性自持振蕩一段時間跟隨輸入一段時間完全解耦?？聪辔换拼螖?shù)κ20時幾乎沒有滑移κ1時每分鐘幾十次κ0.5時反而減少。我的理解是突發(fā)輸入把能量集中在短時間包絡內共振環(huán)節(jié)的儲能效應讓電路在突發(fā)間隙維持自身振蕩從而隔斷了輸入影響。混沌、共振儲能和不規(guī)則脈動三者在這個現(xiàn)象里體現(xiàn)得最充分也正是這套系統(tǒng)區(qū)別于普通神經(jīng)元電路的獨特之處。6. 調試這類電路時最容易踩的坑6.1 初值敏感性同一組參數(shù)兩次實驗不一樣的根源混沌電路的默認屬性就是初值敏感。數(shù)值仿真里這個問題容易被忽略因為給定相同初值積分結果天然一致但硬件實測里電容的殘余電荷、運放的偏置電壓都會導致每次上電的初值不同于是相同參數(shù)下的兩次實驗輸出可能差出十萬八千里。我最初吃到這個虧時花了好幾天以為是接線問題最后才意識到系統(tǒng)本來就是這樣。對策分三層。第一每個工作點重復不少于20次用統(tǒng)計分布代替單次軌跡第二每次實驗前給膜電容節(jié)點一個統(tǒng)一清零初始化過程用固定時長、固定幅度的清零脈沖重置電路狀態(tài)把初值分布壓縮到較小范圍第三記錄數(shù)據(jù)時保留每條軌跡的若干早期狀態(tài)參數(shù)方便后期排查離群數(shù)據(jù)。三層做完可復現(xiàn)性從幾乎不可能提升到了誤差棒可以接受的級別。6.2 數(shù)值步長與假混沌如何判斷仿真可信仿真階段最大的陷阱是偽混沌。四階Runge-Kutta法用固定步長解這類系統(tǒng)步長取太大時數(shù)值耗散會呈現(xiàn)虛假混沌態(tài)或虛假周期態(tài)。我一開始用0.5 ms步長跑快速預掃得到一大片混沌結果后來把步長降到0.05 ms不少點直接變成了規(guī)則周期態(tài)。數(shù)值誤差被誤判成物理現(xiàn)象在混沌電路研究里不是個別情況尤其是剛開始接觸這個方向的人最容易中招。判斷可信度有兩個實用辦法。一是收斂性檢驗固定其他條件逐步縮小步長觀察最大Lyapunov指數(shù)和排列熵是否穩(wěn)定下來如果連續(xù)縮小步長結論還在變那之前的結論基本作廢。二是能量守恒粗檢對無輸入時段的系統(tǒng)總能量做觀察如果能量漂移明顯超過數(shù)值誤差范圍步長一定有問題。這兩條我現(xiàn)在做任何仿真前都先跑一遍省掉了無數(shù)后半夜的返工。6.3 器件噪聲、參數(shù)漂移與輸入噪聲的區(qū)分最后這個坑非常隱蔽。電路器件自身噪聲和輸入脈沖的不規(guī)則性在功率譜上都表現(xiàn)為寬頻成分一旦混在一起所有結論都會被污染。早期我直接把輸出端測到的噪聲認為是輸入引起的差點得出錯誤結論。后來在實驗流程里加入對照環(huán)節(jié)斷開輸入、保持電路同樣的工作狀態(tài)單獨記錄電路本底噪聲再接上輸入記錄總響應。兩段數(shù)據(jù)功率譜相減才是輸入真正貢獻的部分。另外運放偏置電流隨溫度漂移會讓負阻工作點慢慢移動長時間實驗時參數(shù)點會逐漸偏離初始設定。我每隔一段時間就回到基準參數(shù)點重新校準一次并把校準前后的數(shù)據(jù)分開標記。這套對照校準流程幫我剝離了至少三分之一的本底干擾也讓我對哪些現(xiàn)象是電路自身行為、哪些是輸入誘導結果有了更可靠的分界。做混沌神經(jīng)元電路實驗真正的難點往往不在搭建環(huán)節(jié)而在于分辨哪些變化該歸因于輸入、哪些變化只屬于電路本身。 共振混沌神經(jīng)元電路對不規(guī)則脈沖序列輸入的響應
做神經(jīng)形態(tài)電路這幾年我越來越覺得把輸入從整齊的規(guī)則脈沖換成雜亂的不規(guī)則脈沖序列才是真正考驗電路設計水平的時候。這次研究的共振混沌神經(jīng)元電路對不規(guī)則脈沖序列輸入的響應目標很直接搞清楚混沌、共振與隨機脈沖輸入同時作用時電路響應規(guī)律到底怎么變。文章內容不擺教科書推導講的是從模型選型、電路搭建、脈沖生成到指標刻畫全過程的實際操作適合正在搭混沌電路、做脈沖神經(jīng)網(wǎng)絡硬件或者想用非線性動力學手段分析神經(jīng)編碼的研究者和工程師參考。我把能落地、能復現(xiàn)的步驟和踩過的坑都寫出來希望幫你少走彎路。1. 為什么要把共振、混沌和脈沖輸入放到一個電路里1.1 真實神經(jīng)元的工作環(huán)境不規(guī)則脈沖才是常態(tài)大多數(shù)剛接觸神經(jīng)元模型的人習慣先從周期脈沖輸入學起因為周期輸入條件下很容易觀察到鎖相、頻率跟隨這些教科書式現(xiàn)象。但真實神經(jīng)系統(tǒng)里幾乎沒有哪個神經(jīng)元收到嚴格的周期脈沖串。皮層神經(jīng)元的輸入來自成千上萬個突觸前神經(jīng)元的疊加每個突觸前神經(jīng)元本身又在隨機放電所以突觸后神經(jīng)元實際感受到的輸入是高度不規(guī)則、近似隨機的時間序列。把這種不規(guī)則性當作基本背景而不是干擾是這類實驗的出發(fā)點。我最早做規(guī)則脈沖串實驗時數(shù)據(jù)漂亮得讓人上癮放電間隔幾乎落在同一個值附近鎖相指標也好看到可以直接寫論文?？梢坏Q成泊松分布的脈沖間隔同一個電路的輸出立刻變得一團亂麻。當時的第一反應是電路出問題了排查了很久才發(fā)現(xiàn)不是電路壞了而是系統(tǒng)本身在隨機輸入下的行為就會呈現(xiàn)全新的復雜度。這個認知轉變很關鍵研究共振混沌神經(jīng)元電路不能只停留在規(guī)則輸入混沌輸出的簡化圖景里必須把不規(guī)則脈沖序列作為標準輸入條件來看待。1.2 混沌不是亂而是神經(jīng)計算的一種資源很多人聽到混沌兩個字直覺認為是隨機、不穩(wěn)定、沒法控制。但非線性動力學里的混沌是一種確定性的非周期行為系統(tǒng)看似不可預測實際由確定方程支配。對神經(jīng)元電路來說混沌狀態(tài)的核心價值在于對外部輸入的敏感性。一個很小的輸入差別經(jīng)過混沌吸引子的拉伸折疊可以被放大成完全不同的放電模式。用生活化的話說規(guī)則狀態(tài)像一臺老實的機器輸入什么就大致輸出什么混沌狀態(tài)像一匹有力量的野馬對每一下刺激都反應過度但這種過度反應恰恰能在復雜輸入下提供更豐富的編碼空間。但混沌也帶來了麻煩。同一套電路參數(shù)換一塊運放、溫度變化幾度、電容殘余電荷不同都可能讓工作點從混沌區(qū)漂移到周期區(qū)。研究這類電路統(tǒng)計重復必須成為實驗設計的默認環(huán)節(jié)而不是出現(xiàn)問題之后的補救措施。我后面會專門講初值敏感和參數(shù)漂移的處理方式這里先立一個原則單次波形不代表系統(tǒng)行為統(tǒng)計分布才代表系統(tǒng)行為。1.3 共振機制與混沌的交互值得單獨做一輪實驗共振在物理里很直觀當驅動頻率接近系統(tǒng)固有頻率時響應幅度會急劇增大。神經(jīng)形態(tài)電路里的共振通常有兩個層面。一個是線性諧振帶來的頻率選擇性比如RLC回路在特定頻率附近增益最高另一個是隨機共振現(xiàn)象即合適強度的噪聲反而能幫助系統(tǒng)檢測微弱信號。把這兩層共振疊到混沌神經(jīng)元上問題就變得有意思了混沌本身有寬帶功率譜共振環(huán)節(jié)有窄帶選擇特性不規(guī)則脈沖輸入又相當于覆蓋寬頻范圍的驅動源三者同時存在時系統(tǒng)響應不再是簡單的放大關系而是多種頻率分量的競爭與協(xié)作。查資料時能看到不少文獻報道混沌系統(tǒng)在合適的隨機輸入強度下會表現(xiàn)出類似隨機共振的信號增強效應。但我們這里的輸入并不是周期信號噪聲而是純不規(guī)則脈沖串。能不能觀察到同類效應需要實驗數(shù)據(jù)說話。這也正是我做這個實驗的動機不去重復經(jīng)典隨機共振實驗而是測試混沌加共振的神經(jīng)元電路面對真實不規(guī)則輸入時信息通道到底是打開還是關閉。2. 電路模型構建從神經(jīng)元方程到可搭接的拓撲2.1 神經(jīng)元電路基座選擇哪種模型做主體神經(jīng)元電路候選模型很多我最終選的是Izhikevich型主體加一條額外混沌支路。選它的理由很實際參數(shù)少、方程不復雜、硬件上只需要一個電容、兩個運算放大器加若干線性電阻就能實現(xiàn)。而且Izhikevich模型既能復現(xiàn)規(guī)則的單峰放電也能復現(xiàn)bursting爆發(fā)放電正好對應實驗需要的兩種基礎狀態(tài)。如果追更復雜的慢變量動力學Hindmarsh-Rose模型也可以但硬件元器件明顯增多調試成本會成倍上升?；A參數(shù)我標定過一套自己常用的組合膜電容C_m取10 nF膜電壓相關的比例電阻取100 kΩ級別恢復變量的時間常數(shù)由串聯(lián)電容決定整體放電頻率落在幾十赫茲量級。這里有一條經(jīng)驗先在小面包板上搭通確認波形符合預期之后再轉PCB布局?；煦珉娐氛{試過程中元器件替換頻率非常高直接上PCB反而拖慢進度而且改一次板子的成本遠高于多插幾根跳線。2.2 混沌從哪里來非線性負阻與等效電感要讓神經(jīng)元電路進入混沌至少需要一個非線性環(huán)節(jié)加一個額外儲能環(huán)節(jié)。我采用的是分段線性負阻加等效電感方案。負阻用運算放大器和電阻網(wǎng)絡構造成三段式分段線性I-V特性曲線等效電感用電容加運放的回轉器結構實現(xiàn)。這樣避免了體積龐大的真實電感也減少雜散磁場的干擾板上布線會干凈很多。關鍵參數(shù)有兩個負阻曲線中間段的斜率以及等效電感值。仿真里我掃過一組典型取值負阻段斜率從-1.5 mS調到-4 mS的過程中系統(tǒng)經(jīng)歷了周期態(tài)、倍周期分岔到混沌態(tài)的多次切換等效電感值在幾十毫亨范圍內配合膜電容決定了混沌吸引子的主要頻率成分。硬件上調這兩個參數(shù)非常直觀負阻斜率靠更換反饋電阻實現(xiàn)等效電感值靠更換回轉器里的電容實現(xiàn)。每次換件后都要重新觀察示波器上的相圖確認工作點是否還在目標區(qū)域內。2.3 共振環(huán)節(jié)怎么加進去參數(shù)設計與頻率匹配共振環(huán)節(jié)我對比過無源RLC并聯(lián)諧振和有源帶通濾波兩種方案最后選了有源帶通。原因很簡單有源帶通的Q值可調、中心頻率可獨立設置不用為每一檔輸入頻率重新匹配電感。電路上加在輸入脈沖注入節(jié)點和神經(jīng)元膜電容之間相當于在信號通路上做一次頻率預選。中心頻率的設定參照了神經(jīng)元電路混沌態(tài)的主功率頻率。當時用頻譜分析觀察到混沌放電的主要能量集中在8 Hz到20 Hz區(qū)間我就把帶通中心頻率設為15 HzQ值先取5后續(xù)從2到12掃描觀察系統(tǒng)響應差異。輸入脈沖本身是寬頻信號經(jīng)過共振環(huán)節(jié)后接近中心頻率的分量被放大遠離的則被衰減。這樣在保持外部脈沖序列不變的前提下我能獨立考察頻率匹配程度對響應的影響這也是后續(xù)分析共振峰偏移現(xiàn)象的基礎。環(huán)節(jié)參數(shù)典型取值調節(jié)影響膜電容C_m10 nF決定神經(jīng)元時間尺度等效電感L_eq2060 mH影響混沌吸引子頻率成分負阻斜率g_N-1.5-4 mS控制混沌強度與分岔路徑帶通中心頻率f_015 Hz共振頻率匹配點帶通Q值Q212頻率選擇性寬窄3. 不規(guī)則脈沖序列的生成與注入這一環(huán)節(jié)決定實驗的上限3.1 什么是不規(guī)則泊松序列與Gamma序列的差別不規(guī)則脈沖序列嚴格說是由一系列觸發(fā)時刻構成的點過程。最常用的是泊松過程脈沖間隔相互獨立、都服從指數(shù)分布平均發(fā)放率恒定脈沖串看起來完全隨機。比它更復雜的是Gamma間隔分布形狀參數(shù)κ控制不規(guī)則程度。κ1時退化為泊松過程κ遠大于1時接近周期κ遠小于1時能模擬突發(fā)性爆發(fā)。做這個實驗必須明白一點不規(guī)則不是簡單地把周期信號加抖動關鍵在間隔分布的統(tǒng)計特性本身。我前期仿真用了三檔輸入泊松序列、弱規(guī)則的Gamma序列、強不規(guī)則的Gamma突發(fā)序列。對比三檔數(shù)據(jù)就能分離輸入隨機性程度這一個變量。硬件測試階段考慮到生成高精度Gamma分布的實現(xiàn)成本我先用泊松序列跑通整體鏈路之后再加突發(fā)模式對照。這里給一段生成泊松脈沖時間戳的基礎代碼事件間隔嚴格按照指數(shù)分布生成import numpy as np rate 20.0 # 平均發(fā)放率單位 Hz duration 10.0 # 持續(xù)時間單位 s rng np.random.default_rng(42) isi rng.exponential(1.0 / rate, sizeint(rate * duration)) spike_times np.cumsum(isi) spike_times spike_times[spike_times duration]固定隨機種子這點極其重要?；煦珉娐繁旧砭统踔得舾腥绻斎胄蛄械碾S機種子不固定兩次實驗之間既換了輸入又換了初值出什么問題都說不清。固定種子至少能保證輸入源這一側是可復現(xiàn)的。3.2 硬件注入與軟件仿真注入的差異同樣的數(shù)學模型在純仿真和硬件實測里走的路徑完全不同。軟件仿真用事件驅動方式生成時間戳序列直接作為電流源項驅動微分方程精度只受積分算法控制。硬件實測則需要真實脈沖發(fā)生器或者微控制器加數(shù)模轉換產(chǎn)生脈沖電壓再經(jīng)隔離放大電路注入神經(jīng)元節(jié)點。兩條路線的差異直接決定實驗能跑多準、能跑多快。我這邊硬件端用的微控制器產(chǎn)生脈沖序列外接電平變換電路把3.3 V邏輯電平轉換成適合電路輸入幅度的雙極性電流脈沖。這里最容易被忽視的是脈沖寬度。算法層面生成的事件是無限窄的但硬件脈沖必須有寬度我按1 ms脈寬注入這直接限制了可分辨的脈沖間隔下限。如果平均發(fā)放率太高兩個間隔過近的脈沖會在硬件層被整形合并成單個脈沖這個失真必須靠統(tǒng)計校驗提前發(fā)現(xiàn)。每次更換輸入?yún)?shù)后我都在輸入端掛一個監(jiān)聽節(jié)點獨立記錄真實注入的脈沖串確保程序設定值和物理注入值一致。3.3 注入幅度、極性與耦合方式的再三確認脈沖注入不是簡單把電平接到電路上幅度、極性、耦合位置都要分開控制。興奮性突觸輸入按慣例用正電流脈沖抑制性輸入用負電流脈沖。這一輪實驗我主要做興奮性輸入通道注入幅度從0.5 μA掃到5 μA分8檔。幅度太低驅動不了放電太高直接把系統(tǒng)推向飽和中間那一段才是非線性響應最豐富的區(qū)域。耦合方式上我試過兩種位置直接注入膜電容節(jié)點和經(jīng)共振環(huán)節(jié)注入。前者繞過帶通濾波器單獨考察混沌系統(tǒng)本身對脈沖串的響應后者則包含完整鏈路。兩套數(shù)據(jù)對照能清楚看到共振環(huán)節(jié)帶來的差分效應。實際操作時我還加了一路模擬加法器把輸入脈沖和可調直流偏置疊加后共同注入這樣可以同時觀察偏置點變化對響應的影響。極少有文獻會寫這一步但它對判斷系統(tǒng)是否工作在分岔臨界區(qū)非常有幫助。4. 響應怎么度量從放電頻率到混沌狀態(tài)的三層評價體系4.1 第一層放電率與脈沖間隔分布統(tǒng)計反映系統(tǒng)對輸入響應的第一層指標是放電率統(tǒng)計固定窗口內輸出脈沖個數(shù)再除以窗口時長。這個指標看似簡單實際統(tǒng)計時必須小心窗口長度。窗口太短放電率波動劇烈噪聲主導窗口太長又會平滑掉間隔上的動態(tài)變化。我的做法是用500 ms滑動窗口、步長50 ms在多次實驗間做平均最終畫出來的放電率曲線才有可比性。除了總放電率輸出脈沖間隔分布的形態(tài)更有信息量?；煦缟窠?jīng)元對規(guī)則輸入容易產(chǎn)生近似等間隔放電對不規(guī)則輸入則可能出現(xiàn)間隔混合。把輸出間隔直方圖和輸入間隔直方圖疊在一起對比一眼能看出系統(tǒng)是在放大不規(guī)則性還是在整理不規(guī)則性。這層判斷雖然基礎卻能決定后續(xù)高級指標的解釋方向。比如某個數(shù)據(jù)點的排列熵異常升高如果基礎間隔統(tǒng)計顯示系統(tǒng)只是簡單跟隨輸入那高排列熵就不值得過度解讀。4.2 第二層鎖相指數(shù)與相位滑移規(guī)則輸入下最常見的響應模式是鎖相輸入脈沖和輸出脈沖之間存在穩(wěn)定的時間相位關系。不規(guī)則輸入下完美鎖相很難維持于是需要量化鎖相程度。我用的指標是vector strength即相位鎖定指數(shù)把輸出脈沖相對輸入脈沖的時間差折算到0到2π區(qū)間計算合成向量的平均長度取值0代表完全無鎖相1代表完全鎖相。實測下來輸入很不規(guī)則時vector strength會明顯下降但下降過程不是單調的中間存在平臺區(qū)。更值得關注的是相位滑移現(xiàn)象輸出脈沖相對輸入相位慢慢漂移積累到某個閾值后突然跳變一次。這類跳變在混沌電路里往往伴隨放電模式的切換背后對應相空間拓撲結構的變化。單位時間內跳變的次數(shù)比單純的平均鎖相值更能反映系統(tǒng)動態(tài)穩(wěn)定性。我后期分析時同時記錄兩個量鎖相指數(shù)和滑移次數(shù)兩者聯(lián)合使用才有解釋力。4.3 第三層排列熵、相關維數(shù)與Lyapunov指數(shù)前兩層指標回答輸出頻率多少、相位關系如何第三層回答輸出動力學處于什么狀態(tài)。排列熵是我用得最多的工具取嵌入維數(shù)m4、延遲τ取一個脈沖間隔把輸出時間序列轉成符號模式序列計算符號分布的信息熵。排列熵接近最大熵說明輸出模式復雜度高接近0說明序列趨于規(guī)則。配合輸入不規(guī)則度檔位一起看可以判斷混沌電路對輸入的模式復制能力。Lyapunov指數(shù)則給出更本質的判據(jù)。我用Benettin算法從實驗時間序列估計最大Lyapunov指數(shù)指數(shù)為正說明處于混沌態(tài)接近零或為負說明周期或準周期態(tài)。實測中我發(fā)現(xiàn)一個很有意思的情況最大Lyapunov指數(shù)接近零、排列熵又相對較高的區(qū)間往往對應響應最靈敏的輸入強度。這個區(qū)間比完全混沌態(tài)還要好用正好踩在混沌邊緣。因此我建議把這兩類指標放在一起看單一指標很容易誤導。層級指標回答的問題注意事項第一層放電率、間隔分布輸出數(shù)量與時間構成窗口長度影響統(tǒng)計可信度第二層鎖相指數(shù)、滑移次數(shù)是否鎖相、穩(wěn)定性如何需聯(lián)合使用單看易誤判第三層排列熵、最大Lyapunov指數(shù)輸出處于何種動力學狀態(tài)必須先校驗數(shù)值步長5. 仿真與實測中看到的三種關鍵現(xiàn)象5.1 中等強度輸入誘發(fā)的隨機共振效應第一個明確現(xiàn)象是輸入脈沖幅度從低到高掃描時輸出序列與輸入序列之間的相干性不是單調遞增而是先升后降出現(xiàn)一個明顯的峰值區(qū)間。我的相干性指標定義為輸出脈沖觸發(fā)平均后的峰值幅度除以背景標準差相當于一種信噪比度量。在注入幅度約2 μA的位置相干性達到最高前后各衰減。這條倒U形曲線正是隨機共振的典型特征。關鍵在于經(jīng)典隨機共振通常要求周期信號加噪聲而這里的輸入是純不規(guī)則脈沖串。得到倒U形曲線說明對混沌神經(jīng)元電路而言輸入脈沖幅度本身就扮演了類似噪聲強度的角色太弱時信息淹沒在電路固有漲落里太強時系統(tǒng)被大幅驅動而失去選擇性中間存在一個最佳工作點。這個發(fā)現(xiàn)直接影響后續(xù)參數(shù)選取我把后續(xù)實驗的注入幅度盡量壓在峰值點附近而不是盲目加大驅動。5.2 混沌邊緣效應離臨界點越近響應越敏感第二個現(xiàn)象與混沌強度參數(shù)有關。我把分段線性負阻斜率作為混沌旋鈕從周期態(tài)連續(xù)向深度混沌態(tài)調節(jié)每個狀態(tài)下測量輸入輸出相干性。結果在所有輸入強度檔位上相干性都在混沌態(tài)邊界附近出現(xiàn)局部最大值一旦深入混沌區(qū)內部相干性反而下降。這個趨勢一開始讓我不太敢相信因為混沌越強等于響應越強的直覺很有誘惑力但數(shù)據(jù)明確否定了這一點。反復檢查確認后我認定這是真實效應在混沌邊緣系統(tǒng)對輸入擾動最敏感略強或略弱的輸入會引起顯著的模式變化進入深度混沌后系統(tǒng)自身軌道的膨脹率太高輸入信息反而被自身的混沌運動掩蓋。這和神經(jīng)科學里關于臨界點附近信息處理能力增強的假說一致但也說明一個實際問題很多仿真里隨手把混沌參數(shù)調到最大追求看起來更混沌的做法在信息處理目標下并不劃算。5.3 不規(guī)則度升高后鎖相逐步瓦解的過程第三個現(xiàn)象來自改變輸入Gamma分布κ值的系列實驗。κ20、接近周期時電路展現(xiàn)清晰的鎖相放電間隔集中在少數(shù)幾個值上鎖相指數(shù)在0.8以上。κ降到5鎖相開始松散放電間隔直方圖明顯展寬。κ降到1、變成泊松序列時鎖相指數(shù)落到0.3以下輸出間隔分布幾乎與輸入間隔分布一樣連續(xù)。這符合不規(guī)則輸入打散鎖相的直覺。真正有意思的是κ繼續(xù)降到0.5、輸入變成強突發(fā)型之后。輸出并不簡單跟隨輸入的突發(fā)結構而是表現(xiàn)出間歇性自持振蕩一段時間跟隨輸入一段時間完全解耦?？聪辔换拼螖?shù)κ20時幾乎沒有滑移κ1時每分鐘幾十次κ0.5時反而減少。我的理解是突發(fā)輸入把能量集中在短時間包絡內共振環(huán)節(jié)的儲能效應讓電路在突發(fā)間隙維持自身振蕩從而隔斷了輸入影響。混沌、共振儲能和不規(guī)則脈動三者在這個現(xiàn)象里體現(xiàn)得最充分也正是這套系統(tǒng)區(qū)別于普通神經(jīng)元電路的獨特之處。6. 調試這類電路時最容易踩的坑6.1 初值敏感性同一組參數(shù)兩次實驗不一樣的根源混沌電路的默認屬性就是初值敏感。數(shù)值仿真里這個問題容易被忽略因為給定相同初值積分結果天然一致但硬件實測里電容的殘余電荷、運放的偏置電壓都會導致每次上電的初值不同于是相同參數(shù)下的兩次實驗輸出可能差出十萬八千里。我最初吃到這個虧時花了好幾天以為是接線問題最后才意識到系統(tǒng)本來就是這樣。對策分三層。第一每個工作點重復不少于20次用統(tǒng)計分布代替單次軌跡第二每次實驗前給膜電容節(jié)點一個統(tǒng)一清零初始化過程用固定時長、固定幅度的清零脈沖重置電路狀態(tài)把初值分布壓縮到較小范圍第三記錄數(shù)據(jù)時保留每條軌跡的若干早期狀態(tài)參數(shù)方便后期排查離群數(shù)據(jù)。三層做完可復現(xiàn)性從幾乎不可能提升到了誤差棒可以接受的級別。6.2 數(shù)值步長與假混沌如何判斷仿真可信仿真階段最大的陷阱是偽混沌。四階Runge-Kutta法用固定步長解這類系統(tǒng)步長取太大時數(shù)值耗散會呈現(xiàn)虛假混沌態(tài)或虛假周期態(tài)。我一開始用0.5 ms步長跑快速預掃得到一大片混沌結果后來把步長降到0.05 ms不少點直接變成了規(guī)則周期態(tài)。數(shù)值誤差被誤判成物理現(xiàn)象在混沌電路研究里不是個別情況尤其是剛開始接觸這個方向的人最容易中招。判斷可信度有兩個實用辦法。一是收斂性檢驗固定其他條件逐步縮小步長觀察最大Lyapunov指數(shù)和排列熵是否穩(wěn)定下來如果連續(xù)縮小步長結論還在變那之前的結論基本作廢。二是能量守恒粗檢對無輸入時段的系統(tǒng)總能量做觀察如果能量漂移明顯超過數(shù)值誤差范圍步長一定有問題。這兩條我現(xiàn)在做任何仿真前都先跑一遍省掉了無數(shù)后半夜的返工。6.3 器件噪聲、參數(shù)漂移與輸入噪聲的區(qū)分最后這個坑非常隱蔽。電路器件自身噪聲和輸入脈沖的不規(guī)則性在功率譜上都表現(xiàn)為寬頻成分一旦混在一起所有結論都會被污染。早期我直接把輸出端測到的噪聲認為是輸入引起的差點得出錯誤結論。后來在實驗流程里加入對照環(huán)節(jié)斷開輸入、保持電路同樣的工作狀態(tài)單獨記錄電路本底噪聲再接上輸入記錄總響應。兩段數(shù)據(jù)功率譜相減才是輸入真正貢獻的部分。另外運放偏置電流隨溫度漂移會讓負阻工作點慢慢移動長時間實驗時參數(shù)點會逐漸偏離初始設定。我每隔一段時間就回到基準參數(shù)點重新校準一次并把校準前后的數(shù)據(jù)分開標記。這套對照校準流程幫我剝離了至少三分之一的本底干擾也讓我對哪些現(xiàn)象是電路自身行為、哪些是輸入誘導結果有了更可靠的分界。做混沌神經(jīng)元電路實驗真正的難點往往不在搭建環(huán)節(jié)而在于分辨哪些變化該歸因于輸入、哪些變化只屬于電路本身。