做控制的同學(xué)對(duì)滑模控制SMC的第一印象往往是魯棒性強(qiáng)、動(dòng)態(tài)響應(yīng)快、但那一堆參數(shù)用起來(lái)是真麻煩。傳統(tǒng)方法里滑模面的斜率、指數(shù)趨近律的系數(shù)、切換增益基本靠試湊和經(jīng)驗(yàn)換一個(gè)被控對(duì)象或者工況就得重新調(diào)一遍費(fèi)時(shí)費(fèi)力還不一定拿得到最優(yōu)解。也正是這個(gè)痛點(diǎn)讓“基于深度學(xué)習(xí)把調(diào)參這件事自動(dòng)化”成了很多人瞄上的方向。這個(gè)項(xiàng)目標(biāo)題最核心的落點(diǎn)是基于深度確定性策略梯度算法DDPG強(qiáng)化學(xué)習(xí)的滑?？刂芐MC自適應(yīng)調(diào)參優(yōu)化算法Simulink仿真。拆開(kāi)看就是三條線一是用滑模控制器去控制某個(gè)被控對(duì)象二是利用DDPG強(qiáng)化學(xué)習(xí)算法根據(jù)系統(tǒng)狀態(tài)在線調(diào)整SMC控制器的關(guān)鍵參數(shù)三是整條閉環(huán)鏈路由Simulink環(huán)境承載訓(xùn)練和驗(yàn)證。簡(jiǎn)單講就是訓(xùn)練一個(gè)智能體替你把滑模控制器的增益和收斂系數(shù)調(diào)好調(diào)參這件事從“人工試錯(cuò)”變成“自動(dòng)學(xué)習(xí)”。這篇博文會(huì)把DDPG和SMC耦合起來(lái)的設(shè)計(jì)思路、原理拆解、Simulink搭建步驟、以及我踩過(guò)的一些坑都整理出來(lái)適合正在做智能控制、自適應(yīng)控制方向或者剛準(zhǔn)備用強(qiáng)化學(xué)習(xí)工具箱做控制器設(shè)計(jì)的人參考。老規(guī)矩先講清楚整體設(shè)計(jì)再逐層拆原理最后給實(shí)操和排錯(cuò)經(jīng)驗(yàn)。1. 整體設(shè)計(jì)拆解DDPG SMC 到底解決什么問(wèn)題1.1 SMC 控制器手動(dòng)調(diào)參的三道坎滑?？刂齐m然對(duì)參數(shù)攝動(dòng)和外擾有天然的不變性但它的控制效果極度依賴幾個(gè)關(guān)鍵參數(shù)滑模面斜率、趨近律中的冪次和增益、切換項(xiàng)幅值。實(shí)際工程里痛點(diǎn)非常集中。第一道坎是參數(shù)相互耦合?；Ｃ嫘甭势髸?huì)讓系統(tǒng)更快收斂但微分噪聲會(huì)被放大切換增益太大能壓制擾動(dòng)但抖振也跟著變大趨近律系數(shù)調(diào)快了超調(diào)量又會(huì)冒出來(lái)。這幾個(gè)參數(shù)不是獨(dú)立優(yōu)化關(guān)系它們共同決定系統(tǒng)的動(dòng)態(tài)品質(zhì)單獨(dú)看任何一個(gè)都不行。第二道坎是工況魯棒性差。一組在某工作點(diǎn)調(diào)好的參數(shù)到了負(fù)載變化、參數(shù)漂移的工況下表現(xiàn)可能明顯下滑理想做法是參數(shù)要能跟著工況在線變。第三道坎是試湊成本高。每次實(shí)驗(yàn)都要改參數(shù)、跑仿真、看響應(yīng)曲線迭代一輪光是人工盯圖就得不少時(shí)間多變量系統(tǒng)更是折磨。這三道坎就指向了一個(gè)明確的“自適應(yīng)調(diào)參”場(chǎng)景需要一個(gè)決策器它能在每一個(gè)控制周期根據(jù)系統(tǒng)狀態(tài)給出合適的SMC控制器參數(shù)且這個(gè)決策器要能應(yīng)對(duì)連續(xù)狀態(tài)空間中的連續(xù)決策問(wèn)題。而DDPG剛好就是這類問(wèn)題里的標(biāo)準(zhǔn)解決方案之一。1.2 為什么是 DDPG而不是 Q-Learning 或 PPO參數(shù)調(diào)優(yōu)本質(zhì)上是一個(gè)連續(xù)動(dòng)作空間的決策問(wèn)題。SMC 的滑模面斜率、趨近律系數(shù)都是連續(xù)量不是“開(kāi)/關(guān)”“大/小”這樣的離散選項(xiàng)。如果硬用 DQN 這類離散動(dòng)作算法要么把參數(shù)空間粗暴離散化精度受限維度一高動(dòng)作爆炸要么就得精心設(shè)計(jì)動(dòng)作集合把原本連續(xù)的設(shè)計(jì)自由度重新人為框死。PPO 雖然也能處理連續(xù)動(dòng)作但它是 on-policy 算法樣本效率偏低每次策略更新之后還得重新采集數(shù)據(jù)。在 Simulink 仿真環(huán)境里一次采樣本身就包含完整的動(dòng)力系統(tǒng)數(shù)值積分成本不低。DDPG 作為 off-policy 算法借助經(jīng)驗(yàn)回放池能反復(fù)利用歷史數(shù)據(jù)樣本利用效率和實(shí)際工程落地體驗(yàn)都要好不少。另外DDPG 采用 Actor-Critic 架構(gòu)因?yàn)橛写_定性策略在連續(xù)動(dòng)作空間里訓(xùn)練穩(wěn)定性相對(duì)更好控制。相比直接用強(qiáng)化學(xué)習(xí)輸出一整條控制律曲線DDPG 負(fù)責(zé)的是“輸出控制器參數(shù)”控制本身仍然交給 SMC這也大大降低了訓(xùn)練難度——智能體要學(xué)的不是從零構(gòu)建控制信號(hào)而是調(diào)節(jié)幾個(gè)物理含義明確的參數(shù)。注意這個(gè)項(xiàng)目里 RL 的定位是“自整定器”不是替代控制器本身。SMC 保證控制系統(tǒng)的穩(wěn)定性和魯棒性DDPG 負(fù)責(zé)根據(jù)實(shí)時(shí)狀態(tài)修正 SMC 的參數(shù)兩者各干各的專業(yè)活耦合度低、可解釋性強(qiáng)。2. 核心技術(shù)原理滑模面與 Actor-Critic 網(wǎng)絡(luò)兩套邏輯怎么嵌套2.1 SMC 控制律的構(gòu)成與穩(wěn)定性條件先把 SMC 這邊說(shuō)透。對(duì)一個(gè)常見(jiàn)的二階非線性系統(tǒng)滑模面通常設(shè)計(jì)為跟蹤誤差的線性組合s ? λ·e其中 e 是系統(tǒng)跟蹤誤差λ 是滑模面斜率?；Ｃ鏋榱銜r(shí)系統(tǒng)誤差按照指數(shù)收斂收斂速度由 λ 決定?？刂坡梢话悴鸪蓛身?xiàng)等效控制項(xiàng)和切換控制項(xiàng)。等效控制用于把系統(tǒng)狀態(tài)保持在滑模面上切換控制用于克服不確定性把狀態(tài)推回滑模面。典型的指數(shù)趨近律是? -ε·sign(s) - k·s對(duì)應(yīng)的控制量 u 里就帶上了切換增益 ε 和線性趨近增益 k。k 越大狀態(tài)逼近滑模面的速度越快ε 越大抗干擾能力越強(qiáng)但抖振也越劇烈。穩(wěn)定性分析依賴?yán)钛牌罩Z夫函數(shù) V 0.5s2只要保證 V? s·? ≤ 0系統(tǒng)就能在設(shè)計(jì)好的滑模面上穩(wěn)定滑動(dòng)。這里值得專門說(shuō)明的一點(diǎn)是仿真中離散化方式對(duì) SMC 穩(wěn)定性有直接影響。連續(xù)域的趨近律在離散域里不一定滿足同樣的到達(dá)條件采樣周期過(guò)大會(huì)導(dǎo)致“穿越滑模面”后無(wú)法及時(shí)拉回抖振幅度明顯增大。所以仿真步長(zhǎng)的取值必須結(jié)合 DDPG 的動(dòng)作更新頻率一起考慮這一點(diǎn)后面實(shí)操部分會(huì)詳細(xì)展開(kāi)。2.2 DDPG 的四個(gè)關(guān)鍵機(jī)制Actor、Critic、經(jīng)驗(yàn)回放、目標(biāo)網(wǎng)絡(luò)DDPG 屬于深度強(qiáng)化學(xué)習(xí)里的 actor-critic 連續(xù)控制算法核心是四個(gè)部分。Actor 網(wǎng)絡(luò)負(fù)責(zé)做“決策”輸入是系統(tǒng)觀測(cè)狀態(tài)輸出是確定性動(dòng)作放在這個(gè)項(xiàng)目里就是SMC的參數(shù)向量λ, k, ε。Critic 網(wǎng)絡(luò)負(fù)責(zé)做“評(píng)價(jià)”輸入是觀測(cè)和動(dòng)作輸出 Q 值衡量這個(gè)動(dòng)作在當(dāng)前狀態(tài)下到底值多少。訓(xùn)練時(shí) critic 提供價(jià)值信號(hào)引導(dǎo) actor 往高 Q 值方向更新。經(jīng)驗(yàn)回放是 DDPG 樣本效率高的原因之一。仿真過(guò)程中的大量轉(zhuǎn)移樣本狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)、下一狀態(tài)存入回放池訓(xùn)練時(shí)隨機(jī)采一個(gè)小批量數(shù)據(jù)來(lái)更新網(wǎng)絡(luò)這打破了樣本之間的時(shí)間相關(guān)性也避免了策略剛更新就立刻被自己生成的新數(shù)據(jù)帶偏。目標(biāo)網(wǎng)絡(luò)則是穩(wěn)定性的關(guān)鍵。DDPG 給 actor 和 critic 各配了一個(gè)緩慢更新的目標(biāo)網(wǎng)絡(luò)在計(jì)算目標(biāo) Q 值時(shí)用目標(biāo)網(wǎng)絡(luò)輸出而不是用當(dāng)前網(wǎng)絡(luò)避免 Q 值估計(jì)自舉得過(guò)于劇烈。目標(biāo)網(wǎng)絡(luò)參數(shù)通常按“軟更新”方式每步漸進(jìn)逼近當(dāng)前網(wǎng)絡(luò)更新系數(shù) τ 取值在 0.001~0.01 之間這個(gè)參數(shù)直接關(guān)系訓(xùn)練穩(wěn)定性。探索機(jī)制上DDPG 采取的是確定性策略加噪聲的方式典型做法是添加 Ornstein-Uhlenbeck 噪聲因?yàn)?OU 噪聲是時(shí)間相關(guān)的能讓輸出動(dòng)作持續(xù)在一段時(shí)間內(nèi)偏向某個(gè)方向更符合實(shí)際物理控制系統(tǒng)的探索需求。仿真調(diào)試時(shí)OU 噪聲的 σ 和 θ 參數(shù)會(huì)直接影響探索力度后面會(huì)單獨(dú)說(shuō)。2.3 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)DDPG 調(diào)參好壞的唯一標(biāo)尺整個(gè)耦合設(shè)計(jì)里最容易被忽略但最影響效果的其實(shí)是獎(jiǎng)勵(lì)函數(shù)。很多第一次做的人上來(lái)就獎(jiǎng)勵(lì)函數(shù)寫得很隨意結(jié)果訓(xùn)練出來(lái)一個(gè)“能收斂但行為很奇怪”的智能體然后到處懷疑模型結(jié)構(gòu)有問(wèn)題。這個(gè)場(chǎng)景里獎(jiǎng)勵(lì)函數(shù)至少要納入三方面信息跟蹤誤差、滑模面狀態(tài)、控制量強(qiáng)度。我常用的形式是R -( w1·e2 w2·s2 w3·u2 ) bonus(s)其中 e2 懲罰跟蹤誤差讓智能體優(yōu)先保證控制精度s2 懲罰距離滑模面的偏差驅(qū)動(dòng)參數(shù)讓系統(tǒng)真的“滑”起來(lái)u2 懲罰過(guò)強(qiáng)的控制能量防止智能體為了快速收斂把參數(shù)推到極大值導(dǎo)致輸入飽和。bonus(s) 是當(dāng)滑模面絕對(duì)值小于某個(gè)閾值時(shí)給的正獎(jiǎng)勵(lì)用來(lái)加速策略朝“進(jìn)入滑模狀態(tài)”的方向收斂。權(quán)重 w1、w2、w3 的配比需要根據(jù)被控對(duì)象量綱來(lái)定。比如位置誤差的量級(jí)是 0.1誤差平方就是 0.01控制量量級(jí)可能是 50平方就是 2500不歸一化的話控制量懲罰會(huì)把另外兩項(xiàng)吞沒(méi)訓(xùn)練基本上只會(huì)學(xué)到“把控制量壓到最小”這種沒(méi)用的行為。正確做法是先歸一化或者干脆把獎(jiǎng)勵(lì)寫成誤差和控制量的標(biāo)稱化比值形式。3. Simulink 仿真模型搭建與訓(xùn)練實(shí)操3.1 整體模型結(jié)構(gòu)與控制律實(shí)現(xiàn)Simulink 搭建這個(gè)系統(tǒng)時(shí)我建議按三個(gè)模塊來(lái)組織被控對(duì)象模塊、SMC 控制器模塊、DDPG 決策模塊。被控對(duì)象直接用傳遞函數(shù)或者狀態(tài)空間建模。以最簡(jiǎn)單的二階系統(tǒng)為例可以是典型的位置伺服系統(tǒng)或者電機(jī)模型在 Simulink 里用積分器和增益搭出來(lái)也可以直接放一個(gè) State-Space 模塊。為了驗(yàn)證魯棒性建議在模型里加一個(gè)參數(shù)攝動(dòng)環(huán)節(jié)例如讓阻尼系數(shù)在仿真過(guò)程中按一定規(guī)律變化或者加一個(gè)外部擾動(dòng)輸入這是后面檢驗(yàn) DDPG 調(diào)參效果的關(guān)鍵。SMC 控制器的實(shí)現(xiàn)要注意兩點(diǎn)。第一符號(hào)函數(shù) sign(s) 直接使用時(shí)抖振明顯工程上常用飽和函數(shù) sat(s/φ) 來(lái)替代邊界層厚度 φ 要合適太薄抖振抑制效果差太厚相當(dāng)于把滑?？刂仆嘶善胀ㄟB續(xù)控制魯棒性丟失。第二SMC 控制器的輸入不能只接誤差和誤差導(dǎo)數(shù)還需要把滑模面 s 單獨(dú)計(jì)算出來(lái)作為配給 RL 的觀測(cè)信號(hào)之一。DDPG 決策模塊有兩種集成方式一是使用 Reinforcement Learning Toolbox 提供的 RL Agent 模塊在模型里直接連線觀測(cè)和動(dòng)作二是通過(guò) MATLAB Function 塊寫一個(gè)接口把觀測(cè)向量傳入 MATLAB 工作空間在外部用訓(xùn)練好的 actor 網(wǎng)絡(luò)推理輸出參數(shù)。前者適合訓(xùn)練階段后者適合部署和推理階段。我的習(xí)慣是訓(xùn)練時(shí)用 RL Agent 模塊訓(xùn)練完導(dǎo)出 actor 網(wǎng)絡(luò)后用 MATLAB Function 塊做推理?yè)Q參數(shù)驗(yàn)證非常方便。3.2 DDPG Agent 的觀測(cè)、動(dòng)作與網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置觀測(cè)量的選擇決定智能體能感知的信息邊界。我的標(biāo)準(zhǔn)配置是四維觀測(cè)當(dāng)前跟蹤誤差 e、誤差導(dǎo)數(shù) ?、滑模面 s、以及時(shí)間標(biāo)記或外部擾動(dòng)估計(jì)值。如果有條件測(cè)量負(fù)載或擾動(dòng)盡量放進(jìn)觀測(cè)里DDPG 能更快學(xué)到擾動(dòng)與參數(shù)之間的對(duì)應(yīng)關(guān)系。動(dòng)作向量設(shè)為三維(λ, k, ε)。注意動(dòng)作是 SMC 控制器的“參數(shù)指令”不是直接的控制量。為了不出現(xiàn)過(guò)大的參數(shù)跳變一種做法是在 SMC 模塊內(nèi)部給三個(gè)動(dòng)作量做限幅例如 λ 限制在 [0.1, 20]、k 限制在 [0.1, 50]、ε 限制在 [0.1, 10]這樣即使訓(xùn)練初期 actor 網(wǎng)絡(luò)輸出異常系統(tǒng)仍能保持基本穩(wěn)定。網(wǎng)絡(luò)結(jié)構(gòu)方面Actor 和 Critic 各自用兩層隱藏層每層 64 個(gè)神經(jīng)元激活函數(shù)用 ReLU。Critic 網(wǎng)絡(luò)的輸出層不使用激活函數(shù)保持 Q 值尺度Actor 輸出層用 tanh 后再映射到動(dòng)作范圍。隱藏層神經(jīng)元數(shù)量不用一上來(lái)就堆大網(wǎng)絡(luò)64×64 在這個(gè)任務(wù)里已經(jīng)夠用網(wǎng)絡(luò)再大反而增加過(guò)擬合風(fēng)險(xiǎn)。Reinforcement Learning Toolbox 里創(chuàng)建 agent 時(shí)rlDDPGAgentOptions 里有幾個(gè)關(guān)鍵參數(shù)值得單獨(dú)調(diào)mini-batch size 建議 128 或 256actor 學(xué)習(xí)率 1e-3critic 學(xué)習(xí)率 1e-3 或更低critic 學(xué)習(xí)率過(guò)大會(huì)導(dǎo)致 Q 值震蕩target update frequency 設(shè) 1目標(biāo)網(wǎng)絡(luò)每步軟更新τ 設(shè) 0.001經(jīng)驗(yàn)回放池容量 1e5 量級(jí)。3.3 仿真參數(shù)、訓(xùn)練流程與結(jié)果觀察仿真時(shí)長(zhǎng)的設(shè)置要把 SMC 的動(dòng)態(tài)和 DDPG 的訓(xùn)練節(jié)奏分開(kāi)考慮。SMC 控制器以較快的采樣周期運(yùn)行例如 1 msDDPG 決策則不需要每毫秒都更新一次參數(shù)可以每 10 ms也就是 10 個(gè)控制步長(zhǎng)輸出一次新的參數(shù)。這樣既保證了控制器有足夠的實(shí)時(shí)性又讓 RL 有合理的決策時(shí)間尺度。訓(xùn)練流程上在一個(gè) episode 內(nèi)讓系統(tǒng)從初始誤差或者隨機(jī)初始狀態(tài)出發(fā)運(yùn)行指定時(shí)長(zhǎng)累積獎(jiǎng)勵(lì)一個(gè) episode 結(jié)束后重置系統(tǒng)狀態(tài)開(kāi)始新一輪。為了加快收斂初始狀態(tài)可以加隨機(jī)擾動(dòng)這樣 agent 見(jiàn)過(guò)更多工況策略泛化性更好。訓(xùn)練過(guò)程要盯著累積獎(jiǎng)勵(lì)曲線和 SMC 的跟蹤誤差曲線兩個(gè)指標(biāo)獎(jiǎng)勵(lì)曲線逐步上升并在某個(gè)區(qū)間穩(wěn)定波動(dòng)說(shuō)明策略在改進(jìn)誤差曲線的超調(diào)峰值得以被持續(xù)壓低說(shuō)明調(diào)參真正起效。訓(xùn)練完成后把 actor 網(wǎng)絡(luò)導(dǎo)出放到一個(gè)純 Simulink 推理模型里去掉 RL Agent 模塊和探索噪聲用 MATLAB Function 塊加載網(wǎng)絡(luò)參數(shù)驗(yàn)證智能體在新工況下的表現(xiàn)。這一步一定要做因?yàn)橛?xùn)練環(huán)境下有 OU 噪聲介入表現(xiàn)和推理環(huán)境下往往有明顯差別直接用訓(xùn)練環(huán)境里的曲線說(shuō)明效果是不夠嚴(yán)謹(jǐn)?shù)摹?. 訓(xùn)練調(diào)試過(guò)程與常見(jiàn)問(wèn)題速查4.1 訓(xùn)練不收斂或獎(jiǎng)勵(lì)長(zhǎng)期停滯的排查我調(diào)試這個(gè)項(xiàng)目時(shí)遭遇的第一類問(wèn)題就是訓(xùn)練半天獎(jiǎng)勵(lì)曲線紋絲不動(dòng)連負(fù)值都漲不上去。逐個(gè)排查下來(lái)發(fā)現(xiàn)大概率出在三個(gè)地方。第一個(gè)是獎(jiǎng)勵(lì)尺度問(wèn)題。誤差平方的數(shù)量級(jí)如果特別小例如 1e-4乘上權(quán)重后整個(gè)獎(jiǎng)勵(lì)函數(shù)數(shù)值極小critic 對(duì) Q 值的估計(jì)誤差會(huì)被淹沒(méi)在數(shù)值誤差里。這時(shí)候把獎(jiǎng)勵(lì)整體乘一個(gè)縮放系數(shù)比如放大 1000 倍讓獎(jiǎng)勵(lì)在可觀察的數(shù)值范圍內(nèi)訓(xùn)練往往立刻就有了反應(yīng)。這跟神經(jīng)網(wǎng)絡(luò)輸入要?dú)w一化是同樣的邏輯。第二個(gè)是動(dòng)作范圍與控制器穩(wěn)定性沖突。訓(xùn)練初期 actor 網(wǎng)絡(luò)隨機(jī)初始化輸出參數(shù)可能沖到限幅值SMC 在極端參數(shù)下直接發(fā)散系統(tǒng)狀態(tài)變成 NaNepisode 異常終止經(jīng)驗(yàn)回放池里全是無(wú)效樣本。解決方法是把動(dòng)作限幅范圍設(shè)得更保守一些同時(shí)給狀態(tài)做異常檢測(cè)一旦 |e| 超過(guò)閾值強(qiáng)制中止 episode 并給一個(gè)探測(cè)性的大懲罰獎(jiǎng)勵(lì)讓智能體學(xué)會(huì)避免失控區(qū)域。第三個(gè)是探索噪聲過(guò)大或過(guò)小。OU 噪聲的 σ 初始值我習(xí)慣設(shè) 0.1~0.2θ 設(shè) 0.15。σ 太大會(huì)讓動(dòng)作在參數(shù)邊界上反復(fù)橫跳系統(tǒng)被激勵(lì)得過(guò)狠σ 太小則探索不足agent 很快收斂到一個(gè)局部最優(yōu)參數(shù)就不再往別處走。訓(xùn)練過(guò)程中可以設(shè)置噪聲衰減讓探索力度隨訓(xùn)練進(jìn)度逐步減小這是保證后期精細(xì)收斂的常用手段。4.2 訓(xùn)練后性能不如手動(dòng)調(diào)參的典型原因還有一種比較打擊人的情況訓(xùn)練完成了獎(jiǎng)勵(lì)也收斂了但把 agent 給出的 SMC 參數(shù)放到常規(guī)控制器里驗(yàn)證性能反而不如自己手動(dòng)試出來(lái)的那組參數(shù)。我復(fù)盤后發(fā)現(xiàn)了兩個(gè)關(guān)鍵原因。一是獎(jiǎng)勵(lì)函數(shù)沒(méi)有精確表達(dá)設(shè)計(jì)意圖。如果只看重跟蹤誤差從訓(xùn)練出來(lái)的參數(shù)曲線看智能體會(huì)傾向用很大的趨近增益快速壓誤差但代價(jià)是控制量尖峰非常大甚至不斷越過(guò)飽和限幅。在 Simulink 里加一個(gè)飽和度模塊后再觀察實(shí)際被控對(duì)象因?yàn)檩斎腼柡托阅懿⒉粫?huì)按理想線性模型那樣提升。對(duì)策就是在獎(jiǎng)勵(lì)里加控制量的懲罰權(quán)重并且把被控對(duì)象輸入端的飽和模塊建進(jìn)模型中讓 agent 從一開(kāi)始就感受到非線性飽和的存在。二是觀測(cè)信息不充分導(dǎo)致策略過(guò)擬合單一工況。如果你只在固定初始條件下訓(xùn)練agent 完全可能記住“在這個(gè)初始誤差下用什么參數(shù)”而換一組初始值后推理參數(shù)就很差。解決方法是訓(xùn)練時(shí)隨機(jī)化初始狀態(tài)和擾動(dòng)讓 agent 學(xué)到的是“根據(jù)狀態(tài)參數(shù)做出決策”的映射關(guān)系而不是死記硬背一條軌跡。4.3 常見(jiàn)問(wèn)題速查表現(xiàn)象可能原因處理手段獎(jiǎng)勵(lì)全程不增長(zhǎng)獎(jiǎng)勵(lì)數(shù)值過(guò)小或過(guò)大對(duì)獎(jiǎng)勵(lì)整體縮放保證量級(jí)在 1~100 之間訓(xùn)練初期系統(tǒng)頻繁發(fā)散動(dòng)作限幅過(guò)寬SMC 參數(shù)過(guò)激收緊動(dòng)作范圍添加狀態(tài)異常檢測(cè)與終止邏輯Q 值曲線劇烈震蕩critic 學(xué)習(xí)率過(guò)大降低 critic 學(xué)習(xí)率至 1e-4 量級(jí)加大 mini-batch訓(xùn)練收斂但驗(yàn)證性能差過(guò)擬合固定初始狀態(tài)訓(xùn)練時(shí)引入隨機(jī)初始狀態(tài)和隨機(jī)擾動(dòng)滑模面收斂慢但誤差已經(jīng)很小切換增益 ε 被獎(jiǎng)勵(lì)壓得太低提高 s2 或切換抖振項(xiàng)在獎(jiǎng)勵(lì)中的權(quán)重推理階段控制量抖動(dòng)嚴(yán)重符號(hào)函數(shù) sign 直接使用換成飽和函數(shù) sat(s/φ)調(diào)整邊界層厚度拿其中的抖振問(wèn)題單獨(dú)多說(shuō)一句。很多人在 Simulink 里看到控制量的高頻振蕩第一反應(yīng)就是調(diào) SMC 參數(shù)但實(shí)際上這個(gè)問(wèn)題常常是 sign(s) 的離散仿真數(shù)值剛性造成的不是控制邏輯本身的問(wèn)題。邊界層厚度 φ 取滑模面量級(jí)的 1%~5% 通常能明顯改善配合變步長(zhǎng)求解器用 ode45 或者定步長(zhǎng) ode4抖振表現(xiàn)會(huì)有可感知的差別。調(diào)試時(shí)先在純 SMC 模塊上驗(yàn)證抖振水平再接入 DDPG 訓(xùn)練隔離變量排查效率高得多。5. 這套方案還可以怎么延伸做完 DDPG 給 SMC 調(diào)參這個(gè)閉環(huán)之后你會(huì)發(fā)現(xiàn)這套思路本質(zhì)上是一個(gè)“參數(shù)整定器”的框架它跟具體的 SMC 變體不是強(qiáng)綁定的。我后來(lái)在這個(gè)基礎(chǔ)上做過(guò)的延伸有兩個(gè)方向。第一個(gè)方向是把 SMC 本身升級(jí)成自適應(yīng)滑?；蚪K端滑模DDPG 的動(dòng)作輸出從三個(gè)參數(shù)擴(kuò)展到五個(gè)參數(shù)例如同時(shí)調(diào)整滑模面冪次和邊界層厚度。動(dòng)作維度變高訓(xùn)練難度會(huì)有明顯上升但獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)邏輯完全不用變觀測(cè)信息也仍然沿用誤差、誤差導(dǎo)數(shù)、滑模面這組狀態(tài)量。第二個(gè)方向是把被控對(duì)象換成更高階的柔性系統(tǒng)比如帶彈性負(fù)載的機(jī)電系統(tǒng)。這種對(duì)象的特點(diǎn)是模型階次高、諧振峰明顯手動(dòng)調(diào) SMC 參數(shù)更加痛苦DDPG 自動(dòng)調(diào)參的優(yōu)勢(shì)體現(xiàn)得更充分。不過(guò)要注意高階對(duì)象的觀測(cè)里最好加入速度或者加速度信息不然 agent 等于盲人摸象很難學(xué)到合理的參數(shù)映射關(guān)系。我實(shí)際的體會(huì)是DDPG SMC 這套組合最大的價(jià)值不是做到“最優(yōu)控制”而是把“能用但調(diào)參煩”的控制器變成“自適應(yīng)可遷移”的控制器。只要獎(jiǎng)勵(lì)函數(shù)把設(shè)計(jì)約束表達(dá)清楚訓(xùn)練時(shí)間和 Simulink 模型架構(gòu)基本可以復(fù)用換對(duì)象、換 SMC 變體都只是換殼不換骨。最后再提醒一個(gè)細(xì)節(jié)訓(xùn)練過(guò)程里留意把每個(gè) episode 的參數(shù)曲線保存下來(lái)你會(huì)發(fā)現(xiàn)智能體前幾十輪的動(dòng)作模式和后面相差巨大這些數(shù)據(jù)對(duì)理解獎(jiǎng)勵(lì)函數(shù)設(shè)置是否合理非常有幫助比只看累積獎(jiǎng)勵(lì)曲線直觀得多。