化策略：策略梯度、Actor-Critic、Advantage 與重要性采樣)
值函數(shù)方法的基本套路是先學 或再根據(jù)它們誘導出策略。而策略梯度方法走的是另一條路直接把策略寫成帶參數(shù)的可導函數(shù)然后直接優(yōu)化它。這在連續(xù)動作、復雜策略結(jié)構(gòu)以及需要隨機策略的場景里尤其重要。適合讀者已經(jīng)理解 DQN但還不清楚 policy gradient、Actor-Critic、baseline / advantage 與 off-policy 校正如何連起來的人。預計閱讀10 分鐘。關(guān)鍵詞策略梯度、Actor-Critic、優(yōu)勢函數(shù)、重要性采樣。值函數(shù)方法的基本套路是先學V或Q再根據(jù)它們誘導出策略。而策略梯度方法走的是另一條路直接把策略寫成帶參數(shù)的可導函數(shù)然后直接優(yōu)化它。這在連續(xù)動作、復雜策略結(jié)構(gòu)以及需要隨機策略的場景里尤其重要。1. 策略梯度直接優(yōu)化動作概率設參數(shù)化策略為強化學習目標則寫成也就是策略誘導的軌跡其期望回報要盡可能大。策略梯度定理給出一個極為關(guān)鍵的公式圖 1 的直覺可以概括成一句話如果某個動作帶來的回報更高就提高它在該狀態(tài)下的概率如果某個動作效果更差就降低它的概率。其中提供“怎樣改概率”的方向而提供“這個動作值不值得鼓勵”的信號。2. Actor-Critic讓 Critic 為 Actor 提供學習信號策略梯度公式里雖然寫著但這個量通常并不好直接得到。一個自然辦法是再訓練一個價值估計器來幫助策略學習。這就得到 Actor-Critic。Actor負責根據(jù)狀態(tài)選擇動作更新策略參數(shù)Critic負責估計價值函數(shù)評價當前行為好不好。在最常見的 TD 型 Actor-Critic 里Critic 會計算 TD 誤差然后Critic 用它來更新自己的價值估計Actor 則把它當作優(yōu)勢信號更新策略所以Actor-Critic 的精髓就在于一個負責做決策一個負責打分TD error 把二者連接成閉環(huán)。3. Baseline 與 Advantage只看“相對好壞”直接用回報或動作價值做策略梯度往往方差較大。一個常見技巧是減去 baseline只要b(S)只依賴狀態(tài)、不依賴動作它不會改變策略梯度的期望方向但通常能顯著降低方差。最常用的 baseline 就是狀態(tài)價值函數(shù)于是得到優(yōu)勢函數(shù)圖 3 說明了 advantage 的核心直覺不要只看動作本身好不好而要看它是否“比這個狀態(tài)下的平均水平更好”。這樣一來學習信號會更加聚焦于“相對優(yōu)勢”噪聲通常更小。在 A2C 一類方法里優(yōu)勢函數(shù)常用一步 TD 誤差近似這也是為什么 TD error 在 Actor-Critic 里如此核心它既能更新價值又能充當策略更新的 advantage 近似。4. on-policy 與 off-policy數(shù)據(jù)從哪里來真的很重要標準策略梯度大多是 on-policy 的也就是說更新策略時所用的數(shù)據(jù)要由當前策略自己采樣得到。但在很多實際場景里我們又希望復用舊數(shù)據(jù)、日志數(shù)據(jù)或者由另一個行為策略產(chǎn)生的數(shù)據(jù)。此時就會面臨一個分布不一致的問題數(shù)據(jù)來自行為策略我們真正想優(yōu)化的是目標策略。如果直接拿這些數(shù)據(jù)更新會產(chǎn)生偏差。重要性采樣就是用來做這個校正的。5. 重要性采樣用權(quán)重糾正分布偏差重要性權(quán)重定義為它衡量的是在狀態(tài) st下當前樣本動作在目標策略下相對行為策略有多“合理”。這張圖可以這樣理解如果和接近那么也接近 1如果某個樣本動作在目標策略下更常見那么它的權(quán)重會更大如果它在目標策略下很罕見那么它的貢獻會被壓低。通過把樣本貢獻乘上我們就能在一定條件下用行為策略生成的數(shù)據(jù)去近似目標策略下的梯度。但重要性采樣并不是“免費午餐”。它最大的副作用是方差可能會變大尤其當很大時更新會非常不穩(wěn)定。因此實踐中常會配合截斷或裁剪權(quán)重更穩(wěn)定的 surrogate objective像 V-trace、Retrace 這樣的分布校正技巧。6. 把 day6 的主線串起來如果把本篇壓縮成一條邏輯鏈那就是策略梯度告訴我們可以直接優(yōu)化策略Actor-Critic告訴我們可以讓 Critic 估計價值為 Actor 提供低方差學習信號baseline / advantage告訴我們學習時應盡量只保留“相對好壞”重要性采樣告訴我們?nèi)绻霃陀眯袨椴呗缘臄?shù)據(jù)就必須對分布偏差做校正。你會發(fā)現(xiàn)這些方法雖然名字很多但圍繞的始終還是同一個問題怎樣穩(wěn)定而高效地提升長期回報。到這里整套連載的主線也就基本閉環(huán)了前半部分用 Bellman 思想估計長期價值中間部分用 TD / Q-learning / DQN 學會控制后半部分則直接優(yōu)化策略并讓 Critic 幫助策略學習。以后再讀強化學習論文時可以先問三個問題它優(yōu)化的是價值還是直接優(yōu)化策略學習信號來自完整回報、TD target還是 advantage數(shù)據(jù)是 on-policy 還是 off-policy如果是后者如何做分布校正很多看起來復雜的方法往往都能被這三問很快定位。 直接優(yōu)化策略：策略梯度、Actor-Critic、Advantage 與重要性采樣
值函數(shù)方法的基本套路是先學 或再根據(jù)它們誘導出策略。而策略梯度方法走的是另一條路直接把策略寫成帶參數(shù)的可導函數(shù)然后直接優(yōu)化它。這在連續(xù)動作、復雜策略結(jié)構(gòu)以及需要隨機策略的場景里尤其重要。適合讀者已經(jīng)理解 DQN但還不清楚 policy gradient、Actor-Critic、baseline / advantage 與 off-policy 校正如何連起來的人。預計閱讀10 分鐘。關(guān)鍵詞策略梯度、Actor-Critic、優(yōu)勢函數(shù)、重要性采樣。值函數(shù)方法的基本套路是先學V或Q再根據(jù)它們誘導出策略。而策略梯度方法走的是另一條路直接把策略寫成帶參數(shù)的可導函數(shù)然后直接優(yōu)化它。這在連續(xù)動作、復雜策略結(jié)構(gòu)以及需要隨機策略的場景里尤其重要。1. 策略梯度直接優(yōu)化動作概率設參數(shù)化策略為強化學習目標則寫成也就是策略誘導的軌跡其期望回報要盡可能大。策略梯度定理給出一個極為關(guān)鍵的公式圖 1 的直覺可以概括成一句話如果某個動作帶來的回報更高就提高它在該狀態(tài)下的概率如果某個動作效果更差就降低它的概率。其中提供“怎樣改概率”的方向而提供“這個動作值不值得鼓勵”的信號。2. Actor-Critic讓 Critic 為 Actor 提供學習信號策略梯度公式里雖然寫著但這個量通常并不好直接得到。一個自然辦法是再訓練一個價值估計器來幫助策略學習。這就得到 Actor-Critic。Actor負責根據(jù)狀態(tài)選擇動作更新策略參數(shù)Critic負責估計價值函數(shù)評價當前行為好不好。在最常見的 TD 型 Actor-Critic 里Critic 會計算 TD 誤差然后Critic 用它來更新自己的價值估計Actor 則把它當作優(yōu)勢信號更新策略所以Actor-Critic 的精髓就在于一個負責做決策一個負責打分TD error 把二者連接成閉環(huán)。3. Baseline 與 Advantage只看“相對好壞”直接用回報或動作價值做策略梯度往往方差較大。一個常見技巧是減去 baseline只要b(S)只依賴狀態(tài)、不依賴動作它不會改變策略梯度的期望方向但通常能顯著降低方差。最常用的 baseline 就是狀態(tài)價值函數(shù)于是得到優(yōu)勢函數(shù)圖 3 說明了 advantage 的核心直覺不要只看動作本身好不好而要看它是否“比這個狀態(tài)下的平均水平更好”。這樣一來學習信號會更加聚焦于“相對優(yōu)勢”噪聲通常更小。在 A2C 一類方法里優(yōu)勢函數(shù)常用一步 TD 誤差近似這也是為什么 TD error 在 Actor-Critic 里如此核心它既能更新價值又能充當策略更新的 advantage 近似。4. on-policy 與 off-policy數(shù)據(jù)從哪里來真的很重要標準策略梯度大多是 on-policy 的也就是說更新策略時所用的數(shù)據(jù)要由當前策略自己采樣得到。但在很多實際場景里我們又希望復用舊數(shù)據(jù)、日志數(shù)據(jù)或者由另一個行為策略產(chǎn)生的數(shù)據(jù)。此時就會面臨一個分布不一致的問題數(shù)據(jù)來自行為策略我們真正想優(yōu)化的是目標策略。如果直接拿這些數(shù)據(jù)更新會產(chǎn)生偏差。重要性采樣就是用來做這個校正的。5. 重要性采樣用權(quán)重糾正分布偏差重要性權(quán)重定義為它衡量的是在狀態(tài) st下當前樣本動作在目標策略下相對行為策略有多“合理”。這張圖可以這樣理解如果和接近那么也接近 1如果某個樣本動作在目標策略下更常見那么它的權(quán)重會更大如果它在目標策略下很罕見那么它的貢獻會被壓低。通過把樣本貢獻乘上我們就能在一定條件下用行為策略生成的數(shù)據(jù)去近似目標策略下的梯度。但重要性采樣并不是“免費午餐”。它最大的副作用是方差可能會變大尤其當很大時更新會非常不穩(wěn)定。因此實踐中常會配合截斷或裁剪權(quán)重更穩(wěn)定的 surrogate objective像 V-trace、Retrace 這樣的分布校正技巧。6. 把 day6 的主線串起來如果把本篇壓縮成一條邏輯鏈那就是策略梯度告訴我們可以直接優(yōu)化策略Actor-Critic告訴我們可以讓 Critic 估計價值為 Actor 提供低方差學習信號baseline / advantage告訴我們學習時應盡量只保留“相對好壞”重要性采樣告訴我們?nèi)绻霃陀眯袨椴呗缘臄?shù)據(jù)就必須對分布偏差做校正。你會發(fā)現(xiàn)這些方法雖然名字很多但圍繞的始終還是同一個問題怎樣穩(wěn)定而高效地提升長期回報。到這里整套連載的主線也就基本閉環(huán)了前半部分用 Bellman 思想估計長期價值中間部分用 TD / Q-learning / DQN 學會控制后半部分則直接優(yōu)化策略并讓 Critic 幫助策略學習。以后再讀強化學習論文時可以先問三個問題它優(yōu)化的是價值還是直接優(yōu)化策略學習信號來自完整回報、TD target還是 advantage數(shù)據(jù)是 on-policy 還是 off-policy如果是后者如何做分布校正很多看起來復雜的方法往往都能被這三問很快定位。