很多剛接觸強(qiáng)化學(xué)習(xí)的同學(xué)第一個(gè)崩潰點(diǎn)往往不在算法推導(dǎo)而在環(huán)境接口。網(wǎng)上教程張嘴就是env.step(action)可一旦你真去寫reset返回什么、step返回幾個(gè)值、action_space到底是個(gè)什么對(duì)象每一步都可能把人卡住。gym 環(huán)境庫(kù)就是這套交互標(biāo)準(zhǔn)的核心載體它把智能體怎么跟任務(wù)世界打交道這件抽象的事固化成了幾個(gè)極其具體的方法和數(shù)據(jù)結(jié)構(gòu)。你不需要懂每個(gè)環(huán)境內(nèi)部的物理引擎也不用關(guān)心游戲畫面怎么渲染只要會(huì)按接口規(guī)范操作就能在幾十個(gè)現(xiàn)成任務(wù)上快速驗(yàn)證強(qiáng)化學(xué)習(xí)算法。這篇文章我會(huì)先講清楚 gym 環(huán)境庫(kù)在整個(gè)強(qiáng)化學(xué)習(xí)里的定位然后手把手帶你把 CartPole 跑起來再?gòu)挠^測(cè)空間、動(dòng)作空間、內(nèi)置環(huán)境、自定義環(huán)境、訓(xùn)練循環(huán)這些角度逐一拆開揉碎。適合剛學(xué)強(qiáng)化學(xué)習(xí)、想看明白別人代碼里環(huán)境部分在干嘛的同學(xué)也適合準(zhǔn)備自己造環(huán)境、跑實(shí)驗(yàn)的讀者。讀完你會(huì)發(fā)現(xiàn)環(huán)境庫(kù)沒那么玄乎它更像是一張寫得明明白白的接口合同剩下的只是熟練。1. 為什么所有強(qiáng)化學(xué)習(xí)例程都從 gym.make 開始環(huán)境接口的歷史角色1.1 算法實(shí)現(xiàn)與任務(wù)環(huán)境為什么要解耦強(qiáng)化學(xué)習(xí)的最基本框架是智能體不斷在環(huán)境里試錯(cuò)觀察狀態(tài)、做出動(dòng)作、拿到獎(jiǎng)勵(lì)、再看新狀態(tài)。聽起來很簡(jiǎn)單但一旦落到代碼里麻煩就來了。不同任務(wù)的世界觀完全不同控制一根倒立桿要看桿的角度玩射擊游戲要看畫面像素讓小車爬坡要看位置和速度。如果每個(gè)任務(wù)都自己寫一套接口那么每換一個(gè)任務(wù)算法代碼就要跟著改一遍這幾乎等于沒法做研究也沒法做工程復(fù)用。環(huán)境庫(kù)存在的意義就是把任務(wù)怎么做和算法怎么學(xué)這兩件事徹底分開。算法側(cè)只認(rèn)一個(gè)抽象的環(huán)境對(duì)象不需要知道里面是物理仿真還是游戲模擬器只要負(fù)責(zé)接收觀測(cè)、給出動(dòng)作、消費(fèi)獎(jiǎng)勵(lì)。環(huán)境側(cè)只需要按照統(tǒng)一規(guī)范把狀態(tài)、獎(jiǎng)勵(lì)、終止信號(hào)交出來至于狀態(tài)是怎么算出來的它不關(guān)心。于是同一套策略網(wǎng)絡(luò)、同一套更新公式就能從一個(gè)任務(wù)無縫切到另一個(gè)任務(wù)。這也是為什么你在各種強(qiáng)化學(xué)習(xí)教程里都看到gym.make它更像是整個(gè)實(shí)驗(yàn)流程的入口文件。1.2 gym 環(huán)境庫(kù)的合同到底是什么我把 gym 的接口理解成一份合同你遵守這份合同就能跟它底下的幾十種任務(wù)無縫協(xié)作。合同的核心是五個(gè)要素。第一是環(huán)境構(gòu)造通常用gym.make(環(huán)境名)直接加載一個(gè)現(xiàn)成任務(wù)。第二是reset()回合開始前把環(huán)境恢復(fù)到初始狀態(tài)并給你一個(gè)初始觀測(cè)。第三是step(action)你把智能體當(dāng)前回合要做的動(dòng)作傳進(jìn)去環(huán)境模擬一步后返回新的觀測(cè)、獎(jiǎng)勵(lì)、是否結(jié)束等信息。第四是observation_space和action_space這兩個(gè)屬性告訴你狀態(tài)和動(dòng)作的合法范圍與數(shù)據(jù)結(jié)構(gòu)算法網(wǎng)絡(luò)怎么搭、輸出層怎么設(shè)計(jì)全看它們。第五是render()和close()負(fù)責(zé)可視化與資源釋放。類比一下它就像家電的標(biāo)準(zhǔn)化插座。你不需要知道每一臺(tái)電器內(nèi)部的電路怎么走只需要把插頭做成統(tǒng)一規(guī)格插上去就能用。環(huán)境庫(kù)就是那個(gè)統(tǒng)一規(guī)格的插座算法是電器任務(wù)是電源。協(xié)議一旦固定下來維護(hù)成本直線下降。2. 把第一個(gè)環(huán)境跑起來CartPole 的完整交互循環(huán)2.1 安裝與版本先確認(rèn)你拿到的是哪一代接口安裝 gym 非常簡(jiǎn)單一條命令的事pip install gym裝完以后我強(qiáng)烈建議你先做一件事打印一下環(huán)境本身并執(zhí)行一次reset和一次step確認(rèn)自己手上的接口是哪個(gè)版本。因?yàn)?gym 社區(qū)經(jīng)歷過好幾次 API 調(diào)整不同教程基于不同版本代碼經(jīng)常對(duì)不上。import gym env gym.make(CartPole-v1) print(env.reset()) print(env.step(env.action_space.sample()))如果你的輸出像這樣說明你拿的是新版接口(array([ 0.034, 0.018, -0.023, 0.014]), {}) (array([ 0.035, -0.032, -0.023, 0.055]), 1.0, False, False, {})新版reset()返回兩個(gè)值初始觀測(cè)和一個(gè) info 字典step()返回五個(gè)值觀測(cè)、獎(jiǎng)勵(lì)、終止標(biāo)志、截?cái)鄻?biāo)志、info。如果你的輸出比這少或者只剩一個(gè)觀測(cè)說明教程是在老版本接口上寫的。判斷清楚版本再動(dòng)手比硬著頭皮跑通代碼重要得多。很多報(bào)錯(cuò)根本不是邏輯問題而是接口字段數(shù)量對(duì)不上。2.2 最小交互循環(huán)裝好之后我們用 CartPole 寫一個(gè)最小可運(yùn)行的交互循環(huán)。CartPole 的任務(wù)很直白一根桿子立在可移動(dòng)的小車上你要通過對(duì)小車施加向左或向右的力讓桿子盡量保持豎直不倒下。import gym env gym.make(CartPole-v1) obs, info env.reset(seed42) print(初始觀測(cè):, obs, 額外信息:, info) for step in range(5): action env.action_space.sample() # 隨機(jī)選一個(gè)合法動(dòng)作 obs, reward, terminated, truncated, info env.step(action) done terminated or truncated print(f第{step 1}步 | 動(dòng)作: {action} | 觀測(cè): {obs} | 獎(jiǎng)勵(lì): {reward} | 結(jié)束: {done}) if done: obs, info env.reset() break env.close()這段代碼的關(guān)鍵點(diǎn)有三個(gè)動(dòng)作要直接從action_space.sample()里取保證它一定合法terminated和truncated要用or合并成done因?yàn)檫@倆任何一種情況都意味著本回合結(jié)束回合結(jié)束之后一定要調(diào)用reset()讓環(huán)境回到新的初始狀態(tài)才能開始下一回合。2.3 理解 step 返回的值觀測(cè)、獎(jiǎng)勵(lì)、終止、截?cái)唷㈩~外信息step返回的五個(gè)值乍看簡(jiǎn)單但每個(gè)都有講究。第一個(gè)是觀測(cè)也就是智能體在下一步能看到的世界狀態(tài)。CartPole 的觀測(cè)是一個(gè)四維向量每一項(xiàng)都有明確的物理含義維度含義大致范圍0小車位置-4.8 到 4.81小車速度-Inf 到 Inf2桿與豎直方向夾角-24° 到 24°3桿頂端角速度-Inf 到 Inf第二個(gè)是獎(jiǎng)勵(lì)。CartPole 的獎(jiǎng)勵(lì)很簡(jiǎn)單每存活一步就加 1。所以一回合如果堅(jiān)持了 200 步總回報(bào)就是 200。第三個(gè)和第四個(gè)是結(jié)束標(biāo)志。這里有一個(gè)很多新手容易忽略的區(qū)分terminated表示環(huán)境自己判定任務(wù)結(jié)束比如桿倒了、車沖出了邊界truncated表示環(huán)境還沒結(jié)束但因?yàn)檫_(dá)到最大步數(shù)或外部條件被強(qiáng)制截?cái)?。老版本里這倆合并成一個(gè)done新版本拆開了對(duì)訓(xùn)練過程影響不小后面我會(huì)詳細(xì)說。第五個(gè)是 info 字典一般用來放調(diào)試信息比如某些游戲的真實(shí)計(jì)分、剪枝后額外使用的數(shù)據(jù)。正常情況下訓(xùn)練用不到它但如果你做算法調(diào)優(yōu)它是很好的參照。3. 讀懂 spaces 模塊觀測(cè)空間與動(dòng)作空間就是算法的邊界條件3.1 主流空間類型和它們的形狀語義observation_space和action_space是環(huán)境給算法的最重要提示你的輸入是什么形狀你的輸出該怎么約束。這兩個(gè)屬性不是普通元組而是 gym 的 spaces 對(duì)象寫算法之前必須先搞懂它們。最常見的幾種空間類型如下空間類型含義典型場(chǎng)景Discrete(n)離散整數(shù)動(dòng)作取值 0 到 n-1CartPole 的左右推、走迷宮的方向Box(low, high, shape)連續(xù)向量或矩陣每個(gè)元素有上下界Pendulum 的連續(xù)扭矩、圖像像素矩陣MultiDiscrete(nvec)多個(gè)離散維度組合同時(shí)控制多個(gè)可調(diào)檔位MultiBinary(n)元素只能取 0 或 1 的向量開關(guān)組合類控制問題Dict(spaces)多個(gè)子空間組成的字典混合觀測(cè)比如同時(shí)有傳感器和圖像為什么要強(qiáng)調(diào)這是 spaces 對(duì)象因?yàn)楣庥行螤钸€不夠你還需要知道取值邊界、到底離散還是連續(xù)、采樣一個(gè)隨機(jī)合法動(dòng)作怎么弄。這些信息都封裝在對(duì)象的方法和屬性里了。3.2 從 space 對(duì)象能提取什么信息實(shí)際寫代碼的時(shí)候我?guī)缀趺看味紩?huì)先做這樣一個(gè)打印import gym import numpy as np env gym.make(CartPole-v1) print(動(dòng)作空間:, env.action_space) print(觀測(cè)空間:, env.observation_space) print(離散動(dòng)作數(shù):, env.action_space.n) print(觀測(cè)形狀:, env.observation_space.shape) random_action env.action_space.sample() print(隨機(jī)動(dòng)作:, random_action, type(random_action)) sample_obs env.observation_space.sample() print(隨機(jī)觀測(cè):, sample_obs) print(觀測(cè)下界:, env.observation_space.low) print(觀測(cè)上界:, env.observation_space.high)以 CartPole 為例你會(huì)看到動(dòng)作空間是Discrete(2)說明合法的動(dòng)作只有 0 和 1觀測(cè)空間是Box(4,)形狀是(4,)。這里observation_space.low和high非常有用它直接給出了每個(gè)維度的取值范圍。如果你要做輸入歸一化或者要判斷一個(gè)狀態(tài)是否越界這兩個(gè)數(shù)組就是依據(jù)。另一個(gè)容易踩坑的點(diǎn)是類型。Discrete采樣出來的動(dòng)作是整數(shù)類型而很多神經(jīng)網(wǎng)絡(luò)的輸出是浮點(diǎn)概率分布或浮點(diǎn)標(biāo)量。如果你要自己把 softmax 輸出的概率轉(zhuǎn)成動(dòng)作記得用int()轉(zhuǎn)一下否則傳進(jìn)step可能會(huì)直接報(bào)錯(cuò)或者被環(huán)境庫(kù)靜默強(qiáng)制轉(zhuǎn)換造成難以排查的行為異常。4. 內(nèi)置環(huán)境群像從 CartPole 到像素級(jí)街機(jī)每個(gè)任務(wù)都是一道強(qiáng)化學(xué)習(xí)考題4.1 幾個(gè)典型內(nèi)置環(huán)境的對(duì)照與教學(xué)點(diǎn)gym 自帶的環(huán)境非常多從最簡(jiǎn)控制問題到像素級(jí)游戲都有。環(huán)境多不是重點(diǎn)重點(diǎn)是你應(yīng)該從每個(gè)任務(wù)里讀出它想考你什么。我整理了幾個(gè)經(jīng)典型號(hào)供你挑訓(xùn)練用環(huán)境動(dòng)作空間觀測(cè)空間獎(jiǎng)勵(lì)特征它考你什么CartPole-v1離散 2Box(4,)每步 1最基礎(chǔ)的狀態(tài)表示與穩(wěn)定控制Pendulum-v1連續(xù) 1 維Box(3,)每步都有負(fù)分連續(xù)動(dòng)作控制、負(fù)獎(jiǎng)勵(lì)設(shè)計(jì)MountainCar-v0離散 3Box(2,)每步 -1到達(dá)山頂才結(jié)束稀疏獎(jiǎng)勵(lì)與延遲獎(jiǎng)勵(lì)需要探索LunarLander-v2離散 4Box(8,)分段獎(jiǎng)勵(lì)成功 100多維度狀態(tài)、多階段目標(biāo)、燃料控制像素級(jí)街機(jī)環(huán)境離散若干圖像 Box取決于游戲規(guī)則視覺輸入、CNN、高維觀測(cè)學(xué)習(xí)拿 Pendulum 來說它的目標(biāo)是讓擺錘倒立起來動(dòng)作是連續(xù)扭矩。它返回的 reward 永遠(yuǎn)是一個(gè)負(fù)的二次型數(shù)值越接近理想狀態(tài)越接近 0。也就是說這不是攢分越高越好的環(huán)境而是虧損越少越好。你評(píng)估算法時(shí)就得用回合總回報(bào)的回升趨勢(shì)來判斷而不是看單步獎(jiǎng)勵(lì)是否為正。MountainCar 則更陰險(xiǎn)。小車在谷底發(fā)動(dòng)機(jī)功率不夠直接沖坡永遠(yuǎn)上不去需要先來回?fù)u晃積蓄動(dòng)能。每步扣 1 分只有到達(dá)山頂才結(jié)束。這個(gè)環(huán)境是天然的稀疏獎(jiǎng)勵(lì)試金石很多初學(xué)者用最簡(jiǎn)單的隨機(jī)策略跑這個(gè)任務(wù)會(huì)發(fā)現(xiàn)永遠(yuǎn)結(jié)束不了從而誤以為環(huán)境卡死了。其實(shí)這正是它的教學(xué)目的讓你理解獎(jiǎng)勵(lì)稀疏時(shí)探索有多難。4.2 跑陌生環(huán)境之前先來一次環(huán)境體檢我養(yǎng)成了一個(gè)習(xí)慣拿到任何陌生環(huán)境不急著寫算法先做一次體檢。體檢腳本大概長(zhǎng)這樣import gym import numpy as np env gym.make(環(huán)境名) obs, info env.reset(seed0) print(空間信息:, env.observation_space, env.action_space) returns [] for episode in range(10): obs, info env.reset() total_reward 0 done False while not done: action env.action_space.sample() obs, reward, terminated, truncated, info env.step(action) total_reward reward done terminated or truncated returns.append(total_reward) print(f回合 {episode 1} 總回報(bào): {total_reward}) print(隨機(jī)策略平均回報(bào):, np.mean(returns)) print(隨機(jī)策略回報(bào)標(biāo)準(zhǔn)差:, np.std(returns))這個(gè)過程能讓你在 5 分鐘內(nèi)知道動(dòng)作空間有多大、觀測(cè)數(shù)據(jù)長(zhǎng)什么樣、隨機(jī)策略大概能拿多少分、回合最長(zhǎng)能跑多少步。這個(gè)東西稱不上高級(jí)但能避免你在一個(gè)自身設(shè)計(jì)有問題的任務(wù)上盲目調(diào)算法。比如某個(gè)環(huán)境隨機(jī)策略回報(bào)的標(biāo)準(zhǔn)差極大說明單次回合的隨機(jī)性很高訓(xùn)練時(shí)就要適當(dāng)多采幾條軌跡。5. 手寫一個(gè)自定義環(huán)境從空實(shí)現(xiàn)到可訓(xùn)練五步走完整過程5.1 自定義環(huán)境的骨架五個(gè)必須實(shí)現(xiàn)的方法很多場(chǎng)景下內(nèi)置環(huán)境不夠用比如你想研究一個(gè)全新的業(yè)務(wù)調(diào)度問題、想給本科生設(shè)計(jì)一個(gè)可視化教學(xué)環(huán)境這時(shí)候就得自己寫環(huán)境。別怕只要照著骨架填內(nèi)容就行。我以一個(gè) 5×5 網(wǎng)格尋寶為例智能體從左上角出發(fā)目標(biāo)是右下角的寶藏每走一步可以用上、下、左、右四個(gè)動(dòng)作。狀態(tài)是當(dāng)前所在格子編號(hào)碰到寶藏給 1 分走 50 步?jīng)]拿到就截?cái)?。import gym import numpy as np from gym import spaces class GridWalkingEnv(gym.Env): def __init__(self, size5): super().__init__() self.size size self.action_space spaces.Discrete(4) self.observation_space spaces.Discrete(size * size) self.start_state 0 self.goal_state size * size - 1 self.state None self.steps 0 self.max_steps 50 def reset(self, *, seedNone, optionsNone): super().reset(seedseed) self.state self.start_state self.steps 0 return self._get_obs(), {} def _get_obs(self): return self.state def step(self, action): row, col divmod(self.state, self.size) if action 0: row max(0, row - 1) # 上 elif action 1: row min(self.size - 1, row 1) # 下 elif action 2: col max(0, col - 1) # 左 elif action 3: col min(self.size - 1, col 1) # 右 self.state row * self.size col self.steps 1 reward 1.0 if self.state self.goal_state else 0.0 terminated self.state self.goal_state truncated self.steps self.max_steps info {} return self._get_obs(), reward, terminated, truncated, info def render(self): for row in range(self.size): line for col in range(self.size): idx row * self.size col if idx self.state: line A elif idx self.goal_state: line G else: line . print(line) def close(self): pass這個(gè)類看起來不長(zhǎng)但它把 gym 環(huán)境的全部契約都實(shí)現(xiàn)了reset返回(obs, info)step返回(obs, reward, terminated, truncated, info)并且定義了action_space和observation_space。5.2 從能跑到科學(xué)可信獎(jiǎng)勵(lì)設(shè)計(jì)、隨機(jī)性、終止條件代碼能跑只是第一步自定義環(huán)境真正難的是設(shè)計(jì)是否合理。首先看獎(jiǎng)勵(lì)。上面這個(gè)尋寶環(huán)境用的是 0/1 獎(jiǎng)勵(lì)只有到達(dá)終點(diǎn)才給 1 分。如果你直接拿它訓(xùn)練智能體前幾百回合大概率什么都學(xué)不到因?yàn)殡S機(jī)走 5×5 網(wǎng)格碰到終點(diǎn)的概率太低了。常見的改進(jìn)是增加距離懲罰每走一步扣 0.01或者給接近終點(diǎn)的狀態(tài)一點(diǎn)塑形獎(jiǎng)勵(lì)讓策略梯度有信號(hào)可循。但也別獎(jiǎng)勵(lì)給得太密太密會(huì)誘導(dǎo)智能體原地刷獎(jiǎng)勵(lì)而不是真正走向終點(diǎn)。其次看隨機(jī)性。如果你的環(huán)境里涉及隨機(jī)初始化比如隨機(jī)放置起點(diǎn)和終點(diǎn)一定要把隨機(jī)數(shù)的生成交給self.np_random而不是直接用 Python 的random模塊。因?yàn)閞eset()里調(diào)用了super().reset(seedseed)gym 會(huì)幫你維護(hù)一個(gè)可復(fù)現(xiàn)的隨機(jī)源。直接調(diào)用super().reset(seedseed)這件事尤其重要很多私有環(huán)境寫完后 seed 無效問題就出在這里。第三看終止條件。我故意在尋寶環(huán)境里加了max_steps50就是為了讓訓(xùn)練不會(huì)無限循環(huán)。如果你不設(shè)這個(gè)上限一個(gè)永遠(yuǎn)完不成任務(wù)的環(huán)境會(huì)讓訓(xùn)練腳本掛在那里表面上看起來是算法還在學(xué)實(shí)際上已經(jīng)死循環(huán)了。terminated和truncated的語義也要分開找到寶藏是terminated步數(shù)超限是truncated這兩者對(duì)后續(xù)算法的影響不同。5.3 環(huán)境注冊(cè)與直接使用兩種加載方式自定義環(huán)境寫完后有兩種用法。第一種也是最簡(jiǎn)單的方式直接實(shí)例化這個(gè)類不用通過gym.make。這樣在調(diào)試單腳本時(shí)最方便你可以直接在文件里 new 一個(gè)對(duì)象然后調(diào)reset、step跑循環(huán)。缺點(diǎn)是沒法套用 gym 的包裝器和統(tǒng)一配置。第二種是注冊(cè)到環(huán)境注冊(cè)表這樣就可以像內(nèi)置環(huán)境一樣gym.make(GridWalk-v0)加載。方法是在模塊里調(diào)用注冊(cè)函數(shù)from gym.envs.registration import register register( idGridWalk-v0, entry_point你的模塊名:GridWalkingEnv, max_episode_steps50, )注冊(cè)的好處是統(tǒng)一管理你可以通過max_episode_steps給環(huán)境加上默認(rèn)的時(shí)間截?cái)噙€能配合后續(xù)要講的并行環(huán)境工具一并用。但我得提醒你如果只在單個(gè)腳本里做實(shí)驗(yàn)注冊(cè)反而多一層負(fù)擔(dān)不如直接實(shí)例化省得處理模塊路徑問題。6. 寫訓(xùn)練循環(huán)時(shí)的環(huán)境側(cè)細(xì)節(jié)重置、截?cái)唷⒉⑿信c隨機(jī)種子的連鎖反應(yīng)6.1 最容易寫錯(cuò)的循環(huán)結(jié)構(gòu)環(huán)境代碼本身寫清楚了還要寫對(duì)使用它的訓(xùn)練循環(huán)。我見過太多新手在循環(huán)結(jié)構(gòu)上陰溝翻船。標(biāo)準(zhǔn)的智能體與環(huán)境交互大致是這樣obs, info env.reset() for step in range(max_steps_per_episode): action agent.act(obs) next_obs, reward, terminated, truncated, info env.step(action) agent.learn(obs, action, reward, next_obs, terminated, truncated) obs next_obs if terminated or truncated: obs, info env.reset() break這里有個(gè)順序問題obs必須在reset()之后立刻拿到接著在步進(jìn)后立刻更新為next_obs而不是在圖省事的情況下把reset()放在循環(huán)開頭。如果每步都調(diào)一次reset()環(huán)境永遠(yuǎn)不會(huì)有進(jìn)展如果不及時(shí)更新obs智能體拿到的就是上一時(shí)刻的狀態(tài)時(shí)序就亂了。6.2 時(shí)間限制與回合統(tǒng)計(jì)的陷阱當(dāng)我們從環(huán)境拿到terminatedTrue或truncatedTrue時(shí)很多訓(xùn)練算法都會(huì)把它們統(tǒng)一當(dāng)成回合結(jié)束來處理。在簡(jiǎn)單代碼里這問題不大但如果你寫的是帶自舉的算法比如 DQN 或者帶有價(jià)值網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)就必須區(qū)分。道理很簡(jiǎn)單terminatedTrue意味著任務(wù)真正結(jié)束之后沒有下一狀態(tài)價(jià)值目標(biāo)里不應(yīng)該加未來回報(bào)truncatedTrue只是步數(shù)到了上限任務(wù)本身還可以繼續(xù)這時(shí)候如果也把未來回報(bào)砍掉會(huì)嚴(yán)重低估這個(gè)狀態(tài)的價(jià)值。CartPole 里 500 步的截?cái)嗑褪且粋€(gè)典型例子。很多用老接口done一把抓的訓(xùn)練腳本在 CartPole 上長(zhǎng)期訓(xùn)練后會(huì)出現(xiàn)價(jià)值估計(jì)偏差根子就在這里。我建議在訓(xùn)練循環(huán)里把這兩個(gè)標(biāo)志分開存進(jìn) info或者至少讓 loss 計(jì)算時(shí)分別處理。如果你的算法庫(kù)不區(qū)分那就把截?cái)酄顟B(tài)單獨(dú)標(biāo)記下來在計(jì)算回報(bào)時(shí)按未來還有延續(xù)的方式處理。6.3 多環(huán)境并行與隨機(jī)種子的管理單環(huán)境交互的樣本速度往往不夠。實(shí)際訓(xùn)練里通常一次性開多個(gè)并行的環(huán)境副本讓智能體同時(shí)采集大量軌跡再用這些樣本更新網(wǎng)絡(luò)。多環(huán)境并行在接口上不算復(fù)雜核心是向量化多個(gè)環(huán)境實(shí)例打包成一個(gè)向量環(huán)境對(duì)象一次step同時(shí)推進(jìn)所有副本。并行環(huán)境的隨機(jī)種子管理是重災(zāi)區(qū)。如果你給每個(gè)環(huán)境設(shè)置同一個(gè) seed它們初始狀態(tài)完全一樣采集到的軌跡天然重復(fù)訓(xùn)練多樣性大打折扣。正確做法是讓每個(gè)副本獲得不同的 seeddef make_env(rank, seed_base0): def _thunk(): env gym.make(CartPole-v1) env.reset(seedseed_base rank) return env return _thunk同時(shí)np.random.seed、Python 內(nèi)置random.seed、環(huán)境的 random source 是三套互相獨(dú)立的隨機(jī)體系。很多實(shí)驗(yàn)復(fù)現(xiàn)不出來不是因?yàn)樗惴ㄓ须S機(jī)性而是只給環(huán)境設(shè)了 seed忘了給 PyTorch 或 NumPy 設(shè)置種子。想要可復(fù)現(xiàn)所有隨機(jī)源都要在入口統(tǒng)一初始化。7. 踩過的坑和繞過的彎gym 環(huán)境使用的七條經(jīng)驗(yàn)7.1 版本接口不同引發(fā)的連鎖問題我見過最浪費(fèi)時(shí)間的一次 debug是把老教程里的done四元組硬套到新版本環(huán)境上。step返回五個(gè)值之后解包直接報(bào)錯(cuò)。這種問題表面上是語法錯(cuò)誤實(shí)際上是整個(gè)接口語義的升級(jí)。遇到這種情況先打印一下當(dāng)前環(huán)境的返回結(jié)構(gòu)再對(duì)照教程去改比盲猜快得多。7.2 渲染用于檢查不要開著訓(xùn)練render()確實(shí)能讓你看到智能體在做什么但代價(jià)是大量 CPU 和內(nèi)存開銷。我早期經(jīng)常開著渲染訓(xùn)練覺得看著它在學(xué)很有感覺結(jié)果一個(gè)步驟從毫秒級(jí)拖到幾百毫秒訓(xùn)練速度掉了一個(gè)數(shù)量級(jí)。正確做法是訓(xùn)練時(shí)完全關(guān)閉渲染實(shí)在想看就把模式調(diào)成rgb_array隔一段時(shí)間手動(dòng)采樣一幀存下來觀察。7.3 陌生環(huán)境先跑隨機(jī)策略這一步我已強(qiáng)調(diào)過但值得再放一遍任何新環(huán)境先跑 10-20 回合隨機(jī)策略記錄獎(jiǎng)勵(lì)均值和回合長(zhǎng)度。這不是浪費(fèi)時(shí)間而是在給算法設(shè)定一個(gè)下限參照。如果隨機(jī)策略的平均回報(bào)是負(fù)分而你的算法跑了一百回合還在負(fù)分附近說明訓(xùn)練可能沒生效如果隨機(jī)策略就能拿到正分說明任務(wù)太簡(jiǎn)單可能檢驗(yàn)不出算法的提升。這個(gè)參照幾乎能幫你在所有環(huán)境上快速判斷訓(xùn)練是否進(jìn)入正軌。7.4 獎(jiǎng)勵(lì)尺度會(huì)直接影響超參不同環(huán)境的獎(jiǎng)勵(lì)量級(jí)差得很遠(yuǎn)CartPole 是每步 1Pendulum 是每步負(fù)的小數(shù)某些環(huán)境一回合能拿上百分。同一個(gè)學(xué)習(xí)率在 CartPole 上可能沒問題換到 LunarLander 就震蕩到飛起。盡可能先把獎(jiǎng)勵(lì)歸一化或者在算法層面對(duì) reward 做標(biāo)準(zhǔn)化。自定義環(huán)境時(shí)盡量把獎(jiǎng)勵(lì)控制在容易比較的量級(jí)能少很多調(diào)參的苦。7.5 空間類型別想當(dāng)然很多人拿到環(huán)境后不打印observation_space直接按自己的想象給神經(jīng)網(wǎng)絡(luò)輸入。比如把Box(4,)當(dāng)成(4,1)輸入或者把Discrete(4)的動(dòng)作空間當(dāng)成連續(xù)值回歸。我的習(xí)慣是先打印空間的 shape、low、high再寫網(wǎng)絡(luò)結(jié)構(gòu)。動(dòng)作層尤其要留意離散動(dòng)作用分類頭連續(xù)動(dòng)作用帶 tanh 或 scale 的輸出層一旦弄混算法怎么訓(xùn)都不收斂。7.6 自定義環(huán)境要刻意制造隨機(jī)性一個(gè)完全確定性的自定義環(huán)境訓(xùn)練出來是沒法泛化的。比如前面的網(wǎng)格尋寶如果起點(diǎn)固定、終點(diǎn)固定、地圖固定算法可能學(xué)會(huì)的只是一條記憶路徑換個(gè)地圖立刻失效。合理的做法是把起點(diǎn)和終點(diǎn)在每次reset時(shí)隨機(jī)擺放但記得用self.np_random生成隨機(jī)數(shù)保證 seed 可控。7.7 先做環(huán)境測(cè)試再寫完整算法最后一個(gè)經(jīng)驗(yàn)來自一次慘痛教訓(xùn)。我花了很長(zhǎng)時(shí)間寫了一個(gè)定制環(huán)境直接上手訓(xùn)練完整算法結(jié)果怎么調(diào)都不收斂最后發(fā)現(xiàn)自己寫的終止條件有 bug某些狀態(tài)下reward沒給對(duì)導(dǎo)致智能體學(xué)到的是原地不動(dòng)。從那以后我每次寫完環(huán)境都會(huì)先拿隨機(jī)策略反復(fù)跑幾十回合逐字段打印觀測(cè)、獎(jiǎng)勵(lì)、結(jié)束標(biāo)志確認(rèn)環(huán)境行為符合預(yù)期才敢把 agent 接上去。這個(gè)習(xí)慣給我省下的時(shí)間遠(yuǎn)超寫測(cè)試本身花掉的時(shí)間。說到底gym 環(huán)境庫(kù)的價(jià)值不只是提供一堆現(xiàn)成游戲它真正教會(huì)我的是把任務(wù)和算法分層思考的能力。無論你以后是繼續(xù)研究新算法還是把強(qiáng)化學(xué)習(xí)落地到具體業(yè)務(wù)這套先理解接口、再做環(huán)境體檢、最后動(dòng)手訓(xùn)練的流程都通用。希望這篇拆解能讓你下次看到gym.make時(shí)少一點(diǎn)迷茫多一點(diǎn)底氣。