在強化學習問題中，關于任務目標的制定，往往需要開發(fā)人員花費很多的精力，在本文中，谷歌大腦聯(lián)合佐治亞理工學院提出了正向-反向強化學習（Forward-Backward Reinforcement Learning，F(xiàn)BRL），它既能從開始位置正向進行探索，也可以從目標開始進行反向探索，從而加速智能體的學習過程。

一般來說，強化學習問題的目標通常是通過手動指定的獎勵來定義的。為了設計這些問題，學習算法的開發(fā)人員必須從本質(zhì)上了解任務的目標是什么。然而我們卻經(jīng)常要求智能體在沒有任何監(jiān)督的情況下，在這些稀疏獎勵之外，獨自發(fā)現(xiàn)這些任務目標。雖然強化學習的很多力量來自于這樣一種概念，即智能體可以在很少的指導下進行學習，但這一要求對訓練過程造成了極大的負擔。

如果我們放松這一限制，并賦予智能體關于獎勵函數(shù)的知識，尤其是目標，那么我們就可以利用反向歸納法（backwards induction）來加速訓練過程。為了達到這個目的，我們提出訓練一個模型，學習從已知的目標狀態(tài)中想象出反向步驟。

我們的方法不是專門訓練一個智能體以決策該如何在前進的同時到達一個目標，而是反向而行，共同預測我們是如何到達目標的。我們在Gridworld和漢諾塔（Towers of Hanoi）中對我們的研究進行了評估，并通過經(jīng)驗證明了，它的性能比標準的深度雙Q學習（Deep Double Q-Learning，DDQN）更好。

強化學習（Reinforcement Learning，RL）問題通常是由智能體在對環(huán)境的任務獎勵盲然無知的情況下規(guī)劃的。然而，對于許多稀疏獎勵問題，包括點對點導航、拾取和放置操縱、裝配等等目標導向的任務，賦予該智能體以獎勵函數(shù)的知識，對于學習可泛化行為來說，既可行又實用。

通常，這些問題的開發(fā)人員通常知道任務目標是什么，但不一定知道如何解決這些問題。在本文中，我們將介紹我們?nèi)绾卫脤δ繕说闹R，使我們甚至能夠在智能體到達這些領域之前學習這些領域中的行為。相比于那些從一開始就將學習初始化的方法，這種規(guī)劃性方案可能更容易解決。

例如，如果我們知道所需的位置、姿勢或任務配置，那么我們就可以逆轉(zhuǎn)那些將我們帶到那里的操作，而不是迫使智能體獨自通過隨機發(fā)現(xiàn)來解決這些難題。

Gridworld和漢諾塔環(huán)境

本文中，我們介紹了正向-反向強化學習（Forward-Backward Reinforcement Learning，F(xiàn)BRL），它引入反向歸納，使我們的智能體能夠及時進行逆向推理。通過一個迭代過程，我們既從開始位置正向進行了探索，也從目標開始進行了反向探索。

為了實現(xiàn)這一點，我們引入了一個已學習的反向動態(tài)模型，以從已知的的目標狀態(tài)開始進行反向探索，并在這個局部領域中更新值。這就產(chǎn)生了“展開”稀疏獎勵的效果，從而使它們更容易發(fā)現(xiàn)，并因此加速了學習過程。

標準的基于模型的方法旨在通過正向想象步驟并使用這些產(chǎn)生幻覺的事件來增加訓練數(shù)據(jù)，從而減少學習優(yōu)秀策略所必需的經(jīng)驗的數(shù)量。然而，并不能保證預期的狀態(tài)會通向目標，所以這些轉(zhuǎn)出結(jié)果可能是不充分的。

預測一個行為的結(jié)果的能力并不一定能提供指導，告訴我們哪些行為會通向目標。與此相反，F(xiàn)BRL采用了一種更有指導性的方法，它給定了一個精確的模型，我們相信，每一個處于反向步驟中的狀態(tài)都有通向目標的路徑。

Gridworld中的實驗結(jié)果，其中n =5、10、15、20。我們分別使用50、100、150、200步的固定水平，結(jié)果是10次實驗的平均值。

相關研究

當我們訪問真正的動態(tài)模型時，可以使用純粹基于模型的方法（如動態(tài)編程）來計算所有狀態(tài)的值（Sutton和Barto于1998年提出），盡管當狀態(tài)空間較大或連續(xù)時，難以在整個狀態(tài)空間中進行迭代。Q-Learning是一種無模型方法，它通過直接訪問狀態(tài)以在線方式更新值，而函數(shù)逼近技術（如Deep Q-Learning）可以泛化到未見的數(shù)據(jù)中（Mnih等人于2015年提出）。

基于模型和無模型信息的混合方法也可以使用。例如，DYNA-Q（Sutton于1990年提出）是一種早期的方法，它使用想象的轉(zhuǎn)出出來更新Q值，就如同在真實環(huán)境中經(jīng)歷過一樣。最近出現(xiàn)了更多方法，例如NAF（Gu等人于2016年提出）和I2A（Weber等人于2017年提出）。但這些方法只使用正向的想象力。

與我們自己的方法相似的方法是反向的值迭代（Zang等人于2007年提出），但這是一種純粹基于模型的方法，并且它不學習反向模型。一個相關的方法從一開始就實現(xiàn)雙向搜索和目標（Baldassarre于2003年提出），但這項研究只是學習值，而我們的目標是學習行動和值。

另一項相似的研究是通過使用接近目標狀態(tài)的反向課程來解決問題（Florensa等人于2017年提出）。但是，該方法假設智能體可以在目標附近得以初始化。我們不做這個假設，因為了解目標狀態(tài)并不意味著我們知道該如何達到這一狀態(tài)。

漢諾塔中的實驗結(jié)果，其中n = 2、3。我們分別使用50、100步的固定水平。 結(jié)果是10次試驗的平均值。

許多研究通過使用域知識來幫助加速學習，例如獎勵塑造（Ng等人于1999年提出）。另一種方法是更有效地利用回放緩沖區(qū)中的經(jīng)驗。優(yōu)先經(jīng)驗復現(xiàn)（Schaul等人于2015年提出）旨在回放具有高TD誤差的樣本。事后經(jīng)驗回放（Hindsight experience replay）將環(huán)境中的每個狀態(tài)視為一個潛在目標，這樣即使系統(tǒng)無法達到所需的目標，也可以進行學習。

使用反向動力學的概念類似于動力學逆過程（Agrawal等人于2016年，Pathak等人于2017年提出）。在這些方法中，系統(tǒng)預測在兩個狀態(tài)之間產(chǎn)生轉(zhuǎn)換的動態(tài)。我們的方法是利用狀態(tài)和動作來預測前一個狀態(tài)。此函數(shù)的目的是進行反向操作，并使用此分解來學習靠近目標的值。

本文中，我們介紹了一種加速學習具有稀缺獎勵問題的方法。我們介紹了FBRL，它從目標的反向過程中得到了想象步驟。我們證明了該方法在Gridworld和諾塔中的性能表現(xiàn)優(yōu)于DDQN。這項研究有多個擴展方向。

我們對于評估一個反向計劃方法很感興趣，但我們也可以運用正向和反向的想象力進行訓練。另一項進步是改善規(guī)劃策略。我們使用了一種具有探索性和貪婪性的方法，但沒有評估如何在兩者之間進行權衡。我們可以使用優(yōu)先掃描（Moore和Atkeson等人于1993年提出），它選擇那些能夠?qū)е戮哂懈逿D誤差狀態(tài)的行為。