背景
如果壹個智能體想要在不斷變化的復雜環境中正常運行，它必須足夠快地獲得新的技能。就像人類在這方面的非凡能力，比如人類可以從壹個例子中學會如何分辨壹個全新的物體；幾分鐘適應不同車的不同駕駛模式；而聽到壹個俚語後，妳可以把這個詞加到妳的字典裏，以此類推。
因此，如果智能體要完成像人類這樣的學習能力，元學習是壹種參考方法。使用這種範式，智能體可以充分利用在執行相關任務中積累的豐富經驗，根據這些有限的數據適應新的任務。對於這類需要采取行動和積累以往經驗的智能體，元強化學習可以幫助他們快速適應新的情況。然而，美中不足的是，雖然經過訓練的策略可以幫助智能體快速適應新任務，但元訓練過程需要來自壹系列訓練任務的大量數據，這加劇了陷入困境的強化學習算法的樣本低效性。因此，現有的元強化學習算法很大程度上只能在仿真環境下正常運行。本文簡要介紹了元強化學習的研究現狀，然後提出了壹種新的算法——Pearl，該算法大大提高了樣本效率。
元強化學習的研究進展
兩年前，伯克利博客發表了壹篇名為《學會學習》的文章(文章地址為https://bair . Berkeley . edu/blog/2017/07/18/Learning-to-Learn/)。除了提出新的算法，本文還對當時人們對元學習興趣的激增進行了調查和統計。結果表明，元學習在當時和現在的關鍵思想是把復雜的問題簡化成我們已經知道如何解決的問題。在傳統的機器學習中，研究人員會給出壹組數據點來匹配模型；在元學習中，這些數據點被壹組數據集代替，每個數據集對應壹個學習問題。只要學習這些問題的過程(所謂的“適應”)是可區分的，就可以照常用梯度下降在外環(元訓練)中進行優化。壹旦經過訓練，自適應程序可以從少量數據中快速解決新的相關任務。
元強化學習的最新進展(從左到右:通過元學習，壹個樣本模仿https://arxiv.org/abs/1802.01557,，斷腿適應https://arxiv.org/abs/基於元強化學習模型。1803.11347，用進化策略梯度推斷超出訓練任務分布的情況(https://arxiv.org/abs/1802.04821)
當時，大多數元學習工作都集中在小樣本圖像的分類上。在隨後的幾年裏，元學習被應用於更廣泛的問題，如視覺導航、機器翻譯和語音識別。因此，將強化學習應用於元學習方法是壹項具有挑戰性但令人興奮的任務，因為這樣的結合將有望使智能體更快地學習新任務，這對於部署在復雜且不斷變化的世界中的智能體來說非常重要。
由於元學習本身的樣本復雜度與深度強化學習密切相關，元學習可以與深度強化學習相結合來解決這個問題。兩年前關於元學習的壹些論文(RL2 Wang等人和maml https://arxiv . org/ABS/1703.03400)介紹了在policygradient和denserewards的有限環境下，將元學習應用於強化學習的初步結果。此後，許多學者對這種方法感興趣，更多的論文顯示了元學習概念在更廣泛環境中的應用。例如:向人類示範學習(https://arxiv . org/ABS/1802.01557)、模仿學習(https://arxiv.org/abs/1810.03237)和基於模型的強化學習(https://arxiv . org/ABS/1803.11347)。除了元學習模型的參數之外，我們還考慮了超參數和損失函數。為了解決稀疏獎勵設置的問題，有壹種利用元學習探索策略的方法。
盡管有這些進步，樣品效率仍然是壹個挑戰。在實際中將meta-RL應用於更復雜的任務時，需要更有效的探索策略來快速適應這些任務。因此，在實際的學習任務中，需要考慮如何解決元訓練樣本低效的問題。因此，伯克利AI研究院對這些問題進行了深入的研究，並開發了解決這兩個問題的算法。
異步策略元素強化學習的優勢
雖然戰略梯度強化學習算法可以在復雜的高維控制任務中實現高性能，例如控制人形機器人的操作，但它們的樣本效率仍然很低。例如，最先進的策略梯度方法(PPO https://arxiv.org/abs/1707.06347)需要1億個樣本來學習壹個好的人形策略。如果我們在真實的機器人上運行這個算法，讓它用20 Hz的控制器連續運行，不計算復位時間，要花將近兩個月的時間才能學會。其低效的主要原因是形成策略梯度更新的數據必須從當前策略中采樣，而不是在訓練時重用之前收集的數據。最近的非策略算法(TD3 https://arxiv.org/abs/1802.09477, SAC https://arxiv.org/abs/1801.01290)的性能與策略梯度算法的性能相當，但是所需的樣本數量減少了100倍。如果研究人員能夠利用這種算法進行元強化學習，那麽數周的數據收集時間可以減少到半天，使得元學習更加高效。從零開始訓練時，異步策略學習不僅大大提高了樣本效率，還具有進壹步的功能優化——不僅可以使用之前采集的靜態數據集，還可以使用其他場景中其他機器人的數據。
非策略強化學習比策略梯度學習更有效。
搜索問題
在監督元學習中，給出了用於適應新任務的數據。例如，在小樣本圖像分類中，我們將為元學習代理提供我們想要標記的新類別的圖像和註釋。在強化學習中，代理負責探索和收集自己的數據，因此適應程序必須包括有效的探索策略。“黑盒”元學習代理(RL2和https://arxiv.org/abs/1707.03141)可以學習這些探索策略，因為在遞歸優化中，整個適應過程被視為壹個長序列。同樣，基於梯度的元強化學習方法，可以通過給預更新策略收集的軌跡和更新策略獲得的回報分配信用來學習探索策略。雖然理論上可行，但實際上這些方法並不學習臨時擴展的探索策略。
為了解決這個問題，MAESN(https://arxiv.org/abs/1802.07245)通過梯度下降來決定策略和適應新任務的概率潛在變量，增加了結構的隨機性。經過訓練後，該模型使先前的樣本對探索軌跡進行編碼，而來自自適應變量的樣本得到最優的自適應軌跡。總的來說，這些方案都適用於on-policy強化學習算法，因為它們依賴於從同壹個當前策略中采樣的探索和適應軌跡，所以需要同步的策略采樣。為了構造同步策略元強化學習算法，我們將采用不同的方法進行探索。
元學習後驗抽樣方法的探索
在壹個全新的場景中探索的壹個非常簡單的方法就是假裝這是妳已經看過的東西。比如妳第壹次看到火龍果，想吃，就會把它比作芒果，像吃芒果壹樣用刀切開。這是壹個很好的探索策略，可以讓妳吃到裏面美味的果肉。當妳發現火龍果的果肉更像獼猴桃時，妳可能會切換到吃獼猴桃的策略，用勺子把果肉挖出來吃。
在強化學習的相關文獻中，這樣壹種探索方法被稱為後驗抽樣(或Thompson抽樣)。代理在MDPs上有壹個數據集分布，然後從這個分布中叠代采樣新的MDP，並根據它決定最佳的操作模式，用收集到的數據更新分布。隨著收集的數據越來越多，後驗分布減少，使得探索和叠代之間平穩過渡。這種策略似乎是有限的，因為它排除了采取無目的探索行為的可能性；但是之前的壹個工作，“(更)有效的補償學習通過後驗采樣”表明，最差情況下的累積遺憾通過後驗采樣接近當前的最佳探索策略。
通過後驗抽樣吃壹種奇怪的新水果
在實際問題中，我們如何在MDP上表示這種分布？壹種可能性是保持轉移和獎勵函數的分布。為了根據采樣模型進行操作，我們可以使用任何基於模型的強化學習算法。自舉DQN將這壹思想應用於無模型深度強化學習，並在Q函數上保持近似後驗。我們認為通過學習不同任務在Q函數上的分布，可以將這種思想推廣到多任務環境中，這種分布對於新的相關任務的探索是非常有效的。
為了將後驗采樣方法引入元強化學習，我們首先在Mdps上對基於Q函數的分布進行建模，實例化潛在變量Z，並根據經驗(或上下文)推斷模型會將Q函數作為輸入來調整其預測。在元訓練的過程中，學習Z之前的所有變量來表示元訓練任務的分布。面對新的測試任務，agent從先前的假設中采樣，然後根據所選的假設決定在環境中采取什麽行動，再通過新的證明更新後驗分布。當智能體收集到軌跡後，後驗分布減少，同時智能體也會對當前任務產生更好的預測。
元強化學習被認為是POMDP。
基於元強化學習的貝葉斯後驗觀點，揭示了元強化學習與部分觀察馬爾可夫決策過程之間的關系。當當前觀察到的東西不能告訴妳當前環境的壹切(即只能部分觀察到當前狀態)時，POMDPs對於建模環境非常有用。比如妳走到壹棟樓附近，燈突然滅了。這個時候，妳不能從黑暗中立即觀察到自己在哪裏，但妳仍然會對自己的位置有壹個估計，因為妳可以通過回憶燈滅前看到的東西來做出估計。求解POMDPs也是類似的原理，涉及到觀測歷史信息的整合，從而達到準確估計當前狀態的目的。
POMDP的圖像模型
元強化學習可以看作是具有特殊結構的POMDP，其任務是當前狀態下唯壹未被觀察到的部分。在我們的例子中，任務可能是找到壹個妳從未去過的辦公室。在標準的POMDP中，代理每次進行下壹步都必須重新估計狀態，這樣它才能不斷更新在建築物中的位置估計。在元強化學習的例子中，任務在每個探索軌跡中不會壹直變化，即在現實世界中，辦公室的位置在搜索過程中不會變化。這也意味著這種方法可以保持對辦公室位置的估計，而不用擔心潛在的系統動力學在每壹步中改變其實際位置。將元強化學習算法轉化為POMDPs，即智能體要保持任務的信念狀態——在多個探索軌跡上收集信息時，任務會更新。
貝殼中的珍珠
如何將任務上的信念狀態與現有的異步策略強化學習算法結合起來？首先，我們可以用有上下文(經驗)作為輸入的編碼器網絡q(z|c)來推斷後驗信念的變分近似。為了保持可操作性，我們將後半部分表示為高斯函數。對於強化學習算法的agent，我們選擇基於軟行動者-批評家(SAC)的建模，因為它是目前性能和樣本效率最好的。信念狀態中的樣本被傳遞給演員和評論家，以便他們可以根據樣本任務做出預測。然後元訓練過程包括學習推導給定上下文的後驗q(z|c ),根據給定的z優化訓練演員和評論家。編碼器是使用critic的梯度優化(所以q(z|c)表示q函數上的分布)，以及信息瓶頸。這個瓶頸是推導變差下界的結果，但也可以直觀地解釋為上下文和z之間的信息最小化，使z包含預測狀態-動作值所需的最小信息。
關於這個方案需要註意的壹點是，為訓練演員和評論家而采樣的壹批數據將從上下文中的壹批數據中分離出來。直觀上，這是有用的:通過清楚地表達任務的信念狀態，代理將任務推理與控制分開，並可以使用完全不同的數據源學習每個任務。這與MAML和RL2等方法形成鮮明對比，這些方法結合了任務推理和控制，因此必須同時使用壹批數據。
事實也證明，這種分離對於異步策略元訓練非常重要。原因是目前的元學習預測是基於訓練和測試階段應該壹致的假設。例如，在測試期間執行新動物物種分類任務的元學習代理應該接受包括動物在內的類分布的培訓。同樣，在強化學習中，如果代理在測試過程中通過收集同步策略數據進行調整，它也應該使用策略數據進行訓練。所以訓練時使用異步策略數據會給分布帶來變化，從而破壞了這個基本假設。在PEARL中，我們可以通過上下文采樣同步策略數據和使用異步策略數據進行演員-評論家訓練來減少這種分布的變化，並大規模使用異步策略數據。
當時，算法的壹部分還是壹個抽象的編碼器架構。回頭看，這個編碼器在上下文(壹組由狀態、動作、回報和下壹個狀態組成的轉換)中工作，並在潛在的上下文變量上生成高斯後驗參數。雖然遞歸神經網絡在這裏似乎是壹個明智的選擇，但我們註意到，馬爾可夫的性質意味著這些變換可以被編碼，而不管它們在軌跡中的順序。基於這壹觀察，我們采用了壹種具有排列不變性的編碼器，它可以獨立地預測每壹次變換的高斯因子，並將這些因子相乘形成後驗樣本。與RNN相比，該架構在優化上更快、更穩定，並能適應更大的上下文。
珍珠做好充分準備後如何工作？
我們使用MuJoCo模擬器在六個基準連續控制域中測試PEARL。模擬器在不同的任務之間有不同的獎勵或動態功能。例如，對於螞蟻智能體，不同的任務對應著在2D平面上為不同的目標位置導航；對於步行智能體，任務對應於其關節的不同參數和其他物理參數。
我們將PEARL與三種最先進的元強化學習算法進行比較，即ProMP、MAML和RL2。結果如下圖所示，其中藍色曲線代表PEARL的結果。需要註意的是x軸的單位(對數比例)。該方法通過在元訓練中使用異步策略數據，將樣本效率提高了20-100倍，其最終性能往往優於基線。
在稀疏回報領域，有效的探索尤為重要。想象壹個點機器人，它必須在壹個半圓上導航到不同的目標位置，只有位於目標位置的小半徑範圍內(在藍色區域可以觀察到)，才會得到獎勵。通過采樣目標位置的不同假設，然後更新其信念狀態，代理可以有效地探索，直到他們找到目標位置。通過比較PEARL和MAESN，MAESN是我們前面討論過的由潛變量生成的元學習探索策略，最終我們發現PEARL在元訓練中不僅采樣效率更高，而且可以更有效地探索。
點機器人使用後驗采樣在稀疏獎勵設置中探索和發現目標。
未來發展方向
雖然元學習為智能體快速適應新場景提供了壹種可能的解決方案，但它也產生了更多的問題！比如元訓練任務從哪裏來？它們必須手動設計還是可以自動生成？雖然元學習本質上是偶然的，但現實世界是壹個持續的、永無止境的變化過程——智能體是如何處理壹直隨時間變化的任務的？獎勵函數的設計非常困難——相反，在元強化學習算法中能否同時使用二元反饋、偏好和示範？我們認為對《珍珠》中貝葉斯推理的研究可以為解決這些問題帶來新的視角。同時，我們也相信PEARL在異步策略學習方面的能力是實現元強化學習在真實系統中大規模應用的第壹步。