Policy Gradient中不以loss來反向傳播的策略梯度方法是怎樣的

目錄

1.前言2.核心算法3.Add a Baseline4.總結(jié)

1.前言

這次介紹的基于策略梯度的Policy  Gradient的算法屬實比之前的算法沒那么好理解，筆者看完莫煩教程之后還是有許多細節(jié)沒搞懂，又看了李宏毅教授的DRL Lecture才弄懂，希望能把他講清楚。

2.核心算法

之前我們所學(xué)的DQN，Q-Learning都是通過計算動作得分來決策的，我們是在確定了價值函數(shù)的基礎(chǔ)上采用某種策略（貪婪-epsilon）的方式去選取價值最大的動作。仔細一想可以得知其實這種方式是間接的，因為還需要通過價值來選取動作。

Policy Gradient就是一種直接的方法，他可以直接輸出每種動作的概率進行直接的選擇。這里有一點要注意，Policy Gradient沒有誤差,他不通過誤差進行反向傳播，它是通過觀測信息選出一個行為直接進行反向傳播。他利用reward獎勵直接對選擇行為的可能性進行增強和減弱，好的行為會被增加下一次被選中的概率，不好的行為會被減弱下次被選中的概率。舉例如下圖所示：輸入當(dāng)前的狀態(tài)，輸出動作的概率分布，選擇概率最大的一個action作為執(zhí)行的操作。

 

 

 

 

得到概率之后我們就可以根據(jù)采樣得到的回報值計算出數(shù)學(xué)期望。

 

這里我們要注意兩點：首先R這個獎勵期望不需要是可微分的，即使是不可微分也是可以做這個運算。另外這里用到一個技巧，就是公式推導(dǎo)的第二步，大家也可以直接看藍色框背下來。

 

 

 

3.Add a Baseline

 

 

• 在理想的情況，考慮某個state下有三個動作a,b,c，每一項的概率加起來為1，每一項的weight(R)是不一樣的，可能有的大，有的小，乘起來之后經(jīng)過Normalize，獎勵高的自然概率就高了，這也是我們想要的。

• 在現(xiàn)實中，由于我們采用的是采樣的方法，我們只能是采樣到部分的action，我們可能只采樣到了b和c,沒采樣到a的，但是由于采樣到的b和c概率在上升，沒采樣到的a只能下降，這樣是非常不科學(xué)的。

解決的辦法就是讓期望減掉一個Baseline，讓一些不那么好的行為能得到一個負的反饋，也就是讓我們的獎勵減去一個b，這個b有很多取法，只要能達到目的就行。

 

優(yōu)點：

• 連續(xù)的動作空間或高維空間中更加高效。

• 可以實現(xiàn)隨機化策略

• 某種情況下，價值函數(shù)可能比較難以計算，而策略函數(shù)容易

缺點：

• 通常收斂到局部最優(yōu)而非全局最優(yōu)

• 評估一個策略通常低效（這個過程可能慢，但是具有更高的可變性，其中也會出現(xiàn)很多并不有效的嘗試，而且方差高）