R L 算 法 介 绍 及 比 较

【RL笔记】基于tensorflow实现RL的policy based算法
Reinforcement Learning是AI的一个重要方向，本文实现来基于tensorflow的policy based算法
import numpy as np
import tensorflow as tf
import gym
env = gym.make('CartPole-v0')
env.reset()
random_episodes = 0
reward_sum = 0
while random_episodes 10:
env.render()
observation,reward,done,_ = env.step(np.random.randint(0,2))
reward_sum += reward
if done:
random_episodes += 1
print("Reward for this episode was:",reward_sum)
reward_sum = 0
env.reset
batch_size = 25
learning_rate = 1e-1
gamma = 0.99
tvars = tf.trainable_variables()
observations = tf.placeholder(tf.float32,[None,D],name="input_x") w1 = tf.get_variable("w1",shape=[D,H],initializer=y ers.xavier_initializer())
layer1 = tf.nn.relu(tf.matmul(observations,w1))
w2 = tf.get_variable("w2",shape=[H,1],initializer=y ers.xavier_initializer())
score = tf.matmul(layer1,w2)
probability = tf.nn.sigmoid(score)
adam=
tf.train.AdamOptimizer(learning_rate=learning_rate) w1Grad = tf.placeholder(tf.float32,name="batch_grad1") w2Grad = tf.placeholder(tf.float32,name="batch_grad2") batchGrad = [w1Grad,w2Grad]
updateGrad = adam.apply_gradients(zip(batchGrad,tvars)) def discount_reward(r):
discount_r = np.zero_like(r)
running_add = 0
for t in reversed(range(r.size)):
running_add = running_add * gamma + r[t]
discount_r[t] = running_add
return discount_r
input_y = tf.placeholder(tf.float32,[None,1],name="input_y") advantages = tf.placeholder(tf.float32,name="reward_signal")
loglik = tf.log(input_y * (input_y - probability) + (1 - input_y) * (input_y + probability))
loss = -tf.reduce_mean(loglik * advantages)
newGrads = tf.gradients(loss,tvars)
xs,ys,drs = [],[],[]
reward_sum = 0
episode_number = 1
total_episode = 10000
with tf.Session as sess:
rendering = False
init = tf.global_variables_initializer()
sess.run(init)
observation = env.reset()
gradBuffer = sess.run(tvars)
for ix,grad in enumerate(gradBuffer):
gradBuffer[ix] = grad * 0
while episode_number = total_episode:
if reward_sum-batch_size 100 or rendering == True:
env.render()
rendering = True
x = np.reshape(observation,[1,D])
tfprob = sess.run(probability,feed_dict={observations:x})
action = 1 if np.random.uniform() tfprob else 0
xs.qppend(x)
y = 1 - action
ys.append(y)
observation,reward,done,info = env.step(action)
reward_sum += reward
drs.append(reward)
if done:
episode_number += 1
epx = np.vstack(xs)
epy = np.vstack(ys)
epr = np.vstack(drs)
xs,ys,drs = [],[],[]
discounted_epr = discount_reward(epr)
discounted_epr -= np.mean(discounted_epr)
discounted_epr -= np.std(discounted_epr)
tGrad = sess.run(newGrads,feed_dict={observations:epx,input_y:epy,a dvantages:discounted_epr})
for ix,grad in enumerate(tGrad):
gradBuffer[ix] += grad
if episode_number % batch_size == 0:
sess.run(updateGrad,feed_dict={w1Grad:gradBuffer[0],w 2Grad:gradBuffer[1]})
for ix,grad in enumerate(gradBuffer):
gradBuffer[ix] = grad * 0
print('Average reward for episode %d : %f.' %(episode_number,reward_sum-batch_size)) if reward_sum-batch_size 200:
print("Task solved in",episode_number,'episodes!')
reward_sum = 0
observation = env.reset()
真实世界的机器人实验面临一些重大的挑战，例如由于硬件故障
和手动重置导致的数据流经常中断，为避免机器人的机械磨损而进行的平滑工作，因为算法及其实现会由于机械磨损而受到限制，包括但不仅限于）：
binrlCoachMdl.exe
sharerl-0.7.0examplesrlsgunimation-puma560_boxes.xml
sharerl-0.7.0examplesrlmdlunimation-puma560.xml
A Taxonomy of RL Algorithms(分类)
可视化原PSF与三个PSF的图像，并分析其特征分布于平滑度。

（比如，中心与边界分布，左右侧分布，上下侧分布，左上右下或者右上左下的特征分布）
深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。

因此，“深度模型”是手段，“特征学习”是目的。

集成学习（ensemble）思想是为了解决单个模型或者某一组参数的模型所固有的缺陷，从而整合起更多的模型，取长补短，避免局限性。

随机森林就是集成学习思想下的产物，将许多棵决策树整合成森林，并合起来用来预测最终结果。

float A[N][N], B[N][N], C[N][N]; --定义三个矩阵A,B,C 深度Q网络除了使用深度神经网络逼近状态动作值函数之外，还单独使用另一个深度神经网络来产生目标Q值。

在算法中使用目标值网络后，一段时间内的目标Q值是保持恒定的，一定程度上降低了当前Q值和优化目标值之间的相关性，从而提高了算法的稳定性和性
能。

可以看到，这个概率和逻辑回归中的形式是一样的。

这种情况下GNB 和 LR 会学习到同一个模型。

实际上，在更一般的假设（P(x|y)的分布属于指数分布族）下，我们都可以得到类似的结论。

回合更新：基础版的Policy Gradients、Monte-Carlo Learning。