DDPG中提到了OU随机噪声，OU过程是一种序贯相关的过程，RL也是一种序贯相关模型，so 引入OU噪声也有一定道理。
OU随机过程：原理讲解
OU随机过程：代码复现
2022.05.01更新：
这篇blog对ou噪声&高斯噪声做了详细的对比分析，值得好好看一下
强化学习中Ornstein-Uhlenbeck噪声是鸡肋吗?
总的来说，ou噪声适用于惯性系统、时间离散化粒度（采样时间）较小的场景。
将其推广到连续随机系统当中就是这个样子
代码复现
class OrnsteinUhlenbeckActionNoise:def __init__(self, mu, sigma=0.2, theta=0.15, dt=1e-2, x0=None):self.theta = thetaself.mu = muself.sigma = sigmaself.dt = dtself.x0 = x0self.reset()def __call__(self):x = self.x_prev + self.theta * (self.mu - self.x_prev) * self.dt + self.sigma * np.sqrt(self.dt) * np.random.normal(size=self.mu.shape)self.x_prev = xreturn xdef reset(self):self.x_prev = self.x0 if self.x0 is not None else np.zeros_like(self.mu)def __repr__(self):return 'OrnsteinUhlenbeckActionNoise(mu={}, sigma={})'.format(self.mu, self.sigma)
对应上面的公式解读一下这句代码
x = self.x_prev + self.theta * (self.mu - self.x_prev) * self.dt + self.sigma * np.sqrt(self.dt) * np.random.normal(size=self.mu.shape)
dX(t) = X(t)-X(t-1)，这里的dx(t)实际上等于x-x_prev；公式中sigma乘上一个期望为0方差为d(t)的正态分布，而python实现中的np.random.normal生成的是一个标准正态分布。所以需要进行一个转换：
(x-u)/sigma ~ N(0,1) ------> x = u+sigma*N(0,1)