吴恩达神经网络Course——week4

一个多层的神经网络，结构是输入层->隐藏层->隐藏层->···->隐藏层->输出层**，在每一层中，我会首先计算Z = np.dot(W,A) + b，这叫做【linear_forward】，然后再计算A = relu(Z) 或者 A = sigmoid(Z)，这叫做【linear_activation_forward】，合并起来就是这一层的计算方法，所以每

1. 初始化网络参数

2. 前向传播

   2.1 计算一层的中线性求和的部分

   2.2 计算激活函数的部分（ReLU使用L-1次，Sigmod使用1次）

   2.3 结合线性求和与激活函数

3. 计算误差

4. 反向传播

   4.1 线性部分的反向传播公式

   4.2 激活函数部分的反向传播公式

   4.3 结合线性部分与激活函数的反向传播公式

5. 更新参数