吴恩达 deeplearning.ai - 神经网络和深度学习 - 第二周代码
""" Created on Fri Aug 20 10:45:19 2021参考链接：https://blog.csdn.net/u013733326/article/details/79639509@author: 23820 """import numpy as np
import matplotlib.pyplot as plt
import h5py
from lr_utils import load_dataset
train_set_x_orig , train_set_y , test_set_x_orig , test_set_y , classes = load_dataset()
m_train = train_set_y.shape[1]
m_test = test_set_y.shape[1]
num_px = train_set_x_orig.shape[1]
train_set_x_flatten = train_set_x_orig.reshape(train_set_x_orig.shape[0],-1).T
test_set_x_flatten = test_set_x_orig.reshape(test_set_x_orig.shape[0], -1).T''' 把数组变为209行的矩阵（因为训练集里有209张图片），但是我懒得算列有多少， 于是我就用-1告诉程序你帮我算，最后程序算出来时12288列， 我再最后用一个T表示转置，这就变成了12288行，209列。测试集亦如此。 '''
''' 输出： 训练集降维最后的维度： (12288, 209) 训练集_标签的维数 : (1, 209) 测试集降维之后的维度: (12288, 50) 测试集_标签的维数 : (1, 50) '''''' 为了表示彩色图像，必须为每个像素指定红色，绿色和蓝色通道（RGB）， 因此像素值实际上是从0到255范围内的三个数字的向量。 机器学习中一个常见的预处理步骤是对数据集进行居中和标准化， 这意味着可以减去每个示例中整个numpy数组的平均值， 然后将每个示例除以整个numpy数组的标准偏差。 但对于图片数据集，它更简单，更方便，几乎可以将数据集的每一行除以255（像素通道的最大值）， 因为在RGB中不存在比255大的数据，所以我们可以放心的除以255，让标准化的数据位于[0,1]之间。 '''
train_set_x = train_set_x_flatten / 255
test_set_x = test_set_x_flatten / 255
''' 1. 定义模型结构（例如输入特征的数量） 2. 初始化模型的参数 3. 循环： 3.1 计算当前损失（正向传播） 3.2 计算当前梯度（反向传播） 3.3 更新参数（梯度下降） '''def sigmoid(z):"""参数：z - 任何大小的标量或numpy数组。返回：s - sigmoid（z）"""s = 1 / (1 + np.exp(-z))return s
''' 输出： ====================测试sigmoid==================== sigmoid(0) = 0.5 sigmoid(9.2) = 0.9998989708060922 '''def initialize_with_zeros(dim):"""此函数为w创建一个维度为（dim，1）的0向量，并将b初始化为0。更正：应随机初始化我们的w权重注意1：随机设置w时，w太大，会导致梯度消失；w随机数乘以0.001之后就正常了。注意2：对于神经网络来说不能初始化为0，初始化为0导致权重同步更新，相当于训练了单个逻辑回归。对于逻辑回归来说，初始化为0并不会影响训练，所以这里可以初始化为0。参数：dim - 我们想要的w矢量的大小（或者这种情况下的参数数量）返回：w - 维度为（dim，1）的初始化向量。b - 初始化的标量（对应于偏差）"""w = np.random.rand(dim,1)*0.001b = 0.0assert(w.shape == (dim, 1)) assert(isinstance(b, float) or isinstance(b, int)) return (w , b)''' 不乘0.001： ====================测试model==================== D:\workspace\Python\deeplearningAI\lecture1\week2\week2.py:184: RuntimeWarning: divide by zero encountered in logcost = (- 1 / m) * np.sum(Y * np.log(A) + (1 - Y) * (np.log(1 - A))) #计算成本，请参考公式3和4。 D:\workspace\Python\deeplearningAI\lecture1\week2\week2.py:184: RuntimeWarning: invalid value encountered in multiplycost = (- 1 / m) * np.sum(Y * np.log(A) + (1 - Y) * (np.log(1 - A))) #计算成本，请参考公式3和4。 迭代的次数: 0 ， 误差值： nan 迭代的次数: 100 ， 误差值： nan 迭代的次数: 200 ， 误差值： nan 迭代的次数: 300 ， 误差值： nan 迭代的次数: 400 ， 误差值： nan 迭代的次数: 500 ， 误差值： nan 迭代的次数: 600 ， 误差值： nan 迭代的次数: 700 ， 误差值： nan 迭代的次数: 800 ， 误差值： inf 迭代的次数: 900 ， 误差值： inf 迭代的次数: 1000 ， 误差值： 2.034923 迭代的次数: 1100 ， 误差值： 1.397228 迭代的次数: 1200 ， 误差值： 1.094975 迭代的次数: 1300 ， 误差值： 0.925196 迭代的次数: 1400 ， 误差值： 0.803968 迭代的次数: 1500 ， 误差值： 0.702898 迭代的次数: 1600 ， 误差值： 0.615769 迭代的次数: 1700 ， 误差值： 0.543021 迭代的次数: 1800 ， 误差值： 0.483057 迭代的次数: 1900 ， 误差值： 0.433024 训练集准确性： 89.95215311004785 % 测试集准确性： 76.0 %乘0.001：====================测试model==================== 迭代的次数: 0 ， 误差值： 1.701263 迭代的次数: 100 ， 误差值： 0.584169 迭代的次数: 200 ， 误差值： 0.466655 迭代的次数: 300 ， 误差值： 0.375768 迭代的次数: 400 ， 误差值： 0.331351 迭代的次数: 500 ， 误差值： 0.303186 迭代的次数: 600 ， 误差值： 0.279810 迭代的次数: 700 ， 误差值： 0.259985 迭代的次数: 800 ， 误差值： 0.242893 迭代的次数: 900 ， 误差值： 0.227964 迭代的次数: 1000 ， 误差值： 0.214785 迭代的次数: 1100 ， 误差值： 0.203048 迭代的次数: 1200 ， 误差值： 0.192518 迭代的次数: 1300 ， 误差值： 0.183011 迭代的次数: 1400 ， 误差值： 0.174379 迭代的次数: 1500 ， 误差值： 0.166504 迭代的次数: 1600 ， 误差值： 0.159289 迭代的次数: 1700 ， 误差值： 0.152654 迭代的次数: 1800 ， 误差值： 0.146530 迭代的次数: 1900 ， 误差值： 0.140861 训练集准确性： 99.04306220095694 % 测试集准确性： 70.0 % '''
def propagate(w, b, X, Y):"""实现前向和后向传播的成本函数及其梯度。参数：w - 权重，大小不等的数组（num_px * num_px * 3，1）b - 偏差，一个标量X - 矩阵类型为（num_px * num_px * 3，训练数量）Y - 真正的“标签”矢量（如果非猫则为0，如果是猫则为1），矩阵维度为(1,训练数据数量)返回：cost- 逻辑回归的负对数似然成本dw - 相对于w的损失梯度，因此与w相同的形状db - 相对于b的损失梯度，因此与b的形状相同"""m = X.shape[1]A = sigmoid(np.dot(w.T,X) + b) cost = (- 1 / m) * np.sum(Y * np.log(A) + (1 - Y) * (np.log(1 - A))) dw = (1 / m) * np.dot(X, (A - Y).T) db = (1 / m) * np.sum(A - Y) assert(dw.shape == w.shape)assert(db.dtype == float)cost = np.squeeze(cost)assert(cost.shape == ())grads = {
"dw": dw,"db": db}return (grads , cost)
''' 输出： ====================测试propagate==================== dw = [[0.99993216][1.99980262]] db = 0.49993523062470574 cost = 6.000064773192205 '''
def optimize(w , b , X , Y , num_iterations , learning_rate , print_cost = False):"""此函数通过运行梯度下降算法来优化w和b参数：w - 权重，大小不等的数组（num_px * num_px * 3，1）b - 偏差，一个标量X - 维度为（num_px * num_px * 3，训练数据的数量）的数组。Y - 真正的“标签”矢量（如果非猫则为0，如果是猫则为1），矩阵维度为(1,训练数据的数量)num_iterations - 优化循环的迭代次数learning_rate - 梯度下降更新规则的学习率print_cost - 每100步打印一次损失值返回：params - 包含权重w和偏差b的字典grads - 包含权重和偏差相对于成本函数的梯度的字典成本 - 优化期间计算的所有成本列表，将用于绘制学习曲线。提示：我们需要写下两个步骤并遍历它们：1）计算当前参数的成本和梯度，使用propagate（）。2）使用w和b的梯度下降法则更新参数。"""costs = []for i in range(num_iterations):grads, cost = propagate(w, b, X, Y)dw = grads["dw"]db = grads["db"]w = w - learning_rate * dwb = b - learning_rate * dbif i % 100 == 0:costs.append(cost)if (print_cost) and (i % 100 == 0):print("迭代的次数: %i ， 误差值： %f" % (i,cost))params = {
"w" : w,"b" : b }grads = {
"dw": dw,"db": db } return (params , grads , costs)
''' 输出： ====================测试optimize==================== w = [[0.1124579 ][0.23106775]] b = 1.5593049248448891 dw = [[0.90158428][1.76250842]] db = 0.4304620716786828 '''''' optimize函数会输出已学习的w和b的值，我们可以使用w和b来预测数据集X的标签。 现在我们要实现预测函数predict（）。计算预测有两个步骤： 1.使用sigmoid函数来计算输出a 2.将a的值变为0（如果激活值<= 0.5）或者为1（如果激活值> 0.5）， 然后将预测值存储在向量Y_prediction中。 '''
def predict(w , b , X ):"""使用学习逻辑回归参数logistic （w，b）预测标签是0还是1，参数：w - 权重，大小不等的数组（num_px * num_px * 3，1）b - 偏差，一个标量X - 维度为（num_px * num_px * 3，训练数据的数量）的数据返回：Y_prediction - 包含X中所有图片的所有预测【0 | 1】的一个numpy数组（向量）"""m = X.shape[1] Y_prediction = np.zeros((1,m)) w = w.reshape(X.shape[0],1)A = sigmoid(np.dot(w.T , X) + b)for i in range(A.shape[1]):Y_prediction[0,i] = 1 if A[0,i] > 0.5 else 0assert(Y_prediction.shape == (1,m))return Y_prediction
''' 输出： ====================测试predict==================== predictions = [[1. 1.]] '''def model(X_train , Y_train , X_test , Y_test , num_iterations = 2000 , learning_rate = 0.5 , print_cost = False):"""通过调用之前实现的函数来构建逻辑回归模型参数：X_train - numpy的数组,维度为（num_px * num_px * 3，m_train）的训练集Y_train - numpy的数组,维度为（1，m_train）（矢量）的训练标签集X_test - numpy的数组,维度为（num_px * num_px * 3，m_test）的测试集Y_test - numpy的数组,维度为（1，m_test）的（向量）的测试标签集num_iterations - 表示用于优化参数的迭代次数的超参数learning_rate - 表示optimize（）更新规则中使用的学习速率的超参数print_cost - 设置为true以每100次迭代打印成本返回：d - 包含有关模型信息的字典。"""w , b = initialize_with_zeros(X_train.shape[0])parameters , grads , costs = optimize(w , b , X_train , Y_train,num_iterations , learning_rate , print_cost)w , b = parameters["w"] , parameters["b"]Y_prediction_test = predict(w , b, X_test)Y_prediction_train = predict(w , b, X_train)print("训练集准确性：" , format(100 - np.mean(np.abs(Y_prediction_train - Y_train)) * 100) ,"%")print("测试集准确性：" , format(100 - np.mean(np.abs(Y_prediction_test - Y_test)) * 100) ,"%")d = {
"costs" : costs,"Y_prediction_test" : Y_prediction_test,"Y_prediciton_train" : Y_prediction_train,"w" : w,"b" : b,"learning_rate" : learning_rate,"num_iterations" : num_iterations }return dprint("====================测试model====================")
d = model(train_set_x, train_set_y, test_set_x, test_set_y, num_iterations = 2000, learning_rate = 0.005, print_cost = True)
''' 迭代4000次，学习率0.001： 训练集准确性： 95.69377990430623 % 测试集准确性： 74.0 %迭代2000次，学习率0.005： 训练集准确性： 99.04306220095694 % 测试集准确性： 70.0 %迭代2000次，学习率0.001： 训练集准确性： 91.38755980861244 % 测试集准确性： 68.0 %迭代4000次，学习率0.005： 训练集准确性： 99.52153110047847 % 测试集准确性： 70.0 % '''
''' 我们更改一下学习率和迭代次数，有可能会发现训练集的准确性可能会提高，但是测试集准确性会下降， 这是由于过拟合造成的，但是我们并不需要担心，我们以后会使用更好的算法来解决这些问题的。 '''
costs = np.squeeze(d['costs'])
plt.plot(costs)
plt.ylabel('cost')
plt.xlabel('iterations (per hundreds)')
plt.title("Learning rate =" + str(d["learning_rate"]))
plt.show()''' 让我们进一步分析一下，并研究学习率alpha的可能选择。为了让渐变下降起作用，我们必须明智地选择学习速率。 学习率α决定了我们更新参数的速度。如果学习率过高，我们可能会“超过”最优值。 同样，如果它太小，我们将需要太多迭代才能收敛到最佳值。这就是为什么使用良好调整的学习率至关重要的原因。我们可以比较一下我们模型的学习曲线和几种学习速率的选择。 也可以尝试使用不同于我们初始化的learning_rates变量包含的三个值，并看一下会发生什么。 '''
plt.figure()
learning_rates = [0.01, 0.001, 0.0001]
models = {
}
for i in learning_rates:print ("learning rate is: " + str(i))models[str(i)] = model(train_set_x, train_set_y, test_set_x, test_set_y, num_iterations = 1500, learning_rate = i, print_cost = False)print ('\n' + "-------------------------------------------------------" + '\n')for i in learning_rates:plt.plot(np.squeeze(models[str(i)]["costs"]), label= str(models[str(i)]["learning_rate"]))plt.ylabel('cost')
plt.xlabel('iterations')legend = plt.legend(loc='upper center', shadow=True)
frame = legend.get_frame()
frame.set_facecolor('0.90')
plt.show()''' learning rate is: 0.01 训练集准确性： 99.52153110047847 % 测试集准确性： 68.0 %-------------------------------------------------------learning rate is: 0.001 训练集准确性： 88.99521531100478 % 测试集准确性： 66.0 %-------------------------------------------------------learning rate is: 0.0001 训练集准确性： 68.42105263157895 % 测试集准确性： 36.0 %------------------------------------------------------- '''