以前我在训练的时候,都是直接设定一个比较大的epoch,跑完所有的epoch之后再根据数据去调整模型与参数。这样做会比较耗时,例如说训练在某一个epoch开始已经过拟合了,后面继续训练意义就不大了。
在书上看到的callback函数很好的解决了这个问题,它能够监测训练过程中的loss或者acc这些指标,一旦观察到损失不再改善之后,就可以中止训练,节省时间。下面记录一下
介绍:
(选自《python深度学习》)
回调函数(callback)是在调用fit时传入模型的一个对象,它在训练过程中的不同时间点都会被模型调用。它可以访问关于模型状态与性能的所有可用数据,还可以采取行动:中断训练、保存模型、加载一组不同的权重或改变模型的状态。
部分回调函数:
1.ModelCheckpoint与EarlyStopping
监控目标若在指定轮数内不再改善,可利用EarlyStopping来中断训练。
可配合ModelCheckpoint使用,该回调函数可不断地保存模型,亦可以只保存某一epoch最佳性能模型
import kerascallbacks_list=[keras.callbacks.EarlyStopping(monitor='acc',#监控精度patience=5,#5轮内不改善就中止
),keras.callbacks.ModelCheckpoint(filepath='C:/apple/my_model.h5',#模型保存路径monitor='val_loss',#检测验证集损失值save_best_only=True#是否只保存最佳模型)
]model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['acc'])model.fit(x,y,epochs=10,batch_size=32,callbacks=callbacks_list,#在这里放入callback函数validation_data=(x_val,y_val))
2.ReduceLROnPlateau回调函数
如果验证损失不再改善,可以使用该回调函数来降低学习率。
import kerascallbacks_list=[keras.callbacks.ReduceLROnPlateau(monitor='val_loss',#监控精度patienece=5, # 5轮内不改善就改变factor=0.1#学习率变为原来的0.1
)
]model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['acc'])model.fit(x,y,epochs=10,batch_size=32,callbacks=callbacks_list,#在这里放入callback函数validation_data=(x_val,y_val))