当前位置：代码迷 >> 综合 >> cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

详细解决方案

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

热度：81 发布时间：2023-09-30 00:24:06.0

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

激活函数

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

sigmoid函数的缺点

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

tanh

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

Relu优点

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

Leaky Relu

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

ELU

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

Maxout

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

激活函数使用意见

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

数据预处理

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

PCA和白话

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

图片数据的使用意见：通常只做中心化处理，不做标准化方差和PCA、白化

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

权值初始化：具有零均值和1E-2标准偏差的高斯分布

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

批量归一化

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

超参数优化

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

总结

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

优化算法的拓展

加入动量项，不易陷入鞍点

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

相关解决方案