参考文献：《DeeoID:Deep learning face representation from predicting 10,000 classes》
1 Effective way to learn high-level over-complete features with deep ConvNets.
图1 箭头指示传播的方向。每一层神经元的数量的标记在multiple deep ConvNets的旁边。DeepID提取自每一个ConvNet的最后一个隐层，and predict a large number of identity classes。沿着特征提取特征数量继续减少级联到DeepID层。 特征的数量沿着特征提取的级联方向逐渐减少，直到DeepID层.
The ConvNets are learned to classify all the faces available for training by their identities, with the last hidden layer neuron activations as features (referred to as Deep hidden IDentity features or DeepID).每一个 ConvNet 的输入为一个face patch，在最下面的层提取局部的低级特征. 沿着特征提取的级联方向提取的特征的数量会逐渐减少，但是更多全局的和高级的特征会在上面的层提取出来。最后得到的是一个160维的DeepID特征，包行rich identity information，并且可以直接用来预测大数据量的身份类别分类（比如，1000类）.
同时分类所有的身份类别,而不是训练二元分类器是基于两方面的考虑。首先, it is much more difficult to predict a training sample into one of many classes than to perform binary classification。这个具有挑战性的任务可以充分利用神经网络的超级学习能力的提取人脸识别的有效特征。第二,它隐式地对ConvNets添加了一个强正规化, 这有助于形成共享的隐藏表示, 可以很好的分类所有的身份类别。所以，这样学习到的高级特征具有很好的凡或能力并且用小数据集做人脸训练不会导致过拟合。我们限制DeepID的维数要显著少于分类的类别，这是学习得到具有高度紧凑和区分性的特征的关键。我们进一步连接提取自不同人脸区域的DeepID来形成复杂完备的表示。测试中发现，学习得到的特征可以很好的一般化到新(训练中没有用到， which are not seen i