特征提取——Hand-crafted feature
- 1. hand-crafted
- 2. 纯学习
- Reference
我们熟知 特征提取 是CV核心问题之一,而特征提取从思路上分为两类:① 手动设计(hand-crafted);② 纯学习方式 。这两种方式都是在一些生物神经理论的基础上进行的, 两者不同之处是hand-crafted设计的是特征本身,而纯学习设计的是特征提取框架的结构。
1. hand-crafted
由于hand-crafted是人为手动设计特征,依照人类视觉的特点对什么样的特征敏感,什么样的特征不敏感来提取图像中有区分能力的特征,因此提取出来的特征每一维往往都有具体的物理含义。目前先进的 hand-crafted 特征有基于反映纹理特点的方向梯度的SIFT特征、SURF特征(SIFT改进)、HOG特征等以及反映轮廓形状的shape context等,它们都是经历很长时间对人眼敏感信息的特点设计出来的,这些算法也逐渐扩展到3D,比如HOG3D,3Dsurf。这些基本属于底层视觉特征,理论依据一般是V1区视觉特性。著名的稀疏编码(Sparse coding) 也是根据V1区视觉特性构造的特征表示方法。
- hand-crafted特征的缺点:
- 虽然是基于视觉神经理论,但毕竟是人为设计,难免有想当然、不妥的成分。
- 该方法依赖数据库,需要根据数据的特点来设计,也就是说设计的特征不适用所有的数据库,当数据来源发生改变,比如对RGB数据设计的特征换成Kinect深度图像,这些特征点就不一定适应了,因此又得重新设计。
2. 纯学习
纯学习方法则是设计特征提取的rule,一般是一个model,人为设计的部分是model结构以及学习rule,至于模型参数则需要通过学习得到,训练完成后得到一个具体的model,而特征则需要通过这个model去对图像或视频进行提取,但是得到的特征往往无法解释每一维具体的物理含义。构建人的思考过程,这是神经网络理论提出的初衷。Deep learning框架就是模拟人脑的大脑皮层工作(生物神经理论上的支持),因为大脑皮层的视觉区域也是分层次工作的,越底层的视觉皮层对底层特征就越敏感,整个系统的输入raw data,只要设计好model的框架,通过训练得到model的参数,至于特征学习出来是什么样子,完全交给机器。
Reference
- https://www.jianshu.com/p/5c9b679e8e77