当前位置: 代码迷 >> 综合 >> 机器学习中的数学(十):白化(whitening)
  详细解决方案

机器学习中的数学(十):白化(whitening)

热度:16   发布时间:2023-11-22 04:20:53.0

引言

我们已经了解了如何使用 PCA 降低数据维度(见上一个博客机器学习中的数学(九):主成分分析(PCA))。在一些算法中还需要一个与之相关的预处理步骤,这个预处理过程称为 白化(一些文献中也叫 sphering)。举例来说,假设训练数据是图像,由于图像中相邻像素之间具有很强的相关性,所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性;更正式的说,我们希望通过白化过程使得学习算法的输入具有如下性质:(i)特征之间相关性较低;(ii)所有特征具有相同的方差。

2D 的例子

下面我们先用前文的 2D 例子描述白化的主要思想,然后分别介绍如何将白化与平滑和 PCA 相结合。

如何消除输入特征之间的相关性? 在前文计算x_{rot}^{i}=U^{T}x^{(i)}时实际上已经消除了输入特征x^{(i)}之间的相关性。得到的新特征x_{rot}的分布如下图所示:

这个数据的协方差矩阵如下:

(注: 严格地讲, 这部分许多关于“协方差”的陈述仅当数据均值为 0 时成立。下文的论述都隐式地假定这一条件成立。不过即使数据均值不为 0,下文的说法仍然成立,所以你无需担心这个。

x_{rot}协方差矩阵对角元素的值为\lambda _{1}\lambda _{2}绝非偶然。并且非对角元素值为 0; 因此, x_{rot,1}x_{rot,2}是不相关的, 满足我们对白化结果的第一个要求 (特征间相关性降低)。
为了使每个输入特征具有单位方差,我们可以直接使用作为缩放因子来缩放每个特征x_{rot,i}。具体地,我们定义白化后的数据如下:

绘制出x_{PCAwhite},我们得到:

这些数据现在的协方差矩阵为单位矩阵 。我们说,x_{PCAwhite}是数据经过 PCA白化后的版本: x_{PCAwhite}中不同的特征之间不相关并且具有单位方差。白化与降维相结合。 如果你想要得到经过白化后的数据,并且比初始输入维数更低,可以仅保留x_{PCAwhite}中前k个成分。当我们把 PCA 白化和正则化结合起来时(在稍后讨论), 中最后的少量成分将总是接近于 0,因而舍弃这些成分不会带来很大的问题。

ZCA 白化

最后要说明的是,使数据的协方差矩阵变为单位矩阵I的方式并不唯一。具体地,如果R是任意正交矩阵,即满足RR^{T}=R^{T} R=I(说它正交不太严格,R可以是旋转或反射矩阵), 那么Rx_{PCAwhite}仍然具有单位协方差。在 ZCA
白化中,令R = U 。我们定义 ZCA 白化的结果为:

绘制x_{ZCAwhite},得到:

可以证明,对所有可能的R,这种旋转使得x_{ZCAwhite}尽可能地接近原始输入数据x。当使用 ZCA 白化时(不同于 PCA 白化),我们通常保留数据的全部n个维度,不尝试去降低它的维数。

正则化

实践中需要实现 PCA 白化或 ZCA 白化时,有时一些特征值\lambda _{i}在数值上接近于0,这样在缩放步骤时我们除以\sqrt{\lambda _{i}}将导致除以一个接近 0 的值;这可能使数据上溢 (赋为大数值)或造成数值不稳定。因而在实践中,我们使用少量的正则化实现这个缩放过程,即在取平方根和倒数之前给特征值加上一个很小的常数 :

当x在区间[-1,1]上时, 一般取值为 \epsilon \approx 10^{-5}

对图像来说, 这里加上\epsilon,对输入图像也有一些平滑(或低通滤波)的作用。这样处理还能消除在图像的像素信息获取过程中产生的噪声,改善学习到的特征(细节超出了本文的范围)。

ZCA 白化是一种数据预处理方法,它将数据从x映射到x_{ZCAwhite}。 事实证明这也是一种生物眼睛(视网膜)处理图像的粗糙模型。具体而言,当你的眼睛感知图像时,由于一幅图像中相邻的部分在亮度上十分相关,大多数临近的“像素”在眼中被感知为相近的值。因此,如果人眼需要分别传输每个像素值(通过视觉神经)到大脑中,会非常不划算。取而代之的是,视网膜进行一个与 ZCA 中相似的去相关操作 (这是由视网膜上的 ON-型和 OFF-型光感受器细胞将光信号转变为神经信号完成的)。由此得到对输入图像的更低冗余的表示,并将它传输到大脑。