[机器学习]Multiple Dimensional Scaling——MDS算法介绍及理解

Multiple Dimensional Scaling——MDS算法介绍及理解

以上，为MDS算法的数学证明，事实上网上已经有很多博客和文章写过了。在这里，我主要是想把这个算法的逻辑和内在的想法，通过我的理解阐述一下。
MDS算法的目标是对数据进行降维，但是只是对特定数据形式的数据进行降维，即每一个数据是有其与剩余其他数据的相互距离作为分量表示。所以，我们有且仅有的只有不同样本之间的距离。这样的话，我们如果要表示一个样本，我们需要用一个N维向量来表示（就是样本与所有样本的距离来表示它）
在这种情况下，我们并不知道距离具体是怎么得到的，或者说，具体应该用什么样的指标来衡量一个样本（就是一个向量的分量）。所以，MDS的想法是，如果我们从距离这个角度入手，通过对距离的坐标变换，既能保证距离的信息能被一定的保存下来，又能够降维。
上面说完MDS的目标和思维，再看它的数学证明就清晰很多了。关键在于，以上证明中用的X其实就是我们为了表示一个样本所虚构的特征向量。至于，这个特征具体的意义，我们其实并不在乎，但关键是，能够保证新的特征下的距离和真实的距离是一致的，就足够了。、