梗概
在一些标签不足的情况下,决策边界上的很多样本无法得到较为准确的分类。常见的解决办法是最小化香农熵。但是这种办法会使得边界样本分类到样本数多的类别中,这样就使得分类的多样性降低。文章还提到了F范数与香农熵的单调性是相反的,因此也可以用最大化F范数来解决这个问题。
每个批次的类别向量构成一个矩阵。因为每个批次是随机采样的,因此各个矩阵可以通过最大化秩来保证多样性。也就是通过最大化线性无关向量的个数。
为了同时约束判别性和多样性,发现可以通过矩阵秩同时约束这两个特性。
对于判别性,因为F范数越大,判别性越好,又因为矩阵秩大于F范数,因此矩阵秩也越大。
对于多样性,因为矩阵秩越大,代表多样性越好。
综上,矩阵秩可以同时约束这两个特性。
注:
[0.9,0.1]与[0.1,0.9]线性无关,
[0.9,0.1]与[0.8,0.2]近似线性相关。
那么预测类别数也就是矩阵中最大的线性无关向量数,即矩阵的秩。线性无关向量数越多,预测类别数也越多。