Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations

Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations

(0) 个人小结

该文基于矩阵分解的思想，使用了双塔模型建模召回过程，该模型双塔分别为用户Embedding（文中称为Query Embedding）和item Embedding。在item Embedding中，考虑了item 的content，因此可以解决新item冷启动的问题。该模型将召回看作一个多分类问题，在推荐场景，类别巨大，一般使用层次softmax或sampled softmax，由于目标item（用户已安装且已使用的App）包含item的内容信息，上述两种方法不适用，所以该文使用了最近邻算法召回top k个item。

在采样时，使用了混合负采样：batch内负采样+物料池中均匀采样，batch内负采样符合unigram分布（即基于物品出现频率的采样），并且节省计算代价，但是存在偏差问题，负样本不包含长尾中item，因此引入了物料池中均匀采样。

(1) 研究目标

将双塔模型应该到谷歌商店APP推荐，使用混合负采样获得负样本，引入item的内容特征，有效解决新item冷启动问题。

(2) 研究方法

双塔模型的思想：

将Query input（用户特征）和item input分别映射为Embedding。

双塔模型在谷歌商店APP推荐的应用：

左边为用户的信息：用户特征、上下文特征和用户喜欢的APP（已安装&已使用），右边为候选APP的特征，将这些分别映射为查询Embedding和APP embedding。其中激活函数为ReLu。

谷歌商店 APP 推荐框架：

利用用户Embedding和Item Embeddding 进行先做召回，然后对召回结果进行重排。

双塔模型中batch负采样思想：

将同batch内的其他正样本作为该样本的负样本

双塔模型中混合负采样示例图：

在Item Embedding中，1~B是batch内负采样，1 ~ B’ 是从物料池中均匀负采样。矩阵 B* B 是正样本的label，其他地方为负样本的label，即为0。