2019-CIKM-SDM: Sequential Deep Matching Model for Online Large-scale Recommender System

SDM: Sequential Deep Matching Model for Online Large-scale Recommender System

2019-CIKM 阿里团队

item CF 不能建模用户动态和演化的偏好。本文提出SDM，解决两个问题：

• 一个session中可能有多种兴趣趋势
• 长期偏好可能无法与当前session的兴趣有效融合

个人认为本文的亮点有：

• user emb做query，对于序列LSTM之后的隐藏h序列（多头自注意力之后）做atten；对于长期序列不同feat分别做atten
• gate融合长期表示和短期表示，并且可视化case study解释

2 RELATED WORK

• 工业界：MF、YoutubeDNN、TDM、EGES、PinSage 这些模型不能很好地考虑用户动态演化的兴趣
• 序列推荐：序列推荐旨在以一种顺序的方式建模用户的偏好和预测用户未来的行动，如下一次点击。FPMC、HRM、GRU、CNN、记忆网络…

3 THE PROPOSED APPROACH

3.1 问题定义

• 短期session $S^u$ 长度为m
• 长期行为 $L^u$ 发生在$S^u$ 前七天内的items
  

session生成规则：

• 相同session id
• 邻接交互小于10min 合并到一个session
• session的最大长度50

$s_t^u$ 、$p^u$ 分别是短期表示和长期表示，聚合成最终表示 $o_t^u$。

3.2 训练和线上服务

为每个正样本进行一定数量的负采样：

（注意：这里的sampled-softmax将负样本也算到了loss中，有一些文章是只算正样本）

3.3 具有side info的输入嵌入

user和item的嵌入表示都使用concat(所有side info)的形式。

3.4 RNN层

3.5 注意力机制 -> 得 $s_t^u$

3.6 长期行为融合 -> 得 $p^u$

4 EXPERIMENT SETUP

5 EMPIRICAL ANALYSIS