Deep Interest Evolution Network for Click-Through Rate Prediction（2019）

Deep Interest Evolution Network for Click-Through Rate Prediction（2019）

(0) 个人小结

在电商的场景下，用户的兴趣是多样的（可能同时有多个兴趣），并且会随着时间的变化由于外部环境（某商品流行程度等）和自身原因发生变化，并且用户喜欢的商品类别间的关系可能很小，例如：用户可能喜欢书和衣服，但是这两类商品关系不大。由此，作者提出了DIEN模型来建模用户兴趣的演变过程。

该模型自底向上分别由：Embedding层、用户兴趣提取层、用户兴趣演变层和MLP组成，Embedding层负责将输入特征转换为Embedding，用户兴趣提取层使用了GRU来从用户序列行为中提取用户的兴趣，用户兴趣演变层使用了AUGRU+Attention来建模和目标Iitem相关的兴趣演变（vector），然后将该向量和目标item、上下文特征、用户画像特征拼接，喂给MLP。

(1) 研究目标

提出DIEN模型，对用户兴趣变化进行建模。

(2) 背景 & 问题描述

在电商场景中，用户兴趣是多样化的，并且是多变的，已有的一些方法直接将用户的行为作为用户的兴趣，缺少对兴趣的建模。由此，提出DIEN来提取用户的兴趣并对用户兴趣的变化进行建模。

(3) 研究方法

模型的架构图：

• 模型的最底层是Embedding层，将输入映射为Embedding；

• 对于用户行为序列数据，将其按时间进行排序，然后喂给用户兴趣提取层，该层是由GRU来实现的。

  在该层引入了辅助Loss，该Loss为GRU隐层的输出分别与正样本和负样本的Embedding做内积，其公式如下：

• 辅助Loss降低了GRU反向传播调整参数的难度，同时帮助GRU隐层输出更好地表达兴趣（？？）

• 用户兴趣演变层：该层使用用户兴趣提取层的用户兴趣序列的输出，使用AUGRU建模与目标item相关的兴趣演变过程

• 最后将用户兴趣演变层的输出和目标item、上下文特征、用户画像特征组合，喂给MLP

(4) 结论与展望

该文提出了DIEN模型来建模用户动态的兴趣演变，有效提取用户与目标item相关的兴趣演变序列。