推荐系统——Behavior Sequence Transformer for E-commerce Recommendation in Alibaba(BST)

前言

论文地址：arxiv
代码地址：github
代码第三方复现，建议阅读原文

系列文章

推荐系统——Neural Collaborative Filtering(NMF)
推荐系统——Deep Interest Network for Click-Through Rate Prediction(DIN)
推荐系统——Deep Interest Evolution Network for Click-Through Rate Prediction(DIEN)
推荐系统——Deep Session Interest Network for Click-Through Rate Prediction(DSIN)
推荐系统——Multi-Interest Network with Dynamic Routing for Recommendation at Tmall(MIND)
推荐系统——Behavior Sequence Transformer for E-commerce Recommendation in Alibaba(BST)
持续更新中…

动机

transformer在cv和nlp杀疯了，所以拿来试试。

网络结构

结构真没啥好讲的，承接DIN，DISN，DIEN的风格，结构几乎和DIN一致，不了解DIN戳这里：推荐系统——Deep Interest Network for Click-Through Rate Prediction(DIN)
这里把DIN做了简化，去除了DIN的用MLP实现的attention结构，才用transformer来实现对应的功能。transformer不了解戳这里：Transformer主干网络——ViT保姆级解析。这个transformer的block负责对用户的时序行为以及target item的特征进行信息交互，然后再输出交互后的结果，接后面的MLP进行预测。

这里要注意的一点是，这个transformer的机构才用了时间差作为位置编码，时间差就是item1的时间减去target item的时间。这样的好处就是可以充分挖掘用户在不同时刻的行为的信息。

做位置编码的实现也很简单，就是把序列行为的特征按位加上时间差特征即可。

模型效果

看起来在阿里巴巴线上获得了不错的CTR收益。
这里我在私人数据集上魔改了下加入Transformer结构实验的效果如下：