GERL 2020 （WWW）Graph Enhanced Representation Learning for News Recommendation

应用场景

新闻推荐

提出背景

• 新闻因具有实时性因而不适用于传统的CF技术推荐。DKN[2018]中，物品通过新闻标题和知识图谱中对应实体和实体上下文表示，用户通过用户历史推荐序列进行表示，但是新闻标题可能是语义模糊的，历史行为可能是数据稀疏的。
• GNN在推荐系统中的应用越来越多，目前GNN模型利用节点属性和图结构来表示用户和物品，虽然利用节点关系，视觉特征，知识图谱中传播信号增强了语义信息，但是文本内容却没有充分利用。

本文贡献

• 我们利用transformer结构对新闻标题的文本内容进行建模，通过文本意识的新闻表示来提高了节点嵌入。
• 引入GERL，Graph EnhancedRepresentation Learning (GERL)。
  

如图所示是用户-物品二部图，定义如下概念：

• 邻居新闻：被同一用户浏览过的新闻
• 邻居用户：浏览过同一新闻的用户

1. 新闻可以通过邻居新闻增强表示
2. 用户可以通过邻居用户增强表示

基础架构

模型由两部分组成，第一部分是one hop交互，依据用户历史点击来表示用户和基于文本内容表示候选新闻；第二部分是two hop graph learning方法，通过学习知识图谱中邻居节点来增强用户物品表示。

Transformer for Context Understanding

1. 将新闻标题嵌入到低维空间
   $$\left[{\mathbf{e}}_1,{\mathbf{e}}_2,\dots ,{\mathbf{e}}_M\right]$$
2. multi-head self-attention network，单词之间的交互对于表示学习是重要的，采用多头自注意力机制形成文本的单词向量表示
3. $$\begin{array}{rl}{\alpha }_{i,j}^k& =\frac{\exp \left({\mathbf{e}}_i^T{\mathbf{W}}_s^k{\mathbf{e}}_j\right)}{{\sum }_{m=1}^M\exp \left({\mathbf{e}}_i^T{\mathbf{W}}_s^k{\mathbf{e}}_m\right)}\\ & {\mathbf{h}}_i^k={\mathbf{W}}_v^k\left(\sum _{j=1}^M{\alpha }_{i,j}^k{\mathbf{e}}_j\right)\end{array}$$
   ${\mathbf{W}}_s^k$ and ${\mathbf{W}}_v^k$是第k个自注意力头的投影矩阵，${\alpha }_{i,j}^k$表示第i和j单词之间的相关性，第i个单词的多头表示为$\left[{\mathbf{h}}_i^1;{\mathbf{h}}_i^2;\dots ;{\mathbf{h}}_i^N\right]$
4. 通过dropout层防止过拟合
5. 通过一个attention网络对不同单词的重要性进行建模
   $${\beta }_i^w=\frac{\exp \left({\mathbf{q}}_w^T\tanh \left({\mathrm{U}}_w\times {\mathbf{h}}_i+{\mathbf{u}}_w\right)\right)}{{\sum }_{j=1}^M\exp \left({\mathbf{q}}_w^T\tanh \left({\mathbf{U}}_w\times {\mathbf{h}}_j+{\mathbf{u}}_w\right)\right)}$$
6. 新闻的话题也可以揭示用户的偏好，所以对话题通过一个嵌入网络进行建模，得到${\mathbf{v}}_{\mathbf{p}}$，最终得到新闻的表示为
   $\mathbf{v}=\left[{\mathbf{v}}_t;{\mathbf{v}}_p\right]$
   

One-hop Interaction Learning

候选新闻语义表示

候选新闻采用transformer建模表示。

目标用户语义表示

目标用户的偏好可以通过历史点击揭示，因此，对用户历史点击的新闻的内容进行建模，不同的新闻重要度不同，采用一个注意力网络，假设用户u的历史点击新闻列表为$\left[n_1,n_2,\dots ,n_K\right]$，经过transformer后编码为$\left[{\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_K\right]$，注意力网络权重表示为
$${\beta }_i^n=\frac{\exp \left({\mathbf{q}}_n^T\tanh \left({\mathbf{U}}_n\times {\mathbf{v}}_i+{\mathbf{u}}_n\right)\right)}{{\sum }_{q=1}^K\exp \left({\mathbf{q}}_n^T\tanh \left({\mathbf{U}}_n\times {\mathbf{v}}_q+{\mathbf{u}}_n\right)\right)}$$

目标用户ID表示

用户IDs代表独一无二的用户，我们为每一个用户学习一个向量${\mathbf{u}}_e^O$

Two-hop Graph Learning

该模块主要利用二部图中的用户邻居和物品邻居关系，对于一个用户，他和他的邻居用户有相似的偏好；新闻也是如此。

目标用户的邻居用户ID表示

目标用户u的邻居用户为$\left[u_{n_1},u_{n_2},\dots ,u_{n_D}\right]$，ID嵌入为$\left[{\mathbf{m}}_{u_1},{\mathbf{m}}_{u_2},\dots ,{\mathbf{m}}_{u_D}\right]$，注意力权重为
$${\beta }_i^u=\frac{\exp \left({\mathbf{q}}_u^T\tanh \left({\mathbf{U}}_u\times {\mathbf{m}}_{u_i}+{\mathbf{u}}_u\right)\right)}{{\sum }_{q=1}^D\exp \left({\mathbf{q}}_u^T\tanh \left({\mathbf{U}}_u\times {\mathbf{m}}_{u_q}+{\mathbf{u}}_u\right)\right)}$$
最终two-hop邻居用户ID示为
$${\mathbf{u}}_e^T={\Sigma }_{i=1}^D{\beta }_i^u{\mathbf{m}}_{u_i}$$

候选新闻的邻居新闻ID表示

候选新闻n的邻居新闻为$\left[n_{n_1},n_{n_2},\dots ,n_{n_D}\right]$，ID嵌入为$\left[{\mathbf{m}}_{n_1},{\mathbf{m}}_{n_2},\dots ,{\mathbf{m}}_{n_D}\right]$，同上述相同注意力机制，最终获取邻居新闻表示为${\mathbf{n}}_e^T$。

候选新闻的邻居新闻语义表示

利用邻居新闻的文本内容经过transformer,attention建模学习${\mathbf{n}}_t^T$。

推荐模块

目标用户用$\mathbf{u}=\left[{\mathbf{u}}_t^O;{\mathbf{u}}_e^O;{\mathbf{u}}_e^T\right]$，候选新闻用$\mathbf{n}=\left[{\mathbf{n}}_t^T;{\mathbf{n}}_e^T;{\mathbf{n}}_t^O\right]$

评分函数

$$\hat{y}={\mathbf{u}}^T\mathbf{n}$$

损失函数

$$\mathcal{L}=?\sum _i\log \left(\frac{\exp \left({\hat{y}}_i^{+}\right)}{\exp \left({\hat{y}}_i^{+}\right)+{\sum }_{j=1}^{\lambda }\exp \left({\hat{y}}_{i,j}^{?}\right)}\right)$$

数据集

MSN News