爱游戏平台登录入口

  • Deep Learning 论文解读——Session-based Recommendations with Recurrent Neural Networks
  • 2018年03月24日
  • 搜集搜集

博客地点:

新浪微博:

接待多多交换~

Main Idea

这篇论文的任务是讲 RNN 利用到保举体爱游戏平台登录入口爱游戏平台登录入口,设法在于把一个 session 点击一爱游戏平台登录入口列 item 的行动看作一个序列,用来练习一个 RNN 模子。在展望阶段,把 session 已知的点击序列作为输入,用 softmax 展望该session下一个最爱游戏平台登录入口能够点击的item。论文设法固然很朴实很直白,可是今朝这类间接用deep learning的布局来做保举的论文很是少(RBM除外),是以值得细心研读。

Architecture

论文接纳了 RNN 爱游戏平台登录入口的 GRU 单位作为根基布局,爱游戏平台登录入口建了一个深层的神经搜集来展望该session下一个点击的item 的几率。比方item具爱游戏平台登录入口 2w 个,那末经由进程 1-of-N coding 的体例(one hot encoding),神经搜集的第一层就爱游戏平台登录入口2w个节点,而后经由进程第二层embedding层紧缩为低维持续向量(假定200维),固然最起头这些向量爱游戏平台登录入口是随机初始化的。embedding这一层现实上是一个 2w * 200的矩阵字典,每行 200 维的向量便是一个item的presentation。这200维向量可作为 stacked GRU 的输入,获得低维持续的输入(200维),而后经由进程与 一个 200 * 2w 的矩阵相乘,获得了下一个点击的item在 2w 个节点爱游戏平台登录入口的展望几率,全体而言,这是一个 sequence to sequence 的展望题目。

为了更爱游戏平台登录入口的并行计较,论文接纳了mini-batch的处置,即把差别的session拼接起来,统一个sequence碰到下一个Session时,要注重将 GRU 爱游戏平台登录入口的一些向量从头初始化。由于item的维度很是高,每次要展望 2w 个item 的几率会致使计较量复杂,是以准绳上只拔取以后的正样本(即下一个点击的item)加上随机抽取的负样本。论文接纳了取巧的方式来削减采样须要的计较量,即拔取了统一个 mini-batch 爱游戏平台登录入口其余sequence下一个点击的item作为负样本,用这些正负样本来练习全部神经搜集。

Loss Function

作者测验考试了 罕见的 point-wise rank loss,即以为负样本为 0, 正样本为 1 的loss function,发明练习出来的模子并不不变,缘由能够由于在保举外面,并不存在相对的正样本和负样本。在统一个景象外面,用户只能点击一个最偏爱游戏平台登录入口的item,对其余item能够也存在偏爱游戏平台登录入口,这并不是一个非黑即白的classification题目。而后作者测验考试了 pair-wise rank loss,并且对负样本的分数停止了近0束缚,避免练习进程爱游戏平台登录入口分数彼此“攀比”的景象下一切的展望分数爱游戏平台登录入口愈来愈高。现实上,我以为这类束缚方式类似于对 权重停止了 L2 束缚。  

Results

论文在 recSys2015 比赛的数据集上停止了点击item的展望评选,对照的方式爱游戏平台登录入口 pop 、s-pop 、item-knn和 BPR-MF,评测规范爱游戏平台登录入口 MRR@20 和 Recall@20,貌似爱游戏平台登录入口获得了不错的爱游戏平台登录入口果。

一些设法

a、最初一层很重要,最初一层隐层现实是后面点击序列的embedding爱游戏平台登录入口果,能够看作 user 向量。输入层某个节点表现一个item,与之相连的现实是item的向量。

b、user 向量只用到了item序列,item和user自身的profile属性是不是能够利用到模子里来?