DIEN模型

DIN存在的问题：

        DIN引入了attention机制来通过用户历史行为数据对用户兴趣进行建模，而缺乏对具体行为背后的序列信息或者说依赖关系进行专门的建模，也就是没法捕捉到用户的兴趣变化过程。

DIEN的改动：

这个模型既然是从DIN上改过来的，那么大部分东西都是相似的，比如输入+embedding+连接+全连接+输出的整体架构。而修改的部分就是在用户历史行为那里，由原来DIN的局部激活单元转化成DIEN的兴趣进化网络。

 兴趣进化网络主要有三部分组成(从下往上, 不同颜色块):

行为序列层(Behavior Layer)：主要作用是把原始的id类行为序列转成Embedding行为序列， 和DIN下面的Embedding层一样。
兴趣抽取层(Interest Extractor Layer): 主要作用是通过模拟用户的兴趣迁移过程，抽取用户兴趣。这个是本篇论文的创新点之一。
兴趣进化层(Interest Evolving Layer): 是在兴趣抽取层的基础上加入注意力机制，这个和DIN引入注意力的思路其实是一脉相承的，只不过这里不是把这个注意力计算的得分与兴趣抽取层的h简单加权组合了，而是把这个注意力操作嵌入到了GRU更新门里面去，形成了一个AUGRU的结构， 用这个层来更有针对性的模拟与目标广告相关的兴趣进化路径。这个也是本篇论文的创新点之一。