GGNN研究意义:
1、提升在图结构中长期的信息传播
2、消息传播中使用GRU,使用固定数量的步骤T,递归循环得到节点表征
3、边的类型,方向敏感的神经网络参数设计
4、多类应用问题,展示了图神经网络更多的应用以及强大的表征能力
本文主要结构如下所示:
一、Abstract
本文提出使用GRU来更新图的节点信息,在一些数据任务上验证了模型的有效性
二、Introduction
对图神经网络进行扩展,解决序列输出任务,提出GGS-NNS模型
三、Graph Neural Networks
回顾之前的图神经网络,信息的前向传播规则,表示符号
四、Gated Graph Sequence Neural Networks
提出了GGS-NNS模型输出序列
五、Explanatory Applications
实验探究模型有效性: BABI任务,最短路径,欧拉图
六、Program Verification with GGN
使用GGs-NNs模型,实现自动化的程序验证
七、Related Work
回顾之前的的LSTM、GRU等深度学习模型,DeepWalk等GNN模型
八、Discussion
讨论实验的多个任务、本质都是图结构以及目前模型的局限性
九、Code
源码: https://github.com/chingyaoc/ggnn.pytorch
RNN && LSTM效果分析:
1、图结构数据、GNN模型更适用一些
2、RNN记忆能力差,LSTM有改善但不能完全解决
3、图结构的数据,数据顺序不影响输出,不存在RNN等建模的序列化信息
关键点:
1、GGNN模型结构 2、参数矩阵由边的类型和方向决定
创新点:
1、GRU更新消息框架 2、序列模型GGS-NNS
启发点:
1、用RNN方法定义GNN
2、迭代不要求收敛,可迭代固定步长
3、GGNN模型的graph layer层数可以较多
4、每一种边对应的参数矩阵可以处理异构图
5、与GNN常用框架之间的联系
6、将CNN和RNN发展的技术应用到GNN