相关图表达理解神经网络

1 相关图表示方式

2 计算图方式

3 Relational graph(相关图)

4 结论

原文/论文出处：

题目：《何恺明团队新作！深度学习网络架构新视角：通过相关图表达理解神经网络》
作者：Happy
时间： 2020-07-14
来源：极市平台

1 相关图表示方式

Facebook的研究员从一个新奇的角度对神经网络的表示与设计进行探索，提出了一种新颖的相关图表示方式。它有助于对现有网络架构进行更深层次的分析与性能评价。

Relational graph(相关图)的图表示方式，神经网络的层沿图像结构进行多次信息交互。基于这种图表示方式，有几点发现：

相关图的靶点(sweet spot)可以促使神经网络的性能极大提升；
神经网络的性能与聚类系数、平均路径长度成平滑函数关系；
该发现具有跨数据集、跨任务一致性；
优秀的神经网络结构与真实生物神经网络具有惊人的相似性。

该文为神经网络架构设计与理解提供了一种新方向。

神经网络可以通过计算图方式进行表示，神经元可以表示为节点，不同层神经网络之间的连接可以通过有向边表示。这种图表示方式说明了神经网络如何进行信息传递。

已有研究表明：神经网络的性能严重依赖于网络架构。但是网络架构与性能之间的关联性却鲜少有所研究，而这对于NAS尤为重要。

计算图方式一种自然的选择，但其存在这样两个局限性：(1)泛化性能缺失；(2)生物神经元与神经网络的联系缺失(生物神经网络不能通过简单的有向无环图表示)。

为系统的研究神经网络的图结构与性能之间的关联性，设计了一种称之为相关图的神经网络图表示方式。关键聚焦于信息交互，而非交单的有向数据流。

具体的介绍请参看原文。

采用相关图表达分析理解神经网络。该文为传统计算架构到图架构研究提供了一种信息过渡。

文章若有不当和不正确之处，还望理解与指出。由于部分文字、图片等来源于互联网，无法核实真实出处，如涉及相关争议，请联系博主删除。如有错误、疑问和侵权，欢迎评论留言联系作者，或者关注VX公众号：Rain21321，联系作者。