AI芯片:英伟达NVDLA结构分析

news/2025/1/12 23:40:04/

英伟达开源了深度学习硬件架构:NVDLA。
包括完整的源代码:Verilog代码,C_Model代码,以及验证平台代码。
英伟达官网上也有详细的文档。
英伟达NVDLA官网:http://nvdla.org/primer.html
非常值得学习推敲。

感谢英伟达的分享

不得不吐槽一下,NVDLA的开源代码一看就知道是脚本生成的,造成重复代码非常多,非常不方便阅读。
比如输入的1024位的数据,竟然在接口上是按照8位一个byte为单位来生成的信号,也就是说明明用1个1024位的信号就行了,但是代码中用的是128个8位的数据。
吐血。。。。

作为芯片从业者,我更加关注NVDLA卷积核的实现方式。
不过,文档中并没有详细的说明。
众多分析博客,也更多的是系统层的应用,几乎没有分析内部硬件结构的文章。
于是,直接看代码,分析结构。
好记性不如烂笔头。
顺便将看代码的过程中学习到的东西,记录下来,以备后续查看。

1、NVDLA 硬件架构

NVDLA的SOC整体架构如下图1所示。图片来自英伟达官网。
根据配置的不同,可分为两种。
在这里插入图片描述

接下来,细看NVDLA的硬件核心。如下图所示。
在这里插入图片描述

NVDLA core的内部架构,与寒武纪的DianNao、谷歌的TPU,都比较像。

共同点,主要思路是:数据从memory来,回memory去。中间先进入乘法、加法逻辑,完成卷积的计算,然后是执行激活、pooling和BN等操作。
不同点,主要区别在于卷积核(Convolution CORE)内部:
(1)TPU采用高效整齐的脉动阵列(systolic array),
(2)DianNao共16个PE,每个PE采用16个乘法和15个加法逻辑形成一个完整的计算单元,或许会类似NVDLA,将乘法加法IP展开融合起来。
(3)NVDLA采用两个卷积核,每个核中有8个mac,每个mac中有64个mul,每个mul就是一个16位的乘法逻辑。

下面就细细分析NVDLA的卷积核。

2、卷积核

一个NVDLA有2个卷积核core。
一个卷积核Core,由8个mac 组成。
1个mac中包含64个mul,形成4个输出结果。可简单看作16个mul计算得到1个结果。
具体结构可见下图。
在这里插入图片描述

Core同时支持3种数据类型:int8,int16,fp16。
按照官方文档介绍,NVDLA的卷积核支持4种工作模式:
(1)Direct Convolution
这种直接卷积,类似寒武纪的DianNao架构。
(2)Image Input
针对第一层,输入是彩色图像,只有3个channel。
(3)Winograd
利用Winograd算法,采用其中的F(2x2,3x3)参数公式。以尽可能少的乘法器数量去计算得到卷积结果。
(4)Batching
一次性计算多个inference,重复利用权重参数,节省存储和带宽。

那么,一个core是如何同时支持以上的这些特性的呢?

细看代码发现,NVDLA的core内部,没有利用已有的乘法/加法/乘加计算IP,而是直接在代码中展开并重写了IP的内部逻辑。

core从顶层得到2个1024bit的数据,一个是weight,一个是data。
在core中分发成8份,发送给8个mac,每个mac的数据都是2个1024位的数据。

mac得到2个1024的原始数据,会将这些数据对应给到64个mul。每个mul的输入数据都是16位的。
如果是int8,没关系,16位的输入数据就代表的是两个8位的数据。
mac内部的64个mul结构如下图所示。
在这里插入图片描述
在mul中,首先取其中一个16位的数据,根据3位的boothcode算法,形成8个boothcode,然后分别编码另一个数据,形成8个部分和,再各自加上一个进位,共10个部分和,分成两组。
然后10组部分和经过两次的3-2CSA压缩后,形成2个部分和,输出。

这样,mac一次性得到了64组部分和。
然后按照一定顺序,继续利用3-2CSA算法,将64组部分和压缩成16组部分和,即64(128)->16(32).

到了这个地方,就到了一个分水岭。

普通正常的卷积计算,那么就选择走first half.(不是我故意写英文装逼,这个是代码中的原始注释,我直接套用了)
如果是winograd,那么就还需要走second half.
fp16的指数计算有专门的逻辑。

first half,继续按照3-2CSA压缩16组部分和,直到形成4组部分和(8个)。然后每两个相对应的部分和及符号位,三者相加,形成卷积结果。

second half,这里就要根据F(2x2,3x3)的特殊参数,对后8组部分和进行特殊处理的3-2CSA压缩,直到形成2组部分和为止。
然后这个时候,会有winograd逻辑信号去控制winograd的结果的生成。

这样,就形成了mac的4个输出。

NVDLA支持Winograd算法的F(2x2,3x3)形式。
但是,这个只是复用mac中的mul,实际来看,并不能完整发挥出每16个mac计算出4个神经元的理论性能。如果是理论上的,16个mul计算得到4个神经元,那么64个mul,就会计算得到16个神经元。但是一个mac实际只有4个输出数据。

所以,我猜测,所谓的支持Winograd,实际性能或许并不理想,或许只是单纯为了支持这种计算方式而已。

但是,因为只是静态地看代码,所以不清楚8个mac的输入数据之间有什么关系。
暂时只能分析到这里。


http://www.ppmy.cn/news/625307.html

相关文章

线性代数笔记整理

文章目录 1 行列式2 矩阵(本质是数表)3 方程组的解4 向量5 矩阵的特征值和特征向量6 相似矩阵和相似对角化7 合同对角化8 二次型及其标准型 1 行列式 2 矩阵(本质是数表) 3 方程组的解 4 向量 5 矩阵的特征值和特征向量 6 相似矩阵…

vSan数据恢复方案--闪存盘损坏后重建磁盘组导致数据丢失

vSan数据恢复方案–闪存盘损坏后重建磁盘组导致数据丢失 提示:本文只提供一些数据恢复的思路和要点 文章目录 vSan数据恢复方案--闪存盘损坏后重建磁盘组导致数据丢失前言一、详细了解数据丢失的过程二、对应的数据恢复思路1.解析出与故障VMDK文件对应的虚拟对象2.依…

diskgenius重建分区表

上周六帮室友重装笔记本上的系统 原系统是vista,准备重装成win7 自己装系统的次数也不少了,准备了有pe的光盘、win7系统镜像和pe下能用的虚拟光驱 准备充足,以为能在短时间内搞定,结果这是我这两年来重装最久的一次... 起先光盘pe进去看不到磁盘,换么,换了几张都是进不…

英伟达新方法入选CVPR 2023:对未知物体的6D姿态追踪和三维重建

普通手机“随手”拍的雕像,一下就变成了精细的三维重建图。 水杯来回动的动态场景下,细节清晰可见: 静态场景效果也同样nice,狗狗突出的肋骨都被还原了出来: 对比来看其他方法,效果是酱婶的…… 这就是英伟…

英伟达 GPU 架构简史

英伟达 GPU 架构简史 尽管近年来 Nvidia GPU 确实更频繁地成为新闻,但它们绝不是新事物。事实上,多年来,Nvidia GPU 已经进行了多次迭代,GPU 架构也取得了进步。因此,让我们回顾一下最近的历史,以了解 GPU…

LabVIEW里计算当前时间起前几个月的时间段

在查询数据时,可能会用到从某个时间开始,前几个月的数据,这时就需要计算出查询的历史时间,该如何计算呢?如图: 注意点: 1、日应该是当前日期的后一天。 2、当前的月数与历史的月数相等时的处置…

PHP 税务申报征收系统mysql数据库web结构apache计算机软件工程网页wamp

一、源码特点 PHP 税务申报征收系统 是一套完善的WEB设计系统,对理解php编程开发语言有帮助,系统具有完整的源代码和数据库,系统主要采用B/S模式开发。 代码下载 https://download.csdn.net/download/qq_41221322/87959340https://downl…

文档已无水印,苹果手机看word有水印

去除word文档中的水印,安卓手机看不见,但苹果手机依旧显示水印,这个怎么解决?重新复制粘贴还是一样 页眉,编辑页眉,首页不同点了看一遍文章看有没有水印,奇偶页不同点了看一遍文章有没有水印&am…