海思AI芯片(Hi3519A/3559A)方案学习(一)资料以及术语介绍

news/2024/10/17 20:31:29/

芯片系列介绍

    海思AI芯片Hi35xx系列具体包括的型号Hi3559A V100, Hi3559C V100, Hi3519A V100, Hi3516C V500以及Hi3516D V300。下面要讲的资料,尤其AI部分应该是该系列通用的。

  我们项目采用的是Hi3519AV100, 所以后续文章都是以该款芯片为学习和研究目标。 海思芯片命名有些坑的, 一不小心就会弄错,Hi3519 V100以及Hi3519 V101是不带AI硬件引擎功能的,而Hi3519A V100才是AI芯片,看到没,一个字母之差,带A和不带A的区别,功能却相差很大。

     3519A里面有一个硬件NNIE(Neural Network Inference Egine),这个是寒武纪IP(下一代估计就要用海思自己开发的IP了),顾名思义,它可以定点并行运算来进行深度学习算法模型推理。

资料介绍及梳理

   目前Hi35xx系列的最新资料为010版本,光压缩包有12G左右,里面内容很多,刚看时会有点发蒙,无从下手。所以有必要大体介绍下,从而快速找到自己想要的资料,当然这里仍然以AI为重心来讲解。

 资料分为两个大部分:

软件开发包(Software)

 如上图所示, 软件开发包又可以分为三个小部分:

1)arm-himix200 它是交叉编译器,运行linux环境中 

2)Hi3519A V100R001C02SPC010 它的子目录01.software\board下面有3519Av100的软件开发工具包Hi3519AV100_SDK_V2.0.1.0.tgz, 非常重要。  此外01.software\pc子目录下一些如uboot烧写,tune PQ之类的工具。

3)它解压后有个和AI相关的重要目录:HiSVP_PC_V1.2.0.5, 里面有nnie的转换,仿真等工具软件。接下来的文章会重点介绍它们。

文档(Doc)

它有英文版和中文版的,这里只介绍中文版。

就AI而言, 重点是下面两篇文档(01.software\board\SVP\),写的非常详细,尤其是《HiSVP 开发指南.pdf》里面介绍了NNIE相关的工具软件如何在windows或linux下搭建起来。 

 术语介绍

最后把常用容易糊涂的术语这里说明一下:

MPP: Media Processing plaform  多媒体处理平台 和 音视频H264编码等相关

IPC: Internet Protocol Camera  网络摄像机 

LDC: Lens Distortion Correction  镜头畸变校正

AI: Auto Iris Control  自动光圈控制  这里不是我们所说的人工智能啊

VPSS: video process sub-system  视频前处理单元

VEDU: Video Encoder Unit  视频编码单元

IVE: Intelligent Video Engine 智能加速引擎  常用图像处理 视觉算法的硬件处理单元 不要和AI引擎NNIE 混淆

DPU: Depth Process Unit  深度信息处理单元 用来双目三维建模的。


http://www.ppmy.cn/news/394858.html

相关文章

Robotstudio软件:机床上下料工作站机器人主逻辑编写与仿真运行

本文已经首发在个人微信公众号:工业机器人仿真与编程(微信号:IndRobSim),欢迎关注! 前一期介绍了机器人数控机床上下料例行程序的编写,但是,也只是编写了机器人的运动程序&#xff0…

腾讯云推出首款自研H265硬件编码器瑶池,助力云游戏降低15%带宽

10月29日,腾讯云宣布正式推出H265硬件编码器瑶池V500。据了解,作为腾讯云首款自研H265硬件编码器,瑶池V500能充分满足云游戏低时延高吞吐的需求,在同等画质情况下,可以实现带宽占用降低15%,如果是在同等带宽…

ABB机器人RobotStudio仿真之随机物料抓取

概述 如上图所示,利用RobotStudio仿真软件,在工作台上产生随机物料,用机器人夹取物料至环形码盘中。需要建立两个Smart组件来实现该动画的仿真效果,实现思路:1、机器人夹具的夹紧与松开,以及工件安装与拆除…

海思Hi3516DV300 SDK首次安装以及编译问题的解决

摘要 首先应阅读“Hi3516CV500/Hi3516DV300/Hi3516AV300 开发环境 用户指南”完成开发环境的搭建,这样会少走不少弯路。那么下面将给出这个文档给出的软件包安装步骤 步骤 1 配置默认使用 bash 执行 sudo dpkg-reconfigure dash 选择 no 步骤 2 安装软件包 执行&am…

ABB机器人编程示例

【一】:系统介绍 中文手册:http://samwangpan01.club:8081/externalLinksController/chain/ABB%E6%9C%BA%E5%99%A8%E4%BA%BA%E4%B8%AD%E6%96%87%E6%89%8B%E5%86%8C.pdf?ckey7GLNrf1%2BOQSWcq5sVS%2FgnB8vkb7KlFdiqF%2BhMQLd6YxkLw7tWFYKqFXOj3TRqlE5 R…

RobotStudio软件:ABB机器人弧焊焊接虚拟仿真实现方法

目录 概述 机器人弧焊焊接简易工作站布局 弧焊焊接机器人虚拟系统创建 弧焊焊接机器人I/O信号配置 机器人弧焊焊接系统配置 常用机器人弧焊焊接指令介绍 机器人弧焊焊接示教编程 机器人弧焊焊接仿真运行 本文已经首发在个人微信公众号:工业机器人仿真与编程…

Robotstudio软件:机床上下料工作站机器人示教编程

本文已经首发在个人微信公众号:工业机器人仿真与编程(微信号:IndRobSim),欢迎关注! 工业机器人机床上下料工作站示教编程相对来讲还是比较简单的,本质上就是机器人搬运的一个具体应用&#xff0…

RobotStudio软件:ABB机器人弧焊焊接起始点接触寻位虚拟仿真方法

目录 概述 机器人接触传感器添加与配置 机器人接触传感器I/O信号连接 机器人起始点接触寻位常用指令介绍 机器人起始点接触寻位程序编写 机器人仿真运行 本文已经首发在个人微信公众号:工业机器人仿真与编程(微信号:IndRobSim&#xff…