NVIDIA ISAAC文档学习
本文章属于个人学习笔记,希望通过文章记录,规范整理学习内容,方便未来知识整理和分享。如果有错误的地方,还请指出,感谢!
写在前面:
本章节主要介绍英伟达 Isaac学习过程中,官方文档的流程和过程中遇到的问题,传送门,解释和图应用官方文档。
文档版本: 2020.1NX (最新版本,支持所有的Jetson系列的开发板)
个人意见:文档还是要从头开始过,学习的过程一定非常的费时费力,需要在过程中参考英伟达官方的form社区,询问过程中的技术问题,但是一般回复在一周左右的时间。(希望英伟达的技术论坛更新能够快点,文档中有很多漏洞)
Isaac是英伟达刚发布不久的一个智能机器人开发应用的平台,很好的结合了相关的一些深度学习、强化学习、SLAM、图像处理等等的算法,融合在一个GEMs的高性能算法集合中。两大块:机械臂的Manipulation和AMR的导航。
硬件需求:1. 一台最好有独立1060以上独立显卡的电脑 2. 一块Jetson系列的开发板,小白新手对于算力没啥要求就用Jetson Nano,预算够的同学用Xavier、TX2都可以。3. 一块显示屏 4. 一个USB的扩展hub(开发板用TX2的话) 5. 一个32G以上的SD卡
6. 固态硬盘更好(有预算啥都好办)7. 网线一根(初始网络配置,当然网速更稳定)8. 一根HDMI的线(根据显示屏来选VGA、HDMI、或者转换头)9. 单开发板的话最好淘个外壳,某宝链接:。
Isaac应用
Issac SDK 引擎主要针对Isaac SDK GEM进行功能模块的调用。通过SDK可以构建不同的机器人应用,比如导航一个Carter机器人进行室内的移动。SDK可以对接不同的包、库和平台,构建了一个完整的生态系统。
英伟达当前支持的Jetson系列的开发板和开发平台或者库。
Isaac 引擎
SDK中包含了Isaac SDK引擎,一个用来构建模块化的机器人应用的功能丰富的框架,SDK使用工具链的方式,在Bazel编译系统上进行编译和部署。当执行一个类似:bazel run //apps/samples/realsense_camera的命令时,所有依赖都会自动地从服务器中拉取资源下来,不需要手动的配置(这个点可以省去很多时间在系统环境的配置上)。
Isaac SIM
Sim2020.1用的是英伟达自己的omniverse平台,给机器人提供先进的RTX显卡和GPU加速的PhysX的仿真环境。另一个可以用的仿真环境实在Unity3D中进行编辑修改,利用仿真环境可以提供虚拟的物体数据进行深度学习网络的训练。
Omniverse虚拟仿真环境效果。
Unity3D、Isight效果
在Isight中进行托盘转运识别的效果
在Omniverse中使用UR10 的效果。