TVM计算图分割--LayerGroup

news/2024/11/14 3:01:04/

文章目录

    • 介绍
    • Layergroup调研
        • TVM中的Layergroup
          • TVM Layergroup进一步优化
          • MergeCompilerRegions处理菱形结构
          • TVM中基于Pattern得到的子图
        • TPUMLIR
        • 地平线的Layergroup

介绍

Layergroup目前没找到严格、明确的定义,因为不同厂家的框架考虑的因素不同,但是基本逻辑是差不多的。一般来说,Layergroup是一种计算图优化方法,旨在根据约束条件将若干层(算子)组合起来形成一个复合算子以满足后端需要。而计算图分割是针对异构执行环境的计算图优化操作,与Layergroup没有绝对的关系。一般由于专属硬件的资源受限,所以会执行layergroup操作。

这里需要解释以下算子融合和Layergroup的区别。这两者很多时候是被混用的,所以说layergroup没有明确的定义。其实二者还是有差别的。首先,二者的作用都是将计算图中若干连续算子组合为一个大的复合算子,利用局部性原理,提升算子访存命中率,减少输入输出数据访存次数以提高性能。其中,算子融合更侧重于细节的优化,一般会对几个算子先做代数上的融合操作,去掉一些中间变量,简化计算过程等;然后针对代数公式,结合硬件约束优化kernel,比如内存的复用、多线程、流水线等。但是由于硬件的约束,代数上可等价替换的,工程实现上却不容易实现,所以大多数AI框架可以融合的算子并不多。但TVM不同,由于TVM引入了计算调度分离策略以及其强大的Codegen,TVM可以为并不同后端生成较多的融合算子。至于Layergroup,没有太多的代数优化,主要的作用就是根据后端约束(内存占用大小和占用时长),将若干连续算子封装为一个复合算子,整体只做一次内存读写操作,同时控制了复合算子的大小,降低kernel调用时的负载。layergroup中的算子还是Primmitive级别的,没有被修改。对于Layergroup得到的复合算子,需要Runtime和复合算子库的配合处理。


http://www.ppmy.cn/news/1545836.html

相关文章

单元测试日志打印相关接口及类 Logger

LoggerFactory 简介 单元测试常用日志打印工具LoggerFactory。 LoggerFactory 代码结构 LoggerFactory 是 JUnit 平台中的一个类,用于创建 Logger 实例。它被设计用于提供日志记录功能,使得 JUnit 在执行测试时能够记录信息、警告、错误等。 LoggerFact…

关于 AJAX 与 Promise

AJAX (Asynchronous JavaScript and XML) AJAX(Asynchronous JavaScript and XML)是一种在网页上异步传输数据的技术,允许网页在不重新加载整个页面的情况下更新部分内容。这提高了用户的体验,因为用户不需要等待整个页面重新加载…

DocuBurst——基于java实现

DocuBurst 文档散(DocuBurst)也是基于关键词的文本可视化,不过它还通过径向布局体现了词的语义等级。如下图所示,外层的词是内层词的下义祠,颜色饱和度的深浅用来体现词频的高低。 DocuBurst 是第一个利用词法数据库中人工创建的结构的文档内容可视化。我们使用公认的设…

如何在 Android 上增加 SELinux 权限

SELinux(Security-Enhanced Linux)是一种强制访问控制(MAC)机制,它为 Android 系统提供了额外的安全层。通过 SELinux,系统管理员可以定义细粒度的安全策略,限制进程对文件、网络和其他资源的访…

智能出行助手:SpringBoot共享汽车管理平台

1系统概述 1.1 研究背景 随着计算机技术的发展以及计算机网络的逐渐普及,互联网成为人们查找信息的重要场所,二十一世纪是信息的时代,所以信息的管理显得特别重要。因此,使用计算机来管理共享汽车管理系统的相关信息成为必然。开发…

从个人品牌到企业品牌:开源 AI 智能名片 S2B2C 商城小程序的启示

摘要:本文探讨了个人品牌与企业品牌在信任天花板、可持续性等方面的差异,并引入开源 AI 智能名片 S2B2C 商城小程序作为案例,分析其在品牌构建过程中如何突破个人品牌的局限,融合品牌域和人格域,实现商业价值的提升和持…

AI时代IDE解析

AI时代:新一代IDE智能特性解析 🤖 随着人工智能技术的快速发展,现代集成开发环境(IDE)正在经历前所未有的变革。接下来咱们一起深入探讨AI驱动的IDE新特性,帮助自己提升编程效率和代码质量。 第一部分:AI辅助编码功能解…

在 Java 中使用脚本语言

在 Java 中使用脚本语言,特别是在 Java 平台上集成如 Python、JavaScript 或 Ruby 等语言,通常可以通过 Java 的 Scripting API 来实现。这个 API 基于 JSR 223(“Scripting for the Java Platform”),提供了一种标准方…