深度学习-77-大模型量化之Post Training Quantization训练后量化PTQ

devtools/2024/12/30 0:53:02/

文章目录

  • 1 PTQ
    • 1.1 动态量化
    • 1.2 静态量化
  • 2 四位量化的领域
    • 2.1 GPTQ
    • 2.2 GGUF(可用CPU)
    • 2.3 定点量化技术
  • 3 参考附录

1 PTQ

训练后量化 :Post-Training Quantization (PTQ),模型训练完成后进行量化。
较流行的量化技术的方法之一是post-training quantization(PTQ),是指在训练后对模型参数中的权重和激活进行量化处理。

在PTQ方法中, 激活值的量化需要通过模型推断来获取其潜在分布,因为其数值范围在推理前处于未知状态。

激活值的量化有两种主要形式:
(1)Dynamic Quantization 动态量化
(2)Static Quantization 静态量化

1.1 动态量化

数据在流转过程中经过激活函数后,其activations被存储:
在这里插入图片描述
使用activations的分布来计算量化时所需要的零点z值和比例因子s值。
假设某层activations分布中的最大值为α,最小值为β,则z、s以及量化后的数值计算如下:


http://www.ppmy.cn/devtools/145448.html

相关文章

软件测试框架有什么作用?好用的测试框架分享

在当今软件开发中,软件测试框架扮演着至关重要的角色。测试框架是指用于支持自动化测试及测试管理的环境或平台。它提供了一系列的规则、标准和工具,以确保软件产品的质量。框架涵盖了测试的所有层面,包括单元测试、集成测试和系统测试等。更…

【Java数据结构】LinkedList

认识LinkedList LinkedList就是一个链表,它也是实现List接口的一个类。LinkedList就是通过next引用将所有的结点链接起来,所以不需要数组。LinkedList也是以泛型的方法实现的,所以使用这个类都需要实例化对象。 链表分为很多种,比…

在【Arduino IDE】中在线下载和离线下载【ESP系列开发板的SDK】

在线下载 打开Arduino IDE,依次点击 文件➔首选项➔其他开发板管理器地址,复制粘贴以下的开发板管理地址: https://arduino.me/packages/esp8266.json https://git.oschina.net/dfrobot/FireBeetle-ESP32/raw/master/package_esp32_index.j…

OpenEuler 22.03 安装 flink-1.17.2 集群

零:规划 本次计划安装三台OpenEuler 22.03 版本操作系统的服务器,用于搭建 flink 集群。这里使用flink1.17.2 的原因,是便于后续与springboot的整合 服务器名IP地址作用其他应用flink01192.168.159.133主jdk11、flink-1.17.2flink02192.168.…

C++map、set

1.引言 不同于之前介绍过的string、vector、list、deque、等容器,它们在逻辑结构上是线性的,并且两个位置存储的值之间没有紧密的关联,比如说交换或修改一下,还是原来的容器结构;今天要介绍的map和set在逻辑结构上是非…

JAVA HTTP压缩数据

/*** 压缩数据包** param code* param data* param resp* throws IOException*/protected void writeZipResult(int code, Object data, HttpServletResponse resp) throws IOException {resp.setHeader("Content-Encoding", "gzip");// write到客户端resp…

IDEA使用Alt + Enter快捷键自动接受返回值一直有final修饰的问题处理

在使用IDEA的过程中,使用快捷键Alt Enter在接收返回值时,可以快速完成参数接收,但前面一直会出现接收参数前面有final修饰的情况,效果如下所示: 看着真烦人呢,我们会发现在接受到返回值是上方有个 Declare…

Springboot 整合 Duird

Springboot 整合 Duird 1. pom.xmlyml配置启动类测试手动JDBC&#xff0c;执行动态sql启动日志Duird 监控地址SQL监控 1. pom.xml <dependency><groupId>com.alibaba</groupId><artifactId>druid-spring-boot-starter</artifactId><version&g…