模型剪枝——RETHINKING THE VALUE OF NETWORK PRUNING

embedded/2024/11/15 4:12:36/

1.概述

        神经网络的过度参数化是众所周知的,导致在推理时计算成本高,内存占用大。作为解决办法,网络剪枝被认为是提高有限计算预算应用中深度网络效率的有效技术。典型的剪枝算法包括三个阶段:训练(一个大型模型)、剪枝和微调。

  • 普遍信念的挑战:

    • 大模型训练的必要性:普遍认为从大型网络开始训练是重要的,因为它可以生成高性能模型。但研究发现,对于结构化剪枝方法,直接训练目标模型可以获得同样或更好的性能,表明训练大型网络并不是必要的。
    • 重要权重的继承剪枝算法通常保留被认为重要的权重,这些权重通常被认为对于获得高效模型至关重要。然而,研究表明,对于小型剪枝后的模型来说,大模型中学习到的所谓“重要”的权重并不一定有用。
  • 重要结论:

    • 对于所有检验的最先进的结构化剪枝算法剪枝模型中微调得到的性能与从随机初始化的权重训练该模型相比,并没有显示出优势,有时甚至更差。
    • 对于那些假定预定义目标网络架构的剪枝算法可以直接训练目标网络而不需要完整的剪枝流程。
    • 在多个网络架构、数据集和任务中,这些观察结果一致,意味着:
      • 训练一个大型的、参数过多的模型通常不是获得高效最终模型的必要条件。
      • 大模型中学习到的“重要”权重对于小型剪枝模型通常不是必要的。
      • 对于最终模型的效

http://www.ppmy.cn/embedded/37988.html

相关文章

leetCode72. 编辑距离

leetCode72. 编辑距离 基本思路: 代码 class Solution { public:int minDistance(string a, string b) {// a,b的0不做表示,所以从1开始,dp状态表示,这种办法会很方便a a, b b;int n a.size();int m b.size(); // 定…

深入探索 Vue 中的 createVNode 与 resolveComponent

在 Vue 开发中,createVNode和resolveComponent是两个至关重要的工具,它们为我们提供了强大的能力来灵活地创建和操控组件。 一、首先,让我们深入了解一下createVNode。 这是一个用于创建虚拟节点的关键函数,通过它,我…

Pytorch学习笔记——卷积操作

一、认识卷积操作 卷积操作是一种数学运算,它涉及两个函数:输入函数(通常是图像)和卷积核(也称为滤波器或特征检测器)。卷积核在输入函数上滑动,将核中的每个元素与其覆盖的输入函数区域中的对应…

营销H5测试综述

H5页面是营销域最常见的一种运营形式,业务通过H5来提供服务,可以满足用户对于便捷、高效和低成本的需求。H5页面是业务直面用户的端点,其质量保证工作显得尤为重要。各业务的功能实现具有通用性,相应也有共性的测试方法&#xff0…

Room简单实操

1. Room介绍,直接Copy官网介绍: Room 持久性库在 SQLite 上提供了一个抽象层,以便在充分利用 SQLite 的强大功能的同时,能够流畅地访问数据库。具体来说,Room 具有以下优势: 提供针对 SQL 查询的编译时验…

基于FPGA的数字信号处理(10)--定点数的舍入模式(1)四舍五入round

1、前言 将浮点数定量化为定点数时,有一个避不开的问题:某些小数是无法用有限个数的2进制数来表示的。比如: 0.5(D) 0.1(B) 0.1(D) 0.0001100110011001~~~~(B) 可以看到0.5是可以精准表示的,但是0.1却不行。原因是整数是离散的…

tftp 服务部署

这个服务挺简单的,但是今天用到了,还是写一下把 简单文件传输协议(Trivial File Transfer Protocol,TFTP)是一种基于 UDP 协议在客户端 和服务器之间进行简单文件传输的协议。顾名思义,它提供不复杂、开销不…

结构分析的有限元法及matlab实现(徐荣桥)|【PDF教材+配套案例Matlab源码】

专栏导读 作者简介:工学博士,高级工程师,专注于工业软件算法研究本文已收录于专栏:《有限元编程从入门到精通》本专栏旨在提供 1.以案例的形式讲解各类有限元问题的程序实现,并提供所有案例完整源码;2.单元…