LLaMA中的微调方法

embedded/2025/2/26 16:59:06/

LoRA（Low-Rank Adaptation）是一种用于微调大型预训练模型的高效方法，特别适用于自然语言处理（NLP）任务。其核心思想是通过低秩分解来减少参数量，从而在保持模型性能的同时降低计算和存储成本。

关键点

  1. 低秩分解：

    • LoRA 将权重矩阵分解为两个较小的低秩矩阵的乘积，大幅减少了需要调整的参数数量。

  2. 参数效率：

    • 仅微调低秩矩阵，而非整个模型，显著降低了计算和存储需求。

  3. 模块化设计：

    • LoRA 模块可以灵活添加到模型的特定层，便于针对不同任务进行定制化微调。

  4. 适用性：

    • 适用于多种模型架构，尤其在资源有限的情况下表现突出。

优势

  • 高效：减少计算和存储开销。
  • 灵活：模块化设计便于任务定制。
  • 性能：在减少参数的同时保持模型性能。

应用场景

  • NLP任务：如文本分类、机器翻译等。
  • 资源受限环境：如移动设备或边缘计算。

示例代码

以下是一个简单的 PyTorch 实现示例：

import torch
import torch.nn as nnclass LoRALayer(nn.Module):def __init__(self, original_dim, rank):super(LoRALayer, self).__init__()self.rank = rankself.low_rank_A = nn.Parameter(torch.randn(original_dim, rank))self.low_rank_B = nn.Parameter(torch.randn(rank, original_dim))def forward(self, x):return x + x @ self.low_rank_A @ self.low_rank_B# 使用示例
original_dim = 768  # 假设原始维度为768
rank = 8  # 低秩矩阵的秩
lora_layer = LoRALayer(original_dim, rank)input_tensor = torch.randn(1, original_dim)
output_tensor = lora_layer(input_tensor)
print(output_tensor)

总结

LoRA 通过低秩分解实现高效微调，适用于资源有限的环境，同时保持模型性能，广泛应用于 NLP 任务。

在深度学习和机器学习中，“freeze”（冻结）指的是在训练过程中固定某些层的参数，使其不更新。冻结通常用于迁移学习或微调预训练模型时，目的是保留预训练模型的部分知识，同时只训练新添加的层或特定层。

为什么要冻结？

  1. 保留预训练知识：

    • 预训练模型（如BERT、ResNet等）已经在大量数据上训练过，冻结部分层可以避免破坏这些已经学到的特征。

  2. 减少计算开销：

    • 冻结部分参数后，这些参数不需要计算梯度，从而减少内存和计算资源的消耗。

  3. 防止过拟合：

    • 当训练数据较少时，冻结部分层可以降低模型过拟合的风险。

  4. 加速训练：

    • 冻结部分参数后，反向传播的计算量减少，训练速度会加快。

如何冻结？

在深度学习框架（如PyTorch、TensorFlow）中，冻结通常通过设置参数的 requires_grad 属性为 False 来实现。

PyTorch 示例：
import torch
import torch.nn as nn# 假设我们有一个预训练模型
model = torch.hub.load('pytorch/vision', 'resnet18', pretrained=True)# 冻结所有参数
for param in model.parameters():param.requires_grad = False# 只训练最后一层（替换最后的全连接层）
model.fc = nn.Linear(model.fc.in_features, 10)  # 假设有10个类别# 检查哪些层被冻结
for name, param in model.named_parameters():print(name, param.requires_grad)
TensorFlow/Keras 示例：
import tensorflow as tf# 加载预训练模型
base_model = tf.keras.applications.ResNet50(weights='imagenet', include_top=False)# 冻结所有层
base_model.trainable = False# 添加新的全连接层
inputs = tf.keras.Input(shape=(224, 224, 3))
x = base_model(inputs, training=False)
x = tf.keras.layers.GlobalAveragePooling2D()(x)
outputs = tf.keras.layers.Dense(10, activation='softmax')(x)  # 假设有10个类别# 构建新模型
model = tf.keras.Model(inputs, outputs)# 检查哪些层被冻结
for layer in model.layers:print(layer.name, layer.trainable)

冻结的常见场景

  1. 迁移学习：

    • 使用预训练模型（如ResNet、BERT）时，通常会冻结卷积层或Transformer层，只训练最后的分类层。

  2. 微调（Fine-tuning）：

    • 在微调时，可以先冻结大部分层，只训练少量层，然后逐步解冻更多层进行训练。

  3. 特征提取：

    • 将预训练模型作为特征提取器时，冻结所有层，只使用其前向传播的输出。

注意事项

  1. 解冻（Unfreeze）：

    • 在某些情况下，可以先冻结训练，然后再解冻部分层进行进一步微调。

  2. 选择冻结的层：

    • 通常冻结底层（靠近输入的层），因为底层学习的是通用特征（如边缘、纹理），而高层学习的是任务相关特征。

  3. 学习率调整：

    • 冻结部分层后，可能需要调整学习率，因为训练的参数变少了。

总结

冻结是深度学习中一种重要的技术，特别适用于迁移学习和微调预训练模型。通过冻结部分参数，可以保留预训练模型的知识，减少计算开销，并防止过拟合。

在深度学习和机器学习中，“full” 通常指的是完整训练或全量训练，即对模型的所有参数进行训练，而不冻结任何层或参数。与之相对的是冻结训练（freeze）或部分训练（partial training）。

Full Training 的含义

  1. 训练所有参数：

    • 在 “full training” 中，模型的每一层和每一个参数都会参与训练，并根据损失函数和优化器进行更新。

  2. 从头训练（From Scratch）：

    • 如果模型是随机初始化的（没有使用预训练权重），则 “full training” 意味着从头开始训练整个模型。

  3. 微调（Fine-tuning）：

    • 如果模型是基于预训练权重初始化的，则 “full training” 意味着对预训练模型的所有参数进行微调。

Full Training 的适用场景

  1. 数据集足够大：

    • 当训练数据量足够大时，完整训练可以更好地学习数据分布，避免欠拟合。

  2. 任务与预训练任务差异较大：

    • 如果目标任务与预训练任务差异较大（例如，预训练模型是在自然图像上训练的，而目标任务是在医学图像上），则可能需要完整训练以适应新任务。

  3. 计算资源充足：

    • 完整训练需要更多的计算资源和时间，因此需要有足够的硬件支持。

Full Training 的优缺点

优点
  1. 更好的性能：
    • 完整训练可以充分利用模型的容量，可能达到更高的性能。
  2. 适应新任务：
    • 当目标任务与预训练任务差异较大时，完整训练可以更好地适应新任务。
缺点
  1. 计算开销大：
    • 训练所有参数需要更多的计算资源和时间。
  2. 过拟合风险：
    • 如果训练数据量不足，完整训练可能导致过拟合。
  3. 需要更多数据：
    • 完整训练通常需要大量数据才能达到较好的效果。

Full Training vs. Freeze Training

特性Full TrainingFreeze Training
训练参数所有参数部分参数（冻结某些层）
计算开销高低
数据需求需要大量数据适合小数据集
适用场景数据集大、任务差异大数据集小、任务与预训练任务相似
过拟合风险较高较低

代码示例

以下是 PyTorch 和 TensorFlow 中完整训练的示例：

PyTorch 示例
import torch
import torch.nn as nn
import torch.optim as optim# 定义一个简单的模型
model = nn.Sequential(nn.Linear(10, 50),nn.ReLU(),nn.Linear(50, 1)
)# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)  # 训练所有参数# 模拟数据
inputs = torch.randn(100, 10)
targets = torch.randn(100, 1)# 训练循环
for epoch in range(100):optimizer.zero_grad()outputs = model(inputs)loss = criterion(outputs, targets)loss.backward()optimizer.step()print(f"Epoch {epoch+1}, Loss: {loss.item()}")
TensorFlow/Keras 示例
import tensorflow as tf# 定义一个简单的模型
model = tf.keras.Sequential([tf.keras.layers.Dense(50, activation='relu', input_shape=(10,)),tf.keras.layers.Dense(1)
])# 编译模型
model.compile(optimizer='adam', loss='mse')# 模拟数据
import numpy as np
inputs = np.random.randn(100, 10)
targets = np.random.randn(100, 1)# 训练模型
model.fit(inputs, targets, epochs=100)

总结

  • Full Training 是指训练模型的所有参数，适用于数据集大、计算资源充足的情况。
  • 与 Freeze Training 相比，完整训练的计算开销更大，但可能获得更好的性能。
  • 在实际应用中，可以根据任务需求和数据量选择是否进行完整训练。

http://www.ppmy.cn/embedded/167307.html

相关文章

Starlink卫星动力学系统仿真建模第十讲-基于SMC和四元数的卫星姿态控制示例及Python实现

Starlink卫星动力学系统仿真建模第十讲-基于SMC和四元数的卫星姿态控制示例及Python实现

基于四元数与滑模控制的卫星姿态控制 一、基本原理 1. 四元数姿态表示 四元数运动学方程： 3. 滑模控制设计 二、代码实现（Python） 1. 四元数运算工具 import numpy as npdef quat_mult(q1, q2):"""四元数乘法""…
阅读更多...
leetcode 2502. 设计内存分配器 中等

leetcode 2502. 设计内存分配器 中等

给你一个整数 n ，表示下标从 0 开始的内存数组的大小。所有内存单元开始都是空闲的。 请你设计一个具备以下功能的内存分配器： 分配 一块大小为 size 的连续空闲内存单元并赋 id mID 。释放 给定 id mID 对应的所有内存单元。 注意： 多个…
阅读更多...
10. docker nginx官方镜像使用方法

10. docker nginx官方镜像使用方法

本文介绍docker nginx官方镜像使用方法，因为第一次用，在加上对docker也不是很熟，中间踩了一些坑，为了避免下一次用又踩坑，因此记录如下，也希望能够帮到其它小伙伴。 官方镜像页面：https://hub.d…
阅读更多...
qt中QDebuge中文乱码的解决

qt中QDebuge中文乱码的解决

qt的QDebuge中文乱码，我采用的下面的方案，直接在Windows的设置中修改，然后就OK了，记录一下。可能不同的开发环境不同吧，我用的是win11，按照下图设置，然后重启就OK了。
阅读更多...
【uniapp-Vue3】beforeRegister在注册用户入库前设置初始用户

【uniapp-Vue3】beforeRegister在注册用户入库前设置初始用户

关于uniCloud的beforeRegister钩子的具体介绍和用法在下面： uniCloudhttps://doc.dcloud.net.cn/uniCloud/uni-id/summary.html#before-register首先在uniCloud/cloudfunctions/common/uni-config-center/uni-id中创建hooks文件，再创建index.js文件 在…
阅读更多...
滴水逆向_引用_友元函数_运算符重载

滴水逆向_引用_友元函数_运算符重载

作业： 运算符号重载实现。 struct Person { public:int x;int y; public:Person(){this->x 10;this->y 20;}Person(int x, int y){this->x x;this->y y;}//申明友元函数void Printf(const Person& p){printf("%d %d",p.x,p.y);}/…
阅读更多...
工具方法 - 合规性矩阵

工具方法 - 合规性矩阵

Compliance matrix （合规性矩阵）是产品需求管理中的一个重要工具，它是用来识别、跟踪、监控和组织所有客户和利益相关方需求是否被满足的工具。具体来说，Compliance matrix需要用一行一行的证据来证明被设计的产品针对每个需求的实…
阅读更多...
std::thread的同步机制

std::thread的同步机制

在 C 中，std::thread 用于创建和管理线程。为了确保多个线程能正确、安全地访问共享资源，避免数据竞争和不一致问题，需要使用同步机制。 互斥锁（std::mutex） 原理：互斥锁是一种最基本的同步原语&#xff…
阅读更多...
最新文章

Copyright @ 2022~2023