模型微调
2024/9/20 7:36:18
基于迁移学习的语义句子分类器（微调一个预训练模型的案例，即迁移学习）
一、任务：基于迁移学习的语义句子分类器
项目介绍：本任务的目的是利用预训练好的模型来微调自己的微软研究释义语料库数据集，实现文本分类的任务，具体是判断两个句子的意思是否相同。在微调阶段，我们将整个模型的参数…
机器学习笔记 - LoRA：大型语言模型的低秩适应
一、简述
1、模型微调 随着大型语言模型 (LLM) 的规模增加到数千亿，对这些模型进行微调成为一项挑战。传统上，要微调模型，我们需要更新所有模型参数。这也称为完全微调 (FFT) 。下图详细概述了此方法的工作原理。 完全微调FFT 的计算成本和资源需求很大，因为更新每…
Llama3 中文通用 Agent 微调模型来啦！（附手把手微调实战教程）
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。
基于大家…
基于迁移学习的语义句子分类器（微调一个预训练模型的案例，即迁移学习）
一、任务：基于迁移学习的语义句子分类器
项目介绍：本任务的目的是利用预训练好的模型来微调自己的微软研究释义语料库数据集，实现文本分类的任务，具体是判断两个句子的意思是否相同。在微调阶段，我们将整个模型的参数…
GLM4-9B-chat模型微调
文本记录GLM4-9B-Chat模型进行LoRA微调的过程。
一、环境：
操作系统: Ubuntu 22.04CUDA: 12.1GPU: 3090 x 2 创建conda环境：
conda create -n glm4 python3.10.14
conda activate glm4cd /home/data/chatglm4-finetune 二、数据准备 运行d…
用 LMDeploy 高效部署 Llama-3-8B，1.8倍vLLM推理效率
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总…
大模型实战案例：8卡环境微调马斯克开源大模型 Grok-1
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总…
用 LMDeploy 高效部署 Llama-3-8B，1.8倍vLLM推理效率
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总…
大模型实战案例：8卡环境微调马斯克开源大模型 Grok-1
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总…
增强大模型高效检索：基于LlamaIndex ，构建一个轻量级带有记忆的 ColBERT 检索 Agent
在自然语言处理领域，高效检索相关信息的能力至关重要。将对话式记忆集成到文档检索系统中已经成为增强信息检索代理效果的强大技术。
在文中，我们专为 LlamaIndex 量身定制，将深入探讨构建一个轻量级的带有记忆的 ColBERT 检索代理ÿ…
模型微调、智能体、知识库之间的区别
使用开源模型微调和使用知识库与智能体（agent）的区别主要体现在工作原理、应用场景和实现目标上。以下是对这三者的详细对比：
开源模型微调
定义：
微调是对预训练模型（例如BERT、GPT等）进行额外训练&…
增强大模型高效检索：基于LlamaIndex ，构建一个轻量级带有记忆的 ColBERT 检索 Agent
在自然语言处理领域，高效检索相关信息的能力至关重要。将对话式记忆集成到文档检索系统中已经成为增强信息检索代理效果的强大技术。
在文中，我们专为 LlamaIndex 量身定制，将深入探讨构建一个轻量级的带有记忆的 ColBERT 检索代理ÿ…
使用 LLaMA-Factory 实现对大模型函数调用功能
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。
针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。
合集&#x…
基于迁移学习的语义句子分类器（微调一个预训练模型的案例，即迁移学习）
一、任务：基于迁移学习的语义句子分类器
项目介绍：本任务的目的是利用预训练好的模型来微调自己的微软研究释义语料库数据集，实现文本分类的任务，具体是判断两个句子的意思是否相同。在微调阶段，我们将整个模型的参数…
增强大模型高效检索：基于LlamaIndex ，构建一个轻量级带有记忆的 ColBERT 检索 Agent
在自然语言处理领域，高效检索相关信息的能力至关重要。将对话式记忆集成到文档检索系统中已经成为增强信息检索代理效果的强大技术。
在文中，我们专为 LlamaIndex 量身定制，将深入探讨构建一个轻量级的带有记忆的 ColBERT 检索代理ÿ…
用 LMDeploy 高效部署 Llama-3-8B，1.8倍vLLM推理效率
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总…