开源模型应用落地-Qwen2-7B-Instruct与vllm实现推理加速的正确姿势(十)

devtools/2024/9/23 9:28:38/

一、前言

    目前,大语言模型已升级至Qwen2版本。无论是语言模型还是多模态模型,均在大规模多语言和多模态数据上进行预训练,并通过高质量数据进行后期微调以贴近人类偏好。在本篇学习中,将集成vllm实现模型推理加速,现在,我们赶紧跟上技术发展的脚步,去体验一下新版本模型的推理质量。


二、术语

2.1. vLLM

    vLLM是一个开源的大模型推理加速框架,通过PagedAttention高效地管理attention中缓存的张量,实现了比HuggingFace Transformers高14-24倍的吞吐量。

2.2. qwen2

    Qwen是阿里巴巴集团Qwen团队研发的大语言模型和大型多模态模型系列。目前,大语言模型已升级至Qwen2版本。无论是语言模型还是多模态模型,均在大规模多语言和多模态数据上进行预训练,并通过高质量数据进行后期微调以贴近人类偏好。Qwen具备自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、作为AI Agent进行互动等多种能力。

最新版本Qwen2有以下特点:

  • 5种模型规模,包括0.5B、1.5B、7B、57B-A14B和72B;

  • 针对每种尺寸提供基础模型和指令微调模型,并确保指令微调模型按照人类偏好进行校准;

  • 基础模型和指令微调模型的多语言支持;

  • 所有模型均稳定支持32K长度上下文;Qwen2-7B-Instruct与Qwen2-72B-Instruct可支持128K上下文(需额外配置&


http://www.ppmy.cn/devtools/50900.html

相关文章

C# WPF入门学习主线篇(十七)—— UniformGrid布局容器

C# WPF入门学习主线篇(十七)—— UniformGrid布局容器 欢迎来到C# WPF入门学习系列的第十七篇。在前几篇文章中,我们已经探讨了 Canvas、StackPanel、WrapPanel、DockPanel 和 Grid 布局容器及其使用方法。本篇博客将介绍另一种非常实用且简单…

Mac环境如何使用Flutter Version Manager (fvm)

Mac环境如何使用Flutter Version Manager (fvm) Flutter Version Manager (fvm) 是一个 Flutter 版本管理工具,它允许开发者在本地安装并管理多个 Flutter 版本。使用 fvm,您可以轻松切换不同版本的 Flutter SDK,进行多项目开发而无需重复安…

微服务链路追踪ELK

微服务链路追踪&ELK 链路追踪概述链路追踪sluthzipkinelk日志管理平台 一 链路追踪 1 概述 1.1 为什么需要链路追踪 ​ 微服务架构是一个分布式架构,它按业务划分服务单元,一个分布式系统往往有很多个服务单元。由于服务单元数量众多&#xff0…

ubuntu20.0.4下安装PyTorch

参考文档 https://datawhalechina.github.io/thorough-pytorch/%E7%AC%AC%E4%B8%80%E7%AB%A0/1.2%20PyTorch%E7%9A%84%E5%AE%89%E8%A3%85.html 1:安装Anaconda 登录Anaconda | Individual Edition,https://www.anaconda.com/download/success &#xff…

SNAT和DNAT策略

1、SNAT策略及应用 SNAT应用环境:局域网主机共享单个公网IP地址接入Internet(私有不能在Internet中被正常路由) SNAT原理: 修改数据包的源地址。 SNAT转换前提条件: 局域网各主机已正确设置IP地址、子网掩码、默认…

C++中的抽象工厂模式

目录 抽象工厂模式(Abstract Factory Pattern) 实际应用 跨平台GUI工厂 数据库访问抽象工厂 跨平台文件系统工厂 总结 抽象工厂模式(Abstract Factory Pattern) 抽象工厂模式是一种创建型设计模式,它提供一个创…

警示:AGI竞赛之未来十年

后新冠时代,人类智商普遍下降,人工智能赶超人类智能指日可待。 最近几天,AI领域悄悄流行一份AGI白皮书,虽然有些危言耸听,甚至包含以中国为竞争对手的阴谋论。下面是主要思想: 在过去的一年里&#xff1a…

dbForge Studioor MySQL v6 解锁版 安装教程(MYSQL数据库客户端)

前言 dbForge Studioor MySQL是一个在Windows平台被广泛使用的MySQL客户端,它能够使MySQL开发人员和管理人员在一个方便的环境中与他人一起完成创建和执行查询,开发和调试MySQL程序,自动化管理MySQL数据库对象等工作。 一、下载地址 下载链…