昇腾,Ascend,NPU,mindie,镜像,部署vllm:第4篇,尝试多模态大模型部署(Qwen2-vl)

news/2025/2/13 2:50:43/

文章目录

  • 前言
  • 下载模型


前言

一直想部署一个多模态大模型,今天就以Qwen2-vl为例尝试一番吧。
(当然是在昇腾环境下)

提示:需要把这篇文章先看一遍
昇腾,mindie,镜像,部署vllm:第2篇,启动mindieservice_daemon服务,支持对Qwen2.5的7B版本的推理

提示:本文章的撰写思路是,按照一个思路进行部署,报错,并反思,并解决。 所以不太适合直接上来就跟着一步一步做。建议看完全文,再根据自己的理解做。

下载模型

咱应该都装了modelscope吧,那么可以直接:

提示,下面这行指令会把文件直接下载到当前文件夹里,所以最好实现创建一个文件夹

mkdir qwen2-vl

http://www.ppmy.cn/news/1571590.html

相关文章

Vue笔记(四)

一、插槽 (一)默认插槽 1. 插槽概念:在Vue组件中,插槽是一种分发内容的机制,允许在父组件中向子组件传递HTML或组件片段。默认插槽是最基础的插槽类型。 2.使用场景:当子组件有预留区域,需要…

探索B-树系列

🌈前言🌈 本文将讲解B树系列,包含 B-树,B树,B*树,其中主要讲解B树底层原理,为什么用B树作为外查询的数据结构,以及B-树插入操作并用代码实现;介绍B树、B*树。 &#x1f4…

小结:NAT

在华为设备中,NAT(网络地址转换)有多种类型,通常用于实现私有网络与公网之间的地址转换,或是实现内部网络的地址隔离。以下是华为路由器和交换机中常见的 NAT 类型及其配置。 1. NAT 类型 (1) 静态 NAT(S…

3.React 组件化开发

react:版本 18.2.0node: 版本18.19.1脚手架:版本 5.0.1 一、类组件 (一) 一个干净的脚手架 【1】使用已经被废弃的 CRA (create-react-app) create-react-app 已经被废弃,且目前使用会报错,官方已经不推荐使用&…

从零到一:我的元宵灯谜小程序诞生记

缘起:一碗汤圆引发的灵感 去年元宵节,我正捧着热腾腾的汤圆刷朋友圈,满屏都是"转发锦鲤求灯谜答案"的动态。看着大家对着手机手忙脚乱地切换浏览器查答案,我突然拍案而起:为什么不做一个能即时猜灯谜的微信…

获取 Windows 视频时长的正确方式——Windows Shell API 深度解析

在 Qt 开发中,有时需要获取视频文件的时长,最直接的方法是在 Windows 上使用 Windows Shell API。然而,这涉及到 IShellItem、IPropertyStore 等 COM 组件,并需要正确处理 PKEY_Media_Duration。本篇文章将详细解析 Windows Shell API 获取视频时长的正确实现方式,并解决常…

C++ 顺序表

顺序表的操作有以下: 1 顺序表的元素插入 给定一个索引和元素,这个位置往后的元素位置都要往后移动一次,元素插入的步骤有以下几步 (1)判断插入的位置是否合法,如果不合法则抛出异常 (2&…

关于工厂模式和单例模式

工厂模式 工厂模式就是将对象的创建过程封装在一个工厂类中,将创建对象的任务交给工厂完成。外部只能通过工厂类来指定创建或查找一个什么类型的对象,但不能直接创建对象。这样的好处在于实现了创建逻辑和业务逻辑的解耦。让代码变得更好看。 工厂模式又…