华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(三)

server/2024/12/27 7:17:06/

文章目录

      • 前言
      • 纯模型推理
      • 启动服务
      • 后面干什么?
      • 这可咋整啊?愁死了!
      • 总结


前言

这是咱这个系列的第三个文章了。
毕竟,这是我好几天摸索出的经验,能帮助各位在几个小时内领会,我觉得也算是我的功劳一件了。

所以,一是希望大家耐心看下去,耐心操作下去;而是恳请各位多多关注,多多点赞,多多评论,多多转发。

制作不易,多谢大家了。

前序文章:

华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(一)
华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(二)

纯模型推理

继续打开官方文档,我们一起踩坑哈。

mindie官方文档

经过我们上次的努力,已经到了“进入容器”这一步。

所以下一步,要做“纯模型推理”
~了吗?

我建议这一步跳过。因为它跟后续关联不大。😂😂😂
在这里插入图片描述

启动服务

在这里插入图片描述
看到官网的介绍,是不是感觉胜利就在眼前?有手就会?

想多了~

执行:

cd $MIES_INSTALL_PATH

在这里插入图片描述
不出意外,没有问题。

继续执行:

./bin/mindieservice_daemon

报错了

root@xxx:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon
Get realpath parsing failed.
Failed to get model config path real file path.
ERR: Failed to init endpoint! Please check the service log or console output.
Killed

修改一个文件,
把大模型权重路径改一下就好。

vi conf/config.json

在这里插入图片描述
改这里(xxx要按你的来改)。

                    "modelName" : "qwen2_5","modelWeightPath" : "/xxx/Qwen2.5",

小提示,可以先看看文章最后。通义千问2.5的0.5B的模型目前还不支持,最好直接上14B模型。

继续报错:

root@xxx:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon
Check path: config.json faile

http://www.ppmy.cn/server/147599.html

相关文章

深度学习中的图片分类:VGG16 模型详解及代码实现

深度学习中的图片分类:VGG16 模型详解及代码实现 在深度学习的发展中,VGG16 是一个非常经典且重要的卷积神经网络(CNN)架构。尽管它已经不如一些更现代的网络(如 ResNet 和 EfficientNet)那么流行&#xf…

微服务通讯系统(2)

软件设计及核心代码展示 数据库表设计,ES搜索表设计,Redis键值对设计 数据库表设计 (1)用户表设计 这里的ID是指的是在系统中用户是第几个注册的(从1开始) user_id是指用户的唯一ID是通过uuid()函数生成…

数学建模之熵权法

熵权法 概述 **熵权法(Entropy Weight Method,EWM)**是一种客观赋权的方法,原理:指标的变异程度越小,所包含的信息量也越小,其对应的权值应该越低(例如,如果对于所有样本而言,某项指标的值都相…

spark同步mysql数据到sqlserver

使用Apache Spark将数据从MySQL同步到SQL Server是一个常见的ETL(Extract, Transform, Load)任务。这里提供一个基本的步骤指南,以及一些代码示例来帮助你完成这项工作。 ### 前提条件 1. **安装Spark**:确保你的环境中已经安装了…

【计算机网络】实验9: 路由信息协议RIP

实验9 路由信息协议RIP 一、实验目的 本实验的主要目的是深入理解RIP(路由信息协议)的工作原理,以便掌握其在网络中的应用。通过对RIP的学习,我们将探讨该协议如何实现路由选择和信息传播,从而确保数据包能够在网络中…

异步复位同步释放

timescale 1ns / 1ps //同步复位 异步释放 并且将输出的信号转换成高电平有效 module reset(input clk ,input rst_n,output reset); reg reset1; reg reset2;always (posedge clk or negedge rst_n) beginif(!rst_n) beginreset1<1b1;reset2&…

RabbitMQ 的工作模式

目录 工作模式 Simple&#xff08;简单模式&#xff09; Work Queue&#xff08;工作队列&#xff09; Publish/Subscribe&#xff08;发布/订阅&#xff09; Exchange&#xff08;交换机&#xff09; Routing&#xff08;路由模式&#xff09; Topics&#xff08;通配…

C++设计模式之适配器

动机 在软件系统中&#xff0c;由于应用环境的变化&#xff0c;常常需要将“一些现存的对象”放在新的环境中应用&#xff0c;但是新环境要求的接口是这些现存对象所不满足的。 如何应对这种“迁移的变化”&#xff1f;如何既能利用现有对象的良好实现&#xff0c;同时又能满…