如何在算家云搭建Peach-9B-8k-Roleplay(文本生成)

ops/2024/11/18 10:00:08/

一、Peach-9B-8k-Roleplay简介

Peach-9B-8k-Roleplay 是一种聊天大型语言模型,它是通过我们的数据合成方法创建的超过 100K 的对话中微调 01-ai/Yi-1.5-9B 模型而获得的。

也许是 34B 以下参数最好的 LLM。

image.png

模型搭建流程">二、模型搭建流程

1. 创建容器镜像

  • 进入算家云平台的“应用社区”,点击搜索或者找到"Peach-9B-8k-Roleplay",进入详情页后点击“创建应用”

image.png

image.png

  • 进入“租用实例”页面之后选择模型和 3060 卡,点击创建即可创建实例

image.png

2.启动项目

  • 实例创建成功之后,点击“项目实例”再点击“webssh”开启终端(小黑屏)

微信图片_20240823162910.jpg

  • 进入终端后复制以下命令输入到终端即可开始运行:

激活虚拟环境

conda activate Peach-9B-8k-Roleplay

下载模型

注意:务必切换路径,把模型下载到数据盘

cd  /root/sj-tmp
git lfs install
git clone https://www.modelscope.cn/roleplay/Peach-9B-8k-Roleplay.git

切换路径

模型运行过程中还需要下载新的模型,切换到系统盘,分担数据盘的存储压力。

cd /

指定端口,运行模型

export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080 
python  /root/sj-tmp/Peach-9B-8k-Roleplay/demo.py

屏幕截图

3.开启外部访问

返回“项目实例”列表,选择并点击对应实例的“开放端口”按下图操作。

微信图片_20240823163049.jpg

点击后访问的网址就已经复制到剪切板:

image.png

4.访问获取的地址,开始使用

  • 将复制的访问网址复制到新网页即可开始 ui 界面的使用

屏幕截图

输入问题,进行对话

屏幕截图

或者根据自己需要修改参数以后,再进行对话。

屏幕截图

自己设定提示符

屏幕截图

以上就是在算家云搭建 Peach-9B-8k-Roleplay的流程。具体使用方式可进入算家云“应用社区”查看该模型的使用说明

点击算家云-应用社区,选择模型,一键开启 AI 之旅!

971a4f51b8f1c01ea3fc332bef04cbf.png


http://www.ppmy.cn/ops/134674.html

相关文章

RPC-健康检测机制

什么是健康检测? 在真实环境中服务提供方是以一个集群的方式提供服务,这对于服务调用方来说,就是一个接口会有多个服务提供方同时提供服务,调用方在每次发起请求的时候都可以拿到一个可用的连接。 健康检测,能帮助从连…

大数据CDP集群中ImpalaHive常见使用语法

1. SQL中设置常量 set var:pi_sysdate 20241114; Variable PI_SYSDATE set to 202411142. CDP中impala 创建内外表 #hive3.0 默认不创建事务表的配置参数 set default_transactional_typenone; create external table stg.hd_aml_mac_ip_ext (machinedate string,vc_fundacc…

求矩阵中最小元素及其位置

#include<stdio.h> int main() {int arr[3][3];for(int i0;i<3;i)//录入行{for(int j0;j<3;j)//录入列{scanf("%d",&arr[i][j]);}}int h,l;//定义行 列int minarr[0][0];//将二维数组首个元素定义为最小for(int i0;i<3;i)//遍历二维数组找到最小…

无人机+无人车+机器狗:城市巷战突破技术详解

在城市巷战中&#xff0c;无人机、无人车和机器狗的组合可以形成一种全新的战场突破技术&#xff0c;这种组合能够大幅提升作战效率&#xff0c;减少人员伤亡。以下是对这一技术的详细解析&#xff1a; 一、无人机的作用 1.空中侦察&#xff1a;无人机能够提供高空视角&#x…

vue3 查看word pdf excel文件

也是在网上找的基础上修改的 可以直接使用 npm install vue-office/docx npm install vue-office/excel npm install vue-office/pdf​<template><divclass"Office-Preview"v-loading"loading"element-loading-text"文件加载中...">…

2024.11|云计算行业的商业模式创新方法及实践

截至2024年&#xff0c;全球云计算行业已迈入一个全新的发展阶段。从基础设施即服务&#xff08;IaaS&#xff09;到基于人工智能的大规模模型平台&#xff0c;云计算技术的演变不仅改变了技术的内涵&#xff0c;也重新定义了商业模式。本文通过对全球最新技术进展的系统性分析…

ARM 汇编指令

blr指令的基本概念和用途 在 ARM64 汇编中&#xff0c;blr是 “Branch with Link to Register” 的缩写。它是一种分支指令&#xff0c;主要用于跳转到一个由寄存器指定的地址&#xff0c;并将返回地址保存到链接寄存器&#xff08;Link Register&#xff0c;LR&#xff09;中。…

2020 年 12 月青少年软编等考 C 语言三级真题解析

目录 T1. 完美立方思路分析 T2. 不定方程求解思路分析 T3. 分解因数思路分析 T4. 上台阶思路分析 T5. 田忌赛马思路分析 T1. 完美立方 形如 a 3 b 3 c 3 d 3 a^3 b^3 c^3 d^3 a3b3c3d3 的等式被称为完美立方等式。例如 1 2 3 6 3 8 3 1 0 3 12^3 6^3 8^3 10^3 1…