部署接入 M3E和chatglm2-m3e文本向量模型

embedded/2024/9/25 10:24:52/

前言

FastGPT 默认使用了 openai 的 embedding 向量模型,如果你想私有部署的话,可以使用 M3E 向量模型进行替换。M3E 向量模型属于小模型,资源使用不高,CPU 也可以运行。下面教程是基于 “睡大觉” 同学提供的一个的镜像。

部署镜像

m3elargeapi_4">m3e-large-api

镜像名: stawky/m3e-large-api:latest
国内镜像: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest 端口号: 6008 环境变量:

m3e_7">chatglm2-m3e

镜像名: stawky/chatglm2-m3e:latest
国内镜像名: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/chatglm2-m3e:latest
端口号: 6006

设置安全凭证(即oneapi中的渠道密钥)
默认值:sk-aaabbbcccdddeeefffggghhhiiijjjkkk
也可以通过环境变量引入:sk-key。有关docker环境变量引入的方法请自寻教程,此处不再赘述。

docker部署

m3elargeapi_17">m


http://www.ppmy.cn/embedded/18655.html

相关文章

气膜仓库:现代化仓储新选择—轻空间

气膜仓库,作为现代化仓储的新选择,越来越受到人们的青睐。相比传统料仓,气膜仓库具有诸多优势,使其成为各行各业的首选储存解决方案。 1. 高效节能 气膜仓库的建设周期短,基础简单,安装快捷,能耗…

【运维】Gitlab备份

Gitlab备份 备份什么?在哪?备份命令? 一、配置文件 GitLab默认的配置文件路径:/etc/gitlab/ /etc/gitlab/gitlab.rb:主配置文件,包含外部URL、仓库目录、备份目录等 /etc/gitlab/gitlab-secrets.json&…

uniapp

uniapp教程 uniapp项目新建 uniapp官网 新建Uniapp项目: 1. 2.

【MongoDB】--MongoDB的组合索引

目录 一、前言二、Query查询条件转换shell输入命令1、常用shell输入命令2、explain()解析计划三、组合索引的说明一、前言 本文章主要介绍Mongodb的组合索引的使用。 二、Query查询条件转换shell输入命令 1、常用shell输入命令 Query: {"tenantsid": {"$num…

【ROMA解决方案和功能架构】

1、解决方案架构 1、基于ROMA融合集成平台,实现企业应用、数据、API 、OT设备、云服务、合作伙伴应用之间的集成连接。 2、ROMA主要包含四个组件:数据集成(Fast Data Integration,简称FDI)、服务集成(API …

springboot整合knife4j

springboot整合knife4j (相当于swagger) 引入依赖&#xff1a; <!--添加Knife4j依赖--><dependency><groupId>com.github.xiaoymin</groupId><artifactId>knife4j-spring-boot-starter</artifactId><version>2.0.2</version>…

Vue3+vite优化基础架构(1)--- 使用unplugin-vue-components

Vue3vite优化基础架构&#xff08;1&#xff09;--- 使用unplugin-vue-components 说明安装unplugin-vue-componentsvite.config.js中使用unplugin-vue-components/vite 说明 这里记录下自己在Vue3vite的项目使用unplugin-vue-components/vite来自定义组件自动全局引入svg雪碧…

css——分栏样式

案例样式 案例代码 使用伪类处理 <view class"twoBox"><view class"numBox"><view class"num">1999</view><view class"numTxt">关注</view></view><view class"numBox">…