部署接入 M3E和chatglm2-m3e文本向量模型

news/2024/9/25 10:37:56/

前言

FastGPT 默认使用了 openai 的 embedding 向量模型,如果你想私有部署的话,可以使用 M3E 向量模型进行替换。M3E 向量模型属于小模型,资源使用不高,CPU 也可以运行。下面教程是基于 “睡大觉” 同学提供的一个的镜像。

部署镜像

m3elargeapi_4">m3e-large-api

镜像名: stawky/m3e-large-api:latest
国内镜像: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest 端口号: 6008 环境变量:

m3e_7">chatglm2-m3e

镜像名: stawky/chatglm2-m3e:latest
国内镜像名: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/chatglm2-m3e:latest
端口号: 6006

设置安全凭证(即oneapi中的渠道密钥)
默认值:sk-aaabbbcccdddeeefffggghhhiiijjjkkk
也可以通过环境变量引入:sk-key。有关docker环境变量引入的方法请自寻教程,此处不再赘述。

docker部署

m3elargeapi_17">m


http://www.ppmy.cn/news/1440716.html

相关文章

Fluent.Ribbon创建Office的RibbonWindow菜单

链接: Fluent.Ribbon文档 优势: 1. 可以创建类似Office办公软件的复杂窗口; 2. 可以应用自定义主题风格界面

IEEE论文Word转高清PDF

一、问题描述 简单的操作word直接导出为PDF,会导致图片的模糊。 甚至在高级选项里选择分辨率为"高保真"(图1),输出PDF时选择“标准”(图2),也无法逃避图片的模糊(图3&am…

jupyterlab 创建新环境的问题 | notebook用新kernel运行命令没有反应 | 新核显示正在连接

问题: 创建了新的conda虚拟环境,使用以下命令创建为jupyter notebook新内核 > conda install ipykernel > python -m ipykernel install --user --namekernel_name --display-name "display_kernel_name" 在notebook中切换为新内核&a…

AG32 MCU在触摸屏的应用(AGM FPGA/MCU行业应用)

传统的屏驱MCU常见应用于洗衣机、空调、空调面板、仪器仪表等人机交互界面显示场景中,通常是以段码的形式显示设备运转的时间、温度、测量结果等简单运行数据,随着人机交互需求丰富化,智能家居设备、摩托车、电动车等产品也逐步增加了屏幕显示…

kubebuilder(3)实现operator

在前面的文章我们已经了解了operator项目的基本结构。现在我们来写一点简单的代码,然后把我们的crd和operator部署到k8s集群中。 需求 这是一个真实的需求,只不过做了简化。 在开发公司自己的paas平台,有一个需求是,用户在发版…

vue项目打包时因为图片问题报错

执行 npm run build命令打包项目时报错,看起来是图片的问题: package.json里面image-webpack-loader的版本是^7.0.1 解决方案: 1、先卸载 npm uninstall image-webpack-loader 2、用cnpm重新安装 cnpm install image-webpack-loader --save…

VIM插件安装与配置

文章目录 前言插件管理工具1. vimrc通用配置5.标签列表插件(taglist)总结 前言 在某些情况下只能用vim编辑器,而没有类似vscode的图形化界面,为vim配置一系列插件即可方便的在vim下编程 插件管理工具 VundleVim vim-plug 将插件的地址添加进去&#xf…

巴西游戏市场海外营销洞察

巴西作为南美洲最大的国家,近年来在游戏产业领域取得了显著的发展,2023年巴西整体移动游戏市场收入规模超60亿元,显示出强劲的市场活力。巴西游戏市场以其庞大的用户基础,不断增长的消费能力以及日益完善的产业环境,吸…