本地部署 闻达:一个LLM调用平台 VIP版
- 1. 什么是 闻达
- 2. 闻达 Github 地址
- 3. 安装 Miniconda3
- 4. 创建虚拟环境
- 5. 部署 闻达
- 6. 部署 RWKV-4-Raven-14B 模型
- 7. 部署 AquilaChat-7B 模型
- 8. 部署 baichuan-7B 模型
- 9. 部署 Moss 模型
闻达:一个LLM调用平台。目标为针对特定环境的高效内容生成,同时考虑个人和中小企业的计算资源局限性,以及知识安全和私密性问题
1. 什么是 闻达
本项目设计目标为实现针对特定环境的高效内容生成,同时考虑个人和中小企业的计算资源局限性,以及知识安全和私密性问题。为达目标,平台化集成了以下能力:
- 知识库:支持对接本地离线向量库、本地搜索引擎、在线搜索引擎等。
- 多种大语言模型:目前支持离线部署模型有
chatGLM-6B
、