复旦版 ChatGPT 正式开源,太强了!!

news/2024/11/28 15:54:48/

点击上方“Java基基”,选择“设为星标”

做积极的人,而不是积极废人!

每天 14:00 更新文章,每天掉亿点点头发...

源码精品专栏

 
  • 原创 | Java 2021 超神之路,很肝~

  • 中文详细注释的开源项目

  • RPC 框架 Dubbo 源码解析

  • 网络应用框架 Netty 源码解析

  • 消息中间件 RocketMQ 源码解析

  • 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析

  • 作业调度中间件 Elastic-Job 源码解析

  • 分布式事务中间件 TCC-Transaction 源码解析

  • Eureka 和 Hystrix 源码解析

  • Java 并发源码

来源:机器之心

  • 新增能力

  • 下载安装


开源版的 Moss 真的来了。

91c9348806a9d4ca2b32f0ba79b3e3ae.jpeg

项目地址:https://github.com/OpenLMLab/MOSS

MOSS 是一个支持中英双语和多种插件的开源对话语言模型,但参数数量比 ChatGPT 少得多。在 v0.0.2 之后,团队持续对其进行调整,推出了 MOSS v0.0.3,也就是目前开源的版本。相比于早期版本,功能也实现了多项更新。

最初的测试中,MOSS 的基础功能与 ChatGPT 类似,可以按照用户输入的指令完成各类自然语言处理任务,包括文本生成、文本摘要、翻译、代码生成、闲聊等等。

开放内测后,团队继续加大中文语料的预训练:「截止目前,MOSS 003 的基座语言模型已经在 100B 中文 token 上进行了训练,总训练 token 数量达到 700B,其中还包含约 300B 代码。」

在开放内测后,我们也收集了一些用户数据,我们发现真实中文世界的用户意图和 OpenAI InstructGPT 论文中披露的 user prompt 分布有较大差异(这不仅与用户来自的国家差异有关,也跟产品上线时间有关,早期产品采集的数据中存在大量对抗性和测试性输入),于是我们以这部分真实数据作为 seed 重新生成了约 110 万常规对话数据,涵盖更细粒度的 helpfulness 数据和更广泛的 harmlessness 数据。

内容来源:https://www.zhihu.com/question/596908242/answer/2994534005

目前,团队已将 moss-moon-003-base、moss-moon-003-sft、moss-moon-003-sft-plugin 三个模型上传到 HuggingFace。后续,还有三个模型将会开源。

49c8a0c6c7f6ea8e92e31e8003fcaf04.png

根据项目主页介绍,moss-moon 系列模型具有 160 亿参数,在 FP16 精度下可在单张 A100/A800 或两张 3090 显卡运行,在 INT4/8 精度下可在单张 3090 显卡运行。

团队同时表示,由于模型参数量较小和自回归生成范式,MOSS 仍然可能生成包含事实性错误的误导性回复或包含偏见 / 歧视的有害内容,请谨慎鉴别和使用 MOSS 生成的内容,请勿将 MOSS 生成的有害内容传播至互联网。

新增能力

在 MOSS v0.0.3 中,团队加入了多项新能力。

团队构造了约 30 万插件增强的对话数据,包含搜索引擎、文生图、计算器、方程求解等。关于插件版 MOSS 如何使用,后续团队将在 GitHub 公布。

bbfa024e453bb33369ad62d1f5772f98.png
*MOSS v0.0.3 现已引入使用多种插件的能力。*

下图展示了调用搜索引擎的能力:

a48e993c64c791de5f4918d601a6e7ec.png

下图展示了调用方程求解器的能力:

d22182bb7c3bc6fcdc24c0df031d5820.png

下图展示了从文本生成图片的能力:

3733934ff155fc3013b693cb6811b7c8.png

项目作者孙天祥补充说,MOSS 003 支持启用插件的能力是通过 meta instruction 来控制,类似 gpt-3.5-turbo 里的 system prompt。「因为是模型控制的,所以并不能保证 100% 控制率,以及还存在一些多选插件时调用不准、插件互相打架的缺陷,我们正在尽快开发新的模型来缓解这些问题。」

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

下载安装

下载本仓库内容至本地 / 远程服务器:

git clone https://github.com/OpenLMLab/MOSS.gitcd MOSS

创建 conda 环境:

conda create --name moss python=3.8
conda activate moss

安装依赖:

pip install -r requirements.txt

其中 torch 和 transformers 版本不建议低于推荐版本。

根据协议,开源的 MOSS 可用于商业用途:

6177381baad5802ce2068142ff2b5a46.png

此外,开发者也可通过 API 调用 MOSS 服务,团队将根据当前服务压力考虑通过 API 接口形式提供服务,接口格式可参考:https://github.com/OpenLMLab/MOSS/blob/main/moss_api.pdf

目前,已有开发者根据开源内容进行而创,比如通过 VideoChat 进行视频问答。

VideoChat 是一款多功能视频问答工具,结合了动作识别、视觉字幕和 StableLM 的功能。该工具可为视频中的任何对象和动作生成密集的描述性字幕,提供一系列语言风格以满足不同的用户偏好。它支持用户进行不同长度、情绪、语言真实性的对话。

25acd01a71efc3d597fce9bc67df113c.png

项目地址:https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat_with_MOSS



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢

d7e62d9d09fb5a72f36c6a24eb9d28a3.png

已在知识星球更新源码解析如下:

e653767141a5ac8bc03d3000c2bf6c2f.jpeg

a319572b8ee35d84db0338229278beff.jpeg

5c393666c24d41f5c761c011e85a9020.jpeg

9079f4d9073e7d11621419969757ecd7.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 6W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)

http://www.ppmy.cn/news/957457.html

相关文章

78、分布式事务解决方案

分布式事务解决方案 XA规范: 分布式事务规范,定义了分布式事务模型 四个角色: 事务管理器(协调者TM)、资源管理器(参与者RM),应用程序AP,通信资源管理器CRM 全局事务:一个横跨多个数据库的事务,要么全部提交、要么全部回滚 JT…

Chatgpt AI聊天实现,技术NodeJs+uni-app+eventsource,流式响应,支持上下文聊天

前端程序员的AI聊天小应用体验分享 最近空闲出点时间,作为一名前端程序员,我一直对人工智能(AI)技术充满了好奇和热情。最近,我开发了一个AI聊天小应用,大家想体检的可以私聊我或者V:155278082…

altium designer OUTPUT FILE Analysis

设计完PCB后,会导出相关光绘文件发给板厂打板,针对AD导出的各个光绘文件,我记录下了它们各个文件对应的层如下: GTL: Top Layer 顶层线路 GBL: Bottom Layer 底层线路 G1,G2… : Mid Layer 1, 2, … 中间信号层 GP1,GP2…: Internal Plane Layer 1, 2, …内电层 G…

DAppStore率先集成ChatGPT助力App安全开发

人工智能技术发展与应用拓展正暴风式席卷全球,为数字化转型升级带来全新机遇。DAppStore率先集成ChatGPT ,将ChatGPT和移动安全领域的众多场景结合起来,提供安全开发指南和安全代码示例,帮助开发者提升App安全防护能力。 近日,Cha…

ChatGPT自动开发SwiftUI App

ChatGPT 是 OpenAI 的一个演示项目,可以就许多话题进行对话。包括编程。 让我们逐步了解它,好吗? ChatGPT 从这一点开始接下来的一切都是我的输入提示,然后是 ChatCGP 的响应,并附有示例代码。 嘿 ChatGPT,你能制作一个包含名称、地址、城市、州和邮编字段的 SwiftUI …

原生信息流广告APP应用内增收及计费模式

比起传统的广告宣传,信息流最大的优势就在于流量的庞大。与此同时,多样化的信息流广告形式和精准的定向,还可以帮助广告主准确获取意向流量。此外,它的广告形式不强迫推送,因此也受到了广泛用户的支持和青睐。 原生信…

ChatGpt的使用感悟和使用局限

GPT3未出现以前的生活 当我写博客和论文时 心想:啊~~~~ 怎么办,马萨卡,我真的永远都无法敲出结果来了! 写完内容后的我 终于可以睡了!!! 天啊,这是我一个本科生该有的生活吗…

如何缩短 js 解析时间,如何优化首屏(延迟加载)

缩短js解析时间 代码优化 避免全局查找(沿着作用域链找需要时间),避免闭包,用数据结构等 减小js的大小:压缩和混淆 压缩 剔除没用到的代码,把长表达式转换成同含义的短表达式等 语法转换和优化&#…