lmsys.org

Large Model Systems Organization (LMSYS Org) 是一个开放的研究组织，由加州大学伯克利分校的学生和教师与加州大学圣地亚哥分校和卡内基梅隆大学合作创立。

他们的目标是通过共同开发开放数据集、模型、系统和评估工具，让每个人都能访问大型模型。工作包括机器学习和系统方面的研究。他们训练大型语言模型并使其广泛可用，创建了Vicuna and FastChat-T5! 模型，同时还开发分布式系统以加速其训练和推理。

地址在这里：https://lmsys.org/

LLM排行榜

lmsys.org 组织每一周都会发布一个LLM排行榜排行榜，最新一期是2023 年 5 月 25 日发布的，排行榜如下：

在这个版本中，新加入了如下的大语言模型：

在此更新中，我们很高兴欢迎以下聊天机器人加入竞技场：

• Google PaLM 2

• Anthropic Claude-instant-v1

• MosaicML MPT-7B-聊天

• Vicuna-7B

各个语言的得分情况如下：

Google 的 PaLM 2 是这次加入的重要的聊天模型，目前在Chatbot Arena排行榜上排名第6位。然而，根据分析，PaLM 2 在某些方面存在一些不足：

1. 更严格的监管：PaLM 2 似乎受到更严格的监管，导致它在回答某些问题时放弃回应。这也导致它在与较弱的聊天机器人对战时表现不佳。

2. 有限的多语言能力：目前提供的 PaLM 2 版本在非英语问题上的回答能力有限。在非英语排行榜上，PaLM 2 排名第16位。

3. 不令人满意的推理能力：PaLM 2 在某些入门级推理任务上表现不佳，相较于其他聊天机器人，其推理能力有待提高。

在删除非英语对话和PaLM 2未提供答案的所有对话后，计算出的 Elo 评分代表了 PaLM 2 在竞技场中的假设上限。

LMSYS Org官网：https://lmsys.org/

更多AI工具，参考Github-AiBard123，国内AiBard123