摘要

海洋覆盖我们星球表面70%以上，对于理解生命的丰富储备和生物多样性至关重要。鉴于海洋在调节全球气候和支持经济中的关键作用，海洋科学研究具有重大意义。最近，大型语言模型（LLMs）的进步改变了科学的范式。尽管在其他领域取得了成功，但现有的LLMs在满足海洋学家等领域专家的需求方面往往不足，LLMs在海洋科学方面的潜力尚未被充分探索。内在原因包括海洋数据的庞大和复杂性，以及对更高粒度和知识丰富度需求。为了缓解这些问题，我们引入了OCEANGPT，这是海洋领域的第一个大型语言模型，它在各种海洋科学任务中表现出专家级的能力。我们还提出了DOINSTRUCT，这是一个新颖的框架，通过多代理合作自动获取大量海洋领域指令数据，生成指令。此外，我们构建了第一个海洋学基准测试OCEANBENCH，以评估LLMs在海洋领域任务中的能力。实验证明，OCEANGPT不仅在海洋科学任务中显示出更高水平的知识专长，在海洋技术方面也体现出智能化能力。

一、引言

•  海洋科学深入研究覆盖地球表面70%以上的海洋，不仅对于理解丰富的生命和生物多样性至关重要，而且在调节全球气候和支持经济方面也起到了关键作用。

•  最近，大语言模型在医学（ Moor et al. ，2023） 、分子科学 （Fang et al. ，2023） 、蛋白质科学（ Lin et al. ， 2023）和地球科学（Deng et al. ，2023）等科学领域得到应用。然而 ，大型语言模型在海洋科学中的潜力尚未得到充分开发。

•  目前LLMs仍然不能完全满足海洋学家的特定需求。这种不足主要是由于：

（1）海洋数据的海量和复杂。海洋数据既能提高对海洋的理解，也是一个重大的障碍。

（2）对知识的粒度和丰富度要求更高。请注意 ，研究人员面临的数据需求正变得越来越复杂和多样化。海洋科学涵盖了各种领域和学科 ，每个领域和学科都有其独特的数据属性和模式。

•  为此，引入了OCEANGPT，海洋领域的第一个LLM。

•  构造DOINSTRUCT ，这是一种高效的海洋科学指令生成框架 ， 它利用了多代理协作（ multi-agent collaboration）。每个代理都被视为特定领域（科学和研究、资源和开发、生态和环境等）的专家 ，并负责生成相应的数据。

• 创建OCEANBENCH 基准来评估海洋科学任务的能力。

• 通过广泛的实验 ，OCEANGPT 在各种海洋科学任务中显示出优势。 OCEANGPT 不仅展示了更高水平的知识专长 ，而且还体现出初步智能能力。

二、相关工作

•  大语言模型

大语言模型发展迅速，取得了一系列突破 (Brown et al., 2020; Chowdhery et al., 2022;Touvron et al., 2023a,b)

检索增强生成（RAG）整合来自外部数据库的知识 (Gao et al., 2023; Lewis et al., 2020;Schick et al., 2023; Khandelwal et al., 2020)

训练了一种全新的海洋科学大语言模型，并通过多智能体协作引入了有效的领域指令生成框架。

•  科学大语言模型

LLMS在医疗Singhal et al.（2022）；Moor et al. （2023）、生物医学（Luo et al.,2022); (Theodoris et al.，2023）、地球科学（Deng et al.，2023）方面的工作。

与以往工作不同，我们设计了第一个用于海洋科学任务的大型语言模型，并探索了其在海洋研究中的潜力。

三、OceanGPT

3.1 预训练阶段：

•  从开放获取文献中收集了 67,633 份文献的原始语料库。选择近年来的出版物，以确保包含最新的研究成果；选择来自不同来源的文章 ，以确保涵盖各种研究观点和方法。涵盖了海洋科学的各个方面 ，如海洋物理学、海洋化学、海洋生物学、地质学、水文学等

•  删除特殊字符、表情符号和乱码、删除重复数据，这有助于降低预训练期间过度拟合的风险 ，并增强其泛化能力。

3.2 域指令数据生成——海洋主题定义

•  海洋科学语料库包含多个领域和主题 ，每个主题都有其独特的数据特征和模式。为了有效地模拟和获取这些数据 ，我们提出了 一种领域指令生成框架DOINSTRUCT 。通过多代理合作获取海洋指令。每个代理都被视为特定领域（主题）的专家 ，并负责生成相应的数据。 它不仅保证了数据的专业性和准确性 ，而且允许并行高效地生成大量数据。

•  我们根据海洋学专家的专业知识 ，将海洋科学中的数据手动分类为五个主要的海洋主题：科学和研究、资源和开发、生态与环境、技术和工程、生活和文化等

3.2 域指令数据生成——作为领域（海洋）专家的代理

•  我们使用代理作为每个海洋主题的领域专家 ，并使他们通过协作快速扩展指令。我们收集种子指令数据 ，并使用多个代理作为专家 ，提出

三种策略。

•  为了构建种子数据集，雇佣了数十名具有丰富海洋科学背景的注释者为每个主题手动编写一些具有代表性的例子。

•  通过LLMs模仿现有数据来生成大量相似的样本。所有样本最终都由注释者手动检查。

•  最终的种子指令数据 集包括 5 个主要类别、 500 多个子类别和总共10,000 多个数据样本

•  3-1 进化数据合成代理：代理采用两种协作策略：一是补充和扩展种子样本的背景知识，二是细化分析以增强和完善种子数据所蕴含的知识。

• 3-2 微调文献阅读代理：先对大型语言模型进行微调，开发专门用于文献抽取的智能模型，使代理能够从浩如烟海的海洋文献中提取出高质量的句子。

• 3-3 质量保证审核代理：预定义与海洋科学相关的特定句法和语义规则，通过提示过滤数据来构建该代理

 四、对海洋任务进行测试

•  训练过程：使用6个 A800 Nvidia GPU对基于 LLaMA-2 （Touvron et al. ， 2023b）的OCEANGPT 进行了为期7天的预训练。

•  OCEANBENCH：为了评估LLM的能力而设计，共包括 15 项与海洋相关的任务，例如问答、提取和描述。

• 自动评估：利用 GPT-4 作为评估器，LLMs它们对响应的位置很敏感，为了平衡位置偏差，交换响应的顺序，结果是两个提示的测试结果之和。

• 人工评估：聘请了 5 名具有海洋科学背景的学生

作为人类注释员。对于每个评估设置，都采样200

 个示例，评估者被要求对他们更偏好的输出进行排名。

五、结果

性能结果

 OceanGPT在海洋科学中的应用

OCEANGPT在描述放射性核素研究的内容时表现出更高水平的知识专长。其文字内容不仅结构清晰、组织有序，而且涵盖了放射性核素研究的各个环节，从实验设计到数据分析，再到风险评估和处置指南。

六、结论与局限

•  结论：介绍了第一个海洋学预训练语言模型OCEANGPT；我们提出了一种领域构建框架DOINSTRUCT，该框架通过多智能体协作构建海洋指令数据集。我们设计的框架中的每个代理都被视为特定主题的专家，并负责生成相应的数据。我们生成的数据集由各种指令组成，OCEANGPT不仅在海洋科学任务中表现出更高水平的知识专长，而且在海洋工程中获得了初步的体现智能能力。

•  局限：

数据分布中的偏差：预训练数据的偏见、指令数据的偏见可能导致模型强化现有的偏见

LLM的幻觉：LLMs偶尔生成偏离用户输入的内容、与先前生成的上下文相矛盾或与既定世界知识冲突的情况。