在近日举行的第 20 届 CCF HPC China 2024 大会上，第六届海洋数值预报与高性能计算论坛圆满落幕。在该论坛中，国防科技大学气象海洋学院汪祥课题组助理研究员韩毅以「羲和：数据驱动的全球涡可分辨海洋环境预报大模型」为主题带来了深度分享。 HyperAI超神经在不违原意的前提下，整理了演讲的核心内容，以下为演讲实录。
「碳」基智能进化「硅」基智能，海洋环境智能预报大模型蓄势待发
天气预报一直是人们日常生活不可或缺的一部分。 过去，基于物理驱动的数值预报可以通过接收全球天、地、海、空的各种气象观测资料，并在超级计算机上对这些资料进行融合处理，进而求解一组描述大气运动的偏微分方程，从而预报未来天气变化。
严格来讲，被称为「优美的」、「天才的」数值预报技术已有近 120 年的历史。 1980 年代以来，随着卫星、雷达、飞机和地面观测系统的日趋成熟，大气数据激增，此外，高性能计算机算力也不断提升，数值天气预报的准确率得到了显著提高。
自 2020 年以来，随着人工智能技术的快速发展，通过融合高分辨率遥感观测技术、再分析技术和物联网观测技术等，人工智能预报大模型开始在气象预报领域崭露头角。
对此，韩毅博士形象地将这两种方法称为「碳」基智能、「硅」基智能，在他看来，传统物理方程是基于人脑归纳总结各类数据提出，而智能预报大模型则是基于人工神经网络自动学习蕴含于大量数据中的物理规律。
近年来，以深度学习为代表的人工智能技术在气象预报领域取得了重要进展，涌现了一系列气象智能预报大模型，比如英伟达的 FourCastNet、谷歌的 GraphCast、华为的盘古、上海人工智能实验室的风乌和复旦大学的伏羲等。
尽管气象预报领域的智能模型取得了显著成就，但在海洋环境预报方面，仍然缺乏能够与现有业务系统相媲美的全球海洋环境预报大模型。然而，海洋预报的重要性毋庸置疑，它不仅影响着航海与渔业，也是保障沿海地区安全和经济发展的关键因素，构建海洋大模型势在必行。
当前海洋环境智能大预报面临的主要挑战有两个方面。 首先，海洋被大陆和岛屿分割成多个具有不同特征的相对独立区域，准确建模这些区域的内部变化规律和相互影响机制颇具挑战。其次，海洋过程与现象的尺度小于气象，如何在有效的计算开销和时间成本内，模拟更小尺度的海洋过程现象是当下的难点。
聚焦主流数据集，「羲和」可实现 1/12° 高分辨率海洋环境预报
为了应对这些挑战，国防科技大学气象海洋学院联合复旦大学大气与海洋科学系、中南大学计算机学院等单位，成功研制了首个数据驱动的全球 1/12° 高分辨率海洋环境预报大模型「羲和」， 该模型预报准确率可达世界先进数值预报业务系统水平，目前已在多个相关业务单位部署应用。相关研究成果以「XiHe: A Data-Driven Model for Global Ocean Eddy-Resolving Forecasting」为题已发表预印版。
论文地址：
https://arxiv.org/abs/2402.02995
为了多维度对模型的性能进行深入探索，韩毅博士重点强调了团队对于数据集选择的思考。 他表示，「羲和」通过利用 1993 年至 2017 年的 25 年 GLORYS12 海洋再分析数据、ERA5 海表面风场数据，以及 CMEMS 提供的海表面温度卫星观测数据进行训练，从大量数据中学习海洋环境运行规律。
「羲和」能够预报海表面温度、海表面高度，以及 23 层的海温、盐度、海流等多种海洋要素。
「羲和」在 Swin-Transformer 架构的基础上，引入了 Ocean-Land Mask 机制和组传播机制，由 Ocean-specific Transformer 模块、下采样模块和上采样模块等部分构成。
具体来看，Ocean-specific Transformer 模块是「羲和」海洋预报大模型的核心，它由 5 个连续的 Ocean-Specific Block、1 个 down-sampling block、1 个 up-sampling block 构成。每个 block 中包括多个连续的局部空间信息提取模块 (Local Spatial Information Extraction) 和全局空间信息提取模块 (Global Spatial Information Extraction)，用于从样本中抽取局部和全局海洋信息。
在功能实现上，局部空间信息提取模块 (local spatial information extraction module) 利用窗口注意力机制，将自注意力的计算范围限定在局部窗口内，有效降低计算高分辨率数据全局自注意力的高额开销。
全局空间信息提取模块 (Global Spatial Information Extraction module) 允许跨窗口的信息交换，以捕获远距离区域间的全局关联信息学习(海洋过程之间的遥相关信息)。此外，它基于 Gpvit 可实现特征相似区块的分组聚合，从而对具有相同特性的海域进行共同建模。
值得一提的是，「羲和」海洋预报大模型还特别设计了 Ocean-land Masking 机制，用于在自注意力机制的计算过程中排除陆地部分数据的干扰，使模型更专注于海洋规律的学习，并且降低模型训练的计算量。
各项评测均超越数值预报系统，「羲和」预报时长可达 30 天
在评测方面，「羲和」以法国麦卡托预报中心的 GLORYS12 再分析数据作为初始场，进行了为期两年 (2019 年-2020 年) 的预报实验。
同时，「羲和」还对印度洋、大西洋、太平洋等关键区域的海洋指标进行预测。评测结果表明，「羲和」与观测数据的相关性较高，能够实现有效的预报效果，进一步证明了其在海洋预报领域的先进性和实用性。
具体而言，研究人员使用权威的世界海洋环境业务预报系统评测框架 IV-TT，以及浮标阵列和卫星等观测数据等进行模型评测。
以 IV-TT 评测为例，「羲和」在海水温度剖面、盐度剖面、海表流场、海平面高度等关键评测要素上，相较于法国 PSY4、加拿大 GIOPS、澳大利亚 OceanMPAS (BLK)、英国 FOAM 等当前世界主流的业务预报系统，可实现更高的精度，预报时长可达 30 天。
在 IV-TT 评测中，「羲和」在海洋温度变量、盐度变量预报的所有时间段均优于其所对比的数值预报系统。
「羲和」对 2019 年 1 月 1 日至 2020 年 12 月 31 日的时间范围内的 15m 深度洋流经纬向分量，进行不同时间的预报，结果发现，相比于 PSY4，「羲和」在纬向与经向分量预报效果分别提升 9.95% 和 11.16%。
在海洋温度盐度变量预报，海表面异常预报中，「羲和」智能预报模型的 RMSE 总体最小，优于其他数值预报系统。
在温度廓线方面，研究发现，100m 以下时，「羲和」优于其他用于对比的数值预报系统；但在 0-100m 内，「羲和」稍弱于 FOAM 和 GIOPS，和 BLK 水平相当，并略强于 PSY4。
在盐度廓线方面，「羲和」在所有评测内容上均优于用于对比的数值预报系统。
在海表面温度 (SST) -大尺度分布特征分析方面，「羲和」30 天预报结果的海表温度、大尺度特征，与所观测数据一致。
在海流评测中，研究人员对阿古拉斯洋流、黑潮、北大西洋环流进行预测，结果发现，「羲和」对海流方向和流速的预报效果同样出色，这证明了其对大尺度海洋现象的拟合能力。
海流流速预报对比结果，箭头指示海洋流动方向，颜色深浅代表海洋流速强度
韩毅博士表示，「羲和」凭借其高性能、快速推理、长期时效和新颖架构等创新特点，在各项评测标准中表现出了卓越的性能， 仅需 0.36 秒即可完成一次全球海洋预报，但海洋大模型的预报准确度仍然需要提高。
例如，可以提高大模型的参数量，让其从十亿级向百亿级发展；也可以提高模型分辨率，让其从 10 公里向公里级不断发展；还可以发展端到端预报模型，让其从卫星、浮标、潜标的观测数据直接跳跃到预报；亦或在模型中融合物理机制，让模型更好地反应中小尺度物理过程与现象。而以上这些，需要更大的算力，更高分辨率、更高时间跨度的数据，更需要业界的一起努力。
