神经网络替代密度泛函理论！清华研究组发布通用材料模型 DeepH，实现超精准预测

在材料设计中，了解其电子结构与性质是预测材料性能、发现新材料、优化材料性能的关键。过去，业界广泛使用密度泛函理论 (DFT) 来研究材料电子结构和性质，其实质是将电子密度作为分子（原子）基态中所有信息的载体， 而不是单个电子的波函数，从而将多电子体系转化为单电子问题进行求解，既简化了计算过程，又可以确保计算精度，能更准确地反映孔径分布。

然而，DFT 的计算成本极高，通常只能用于研究小尺寸的材料系统。受到材料基因组倡议的启发，科学家们开始尝试利用 DFT 构建庞大的材料数据库，虽然目前只收集到了有限的数据集，但这已经是一个了不起的开始。以此为开端，随着 AI 技术带来的全新变革，研究人员开始思考，「将深度学习与 DFT 进行结合，让神经网络深入学习 DFT 的精髓，能否带来一场革命性突破？」

这正是深度学习密度泛函理论哈密顿量 (DeepH) 方法的核心。通过将 DFT 的复杂性封装在一个神经网络中，DeepH 不仅能够以前所未有的速度和效率进行计算，而且随着训练数据的增加，其智能也在不断提升。 近日，来自清华大学物理系的徐勇、段文晖研究组成功利用其原创的 DeepH 方法，发展出 DeepH 通用材料模型，并展示了一种构建「材料大模型」的可行方案，这一突破性进展为创新材料发现提供了新机遇。

相关研究以「Universal materials model of deep-learning density functional theory Hamiltonian」为题，已发表于 Science Bulletin。

在这里插入图片描述

论文地址：
https://doi.org/10.1016/j.scib.2024.06.011

开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读，并提供海量数据集与工具：
https://github.com/hyperai/awesome-ai4s

通过 AiiDA 构建大型材料数据库，针对性排除磁性材料干扰

为了证明 DeepH 通用材料模型的普适性，该研究通过自动交互式基础设施和数据库 (AiiDA) 构建了一个包含 104 种固体材料的大型材料数据库。

为了展示多样化的元素组成，该研究还选择了元素周期表的前四行，从而排除掉了从 Sc 到 Ni 的过渡元素，以避免磁性材料干扰，并排除了稀有气体元素。候选材料结构则来源于 Materials Project 的数据库。除了基于元素类型进行过滤之外，候选材料在材料项目中被进一步细化为只包括那些标有「非磁性」的材料。为简单起见，在晶胞中包含超过 150 个原子的结构被排除在外。

在这里插入图片描述

通用数据集的每个结构中原子和元素数量的分布

作为这些过滤标准的结果，最终的材料数据集由总共 12,062 个结构组成。在训练过程中，数据集按 6:2:2 的比例划分为训练集、验证集和测试集。接下来，该研究利用 AiiDA（自动化交互式基础设施和数据库）的框架开发了一个高通量的工作流程来进行密度泛函理论计算，并用它来构建材料数据库。

以 DFT 哈密顿量为目标，用 DeepH-2 方法训练 DeepH

研究认为，DFT 哈密顿量 (DFT Hamiltonian) 是理想的机器学习目标。

在这里插入图片描述

开发能够描述材料结构-性质关系的大型材料模型的可行途径

首先，DFT 哈密顿量是可以直接从总能量 (total energy)、电荷密度 (charge density)、能带结构 (band structure)、物理响应 (physical responses) 等物理量中导出的基本量， DeepH 通用材料模型则可以接受任意材料结构作为输入，并生成相应的 DFT 哈密顿量，从而可以直接推导各种材料特性，如上图所示。

在这里插入图片描述

DeepH 根据局部结构信息分别学习和预测 DFT 哈密顿矩阵块的工作原理

其次，在局域原子基组下，DFT 哈密顿量可以表示为稀疏矩阵，其矩阵元由局部化学环境决定。 在等变神经网络 (Equivariant neural networks) 中，DeepH 利用不同角量子数 l 标记的输出特征来表示 DFT 哈密顿量，如上图所示。因此，人们可以根据临近结构信息来建模原子对之间的哈密顿量矩阵元，而不需要对整个材料结构的 DFT 哈密顿量矩阵进行建模。这不仅大大简化了深度学习任务，而且极大地增加了训练数据量。在推理方面，一旦深度学习网络学习到足够多的训练数据，经过训练的模型就可以很好地推广到更多未被见过的新材料结构。

DeepH 的关键思想是利用神经网络来表示 HDFT。 通过改变输入的物质结构，首先创建的是由 DFT 代码生成的 HDFT 训练数据，然后将这些数据用于训练神经网络。这些经过训练的网络模型随后再被用来对新的物质结构进行推理。

在这个过程中，存在两个非常重要的先验知识——其一是局部性原则， 该研究在局域原子样本中表示 DFT 哈密顿量，并将哈密顿量分解为描述原子间耦合或原子内耦合的块。因此，单个训练材料结构可能对应于大量数据的哈密顿量块。此外，每个哈密顿量块可以根据局部结构的信息而不是整个结构来确定。这种简化确保了 DeepH 模型的高精度和可转移性。

其二是对称性原理， 当从不同的坐标系观察时，物理定律保持不变。因此，相应的物理量和方程在坐标变换下表现出等价性。保持等价性不仅提高了数据效率，而且增强了泛化能力，这可以显著提高 DeepH 的性能。第一代 DeepH 架构通过局部坐标系简化了等价问题，并通过局部坐标的变换恢复了等价特征。第二代 DeepH 架构基于等价神经网络，名为 DeepH-E3。在此框架中，所有输入、隐藏和输出层的特征向量都是等价矢量。最近，这项工作的作者之一提出了深度学习的新一代架构 DeepH-2。在效率和准确性方面，DeepH-2 表现最优。

综上，该研究的深度学习模型 DeepH 使用 DeepH-2 方法训练，共包含 1,728 万个参数，基于 3 个等价变换块组成了可用于消息传递的神经网络，每个节点和边缘携带 80 个等价特征。材料结构的嵌入包含原子序数和原子间距离，采用高斯平滑策略，基函数的中心范围从 0.0 一直到 9.0Å。神经网络的输出特征则通过线性层传递，然后通过 Wigner-Eckart 层构建 DFT 哈密顿量。

该研究在 NVIDIA A100 GPU 上进行训练，共进行了 343 个时期，耗时 207 小时。在整个训练过程中，batch 大小固定为 1，这意味着每个 batch 包含一个材料结构。最后，初始学习率为 4×10-4，衰减速率为 0.5，衰减耐心为 20，最小选择的学习率为 1×10-5，并在学习率达到此值时停止训练。

DeepH 推理性能优异，可提供准确的能带结构预测

在训练、验证和测试集上，模型预测的密度泛函理论哈密顿量矩阵元的平均绝对误差 (MAE) 分别达到 1.45、2.35 和 2.20 meV，这表明该模型具有对未曾见过的结构进行推理的能力。

在这里插入图片描述

通用材料模型性能评估

在利用 104 种固体材料的大型材料数据库对 Deep-2 方法训练的通用材料模型进行性能评估时，在数据集的所有结构中，大约 80％的材料结构具有小于平均值 (2.2 meV) 的平均绝对误差。只有 34 个结构（约占测试集的 1.4％）的平均绝对误差超过 10meV，说明该模型对主流结构有良好预测精度。

通过进一步分析数据集，模型在材料结构上的性能偏差可能是由于数据集分布偏差造成的。研究发现，数据集中包含的元素对的训练结构越多，相应的平均绝对误差就越小。这一现象可能表明深度学习通用材料模型存在「缩放法则」，即更大的训练数据集或许会提高模型性能。

在这里插入图片描述

DFT 计算和 DeepH 预测的结果比较

为了评估 DeepH 通用材料模型预测材料性质的准确性，该研究在计算示例时，分别使用了基于密度泛函理论 (DFT) 计算和 DeepH 预测的 DFT 哈密顿量，然后将这两种方法得到的计算结果进行了比较。结果表明，DeepH 预测的结果与 DFT 计算的结果非常接近，证明了 DeepH 在计算材料性质方面的出色预测精度。

在这里插入图片描述

用于研究特定材料的微调通用材料模型

在具体的应用中，该研究用微调通用材料模型对碳同素异形体进行了研究。其中，碳材料数据集来源于萨马拉碳同素异形体数据库 (SACADA)，共包含 427 种具有不同原子结构的碳同素异形体。

研究人员基于此对通用材料模型进行微调，创建了一个专门针对碳材料的改进型 DeepH 模型。与无预训练模型相比，微调可以将预测 DFT 哈密顿量的平均绝对误差显著降低至 0.54 meV，还可以在少于 50% 的训练结构中实现可比较的预测精度。

此外，微调还显著改善了训练收敛，并减少了训练时间。可以说，微调有助于提高预测准确性并增强训练效率。更重要的是，微调后的 DeepH 模型在预测材料性质方面表现出了显著的优势，经过微调的模型几乎可以为所有测试结构提供准确的能带结构预测。

材料大模型风起云涌, AI4S 任重道远

以 ChatGPT 为时间起点，AI 正式进入了一个全新的「大模型时代」。这个时代的特点是利用庞大的数据集和先进的算法，训练出能够处理复杂任务的深度学习模型。在材料科学领域，这些大模型正与研究者们的智慧相结合，开启了一个前所未有的研究新纪元。 这些大模型不仅能够处理和分析海量的科学数据，还能够预测材料的性质和行为，从而加速新材料的发现和开发，推动着这一领域向更高效、更精准的方向发展。

在过去的一段时间，AI for Science 正在与材料科学不断碰撞出新的火花。

立足国内， 北京凝聚态物理国家研究中心 SF10 组、中科院物理研究所、中科院计算机网络信息中心共同合作，将数万个化学合成路径数据投喂给大模型 LLAMA2-7b，从而获得了 MatChat 模型，可用来预测无机材料的合成路径；电子科技大学联合复旦大学、中国科学院宁波材料技术与工程研究所，成功开发出「耐疲劳铁电材料」，在全球范围内率先攻克困扰领域内 70 多年的铁电材料疲劳问题；上海交通大学 AIMS-Lab 实验室开发出了新一代材料智能设计模型 Alpha Mat.……研究成果频出，材料创新和发现进入新时代。

放眼全球， Google 旗下的 DeepMind 开发了用于材料科学的人工智能强化学习模型 GNoME，寻找到了 38 万余个热力学稳定的晶体材料，相当于「为人类增加了 800 年的智力积累」，极大加快了发现新材料的研究速度；微软发布的材料科学领域人工智能生成模型 MatterGen，可根据所需要的材料性质按需预测新材料结构；Meta AI 与美国高校合作，开发了行业顶级的催化材料数据集 Open Catalyst Project，以及有机金属框架吸附数据集 OpenDAC……科技巨头凭借自家的技术，将材料科学领域搅动的风起云涌。

虽然与传统材料研发方式相比，人工智能为探索更广泛的材料可能性打开了大门，显著减少了与材料发现相关的时间与费用。但是，AI for Science 在材料领域还面临着可信度和有效实施的挑战，确保数据质量、识别和减轻用于训练 AI 系统的数据潜在偏差等一系列问题有待解决。这或许也意味着，要想让人工智能在材料科学领域发挥更大的作用，仍然前路漫漫。