人工神经网络(ANN)是现代人工智能的核心技术,广泛应用于聊天机器人、图像生成器等领域。然而,传统的神经网络由于其复杂的结构和大量的神经元连接,往往被视为“黑匣子”,难以解释其内部工作原理。近年来,研究人员开发了一种新型神经网络——柯尔莫戈洛夫-阿诺德网络(KAN),这种网络不仅在准确性上超越了传统系统,而且具有更高的可解释性,为科学家发现新的自然规律提供了有力工具。
传统神经网络的局限性
传统神经网络由多层神经元组成,每层神经元通过突触连接,每个突触学习一个权重,决定连接的强度。神经元接收来自前一层神经元的输入信号,并根据突触连接的强度进行加权,然后通过激活函数处理输入信号,输出传递给下一层神经元。尽管这种结构在许多任务中表现出色,但其复杂的连接和大量的参数使得网络内部的工作原理难以解释,限制了其在科学研究和实际应用中的潜力。
KAN的创新之处
KAN的提出为这一问题提供了新的解决方案。与传统神经网络不同,KAN中的突触不仅学习连接的权重,还学习一个将输入映射到输出的激活函数。这使得每个连接的激活函数都不同,形成了更复杂的激活函数。而神经元则变得更简单,仅将之前所有突触的输出相加。这种设计使得KAN在学习模型数据时更加灵活,同时使用的学习参数更少。
KAN以两位研究函数结合方式的数学家柯尔莫戈洛夫和阿诺德的名字命名,其设计基于数学原理,具有更高的可解释性。研究人员在2024年4月于arXiv预印本服务器上发表了他们的研究成果,展示了KAN在科学任务中的优异表现。
KAN的科学应用
研究人员用KAN进行了一系列科学实验,展示了其在物理数据建模中的潜力。例如,他们使用KAN模拟了两个有相对速度的物体擦肩而过的速度控制问题。通过生成输入输出数据点,研究人员用部分数据训练KAN,并用其余数据进行测试。结果表明,KAN在求解偏微分方程时,精度是传统神经网络的100倍,而传统神经网络的参数是KAN的100倍。
在另一项实验中,研究人员训练KAN根据数学扭结的属性预测另一个数学扭结属性。使用约30万个参数的传统网络准确率为78%,而KAN仅使用约200个参数,准确率就达到了81.6%。此外,KAN的可视化能力使得研究人员可以直观地绘制出激活函数的形状,了解每个连接的重要程度,并通过修剪弱连接和简化激活函数,用直观的单行函数总结整个KAN。
KAN的优势与挑战
KAN的优势在于其高准确性和可解释性,能够帮助科学家发现新的自然规律。麻省理工学院的物理学家刘子鸣表示,KAN未来有望成为日常科学研究的工具,帮助研究人员生成假设并解释数据集。然而,KAN也存在一些挑战,例如每个参数的训练时间较长,无法充分利用图形处理单元加速人工智能。尽管如此,刘子鸣认为KAN在许多较小规模的物理问题方面仍具有广泛应用前景。
KAN的未来发展
目前,研究人员正在探索将KAN与卷积神经网络和转换器结合,以进一步提升其性能。例如,阿根廷圣安得利斯大学的研究团队将KAN与卷积神经网络结合,用于手写数字和衣服分类任务,取得了与传统卷积神经网络相当的性能,但使用的参数减少了约40%。其他团队也在尝试将KAN与支持大型语言模型的转换器结合,以拓展其应用范围。
刘子鸣表示,未来KAN可能会帮助物理学家发现高温超导体或控制核聚变的方法。他正在寻找一种方法,让专家将他们的先验知识插入到KAN中,例如手动选择激活函数,并使用简单的界面轻松地从中提取知识。
结论
柯尔莫戈洛夫-阿诺德网络(KAN)作为一种新型神经网络,不仅在准确性上超越了传统系统,而且具有更高的可解释性,为科学家发现新的自然规律提供了有力工具。尽管KAN在训练时间和计算资源方面存在一些挑战,但其在科学研究和实际应用中的潜力不容忽视。随着研究的深入,KAN有望成为人工智能领域的重要突破,推动科学技术的进一步发展。