新型神经网络KAN:准确性高且易于解释

devtools/2025/3/14 11:00:18/

人工神经网络(ANN)是现代人工智能的核心技术,广泛应用于聊天机器人、图像生成器等领域。然而,传统的神经网络由于其复杂的结构和大量的神经元连接,往往被视为“黑匣子”,难以解释其内部工作原理。近年来,研究人员开发了一种新型神经网络——柯尔莫戈洛夫-阿诺德网络(KAN),这种网络不仅在准确性上超越了传统系统,而且具有更高的可解释性,为科学家发现新的自然规律提供了有力工具。

传统神经网络的局限性
传统神经网络由多层神经元组成,每层神经元通过突触连接,每个突触学习一个权重,决定连接的强度。神经元接收来自前一层神经元的输入信号,并根据突触连接的强度进行加权,然后通过激活函数处理输入信号,输出传递给下一层神经元。尽管这种结构在许多任务中表现出色,但其复杂的连接和大量的参数使得网络内部的工作原理难以解释,限制了其在科学研究和实际应用中的潜力。

KAN的创新之处
KAN的提出为这一问题提供了新的解决方案。与传统神经网络不同,KAN中的突触不仅学习连接的权重,还学习一个将输入映射到输出的激活函数。这使得每个连接的激活函数都不同,形成了更复杂的激活函数。而神经元则变得更简单,仅将之前所有突触的输出相加。这种设计使得KAN在学习模型数据时更加灵活,同时使用的学习参数更少。

KAN以两位研究函数结合方式的数学家柯尔莫戈洛夫和阿诺德的名字命名,其设计基于数学原理,具有更高的可解释性。研究人员在2024年4月于arXiv预印本服务器上发表了他们的研究成果,展示了KAN在科学任务中的优异表现。

KAN的科学应用
研究人员用KAN进行了一系列科学实验,展示了其在物理数据建模中的潜力。例如,他们使用KAN模拟了两个有相对速度的物体擦肩而过的速度控制问题。通过生成输入输出数据点,研究人员用部分数据训练KAN,并用其余数据进行测试。结果表明,KAN在求解偏微分方程时,精度是传统神经网络的100倍,而传统神经网络的参数是KAN的100倍。

在另一项实验中,研究人员训练KAN根据数学扭结的属性预测另一个数学扭结属性。使用约30万个参数的传统网络准确率为78%,而KAN仅使用约200个参数,准确率就达到了81.6%。此外,KAN的可视化能力使得研究人员可以直观地绘制出激活函数的形状,了解每个连接的重要程度,并通过修剪弱连接和简化激活函数,用直观的单行函数总结整个KAN。

KAN的优势与挑战
KAN的优势在于其高准确性和可解释性,能够帮助科学家发现新的自然规律。麻省理工学院的物理学家刘子鸣表示,KAN未来有望成为日常科学研究的工具,帮助研究人员生成假设并解释数据集。然而,KAN也存在一些挑战,例如每个参数的训练时间较长,无法充分利用图形处理单元加速人工智能。尽管如此,刘子鸣认为KAN在许多较小规模的物理问题方面仍具有广泛应用前景。

KAN的未来发展
目前,研究人员正在探索将KAN与卷积神经网络和转换器结合,以进一步提升其性能。例如,阿根廷圣安得利斯大学的研究团队将KAN与卷积神经网络结合,用于手写数字和衣服分类任务,取得了与传统卷积神经网络相当的性能,但使用的参数减少了约40%。其他团队也在尝试将KAN与支持大型语言模型的转换器结合,以拓展其应用范围。

刘子鸣表示,未来KAN可能会帮助物理学家发现高温超导体或控制核聚变的方法。他正在寻找一种方法,让专家将他们的先验知识插入到KAN中,例如手动选择激活函数,并使用简单的界面轻松地从中提取知识。

结论
柯尔莫戈洛夫-阿诺德网络(KAN)作为一种新型神经网络,不仅在准确性上超越了传统系统,而且具有更高的可解释性,为科学家发现新的自然规律提供了有力工具。尽管KAN在训练时间和计算资源方面存在一些挑战,但其在科学研究和实际应用中的潜力不容忽视。随着研究的深入,KAN有望成为人工智能领域的重要突破,推动科学技术的进一步发展。


http://www.ppmy.cn/devtools/166711.html

相关文章

Uniapp实现多种文件类型上传

一、前言 在移动端开发中,文件上传是常见的功能需求。本文将通过Uniapp框架,详细讲解如何实现支持多类型文件(图片、视频、文档等)的上传功能,并解决跨平台兼容性问题😄😄😄。 二、…

中国软件供应链安全技术指南|DevSecOps敏捷安全技术金字塔V3.0正式发布

2022年12月28日,由悬镜安全主办,3S-Lab软件供应链安全实验室、Linux基金会OpenChain社区、ISC、OpenSCA社区联合协办的第二届全球DevSecOps敏捷安全大会(DSO 2022)已通过全球直播的形式圆满举行。本届大会以“共生敏捷进化”为主题…

在线商城服务器

1、项目背景 本项目是一个基于 C语言 开发的轻量级 HTTP 服务器,旨在实现基本的静态文件服务和简单的动态请求处理。 核心目标: 支持 HTTP/1.1 协议的 GET/POST 请求解析与响应。 提供静态资源(HTML、图片等)的快速分发。 作为学…

eclipse运行问题

你在 D:\Personal_Finance_System\eclipse\eclipse\configuration 目录下没有发现 .log 文件: 方法 :强制 Eclipse 生成日志 如果 .log 文件不存在,可以尝试让 Eclipse 以 -consoleLog 模式运行,查看错误信息: 打开…

一个差劲的软件设计

项目概况: 之前自己设计并开发了一个用C#开发的上位机软件,整个软件只有一个Form,一个TabControl,3个TabControlPanel,总共100多个lable、textbox、ListBox等控件都放在这3个TabControlPanel里。 问题: 1.…

《C++探幽:运算符重载》

《C探幽:运算符重载》 一、引言 在C中,运算符重载是一项非常强大的特性,它允许程序员重新定义运算符在自定义类型上的行为。通过运算符重载,我们可以让自定义类型(如类和结构体)的对象像内置类型一样使用运算符&…

云原生服务网格:微服务通信的智能基础设施

引言:从代码耦合到透明化通信的范式升维 Istio管理着超过百万服务端点,Google Anthos通过服务网格实现跨云统一控制面。Envoy每日处理数万亿请求,AWS App Mesh支持万级虚拟节点互联。LinkedIn借助服务网格将故障定位时间缩短至秒级&#xff…

【网络编程】HTTP网络编程

13.1 HTTP 简介 HTTP(Hyper Text Transfer Protocol,超文本传输协议)是用于从万维网(WWW:World Wide Web) 服务器(简称Web 服务器)传输超文本到本地浏览器的传送协议,基于TCP/IP 通信协 议来传递数据 (HTML 文件、图片文件、查询结果等)。 13.2 HTTP 的工作原理 …