KAN网络认识

news/2024/11/10 12:05:14/

首先,这是一个基于柯尔莫哥洛夫-阿诺德表示定理的网络。这个定理指出如果函数f是定义在有界域上的多变量连续函数(即最终要拟合的非线性函数是连续的),那么该函数就可以表示为多个单变量、加法连续函数的有线组合。
在这里插入图片描述
对于机器学习来说,KAN网络的基础是学习高维函数的过程可以简化成学习多项式数量的一维函数。
其次,这个网络与多层感知机MLP的不同在于,直观上激活函数在MLP的神经元节点上,而激活函数(用B样条曲线来参数化)在KAN的边权上。换句话说,MLP的激活函数相同,靠边权不同来学习。KAN的激活函数本就不相同。因此KAN具有更少的参数和更强的可解释性。
最后,KAN网络的深度和宽度取决于复合函数(即堆叠KAN层的设计)。其中每个层都是由但变量函数组成,因此可以对函数进行单独学习和理解。——先单独激活再求和,记作一个单变量函数
在这里插入图片描述
其中单变量函数在这里插入图片描述

而MLP则是——先求和再一起激活,更新神经元
在这里插入图片描述

小结
KAN相比MLP具有以下优点:
1.持续性学习。不会发生灾难性遗忘(由于B样条参数化激活函数)
2.具有更好的帕累托前沿。指资源分配最优的理想状态。
3.可解释性。可以输出激活函数的数学化表示(小样本合成数据集上已验证)——适合解耦强的问题,那如果两个变量乘积影响y还适用不?


http://www.ppmy.cn/news/1451940.html

相关文章

手撸Mybatis(三)——收敛SQL操作到SqlSession

本专栏的源码:https://gitee.com/dhi-chen-xiaoyang/yang-mybatis。 引言 在上一章中,我们实现了读取mapper配置并构造相关的mapper代理对象,读取mapper.xml文件中的sql信息等操作,现在,在上一章的基础上&#xff0c…

【热门话题】Chrome 插件研发详解:从入门到实践

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈| 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要,勿增实体" 文章目录 Chrome 插件研发详解:从入门到实践一、引言二、Chrome 插件基础概念…

嵌入式物联网系统软硬件基础知识大全(2)

接口技术 1. Flash存储器 (1)Flash存储器是一种非易失性存储器,根据结构的不同可以将其分为NOR Flash和NAND Flash两种。 (2)Flash存储器的特点: A、区块结构:在物理上分成若干个区块,区块之间相互独立。 B、先擦后写:Flash的写操作只能将数据位从1写成0,不能从…

写自己的c库----小话c语言(19)

Q: 对于c代码,经常可能被c代码使用,所以经常需要使用extern "C"语句,老是写这段代码真是很烦人,有什么好的方法? A: 对于重复代码来说,宏无疑是个很好的方法。 #if defin…

spring高级篇(八)

本篇对Spring MVC 的执行流程做一个简单总结 MVC执行流程总结 当浏览器发送一个请求,例如http://localhost:8080/hello,请求到达服务器后,一般会进行如下操作: 1、首先会经过DispatcherServlet,默认映射路径为 /&…

global IoT SIM解决方案

有任何关于GSMA\IOT\eSIM\RSP\业务应用场景相关的问题,欢迎W: xiangcunge59 一起讨论, 共同进步 (加的时候请注明: 来自CSDN-iot). Onomondo提供的全球IoT SIM卡解决方案具有以下特点和优势: 1. **单一全球配置文件**:Onomondo的SIM卡拥…

Apache POI 在java中处理excel

介绍: Apache POI 是一个处理Miscrosoft Office各种文件格式的开源项目。简单来说就是&#xff0c;我们可以使用 POI 在 Java 程序中对Miscrosoft Office各种文件进行读写操作。 一般情况下&#xff0c;POI 都是用于操作 Excel 文件。 如何使用: 1.maven坐标引入 <depend…

【RabbitMQ 一】RabbitMQ简介、消息中间件、MQ的作用

RabbitMQ简介 很多介绍RabbitMQ的地方&#xff0c;上来就说这是一种消息中间件&#xff08;Message Queue Middleware&#xff09;。对于一些新手或者初级开发人员&#xff0c;“中间件”的概念并不是很清晰。那么什么是中间件呢&#xff1f; 1.什么是中间件 个人以为&#…