C++builder中的人工智能(10)神经网络中的Sigmoid函数

ops/2024/11/9 4:25:13/

在这篇文章中,我们将探讨最受欢迎的激活函数之一——Sigmoid函数。我们将解释什么是Logistic函数,以及它与Sigmoid函数的区别,并展示如何在C++应用中使用这些函数。

目录

  1. 人工神经网络(ANN)中的激活函数是什么?
  2. Logistic函数(Logistic曲线)是什么?
  3. 标准Logistic函数(Sigmoid函数)是什么?
  4. Sigmoid函数(标准Logistic函数)的示例

人工神经网络(ANN)中的激活函数是什么?

激活函数(phi()),也称为转移函数或阈值函数,它根据净输入函数的给定值(sum)确定激活值(a = phi(sum))。在这里,sum是它们权重中的信号之和,激活函数是这个和的新值,具有给定的函数或条件。换句话说,激活函数是将所有加权信号的和转换为该信号的新激活值的方法。有不同类型的激活函数,通常使用的是线性(恒等)、双极性和逻辑(sigmoid)函数。

在C++(以及大多数编程语言)中,你可以创建自己的激活函数。注意,sum是净输入函数的结果,它计算所有加权信号的和。我们将使用sum作为输入函数的结果。在这里,人工神经元(输出值)的激活值可以通过激活函数如下所示,

通过使用这个sum净输入函数值和phi()激活函数,让我们看看C++中的一些激活函数;现在让我们看看如何在这个示例公式中使用二进制步进函数,

Logistic函数(Logistic曲线)是什么?

Logistic函数或Logistic曲线是一个常见的S形曲线(sigmoid曲线),其方程如下,

在这里,

  • L是曲线的最大值,
  • x0是曲线中点的值,
  • k是Logistic增长率或曲线的陡峭程度。

在C或C++编程语言中,Logistic函数可以写成如下,

const double L = 1;
const double k = 0.8;
const double x0 = 0;
double phi(double sum) {return(L / (1 + std::exp(-k * (sum - x0)))); // Logistic函数或Logistic曲线
}

如果L、k和x0是常数,如上所述,它们可以直接包含在函数中,如下例所示(注意值可能有所不同)

double phi(double sum) {return(1 / (1 + std::exp(-0.8 * (sum)))); // Logistic函数或Logistic曲线
}

标准Logistic函数(Sigmoid函数)是什么?

最常用的Logistic函数是标准Logistic函数(Sigmoid函数),其中L和k为1,x0=0。因此,我们的函数可以写成如下,

double phi(double sum) {return(1 / (1 + std::exp(-1 * sum))); // 标准Logistic函数,Sigmoid函数
}

注意,这里的除法比乘法消耗更多的CPU,因此我们可以使用带有tanh()的版本,如下,

double phi(double sum) {return(0.5 * (1 + std::tanh(0.5 * sum))); // 标准Logistic函数,Sigmoid函数
}

如你所见,我们这里只有乘法和加法以及tanh()函数。如果网络的sum值在范围内,例如在(0-10)之间,为了获得更快的近似结果,可以使用数组结果。可能有一个包含10000个成员的y数组,例如y[1001]可以持有phi(1.0001)的预计算值。这将使你的神经网络更快,但也可能引起更多错误或难以达到期望的迭代次数。它应该与上面的一个标准sigmoid函数版本一起测试。

Sigmoid函数(标准Logistic函数)的示例

#include <iostream>
#define NN 2   // 神经元数量class Tneuron { // 神经元类
public:bool a;       // 每个神经元的活动float w[NN+1]; // 神经元之间连接的权重Tneuron() {a = 0;for (int i = 0; i <= NN; i++) w[i] = -1;  // 如果权重是负数,则表示没有连接}// 定义输出神经元的激活函数(或阈值)double phi(double sum) {return(0.5 * (1 + std::tanh(0.5 * sum))); // 标准Logistic函数,Sigmoid函数}
};Tneuron ne[NN+1]; // 神经元对象void fire(int nn) {float sum = 0;for (int j = 0; j <= NN; j++) {if (ne[j].w[nn] >= 0) sum += ne[j].a * ne[j].w[nn];}ne[nn].a = ne[nn].phi(sum);
}int main() {// 定义两个输入神经元(a0, a1)和一个输出神经元(a2)的活动ne[0].a = 0;ne[1].a = 1;ne[2].a = 0;// 定义来自两个输入神经元到输出神经元(0到2和1到2)的信号权重ne[0].w[2] = 0.3;ne[1].w[2] = 0.2;// 激发我们的人工神经元活动,输出将是fire(2);printf("%d\n", ne[2].a);getchar();return 0;
}

Logistic函数通常用于ANN应用中引入发展模型中的非线性,或者用于将信号限制在指定区间内。ANN元素计算其输入信号的线性组合,并应用有界的Logistic函数作为激活函数作为输出(激活值)。这可以被定义为经典阈值神经元的平滑版本。最常用的激活函数选择,用于将大振幅的信号剪辑以保持神经网络的响应有界。

这是Logistic函数。Wikipedia上有更多关于Logistic函数的信息。


http://www.ppmy.cn/ops/132112.html

相关文章

WPF怎么通过RestSharp向后端发请求

1.下载RestSharpNuGet包 2.请求类和响应类 public class ApiRequest {/// <summary>/// 请求地址/// </summary>public string Route { get; set; }/// <summary>/// 请求方式/// </summary>public Method Method { get; set; }/// <summary>//…

【TabBar嵌套Navigation案例-常见问题按钮-WebView-加载网页 Objective-C语言】

一、接下来呢,当我们点击这个cell的时候,我们应该modal出来一个控制器啊,像我们示例程序一样, 1.像示例程序一样 然后呢,这个控制器,实际上,是一个WebView, 里边有一个控件儿,叫webView,我们来做一下, 我们首先要找到点击cell的方法,在这个常见问题里边,helpCon…

WebStorm技巧

WebStorm&#xff1a;前端开发的加速技巧 &#x1f680; 前端工程师们&#xff0c;想不想让你的开发速度快得飞起来&#xff1f;今天我们就来解锁WebStorm中的那些让人惊叹的黑科技&#xff01; 第一关&#xff1a;环境配置篇 ⚙️ 1. 性能优化设置 // 推荐配置 {"memor…

flutter鸿蒙next 使用 InheritedWidget 实现跨 Widget 传递状态

在 Flutter 中&#xff0c;状态管理是开发过程中一个至关重要的部分。Flutter 提供了多种方式来实现组件间的状态传递&#xff0c;其中一种比较底层的方式是使用 InheritedWidget。虽然 InheritedWidget 主要用于将数据传递给其子树中的小部件&#xff0c;但它也是许多更高级状…

SAP-MM-下单配置增强TM-PI

接口开发功能说明 业务背景将开发的接口的整体业务背景进行概要说明,可以用图进行描。 用户在物流管理系统执行创建采购订单操作时,通过PI系统传递采购订单数据到SAP ERP系统中,同时,将相关信息写入到SAP ERP系统中的下单配置据库表。 接口清单以清单方式与对方系统之间的所…

如何利用指纹浏览器爬虫绕过Cloudflare的防护?

网络爬虫能够系统地浏览网页并提取所需的数据&#xff0c;通常被用于市场研究、数据分析或者竞争情报。然而&#xff0c;一些反爬虫机制给网络爬虫的工作带来了不少挑战和风险。 其中&#xff0c;Cloudflare提供了多层次的防护机制&#xff0c;包括IP封锁、速率限制、CAPTCHA验…

市场需求变化对晶圆代工的影响:适应与调整并行

根据QYResearch调研团队最新发布的《全球晶圆代工市场报告2023-2029》显示&#xff0c;预计到2029年&#xff0c;全球晶圆代工市场的规模将攀升至2377.1亿美元&#xff0c;未来几年内的年复合增长率&#xff08;CAGR&#xff09;将达到7.9%。 如下图所示&#xff0c;展示了全球…

Webserver(4.5)复用

目录 端口复用I/O多路复用selectclient.cselect.c 端口复用 单边的close&#xff0c;会有一个等待的状态&#xff0c;这个时候有1分钟的时间&#xff0c;端口还开启着。这个时候再打开服务器&#xff0c;可能会有端口依旧绑定的情况 端口复用来重启这个端口&#xff0c;就能重新…