Sigmoid、tanh、ReLU、LeakyReLu

1- SIgmoid

sigmoid 函数将元素的值映射到0和1之间

$sigmoid(x)=\frac{1}{1+exp(-x)}$

import torch
import matplotlib.pyplot as plt
import os
os.environ['KMP_DUPLICATE_LIB_OK']='True'x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True)
y = x.sigmoid()
plt.title('sigmoid')
plt.axhline(0.5,ls='--')#画横线
plt.axvline(0,ls='--')#画竖线
plt.plot(x.detach(), y.detach(),'red')

1-1 sigmoid导数

$sigmoi{d}^{{}^{\prime }}(x)=sigmoid(x)(1-sigmoid(x))$

绘制sigmoid函数的导数。当输入为0时，sigmoid函数的导数达到最大值0.25；当输入越偏离0时，sigmoid函数的导数越接近0

sigmoid斜率图

import torch
import matplotlib.pyplot as pltx = torch.arange(-8.0, 8.0, 0.1, requires_grad=True)
y = x.sigmoid()
x.grad = torch.zeros_like(x)#创建一个与x形状相同的全零张量，并将其赋值给x.grad属性,以便在之后的backward()计算中重新计算梯度。
y.sum().backward()
plt.plot(x.detach().numpy(), x.grad.detach().numpy())
plt.title('grad of sigmoid')
plt.show()

2- tanh

tanh（双曲正切）函数可以将元素的值变换到-1和1之间 ,阈值（-1,1）

$$tanh(x)=\frac{1-exp(-2x)}{1+exp(-2x)}=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$

函数图像

y = x.tanh()
plt.title('tanh')
plt.axvline(0,ls='--')
plt.axhline(0,ls='--')
plt.axhline(1,ls='--',c='gray')
plt.axhline(-1,ls='--',c='gray')
plt.plot(x.detach(), y.detach(),'red')

2-1 tanh函数导数

$tan{h}^{\prime }(x)=1-tan{h}^2(x)$

y = x.tanh()
x.grad.zero_()
y.sum().backward()
plt.title('grad of tanh')
plt.plot(x.detach().numpy(), x.grad.detach().numpy())

σ和tanh有一个缺点，那就是z非常大或是非常小的时候，那么导数的梯度或者说这个函数的斜率就很小，拖慢梯度学习算法，造成梯度消失

3- ReLU

非线性激活函数,被称为修正线性单元

x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True)
y = x.relu()
plt.title('relu')
plt.plot(x.detach(), y.detach(),c='red')
plt.axvline(0,ls='--')

给定元素$x,该函数定义为：ReLU(x)=max(x,0)$
显然，当输入为负数时，ReLU函数的导数为0；当输入为正数时，ReLU函数的导数为1。尽管输入为0时ReLU函数不可导，但是我们可以取此处的导数为0

4- LeakyReLu

$f(x)=max(\alpha x,x)$

def ReakyReLU(x, alpha=0.01):return np.where(x < 0, alpha * x, x)y=ReakyReLU(x.detach().numpy())
plt.plot(x.detach().numpy(),y)
plt.axhline(0,c='grey')
plt.title('ReakyReLU function')

$$\begin{gathered} LeakyReLu:g(z)=max(0.001z,z), \\ {g}^{{}^{\prime }}(z)=[0.01ifz<0else1] \end{gathered}$$

其中，$\alpha$是一个小的正数，通常取0.01。与ReLU函数不同的是，当输入值小于0时，Leaky ReLU函数输出的是输入值的一个小的比例，而不是0。这样可以避免ReLU函数在输入为负时出现死亡神经元的问题，提高了模型的稳定性和泛化性能。

Summary
$$\begin{gathered} sigmoid:g^{{}^{\prime }}(z)=a(1-a) \\ tanh:g^{{}^{\prime }}(z)=1-tan{h}^2(z)=1-a^2 \\ ReLu:g(z)=max(0,z),g^{{}^{\prime }}(z)=[0ifz<0else1] \\ LeakyReLu:g(z)=max(0.001z,z),g^{{}^{\prime }}(z)=[0.01ifz<0else1] \end{gathered}$$

5- LR 公式推导

repeat some operations ,update the parameter weight and bais for the loss fun
$z=w^{T}x+b$

$\hat{y}=a=\sigma (z)=\frac{1}{1+e^{-z}}$
损失函数
$L(a,y)=-(ylog(a)+(1-y)log(1-a))$
通过链式求导法则求出参数-单个训练样本
求偏导
$da=\frac{\partial L}{\partial a}=-\frac{y}{a}+\frac{1-y}{1-a}$

$dz=\frac{\partial L}{\partial z}=\frac{\partial L}{\partial a}\ast \frac{\partial a}{\partial z}=\frac{\partial L}{\partial a}\ast a(1-a)=a-y$

$z=w1\ast x1+w2\ast x2+......+b$

$dw1=\frac{\partial L}{\partial a}\ast \frac{\partial a}{\partial z}\ast \frac{\partial z}{\partial w1}=dz\ast x1$

$dw2=dz\ast x2$
更新参数
$w1:=w1-\alpha \cdot dw1$

$w2:=w2-\alpha \cdot dw\mathrm{2........}$

$b:=w1-\alpha \cdot db$