【人工智能与深度学习】激活和损失函数（第 1 部分）

• • 激活函数
  • • 线性整流函数(ReLU) - nn.ReLU()
    • 随机纠正线性单元(RReLU) - nn.RReLU()
    • ReLU(LeakyReLU) - nn.LeakyReLU()
    • PReLU - nn.PReLU()
    • Softplus()
    • ELU - nn.ELU()
    • CELU - nn.CELU()
    • SELU - nn.SELU()
    • GELU - nn.GELU()
    • ReLU6 - `nn.ReLU6()`
    • S型函数(Sigmoid) - nn.Sigmoid()
    • Tanh - `nn.Tanh()`
    • Softsign - nn.Softsign()</