深度学习（一）-感知机+神经网络+激活函数

深度学习概述

深度学习的特点

优点

性能更好
不需要特征工程
在大数据样本下有更好的性能
能解决某些传统机器学习无法解决的问题

缺点

小数据样本下性能不如机器学习
模型复杂
可解释性弱

深度学习与传统机器学习相同点

深度学习、机器学习是同一问题不同的解决方法

目的相同：都是利用机器自我学习能力，解决软件系统的难题
基本问题相同：回归问题、分类问题、聚类问题
基本流程相同：数据准备 → 模型选择 → 模型构建/训练 → 评估优化 → 预测
问题领域相同：监督学习、非监督学习、半监督学习
应用领域相同：推荐、计算机视觉、自然语言处理、语音处理、强化学习
评价标准相同

回归问题：均方误差；R2值
分类问题：交叉熵；查准率、召回率、F1综合系数
模型泛化能力：过拟合、欠拟合

感知机

生物神经元

感知机（Perceptron），又称人工神经元（Artificial neuron），它是生物神经元在计算机中的模拟。下图是一个生物神经元示意图：

感知机

感知机（Perceptron），又称神经元（Neuron，对生物神经元进行了模仿）是神经网络（深度学习）的起源算法，1958年由康奈尔大学心理学教授弗兰克·罗森布拉特（Frank Rosenblatt）提出，它可以接收多个输入信号，产生一个输出信号。

感知机功能

神经元作为回归器 / 分类器

逻辑和（线性分类）

逻辑或（线性分类）

感知机局限

感知机的局限在于无法处理“异或”问题（非线性问题）

多层感知机

1975年，感知机的“异或”难题才被理论界彻底解决，即通过多个感知机组合来解决该问题，这种模型也叫多层感知机（Multi-Layer Perceptron，MLP）。如下图所示，神经元节点阈值均设置为0.5

神经网络

感知机由于结构简单，完成的功能十分有限。可以将若干个感知机连在一起，形成一个级联网络结构，这个结构称为“多层前馈神经网络”（Multi-layer Feedforward Neural Networks）。所谓“前馈”是指将前一层的输出作为后一层的输入的逻辑结构。每一层神经元仅与下一层的神经元全连接。但在同一层之内，神经元彼此不连接，而且跨层之间的神经元，彼此也不相连。

1989年，奥地利学者库尔特·霍尼克（Kurt Hornik）等人发表论文证明，对于任意复杂度的连续波莱尔可测函数（Borel Measurable Function）f，仅仅需要一个隐含层，只要这个隐含层包括足够多的神经元，前馈神经网络使用挤压函数（Squashing Function）作为激活函数，就可以以任意精度来近似模拟f。如果想增加f的近似精度，单纯依靠增加神经元的数目即可实现。

这个定理也被称为通用近似定理（Universal Approximation Theorem），该定理表明，前馈神经网在理论上可近似解决任何问题。