目录
神经网络
1.初始动机*
神经网络有时也叫人工神经网络，初衷为了模拟人脑或生物大脑的学习和思考方式。现代神经网络虽与初衷有别，但仍保留一些模拟大脑的生物学动机。
2.发展历史
- 1950年代：神经网络的研究起始。
- 1980年代和1990年代：神经网络重新流行，并在应用技术如手写数字识别中展现出巨大潜力，被应用于实际问题如邮政编码读取和支票金额解析。
- 1990年代末：一度再次失宠。
- 2005年起：神经网络技术复兴并开始与“深度学习”这一术语相结合，重新获得关注。
3.深度学习*
随着时间推移，神经网络技术进化并被普遍称为“深度学习”，这一新名称使其在学术和工业界得到更广泛认可和应用。
4.应用历程
- 语音识别：先是深度学习技术显著提高了语音识别系统的性能，其中Waibel和Geoff Hinton在此领域做出了重要贡献。
- 计算机视觉：然后在2012年的ImageNet竞赛成为深度学习在计算机视觉领域的重要转折点，极大地推动了这一技术的发展。
- 自然语言处理：随后，神经网络技术也开始广泛应用于文本处理和自然语言理解领域。
生物神经元
1.基本功能
神经元是大脑中的基本工作单元，负责处理和传递信息。它通过电信号进行通信，这些信号可以在神经元之间传递。
2.神经元的互动方式
神经元拥有多个输入端（树突），这些输入端接收来自其他神经元的电信号，接收到的信号在神经元内部被处理（计算），然后通过输出端（轴突）将信号发送出去。
3.信号传递与思维形成
一个神经元的输出可以成为另一个神经元的输入，形成复杂的神经网络，这种神经元间的互动和信号传递是人类思维和认知功能的基础。
4.神经网络的形成
神经元有时会形成新的连接，这种可塑性是学习和记忆的生物学基础。
生物神经元简化
1.生物神经元的结构
- 细胞体：神经元的主体部分，包含细胞核，是处理信息的中心。
- 树突：接收来自其他神经元的信号的输入结构。
- 轴突：从神经元传出信号到其他神经元的输出结构，通过电脉冲形式传递信号。
2.信号传递过程
神经元通过树突接收电信号，经过细胞体的处理后，通过轴突发送到其他神经元。
3.生物学术语与人工神经网络
虽然了解这些生物学术语有助于理解神经元的工作原理，但在设计和理解人工神经网络时，不必深入了解所有这些细节。
人工神经元*
1.模型简化
人工神经网络使用简化的数学模型来模拟生物神经元的功能。
2.人工神经网络的构建
在构建人工神经网络或深度学习算法时，通常会模拟多个神经元共同工作，传递和处理信息以实现特定功能。
3.计算和输入
一组神经元接收输入数据，进行计算，然后输出新的数据，这些数据可用于下一组神经元的输入或作为最终结果输出。
人工神经元vs生物神经元
1.人脑知识的局限性
尽管人工神经网络设计受生物神经元启发，但对人脑的理解仍有限。盲目模仿难以构建真正的原始智能，需要继续探索大脑的新工作机制。
2.深度学习的研究方向*
深度学习研究已从生物学启发转向基于工程原理，人们能更有效地使用数学和计算模型开发算法。
神经网络兴起的原因*
1.历史背景
随着互联网和移动通信的普及，社会的数字化程度显著提高，某些领域的数据量急剧增加。
2.两个因素
- 当使用大数据训练更大更复杂的神经网络模型时，其性能会显著的不断提高，尤其在处理复杂问题（如语音识别、图像识别和自然语言处理）时，表现远超传统模型。
- GPU或图形处理器单元的崛起，使计算机更快的处理数据。
总结
神经网络最初的动机是模拟人脑或生物大脑工作，现在的神经网络与初衷的差异很大，主要关注于工程原理而不是生物学，但仍保留一些生物大脑工作方式。神经网络一般由多个神经元组成，这些神经元用于接收数据输入并计算输出结果。由于数字化时代，数据量暴增，传统学习>机器学习模型处理数据的性能变差，因此需要构建更复杂的神经网络处理数据。
