神经网络与机器学习

news/2024/11/14 19:34:00/

《神经网络与深度学习》

  • 第一章 绪论
    • 1.1 人工智能
      • 知识结构
      • 预备知识
      • 顶会论文
      • 常用的深度学习框架
      • 研究领域
    • 1.2 如何开发AIS
      • 芒果机器学习
    • 1.3 表示学习
      • 局部表示和分布式表示
    • 1.4 深度学习(Deep Learning)
    • 1.5 人脑神经网络
      • 人工神经网络
      • 神经网络发展史

第一章 绪论

1.1 人工智能

人工智能的一个子领域

  • 神经网络:一种以(人工)神经元为基本单元的模型
  • 深度学习:一种机器学习问题,主要解决贡献度分配问题

知识结构

知识结构图
知识结构
路线图
路线图

预备知识

  • 线性代数
  • 微积分
  • 数学优化
  • 概率论
  • 信息论

顶会论文

  • NeurIPS、ICLR、ICML、AAAL、IJCAL
  • ACL、EMNLP
  • CVPR、ICCV

常用的深度学习框架

  • 简易快速的原型设计
  • 自动梯度计算
  • 无缝CPU和GPU切换
  • 分布式计算
  • PYTORCH、TensorFlow

研究领域

  • 机器感知(计算机视觉、语音信息处理、模式识别)
  • 学习(机器学习、强化学习)
  • 语言(自然语言处理)
  • 记忆(知识表示)
  • 决策(规划、数据挖掘)

1.2 如何开发AIS

学习规则(rule)
机器学习=构建一个映射函数在这里插入图片描述

芒果机器学习

  • 准备数据
  • 学习(相关性模型)
  • 测试

1.3 表示学习

机器学习的一般流程:
在这里插入图片描述
语义鸿沟:AI的挑战之一

  • 底层特征VS高层语义
  • 核心问题:“什么是一个好的表示”,“如何学习好的表示”
  • 特征提取:基于任务或先验对去除无用特征
  • 表示学习:通过深度模型学习高层语义特征

局部表示和分布式表示

  • 局部表示:离散表示、符号表示
  • 分布式表示:压缩、低维、稠密向量

1.4 深度学习(Deep Learning)

深度学习=表示学习+决策(预测)学习
在这里插入图片描述
深度学习的数学描述
在这里插入图片描述

1.5 人脑神经网络

人类大脑是人体最复杂的器官,由神经元、神经胶质细胞、神经干细胞和血管组成。

在这里插入图片描述
那么如何构造一个人工神经元呢?为此我们建立数学模型如下:
在这里插入图片描述
这里不同节点之间的连接被赋予了不同的权重,每个权重代表了一个节点对另一个节点的影响大小。每个节点代表一种特定函数,来自其他节点的信息经过其相对应的权重综合计算,输入到一个激活函数中并得到一个新的活性值(兴奋或者抑制)。从系统观点来看,,人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。

人工神经网络

人工神经网络主要由大量的神经元以及它们之间的有线连接构成。因此考虑三方面:

  • 神经元的激活规则:主要是指神经元输入到输出之间的映射关系,一般为非线性函数。
  • 网络的拓扑结构:不同神经元之间的连接关系。
  • 学习算法:通过训练数据来学习神经网络的参数。

虽然将神经网络结构大体分为三种类型,但是·大多数网络都是复合型结构。即一个神经网络包括多种网络结构。
神经网络结构
神经网络与深度学习之间的对应关系(隐藏层=f)
对应关系
那么如何解决贡献度分配问题?
贡献度分配问题

神经网络发展史

五个阶段

  • 第一阶段:模型提出
  • 第二阶段:冰河期
  • 第三阶段:反向传播算法引起的复兴
  • 第四阶段:流行度降低
  • 第五阶段:深度学习的兴起

http://www.ppmy.cn/news/146021.html

相关文章

JVM性能调优

一、JVM内存模型及垃圾收集算法 1.根据Java虚拟机规范,JVM将内存划分为: New(年轻代)Tenured(年老代)永久代(Perm) 其中New和Tenured属于堆内存,堆内存会从JVM启动参数…

3.2 动态规划算法的基本要素

博主简介:一个爱打游戏的计算机专业学生博主主页: 夏驰和徐策所属专栏:算法设计与分析 学习目标: 如果我要学习动态规划算法的基本要素,我会采取以下步骤: 1. 理解概念:首先,我会研…

E303: Unable to open swap file for filename.py, recovery impossible.

sudo chown -R zhex:zhex ~/.local/share/nvim/swap export PATH$PATH:/home/zhex/.config/nvim for me worked

320-1

burpsuit kali 复盘 重点 burp使用--proxy、inruder、repeater 重中之重: intruder中的四种模式进行暴力破解 工具使用---RDP爆破、超级弱口令工具 重中之重:hydra使用 了解 OWASP top10 网络安全名词 作业 1.安装burpsuite证书 2.安装小皮面板…

E303: Unable to open swap file for “[No Name]“, recovery impossible

E303: Unable to open swap file for “[No Name]”, recovery impossible 尝试很多办法没解决的话,df -h查看一下磁盘空间,看一下磁盘空间是不是满了。

Ubuntu 16.04中vim编辑报错E138: Can‘t write viminfo file /root/.viminfo!

实验环境 Ubuntu 16.04 报错信息 : 1、E138: Cant write viminfo file /root/.viminfo!2、W10: 警告正在修改一个只读文件3、E303:无法打开"/etc/hosts"的交换文件,恢复将不可能。解决办法 : 2、在执行 rm -f ~/.viminf*.tmp 后 …

vscode选择性忽略PEP8代码风格警告信息(E501)

VScode做开发的时候经常会报E501(默认是80),忽略的方法网上找了一下基本没有资源。进VScode官网找到答案。 再setting.json添加如下,官网例子是E303自己改下就可以了。具体可以登录如下网址。 https://code.visualstudio.com/do…

error C3203

error C3203 error C3203: “MapKeyofValue”: 未专用化的 类 模板 不能用作 模板 变量&#xff0c;该变量属于 模板 参数“KeyofValue”&#xff0c;应为 real 类型 参见对正在编译的类 模板 实例化“MAP::unordered_map<K,V>”的引用 错误码的原因&#xff1a; 这在…