**AI的三大支柱:神经网络、大数据与GPU计算的崛起之路**

devtools/2024/11/14 13:44:00/

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

在普林斯顿攻读计算机科学研究生的第一个学期,我选修了COS 402课程:人工智能。在学期接近尾声时,有一节课讨论了神经网络。这是在2008年秋季,那堂课和教材都给我留下了深刻印象,似乎神经网络已经变成了一个“无人问津”的领域。

神经网络在20世纪80年代末和90年代初取得了一些令人瞩目的成果,但后来进展停滞。到2008年,许多研究人员已经转向了支持向量机等更具数学美感的方法。

当时我并不知道,就在我听课的同一栋计算机科学大楼里,普林斯顿的一个团队正在开展一个即将颠覆这一传统观点的项目。该团队由李飞飞教授领导,他们的目标并不是改进神经网络,事实上,他们几乎没有考虑神经网络,而是致力于创建一个远大于以往的图像数据集:1400万张图像,每张都标注了约2.2万个类别之一。

李飞飞教授在她的回忆录《我所见的世界》中讲述了ImageNet的故事。她在2007年开展该项目时,面临了很多朋友和同事的质疑。

“我认为你这个想法走得太远了,”一位导师在2007年对她说,“关键是要跟随领域的发展,而不是超前太多。”

不仅仅是因为创建如此庞大的数据集在后勤上是个巨大挑战,人们还怀疑当时的机器学习算法是否能从如此大量的图像中获益。

“ImageNet之前,人们根本不相信数据的价值,”李在计算机历史博物馆的采访中说道,“当时所有人都在研究完全不同的AI范式,数据量极少。”

尽管有负面反馈,李飞飞坚持了两年多,这不仅消耗了她的研究预算,也考验了她研究生团队的耐心。2009年她在斯坦福大学开始新工作时,带着ImageNet项目和几个学生一起搬到了加州。

ImageNet在2009年发布后的头几年并未受到广泛关注。然而在2012年,多伦多大学的一支团队使用ImageNet训练了一个神经网络,在图像识别方面取得了前所未有的表现。这个被称为AlexNet的突破性AI模型开启了延续至今的深度学习浪潮。

AlexNet的成功离不开ImageNet数据集,同时也得益于英伟达的CUDA平台,使GPU得以用于非图形应用。当英伟达在2006年发布CUDA时,许多人对此持怀疑态度。

因此,过去12年间的AI热潮得益于三位坚持不懈的先驱。第一位是杰弗里·辛顿,多伦多大学的计算机科学家,他几十年来推广神经网络,尽管几乎普遍受到了质疑。第二位是英伟达的CEO黄仁勋,他早在创立GPU之初就意识到GPU不仅仅适用于图形处理。第三位是李飞飞,她创建了一个看似荒谬的巨型图像数据集,最终成为神经网络在GPU上成功应用的关键要素。

辛顿和他的同事们在1986年发表了一篇具有里程碑意义的论文,描述了反向传播技术,使得训练深层神经网络成为可能。他们从网络的最后一层开始,逐层反向传播梯度,从而逐步调整每一层的参数。这一创新重新激发了对神经网络的兴趣。

与此同时,黄仁勋则在1999年发明了GPU,大大提高了平行计算能力。英伟达在2006年推出CUDA平台,尽管起初反响平平,但最终为深度学习的崛起奠定了基础。2009年,辛顿的团队首次利用CUDA平台训练神经网络,使神经网络的训练速度提升了数百倍。

李飞飞通过ImageNet项目提供了神经网络所需的大规模数据。她在斯坦福大学的头几年,尽管遭遇了项目初期的冷淡反响,但通过ImageNet挑战赛吸引了广泛关注。2012年,多伦多大学团队的AlexNet模型在ImageNet比赛中遥遥领先,引发了计算机视觉领域的震动。该模型由数千万个参数组成,其表现证明了深层神经网络的潜力。

AI界迅速意识到AlexNet的重要性。辛顿的团队成立了一家公司,并在几个月后被谷歌以4400万美元收购,辛顿成为谷歌AI团队的一员。而Nvidia的GPU则成为训练神经网络的行业标准。到2012年,Nvidia的市场估值不到100亿美元,如今,Nvidia已经成为世界上最有价值的公司之一,市值超过3万亿美元。

正如李飞飞在9月一次采访中所言,现代AI的三大支柱——神经网络、大数据(ImageNet)和GPU计算——在那个时刻首次交汇。如今,主流AI实验室认为,训练超大规模模型和海量数据集是推动AI进步的关键。这似乎符合AlexNet的经验教训,但我们也要小心,不要让这些经验变成不可撼动的教条。


http://www.ppmy.cn/devtools/133032.html

相关文章

如何用python求导数

打开python运行环境。 导入微分的模块包:from sympy import *。 定义符号变量:x symbols(x) 定义一个函数:f x**9 diff diff(f,x)求导 最后输入diff,即可显示其变量值了。

Java接收xml格式参数转为json

1、定义实体类 import javax.xml.bind.annotation.XmlElement; import javax.xml.bind.annotation.XmlRootElement;XmlRootElement(name "User") Setter ToString public class User {private String name;XmlElement(name "username")public String ge…

【网络安全 | 甲方安全建设】分布式系统、Redis分布式锁及Redisson看门狗机制

未经许可,不得转载。 文章目录 分布式系统分布式系统的核心特性分布式系统的典型架构分布式锁概念Redis 分布式锁原理互斥性锁释放锁的唯一性具体实现Redisson分布式锁分布式系统 分布式系统是一种由多台计算机(节点)组成的系统,这些节点通过网络相互连接并协同工作,共同…

基于python的天气数据采集与可视化分析,对20个城市的天气适宜出行度分析

摘要 本项目旨在基于Python对20个城市的天气数据进行采集与可视化分析,以评估天气的适宜出行度。该分析通过四个主要指标进行量化,这些指标分别是天气状况良好率、空气质量优良率、气温适宜率和安全天气率。通过这些指标,我们能够有效地判断…

【Linux】Ansible集中化运维工具(详解)安装、常用模块、playbook脚本

文章目录 一、Ansible安装及远程控制1、关闭防火墙和SELinux2、安装ansible3、配置SSH无密码登录1、在管理机上生成一对密钥2、将公钥下发到远程主机3、保管密钥 4、主机目录 二、常用模块1、setup模块2、copy模块3、file模块4、shell模块5、script模块6、ping模块7、group模块…

多模态PaliGemma——Google推出的基于SigLIP和Gemma的视觉语言模型(含SigLIP详解)

前言 本文怎么来的呢?其实很简单,源于上一篇文章《π0——用于通用机器人控制的流匹配VLA模型:一套框架控制7种机械臂(改造了PaliGemma和ACT的3B模型)》中的π0用到了PaliGemma 故本文便来解读下这个PaliGemma 第一部分 PaliGemma 1.1 Pal…

【赵渝强老师】Redis的RDB数据持久化

Redis 是内存数据库,如果不将内存中的数据库状态保存到磁盘,那么一旦服务器进程退出会造成服务器中的数据库状态也会消失。所以 Redis 提供了数据持久化功能。Redis支持两种方式的持久化,一种是RDB方式;另一种是AOF(ap…

基于地铁刷卡数据分析与可视化——以杭州市为例(二)

上篇文章提到,由于2019年1月1日正好是元旦,为了消除节假日对数据分析的影响,我们选择了节后的一周来进行详细的客流分析。具体日期选择为2019年1月8日至1月14日。在这段时间内,我们关注的是地铁线路的进站客流情况。数据表中的 st…