1. 持续学习与深度学习
1.1 深度学习的局限
深度学习注重“瞬时学习”,如ChatGPT虽在语言方面成果显著,但学习过程集中于前期训练,之后便固定下来,正常使用中不再学习。反向传播算法虽带来非线性学习能力,但为学习非线性映射而牺牲了持续学习能力,且深度学习过于关注已能做到的事,忽略了自身的局限性。
1.2 持续学习的定义
持续学习即系统能够持续地从环境中学习,而非像深度学习那样在特定阶段学习后就停止。它意味着模型能不断适应新情况,持续提升自身能力,这与人类在日常生活中的学习模式相似,应成为人工智能发展的关键方向。
2. 目标与心智
2.1 奖励假说
Sutton相信奖励假说,认为所有目标追求都可理解为最大化一个外部接收的标量信号(奖励)。为实现总体目标,人们会设置许多子问题,如拿起茶杯不洒出等,复杂的高层次目标如获得博士学位等也是为了优化这个基础奖励。
2.2 心智的构成
能规划且通过试错学习,并建立世界模型以用于规划,就是Sutton所认为的“心智”。到2030年有四分之一的可能性、2040年有二分之一的可能性人类将理解智能,这将深刻改变人类对自身的理解,影响技术、经济、教育等诸多方面,如可能实现大脑增强。
3. 对研究方法的建议
3.1 日常写作记录
准备研究笔记本,每天坚持写,写下想法并思考、挑战、发展它们,即便想法模糊混乱也有价值,坚持定期写作。
3.2 中立对待流行趋势
不应受流行趋势影响研究方向选择,应专注于真正重要且有潜力的问题,而不是仅仅跟随潮流。