『大模型笔记』缩放定律(scaling laws)是由记忆而非智力解释的吗?

embedded/2025/1/25 16:16:29/
MAC

文章目录

  • 一. 缩放定律(scaling laws)是由记忆而非智力解释的吗?
    • 1. 视频原文内容
    • 2. 要点总结
      • 一般智能的定义
      • 规模最大化的论点
      • 性能衡量的方式及其影响
      • 大语言模型的基准测试
      • 大语言模型的本质与记忆基准测试
      • 插值的概念与基准测试实例
      • 人类和模型的推理与样本效率
  • 二. 参考文献

一. 缩放定律(scaling laws)是由记忆而非智力解释的吗?

1. 视频原文内容

在这里插入图片描述

  • 一般智能并不是将特定任务的技能扩展到很多技能,因为可能的技能是无限的。一般智能是能够解决任何问题、掌握任何技能,并且使用非常少的数据迅速掌握这些技能的能力。这使你能够应对可能遇到的任何情况。这就是一般性的定义。一般性不是将特定的技能放大,而是能够将你的思维应用于任何事物,任何任意的事物。这需要适应和高效的即时学习能力。
  • 规模最大化的论点,归根结底,这些人指的是“规模损失”,这是你在训练模型时花费的计算量和你在基准测试中获得的性能之间的经验关系。那么关键问题是,如何衡量性能?增加更多的计算和数据实际上在提高什么?答案是基准测试的性能。
  • 问题是,衡量性能的方式并不是一个技术细节。它不是事后考虑的事情,因为它会缩小你提出的问题
文章来源:https://blog.csdn.net/abc13526222160/article/details/139676512
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ppmy.cn/embedded/50790.html

相关文章

94. 二叉树的中序遍历 (Swift版本, 递归)

题目描述 使用递归方法解题 使用了一个递归函数 inorder 来进行二叉树的中序遍历,并将结果存储在数组 ret 中 /*** Definition for a binary tree node.* public class TreeNode {* public var val: Int* public var left: TreeNode?* public var ri…

监控易监测对象及指标之:全面监控MongoDB 4数据库

随着大数据时代的来临,MongoDB作为一款高性能的NoSQL数据库,因其灵活的文档模型、水平扩展能力以及丰富的查询语言,已成为众多企业和开发者处理海量数据的首选工具。 断言是MongoDB内部错误检测的重要机制。监控易工具对MongoDB的断言情况进行…

设计师必看!PS Beta平替——宝藏国产PS-AI插件来啦!一键文生图、图生图等功能,纵享AI绘画魅力!

大家好,我是向阳 今天,我给大家分享一款宝藏PS插件—StartAI,可以说是PS Beta平替插件了! 内置功能齐全,拥有文生图、生成相似图、局部重绘、线稿上色、无损放大、扩图、艺术融合、高清修复、智能擦除等九大功能&…

02-QWebEngineView的使用

Qt WebEngine_hitzsf的博客-CSDN博客 一、QWebEngineView QWebEngineView 类是一个实现Web浏览器的便捷类,提供了back() 、forward()、reload()、stop() 等方法,可轻松实现页面的前进、后退、重载等导航功能,要实现一个简单的只有网页加载网…

【JDBC】Oracle数据库连接问题记录

Failed to load driver class oracle.jdbc.driver.OracleDriver in either of HikariConfig class oracle驱动包未正确加载,可以先尝试使用下面方式加载检查类是否存在,如果不存在需要手动下载odbc包 try {Class.forName("oracle.jdbc.driver.Ora…

拉依达的嵌入式学习和秋招经验

拉依达的嵌入式学习和秋招经验 你好,我是拉依达。目前我已经结束了自己的学生生涯,开启了人生的下一个阶段。 从研二准备秋招开始,我就逐渐将自己的学习笔记陆续整理并到CSDN上发布。起初只是作为自己学习的备份记录,后续得到了越…

Mongodb在UPDATE操作中使用$push向数组中插入数据

学习mongodb,体会mongodb的每一个使用细节,欢迎阅读威赞的文章。这是威赞发布的第69篇mongodb技术文章,欢迎浏览本专栏威赞发布的其他文章。如果您认为我的文章对您有帮助或者解决您的问题,欢迎在文章下面点个赞,或者关…

Zookeeper 一、Zookeeper简介

1.分布式系统定义及面临的问题 分布式系统是同时跨越多给物理主机,独立运行的多个软件所组成的系统。类比一下,分布式系统就是一群人一起干活。人多力量大,每个服务器的算力是有限的,但是通过分布式系统,由n个服务器组…