MAC |
文章目录
- 一. 缩放定律(scaling laws)是由记忆而非智力解释的吗?
- 二. 参考文献
一. 缩放定律(scaling laws)是由记忆而非智力解释的吗?
1. 视频原文内容
- 规模最大化的论点,归根结底,这些人指的是“规模损失”,这是你在训练模型时花费的计算量和你在基准测试中获得的性能之间的经验关系。那么关键问题是,如何衡量性能?增加更多的计算和数据实际上在提高什么?答案是基准测试的性能。
- 问题是,衡量性能的方式并不是一个技术细节。它不是事后考虑的事情,因为它会缩小你提出的问题