GPT3:让我们发现了大模型的伟力

news/2025/3/20 7:00:50/

目录

GPT3是什么

 GPT3让我们发现了什么

In-context learning的可能性

zero-shot, one-shot, few-shot的可能性

给他一些例子,他能还你一片大海

那么,代价是什么呢


GPT3是什么

GPT3是一个大参数量的Transformer,具体来说,它是一个96层,d_model为12288的Transformer,它具有约175B参数量,具体的参数如下:

 GPT3让我们发现了什么

In-context learning的可能性

在之前,我们需要为每个任务都设置一个模型,或者说需要一个直接能够让模型认识到这是一个什么任务的参数,而现在,GPT-3的出现让我们认识到了In-context learning是完全可能的。

In-context learning是什么?

它是一种将任务信息直接在推理阶段告诉模型,在不调整模型参数的情况下直接得到结果。

zero-shot, one-shot, few-shot的可能性

zero-shot,one-shot,few-shot是什么?他们代表着在大模型时代的三种输入范式,即不给模型任何样例,给模型一个样例,给模型一些(不太多,至少不是像训练模型那么多的数据)样例。

在大量参数及数据的堆砌下,模型神奇的拥有了zero-shot的能力,也就是我们并不需要给模型样例,模型就能有一定的推理能力得到结果(当然,结果必然是不如one-shot和few-shot)。

具体来说如下图:

 正常来讲,如果模型完全没有见过任何明确的该任务的样例,它应该无法成功的推理出结果,但在模型参数由1.3B到13B,在Number of Example为0时居然也有0以上的性能,而当参数量达到175B时,其性能居然开始可观,这是一件极其离谱的事情。

这让我们似乎可以期待,当模型参数量更大,数据更加丰富,其zero-shot性能也许会有着质的提升。

给他一些例子,他能还你一片大海

在few-shot乃至fine-tuneing的GPT-3中,超过了绝大多数的SOTA,这打破了很多NLP研究者(尤其是我这种菜鸡),从业者的刷性能梦,我们不禁开始思考,到底还有没有必要做下去呢?

那么,代价是什么呢

伴随着模型参数量,数据量的增大,模型训练所需要的算力更是极大增长,我们使用PataFLOP/s-day作为计量单位,1 PataFLOP/s-days大概是10的20次方的加法或乘法。那么175B的模型需要多少训练量呢?

这就意味着,大模型的性能固然重要,那么,代价是什么呢?到底我们需要多大的算力才能支撑?当我们的算力不够的时候,大模型是否还值得?


http://www.ppmy.cn/news/730701.html

相关文章

又一款国产AI聊天工具360智脑

介绍 360智脑是一个基于深度学习技术的大型语言模型,能够进行自然语言理解和生成。它拥有海量的语料库和强大的计算能力,可以应用于智能客服、智能问答、机器翻译等多种场景,为用户提供高效准确的服务和支持。 功能测试 写代码 功能齐全 …

【业务功能篇39】中篇:Springboot+activiti7 工作流引擎 增加网关组件、Assignment分配权限

service层 电子流分析服务接口实现类 package com.service.impl.process;import static com.constants.process.CompFailConstants.COMP_FAIL_COMP_CODE; import static com.constants.process.CompFailConstants.COMP_FAIL_FA_ID; import static com.constants.process.Comp…

无锁缓存方案

缓存通常使用key-value的map数据结构来实现,并发读写缓存时可能会出现数据不一致问题,此时就需要引入读写锁。 当吞吐量很高时(每秒20w写,1k读),锁会成为潜在瓶颈,导致Map访问效率极低。这时可…

Java无锁并发

共享资源 1. 不安全场景 package com.nike.erick.d05;import lombok.Getter;import java.util.concurrent.TimeUnit;public class Demo01 {public static void main(String[] args) throws InterruptedException {BankService bankService new BankService();for (int i 0;…

iPhone的解锁、越狱、激活、固件等等是什么意思,有什么分别?

关键词:解锁、越狱、破解、软解、硬解、卡贴、激活、固件、升级、恢复、更新。 虽然我没有iPhone,但一直在关注,而特别被广泛提到的破解、越狱、固件等等术语,多有不明之处,经过收集和请教,理解如下&#…

iphone 有锁和无锁是什么意思?

有锁版: 这里指的锁是运营商锁..有锁版大多为签约绑定销售的机器.. 此种机型只可以用绑定运营商的卡..例如美版的iPhone4..只可以用at&t的卡..用了其他的卡会没有信号.. (当然软解和硬解可以解决这个问题..下面再谈软解的问题) 美版价格便宜&…

ARM架构(汇编指令学习基础知识讲解)

文章目录 前言一、RISC和CISC二、ARM中有哪些寄存器1.通用目的寄存器2.特殊寄存器一.栈指针(SP)二.链接寄存器(LR)三.程序计数器(PC) 三、指令集讲解四、ARM汇编模拟器安装总结 前言 本篇文章我们来学习汇…

redis发布订阅模式的应用

小体量系统,某些特定场景需要做异步处理。如操作日志记录、发送消息、数据excel导入等。并发量不大,主要作用是异步批处理数据,提高响应速度,改善用户体验,不至于页面卡半天。用消息队列的话显得很笨重,牛刀…