【四范式】浅谈NLP发展的四个范式

news/2024/9/18 18:24:56/ 标签: 自然语言处理, 人工智能, gpt

自然语言处理(Natural Language Processing,NLP)是计算机科学,人工智能,语言学关于计算机和人类自然语言之间的相互作用的领域,是计算机科学领域与人工智能领域中的一个重要方向。NLP发展到今天已经进入到了LLM(大语言模型)的时代,学术界按发展时间线将NLP归纳到四个范式,即NLP四范式

第一范式:基于「传统机器学习模型」的范式,利用特定的规则或数学、统计学的模型来对特征进行匹配和利用,进而完成特定的NLP任务,靠人工来进行大量的特征提取,依赖于大量的监督数据,并且需要专业知识和技能。如序列标注、朴素贝叶斯等算法。

第二范式:基于「深度学习模型」的范式,来到了深度学习时代,实现了自动获取特征来进行端到端的分类,从而减少了手动构建特征的需求,模型准确度有所提高,特征工程的工作量也有所减少。如CNN、RNN等神经网络模型。

第三范式:基于「预训练模型+fine-tuning」的范式,分为两个阶段,先利用大型语料库完成预训练模型的无监督学习,然后利用预训练好的模型在下游任务的特定数据集上进行fine-tuning,模型准确度得到显著提高。如GPT、Bert等模型。

第四范式:基于「预训练模型+Prompt+预测」的范式,prompt 将下游的输入输出形式改造成预训练任务中的形式(重构下游任务),使得小样本、零样本学习成为可能,模型训练所需的训练数据显著减少。 


http://www.ppmy.cn/news/1525354.html

相关文章

与 D3.js 的对比:ECharts 在前端可视化中的优势与劣势

在前端数据可视化的领域,ECharts 和 D3.js 是两个非常流行且强大的工具。尽管它们都可以用来创建图表和数据可视化,但它们的设计理念、使用方式和适用场景有所不同。本文将对这两个库进行比较,帮助你理解 ECharts 在前端可视化中的优势与劣势…

js 笔记

javascript编程语言 html css标记语言 html定义网页内容 css是描述网页布局 js控制网页行为 Livescript 为了确保不同浏览器上运行的javascript标准一致,所以几个公司共同制定了js的标准…

【PSINS】ZUPT代码解析(PSINS_SINS_ZUPT)|MATLAB

这篇文章写关于PSINS_SINS_ZUPT的相关解析。【值得注意的是】:例程里面给的这个m文件的代码,并没有使用ZUPT的相关技术,只是一个速度观测的EKF 简述程序作用 主要作用是进行基于零速更新(ZUPT)的惯性导航系统(INS)仿真和滤波 什么是ZUPT ZUPT是Zero Velocity Update(…

Unity 之 【Android Unity FBO渲染】之 [Unity 渲染 Android 端播放的视频] 的一种方法简单整理

Unity 之 【Android Unity FBO渲染】之 [Unity 渲染 Android 端播放的视频] 的一种方法简单整理 目录 Unity 之 【Android Unity FBO渲染】之 [Unity 渲染 Android 端播放的视频] 的一种方法简单整理 一、简单介绍 二、FBO 简单介绍 三、案例实现原理 四、注意事项 五、简…

Spring Boot整合Velocity 模板引擎

文章目录 Spring Boot整合Velocity 模板引擎一、引言二、整合步骤1、添加依赖2、配置文件3、创建模板4、编写控制器 三、访问应用四、总结 Spring Boot整合Velocity 模板引擎 一、引言 在现代Web开发中,模板引擎扮演着至关重要的角色,它们使得前端页面…

小红书治愈插画副业,猛猛涨粉上万+,每天只用5分钟

在这个数字化时代,AI技术正以前所未有的速度改变着我们的生活和工作。特别是在内容创作领域,AI的运用已经催生了一种全新的创作模式。一幅幅温馨可爱的治愈插画如同清流,不仅契合当下年轻人生活的状态,更成为许多人表达生活态度、…

Web3入门指南:从基础概念到实际应用

Web3,即“去中心化的第三代互联网”,正在逐步改变我们对互联网的传统认知。从最初的静态网页(Web1.0)到互动平台和社交媒体为主的互联网(Web2.0),Web3的目标是让用户重新掌握对数据和数字资产的…

Spring Security异步无法获取用户认证信息

最近使用 Springboot 中 Async 注解异步调用方法时,发现无法获取到用户认证信息。 原因: Spring Security中的上下文SecurityContext的管理策略有三种 public class SecurityContextHolder {public static final String MODE_THREADLOCAL "MODE_THREADLOCA…

油耳用什么掏耳朵比较好?可视挖耳勺推荐平价

掏耳朵是一个轻松又舒服的感觉,很多人就会用棉签和普通耳勺越掏越进,在盲掏的过程中容易弄伤耳膜。所以我们在掏耳时要选好工具。市面上的智能可视挖耳勺,顶端带有摄像头,可以通过清楚的观察到耳道中的情况。但现在市面上关于可视…

Java后台生成二维码

一、效果图 二、实现代码 1.添加依赖 <!-- zxing生成二维码 --> <dependency><groupId>com.google.zxing</groupId><artifactId>core</artifactId><version>3.3.3</version> </dependency><dependency><grou…

2024年城市客运安全员考试题库及答案

一、单选题 61.依据《中华人民共和国道路交通安全法》&#xff0c;夜间行驶或者在容易发生危险的路段行驶&#xff0c;以及遇有沙尘、冰雹、雨、雪、雾、结冰等气象条件时&#xff0c;应当&#xff08;  &#xff09;行驶速度。 A.降低 B.加快 C.保持 D.调整 答案:A …

3DGS:3D Gaussian Splatting for Real-Time Radiance Field Rendering 论文解读

目录 一、导言 二、相关工作 1、传统场景重建 2、神经渲染与辐射场 3、点云渲染 三、3DGS 1、SFM初始化稀疏点云 2、3D高斯椭球 3、协方差 4、球谐函数 5、3D高斯椭球集建立 6、3D投影2D 7、3D渲染公式 四、损失函数 五、基于梯度自适应改变点云的分布方式 六…

.json文件的C#解析,基于Newtonsoft.Json插件

目录 1. 前言 2. 正文 2.1 问题 2.2 解决办法 2.2.1 思路 2.2.2 代码实现 2.2.3 测试结果 3. 备注 1. 前言 天气晚来秋,这几天天气变凉了,各位同学注意好多穿衣服。回归正题 由于需要,需要将json的配置里面的调理解析出来,做成接口,以便于开发。 2. 正文 2.1 …

回(1)——BT服务器管理

住院半个月&#xff0c;导致博客断更了&#xff0c;重新开始一个新系列。 BT服务器的管理相关梳理: 当服务器项目很多&#xff0c;特别是几十个服务器需要进入管理的时候&#xff0c;会比较麻烦&#xff0c;一般是需要一个专门的项目管理面板里面&#xff0c;点击每个不同的项…

ping操作

Ping&#xff08;发音为“拼”&#xff09;是一种广泛使用的网络诊断工具&#xff0c;用于测试计算机或设备在IP网络上的可达性以及测量数据包往返所需的时间。它基于ICMP&#xff08;Internet Control Message Protocol&#xff0c;互联网控制消息协议&#xff09;来发送和接收…

Spring Boot实战-文章管理系统(1.用户相关接口)

一、用户相关接口 1.注解 RestController&#xff1a;是一个组合注解&#xff0c;它结合了 Controller 和 ResponseBody 注解的功能&#xff08;就相当于把两个注解组合在一起&#xff09;。 在使用 RestController 注解标记的类中&#xff0c;每个方法的返回值都会以 JSON 或…

基于Matlab的模拟答题卡识别阅卷可以识别指定答题卡的各个部分-界面

识别指定答题卡的各个部分-界面-如学号&#xff0c;准考证号&#xff0c;客观题答案&#xff0c;主观题分数等用户可以在Excel中自行设置标准答案&#xff0c;并对六十题客观题进行批改&#xff0c;并显示分数。 项目介绍 本项目旨在开发一个基于MATLAB的答题卡识别阅卷系统&a…

Pr 入门系列之三:挑选与添加媒体到序列(上)

掌握如何使用源监视器预览和筛选媒体素材&#xff0c;了解新建序列以及设置序列的方法。 ◆ ◆ ◆ 查看及挑选素材内容 源 Source面板&#xff0c;又称源监视器 Source Monitor。其主要作用是&#xff1a;预览源剪辑、选取片段、插入或覆盖剪辑到序列。 双击项目面板里的素材…

linux-centos 设置系统时间

CentOS 系统提供了多种方式来设置和管理时间&#xff0c;包括手动设置时间和使用网络时间协议 (NTP) 自动同步时间。以下是几种常见的方法&#xff1a; 手动设置时间 使用date命令临时设置时间&#xff1a; 如果你只需要临时设置时间&#xff0c;可以使用 date 命令&#xff1…

unity3d入门教程三

unity3d入门教程三 8.1游戏脚本8.2脚本的使用8.3认识脚本组件8.4帧率9.1游戏脚本9.2获取节点和组件9.3MonoBehaviour9.4父节点与子节点9.5组件的属性9.6脚本的单步调试 8.1游戏脚本 通过程序控制对象属性&#xff08;如运动&#xff0c;修改transform的位置属性&#xff09; …