AI学习笔记

ops/2024/11/14 12:31:08/

目录

专业词汇

AI、NLP和AIGC的关系

涌现能力(Emergent Ability)


专业词汇

专业词汇

(缩写)

英文中文
AIArtificial Intelligence人工智能
AIGCArtificial Intelligence Generated Content人工智能生成内容
PGCProfessional Generated Content专业生成内容
UGCUser Generated Content用户生成内容
NLPNatural Language Processing自然语言处理
NLUNatural Language Understanding自然语言理解
LLMLarge Language Model大语言模型
GPTGenerative Pre-trained Transformer基于Transformer的生成式预训练模型
PETPrompt Engineering Technology提示工程技术
RNNRecurrent Neural Network循环神经网络
LSTMLong Short-Term Memory长短期记忆网络
GANGenerative Adversarial Networks对抗网络
VAEVariational Auto-Encoders变分自编码器
RLReinforcement Learning强化学习
RLHFReinforcement Learning from Human Feedback基于人类反馈的强化学习
NNLMNeural Network Language Model神经网络语言模型
Pre-training-Fine-tuning预训练-微调框架
BERTBidirectional Encoder Representations from Transformers基于Transformer的双向编码器表示,预训练语言表征模型
Masked Language Modeling掩码语言建模
Unidirectional Language Modeling单向语言建模
Emergent Ability涌现能力
semi-supervised半监督
Zero-shot Learning零样本学习
Few-shot小样本
reward model奖励模型
BPEByte Pair Encoding字节对编码技术
CoTChain-of-Thought思维链提示技术
AI AgentAI智能体
APIApplication Program Interface应用程序接口

AI、NLP和AIGC的关系

涌现能力(Emergent Ability)

涌现能力是指一个系统在达到一定的复杂度和规模时出现的未预料到的新行为或新能力,表现为逻辑认知、世界观、思维链形成和多模态综合能力等。

在大语言模型领域,涌现能力指的是,当模型规模达到某个阈值(大模型奇点)之前,增加参数数量带来的性能提升相对较小,效果基本上等同于随机,而在超过该阈值后,增加参数数量则会带来显著的改善。然而一旦突破大模型奇点之后,增加参数数量或者预训练语料带来的性能提升是有限的,更多需要的是高质量和多样化的指令数据来激发它的泛化性。

  • 在自然语言处理任务中,神经网络可以从字符、句法和语义级别学习有效的特征表示。
  • 模型的规模(或者说参数数量)是影响涌现能力的关键因素。只有当模型规模达到阈值时,模型才能展现出对复杂任务的处理能力。
  • 然而,参数数量的增加也可能导致过拟合和计算成本提高,因此需要平衡模型的规模和性能。
  • 此外,训练方法和优化算法的改进也能提高模型的泛化能力和学习效率,进而促进涌现能力的出现。
  • 大量的高质量数据可以提供丰富的样本和多样性,使模型能够学到更多的只是和规律。
  • 然而,数据量的增加也会增加模型的训练成本和存储需求。

涌现能力是AI模型处理复杂任务的重要指标。涌现能力的表现是模型架构、参数规模、训练方法、数据量、数据质量等多个因素共同作用的结果。在实际应用中,需要综合考虑这些因素,以提高模型的涌现能力,从而更好地解决复杂任务。

--------

《深度对话GPT-4》 仇华     出版时间:2024-07-01

《大模型导论》       张成文  出版时间:2024-07-01


http://www.ppmy.cn/ops/133258.html

相关文章

【C++】 C++游戏设计---五子棋小游戏

1. 游戏介绍 一个简单的 C 五子棋小游戏 1.1 游戏规则&#xff1a; 双人轮流输入下入点坐标横竖撇捺先成五子连线者胜同一坐标点不允许重复输入 1.2 初始化与游戏界面 初始化界面 X 输入坐标后 O 输入坐标后 X 先达到胜出条件 2. 源代码 #include <iostream> #i…

虚拟机linux7.9下安装mysql

1.MySQL官网下载安装包&#xff1a; MySQL :: Download MySQL Community Server https://cdn.mysql.com/archives/mysql-5.7/mysql-5.7.39-linux-glibc2.12-x86_64.tar.gz 2.解压文件&#xff1a; #tar xvzf mysql-5.7.39-linux-glibc2.12-x86_64.tar.gz 3.移动文件&#…

我的博客网站为什么又回归Blazor了

引言 在博客网站的开发征程中&#xff0c;站长可谓是一路披荆斩棘。从最初的构思到实践&#xff0c;先后涉足了多种开发技术&#xff0c;包括 MVC、Razor Pages、Vue、Go、Blazor 等。在这漫长的过程中&#xff0c;网站版本更迭近 10 次&#xff0c;每一个版本都凝聚着站长的心…

什么是网络安全CTF有何意义?该如何入门?

什么是网络安全CTF?有何意义 &#xff1f;该如何入门 &#xff1f; 什么是网络安全CTF? CTF在网络安全领域中指的是网络安全技术人员之间进行技术竞技的一种比赛形式。它起源于1996年DEFCON&#xff0c;以代替之前通过互相发起真实攻击进行技术比拼的方式。发展至今&#xff…

MySQL技巧之跨服务器数据查询:基础篇-更新语句如何写

MySQL技巧之跨服务器数据查询&#xff1a;基础篇-更新语句如何写 上一篇已经描述&#xff1a;借用微软的SQL Server ODBC 即可实现MySQL跨服务器间的数据查询。 而且还介绍了如何获得一个在MS SQL Server 可以连接指定实例的MySQL数据库的连接名: MY_ODBC_MYSQL 以及用同样的…

基于JDBC的书库系统(MySQL)

一、创建数据库中的表 1、需求 有一张表叫javabook【创建表要求使用sql语句进行】 表中列 bookid 整数自增类型 表中列 bprice 小数类型 表中列 bookname 字符串类型 长度不能小于50 工程和包要求&#xff1a; domain dao …

Oracle 聚集因子factor clustering

文章目录 聚集因子(Factor clustering)举例说明查询聚集因子聚集因子的优化结论 最近发现突然忘记聚集因子的原理了&#xff0c;故整理记录一下 聚集因子(Factor clustering) 在Oracle中&#xff0c;聚集因子&#xff08;Clustering Factor&#xff09;用于衡量数据在表中存储…

Linux环境基础开发工具的使用_yum源_vim_Git控制器

目录 本节目标&#xff1a; 一、Linux 软件包管理器 yum 1.什么是软件包 2.关于 rzsz 3.注意事项 4.查看软件包 5.注意事项: 6.如何安装软件 说到这里&#xff0c;就可以取百度上康康有哪些好玩的指令&#xff1a; 二、Linux开发工具 Linux编辑器-vim使用 1. vim的基…