预训练模型介绍

embedded/2024/11/10 11:17:55/

一、什么是GPT

GPT 是由人工智能研究实验室 OpenAI 在2022年11月30日发布的全新聊天机器人模型, 一款人工智能技术驱动的自然语言处理工具 它能够通过学习和理解人类的语言来进行对话, 还能根据聊天的上下文进行互动,能完成撰写邮件、视频脚本、文案、翻译、代码等任务

  • 1f42588e82cf423898cc30db87daa44e.png

二、 为什么GPT很火

  • 打开 ChatGPT 聊天框之后只需要在对话框里输入问题,就可以获得答案,能够应对日常对话

  • ChatGPT 以对话方式进行交互,对话格式使 ChatGPT 能够回答后续问题、承认错误、质疑不正确的前提和拒绝不适当的请求

使用 ChatGPT 的示例演示:

  • 假如 “我想对暗恋的女孩写一篇表白信”

d91513eefac541788dcbce21e9e1aac3.png

三、使用Python调用GPT 

首先,要安装openai库

python">pip install openai

接下来,需要获取一个API密钥(API key),可以在OpenAI官网上注册并获取。然后,使用以下代码调用GPT API:

python">import openai# 替换为你的API密钥
openai.api_key = "your_api_key"def chat_with_gpt(prompt):response = openai.Completion.create(engine="text-davinci-002",prompt=prompt,max_tokens=1024,n=1,stop=None,temperature=0.5,)return response.choices[0].text.strip()# 示例:向ChatGPT提问
question = "你好,ChatGPT!"
answer = chat_with_gpt(question)
print(answer)

提问二分查找: 

python"># 功能: 二分查找
# 输入参数: array: 数组, number: 查找数字
# 输出参数: 查询数字在数组中的下标, 如果查询不到返回-1
def binary_search(array, number):# 定义左右指针left = 0right = len(array) - 1 # 二分查找while left <= right:# 求中间下标mid = (left + right) // 2# 如果查询数字小于数组中间的数字, 则查询范围变为左边的数组# 否则查询范围变为右边的数组if number < array[mid]:right = mid - 1elif number > array[mid]:left = mid + 1else:return midreturn -1

四、GPT应用场景

GPT模型的应用场景主要分为以下三大模块:

  • 代码相关: 如程序语言转换, 比如Python转Java、生成程序命令、修复代码Bug、程序代码解释等;
  • 日常生活相关: 如语言翻译;美食制作配方生成;段落关键字提取;餐馆点评;
  • 职业相关: 创作一个短故事;产品广告设计;生成面试问题帮助面试者准备面试

下面我们以日常生活相关的场景, 来实现GPT功能的应用,这里选取一道中国菜: 鱼香肉丝

  • 中国菜“鱼香肉丝”GPT给出的做法

 c97d5635496d4e1292bd70b5c772959e.png

五、GPT背后原理

GPT(Generative Pre-trained Transformer)是一种基于深度学习的语言模型,其核心在于利用大规模的文本数据进行预训练,从而能够生成连贯且符合语法规则的自然语言文本

  • Transformer:是一种基于自注意力机制(Self-Attention)的深度学习模型,特别是在处理序列数据如自然语言处理(NLP)领域表现出色。它由编码器(Encoder)和解码器(Decoder)组成,能够捕捉输入数据中的长距离依赖关系。
  • PyTorch:是一个动态图型的深度学习框架,提供了丰富的工具和API来构建、训练神经网络模型。它以其易用性、灵活性以及良好的社区支持而受到研究者和开发者的青睐。

GPT模型的训练过程包括两个主要阶段:预训练和微调。在预训练阶段,模型通过学习大量文本资料来把握语言的基本规律和模式;在微调阶段,模型则通过特定任务的训练数据进行精细调整,以适应具体的应用场景。具体来说,GPT模型通常使用变换器(Transformer)作为其网络架构的基础,该架构能够有效处理文本序列中词与词之间的复杂依赖关系。 

GPT模型在与人进行对话时,通常需要解决生成合理且连贯的回应和维持对话的深度与多样性这两个关键问题。

当涉及到生成合理且连贯的回应时,ChatGPT需要理解提问者的意图并给出一个确切且相关的回答。

  • 提问:请解释人工智能的定义。
  • GPT回答:人工智能(Artificial Intelligence,简称AI)是指由计算机系统模拟和执行人类智能的能力。它涉及开发能够感知、学习、推理、决策和解决问题的智能机器。人工智能的目标是使计算机能够像人一样思考、理解和适应环境,从而能够执行各种任务,从简单的自动化到复杂的认知任务

六、神经网络语言模型

我们知道的N-gram语言模型是基于统计的语言模型,是一种离散型的语言模型,所以泛化能力差,而且如果随着N的增大,参数空间呈现指数级增长,导致维度灾难微调。

所以人们开始尝试使用神经网络来建立语言模型。

关于神经网络的介绍:神经网络的激活函数-CSDN博客

 

 


http://www.ppmy.cn/embedded/30245.html

相关文章

Nginx深度解析:核心特性、应用场景与全局、events、http等全面配置指南

Nginx是一款高性能的Web服务器与反向代理服务器软件&#xff0c;以其高并发处理能力、低内存消耗和反向代理负载均衡功能闻名。它通过事件驱动、异步非阻塞I/O模型&#xff0c;实现了极高的效率和稳定性&#xff0c;广泛应用于网站部署、API代理、静态资源服务及微服务架构中&a…

Android手写自己的路由SDK

实现自己的路由框架 ​ 在较大型的Android app中常会用到组件化技术&#xff0c;针对不同的业务/基础功能对模块进行划分&#xff0c;从上到下为壳工程、业务模块、基础模块。其中业务模块依赖基础模块&#xff0c;壳工程依赖业务模块。同级的横向模块&#xff08;比如多个业务…

buuctf-misc-23.FLAG

23.FLAG 题目&#xff1a;stegsolve得出PK-zip文件&#xff0c;改后缀名为zip,解压后查看文件类型为ELF 使用kali-strings或者ida获取flag 点击Save Bin将其另存为一个zip文件 而后解压我们另存的这个1234.zip文件后&#xff0c;可以得到 我们用ida打开它&#xff0c;打开后就…

LT2611UX四端口 LVDS转 HDMI2.0,带音频

描述LT2611UX 是一款面向机顶盒、DVD 应用的高性能 LVDS 至 HDMI2.0 转换器。LVDS输入可配置为单端口、双端口或四端口&#xff0c;具有1个高速时钟通道和3~4个高速数据通道&#xff0c;工作速率最高为1.2Gbps/通道&#xff0c;可支持高达19.2Gbps的总带宽。LT2611UX 支持灵活的…

使用idm下载百度云被限速 idm下载大文件后要整合 idm下载百度网盘有限制最新解决办法教程 idm限速解除方法

Internet Download Manager简称IDM,是一款Windows系统专业下载加速工具,IDM下载器支持多种类型文件下载,并能完美恢复各种中断的下载任务,是一款Windows平台下的多线程下载器&#xff0c;支持浏览器自动嗅探功能下载资源文件&#xff0c;包括视频、音频以及图片等类型文件&…

CMakeLists.txt 文件内容分析

一. 简介 前一篇文章学习了针对只有一个 .c源文件&#xff0c;cmake工具是如何使用编译的&#xff0c;文章如下&#xff1a; cmake的使用方法:单个源文件的编译-CSDN博客 本文对 所编写的 CMakeLists.txt文件的内容进行分析。从而了解如何编写一个 CMakeLists.txt文件。 二…

神经网络高效训练:优化GPU受限环境下的大规模CSV数据处理指南

最近训练模型,需要加载wifi sci data 数据量特别大,直接干爆内存,训练也特别慢,快放弃了!随后冷静下来,然后靠着多年的经验,来进行层层优化,随诞生了这篇博客。 背景介绍 机器学习模型的训练通常需要大量的数据,尤其是对于深度神经网络模型。然而,当数据集非常庞大时…

微信小程序+esp8266温湿度读取

本文主要使用微信小程序显示ESP8266读取的温湿度并通过微信小程序控制LED灯。小程序界面如下图所示 原理讲解 esp8266 通过mqtt发布消息,微信小程序通过mqtt 订阅消息,小程序订阅后,就可以实时收到esp8266 传输来的消息。 个人可免费注册五个微信小程序账号,在微信小程序官…