参考课程
【清华NLP】刘知远团队大模型公开课全网首发｜带你从入门到实战-知乎
一、自然语言处理基础
1.1 自然语言处理的基本任务
让计算机理解人所说的文本 语音
- 词性标注：区分每个词名词、动词、形容词等词性
- 命名实体的识别：名词的具体指代是哪一类事物
- 共指消解：代词指代的是前面哪一个实体
- 句法关系：主谓宾这种
- 中文的自动分词：标注词和词间的空格
1.2 词表示
- 独热编码 One-Hot
- 上下文 Co-Occurrence Counts
- 词向量 Word Embedding——Word2Vec
将词汇投射到低维向量空间
1.3 语言模型
- 传统语言模型 计算概率分布
基本假设：一个未来的词，只会受到前面的词的影响
根据前面出现N - 1个词，计算第N个词的概率是多少 - 神经网络模型 词向量处理
循环神经网络RNN、 门控循环单元GRU、长短期神经网络LTSM、双向RNN、卷积神经网络CNN
Transformer： Attention注意力机制、 Encoder-Decoder结构、更优秀的长文本处理能力 - 大模型（预训练语言模型PLM）
BERT、GPT、T5
1.4 NLP的应用
搜索引擎、知识图谱、机器阅读、人类助手、机器翻译、情感分类和意见挖掘、计算社会科学
二、大模型相关知识
大模型范式 = 预训练（无标注、自监督） + 微调
2.1 预训练大模型
-
Encoder-Only BERT派
分析故事的专家
两大基本任务：- 完形填空（maskerd language modeling）
- 句子关系预测（sentence relationship prediction）
-
Decoder-Only GPT派
讲故事的专家
自回归训练、搜索空间小
发展：GPT2->Gopher/Chinchilla->LLaMA- Gopher:验证扩大模型规模处理复杂任务
- Chinchilla：增加数据比增加模型参数更有效
- LLaMA：更小参数量实现GPT级性能
-
Encoder-Decoder T5派
2.1.1 常见大模型的参数大小
OpenAI GPT2 12B参数
OpenAI GPT3 175B参数
ChatGLM-6B 62B参数 130G模型大小
Chinese-Llama-2-7b-ggml-q4 3.8G模型大小
2.1.2 Huggingface-Transformers 库
环境配置
pip3 install torch torchvision torchaudio
pip3 install transformers
本地实践参考链接
本地使用huggingface transformers的预训练大模型-知乎
ChatGLM-6B模型加载-知乎
构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型-知乎
2.2 微调
2.2.1 Prompt Engineering 提示词工程
- 明确、具体是关键
- 思维链技术：Chain-of-Thought
- 自一致性技术：Self-Consistency
- 从易至难技术：Least-to-Most
2.2.2 Delta Tuning 参数高效微调
- 增量式 重新增加一组参数
- 指定式 指定微调哪一部分参数
- 重参数化 指定对哪一部分的参数进行重新设计
2.3 大模型高效计算OpenBMB
2.3.1 训练
数据并行、模型并行、流水线并行、混合精度训练等
2.3.2 推理、压缩
知识蒸馏、模型剪支、模型量化
2.4 大模型应用
信息检索、机器问答、文本生成
生物医学、法律、脑科学
