待写
LLaMA模型
论文原文:https://arxiv.org/abs/2302.13971v1
预训练数据
模型架构
模型就是用的transformer的decoder,所以在结构上它与GPT是非常类似的,只是有一些细节需要注意一下。
1、RMS Pre-Norm
2、SwiGLU激活函数
3、RoPE旋转位置编码
Alpaca模型
[Stanford CRFM]
中文聊天aipaca
GitHub - ymcui/Chinese-LLaMA-Alpaca
待写
论文原文:https://arxiv.org/abs/2302.13971v1
预训练数据
模型架构
模型就是用的transformer的decoder,所以在结构上它与GPT是非常类似的,只是有一些细节需要注意一下。
1、RMS Pre-Norm
2、SwiGLU激活函数
3、RoPE旋转位置编码
[Stanford CRFM]
GitHub - ymcui/Chinese-LLaMA-Alpaca