1.线性代数：关键概念包括向量、矩阵、特征值和特征向量。重要的公式涉及矩阵乘法、行列式以及特征值方程Av=λv，其中 A是矩阵，v是特征向量，λ是特征值。

2.高数：基本主题是微分和积分，重点是理解极限、导数和积分的概念。函数 f(x) 在点 x的导数由f’(x)=limh→0 f(x+h)-f(x)给出，基本微积分定理将微分与积分联系起来。

3.概率：关键点包括概率公理、条件概率、贝叶斯定理、随机变量和分布。例如，贝叶斯定理由P(A|B)=P(BIA)P(A)/P(B)给出，它帮助在发生B 的情况下更新 A 的概率。

4.凸优化：关注目标函数为凸函数的问题。关键概念包括凸集、凸函数、梯度下降和拉格朗日乘数。梯度下降更新规则可以表示为 xn+1 =xn -avf（xn)，其中 a是学习率。

你可以看到这些相对经常用到的数学，其实没有多难，只要你再看一下记住就好了。

Numpy 主要是掌握各种数据的使用方法

Pytorch与Tensor、Keras 就是完成各种网络及训练的方法

你至少要能保证下面的代码里的每一行代码都能完全理解

import torch  
from torch import nn, optim  
from torchvision import datasets, transforms  
from torch.utils.data import DataLoader  
# Define a transformation to normalize the data  
transform = transforms.Compose([transforms.ToTensor (), transforms.Normalize((0.5,), (  
# Load the Fashion MNIST dataset  
train_dataset = datasets.FashionMNIST(root='./data', train=True, download=True, transfor  
test_dataset = datasets.FashionMNIST(root='./data', train=False, download=True, transfor  
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)  
test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)  
# Define the neural network structure  
class FashionMNISTNN(nn.Module):  
def __init__(self):  
super(FashionMNISTNN, self).__init__()  
self.flatten = nn.Flatten()  
self.linear_relu_stack = nn.Sequential(  
nn.Linear(28*28, 512),  
nn.ReLU (),  
nn.Linear(512, 256),  
nn.ReLU(),  
nn.Linear(256, 10),  
)  
def forward(self, x):  
x = self.flatten(x)  
logits = self.linear_relu_stack(x)  
return logits  
model = FashionMNISTNN()  
# Define the loss function and optimizer  
loss_fn = nn.CrossEntropyLoss()  
optimizer = optim.Adam(model.parameters(), lr=0.001)  
# Function to train the model  
def train(dataloader, model, loss_fn , optimizer):  
size = len(dataloader.dataset)  
model.train()  
for batch, (X, y) in enumerate(dataloader):  
# Compute prediction and loss  
pred = model(X)  
loss = loss_fn(pred, y)  
# Backpropagation  
optimizer.zero_grad()  
loss.backward()  
optimizer.step()  
if batch % 100 == 0:  
loss, current = loss.item(), batch * len(X)  
print(f"loss: {loss:>7f} [{current:>5d}/{size:>5d}]")  
# Function for testing the model  
def test(dataloader, model, loss_fn):  
size = len(dataloader.dataset)  
num_batches = len(dataloader)  
model.eval()  
test_loss, correct = 0, 0  
with torch.no_grad():  
for X, y in dataloader:  
pred = model(X)  
test_loss += loss_fn(pred, y).item()  
correct += (pred.argmax(1) == y).type(torch.float).sum().item()  
test_loss /= num_batches  
correct /= size  
print(f"Test Error: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \  
# Train the model  
epochs = 5  
for t in range(epochs):  
print(f"Epoch {t+1}\n-------------------------------")  
train(train_loader, model, loss_fn, optimizer)  
test(test_loader, model, loss_fn)  
print("Done!")  

注意是每一行

做为 LLM 的基础模型，你要想入门，那对 Transformer 这个模型要了如指掌才成！

而 Transformer 的基本图像就是下面这样的：

推荐自己手写一个 Transformer 模型，至少要写一个 Attention 的结构。还要看懂下面这个图。你就能体会到一个至简的模型是怎么遵循 Scaling Law的，AGI 可能就在这个简单的重复与变大中了！

但是Transformer 这么简单的东西怎么就这么厉害了呢? 整个大模型已经发展两三年了，如果你再不跟上，可能很快就淘汰了。

这些是个基础了。但是对于 LLM 来讲吧，如果你想自己继续研究，那可能要接触的就是下面这些东西了。

• Prompta 工程

• RAG 技术

• Fine-Tune 技术

• LLM Training From Scratch

• LLM 部署及优化技术

这几项基本上是针对效果及成本的要求从低到高的顺序，也是技术上从简单到难的顺序列出来的

1.Prompt 工程：涉及设计和完善给LLM的Prompt，来得到最准确或最有用的Response。核心原则是通过精心设计的问题或陈述引导LLM生成所需的输出。它需要理解LM的能力和限制，并且通常涉及反复试验以找到最有效的提示。基本技术就是三件事：
指令角色、精确表达、要求输出格式。

2.RAG 技术(检索增强生成)：RAG 是一种方法，结合了检索器模型来获取相关文档或数据和生成器模型来产生最终输出。这种技术通过外部信息丰富LLM的响应，提高其准确性和可靠性特别是对于知识密集型任务。关键是有效整合检索和生成过程，以利用现有知识和生成能力。
你需要了解的就是 LangChain

3.Fine-Tune 技术：微调涉及在特定数据集或特定任务上轻微调整预训练模型参数以提高性能。这种方法允许利用大型预训练模型并将它们适应于专门的要求，无需进行大量重新训练。本质是保持LM的一般能力，同时为特定用例进行优化。
没啥好说的了，自己准备数据针对特定任务训练