文章目录
- 1 大模型优化的三个途径
- 1.1 蒸馏
- 1.2 微调
- 1.3 RAG
- 2 deepseek模型兼容性检测工具
- 3 Tokens究竟是什么
- 4 大模型的三种模式
- 4.1 Embedding模式
- 4.2 Copilot模式
- 4.3 Agent模式
- 5 vLLM和Ollama
- 5.1 vLLM(超大型语言模型)
- 5.2 Ollama
- 6 参考附录
1 大模型优化的三个途径
这三种方法，都是优化的大模型的手段，但是实现路径和应用场景不同。
1.1 蒸馏
蒸馏：是学生通过模仿老师的解题思路，达到和老师相似的知识水平。
适用于将大模型的能力迁移到小模型上，以适配更低端的算力环境。
比如在企业私有云、个人电脑甚至手机、边缘终端上。
1.2 微调
微调：又叫精调，相当于学生意识到自己某门课有短板，然后自己找参考书恶补了一下，从而补上短板。
适用于特定场景下，用特定数据集对通用模型进行小规模训练。
比如通用基础模型对医疗不大懂，就用医疗数据集给它开小灶，让他变身医疗专家模型。
1.3 RAG
RAG：直译过来叫做“检索增强生成”。相当于这题我不会，但是我有
