文章目录
- 一、关于 Machine Learning Engineering Open Book
- 二、书籍目录
- 三、关键对照表
- 四、快捷方式
Machine_Learning_Engineering_Open_Book_2">一、关于 Machine Learning Engineering Open Book
这是一个开放的方法、工具和分步说明集合，有助于成功训练和微调大型语言模型和多模态模型及其推理。
这是一份适合LLM/VLM培训工程师和操作员的技术材料。这里的内容包含大量脚本和n-粘贴命令，使您能够快速满足您的需求。
这个存储库是我训练大型语言模型（LLM）（和VLM）的经验的持续大脑转储；我在2022年训练开源BLOOM-176B模型和2023年训练IDEFICS-80B多模态模型以及2024年训练RAG模型时获得的许多专业知识。Contextual.AI。
我一直在为自己编译这些信息，这样我就可以快速找到我过去已经研究过并且有效的解决方案，但是像往常一样，我很乐意与更广泛的机器学习社区分享这些笔记。
- github : https://github.com/stas00/ml-engineering
- PDF 版本： https://huggingface.co/stas/ml-engineering-book/resolve/main/Stas Bekman - Machine Learning Engineering.pdf
- 更新请关注：https://twitter.com/StasBekman
- 欢迎讨论分享：https://github.com/stas00/ml-engineering/discussions
二、书籍目录
第1部分 见解
- 人工智能战场工程——你需要知道什么才能成功。
- 如何选择云提供商-这些问题将使您获得成功的计算云体验。
第2部分 硬件
- 计算-加速器，CPU，CPU内存。
- 存储-本地、分布式和共享文件系统。
- 网络-节点内和节点间网络。
第3部分 编排
- 编排系统-管理容器和资源
- SLURM-资源管理的简单Linux工具
第4部分 训练
- 训练- 模型培训相关指南
第5部分 推理
- 推理- 模型推理洞察
第6部分 开发
- 调试和故障排除-如何调试简单和困难的问题
- 还有更多的调试
- 测试——让测试写作变得愉快的众多技巧和工具
第7部分 杂项
- 资源-LLM/VLM编年史
三、关键对照表
高端加速器：
- 理论加速器TFLOPS
- 加速器内存大小和速度
网络：
- 理论节点间速度
- 理论节点内速度
四、快捷方式
你可能需要快速经常找到的东西。
工具：
- all_reduce_bench.py-一种比nccl-测试更简单的网络吞吐量基准测试方法。
- torch-distributed-gpu-test.py-快速测试节点间连接的工具
- mamf-finder.py-您可以从加速器获得的实际TFLOPS测量值是多少。
指南：
- 调试pytorch应用程序-解决挂起或中断pytorch应用程序的快速n-粘贴解决方案
- slurm为用户-slurm备忘单和技巧
- 制作微型模型/数据集/标记器
- LLM/VLM编年史收藏
2025-01-27（一）
