DeepSeek 技术开源周期间所有开放下载资源的目录及简要说明：
1. FlashMLA
- 描述：针对 Hopper GPU 优化的高效 MLA 解码内核，专为处理可变长度序列设计，显著提升大语言模型（LLM）的解码效率。
- 性能：内存受限配置下可达 3000 GB/s 带宽，计算受限配置下可达 580 TFLOPS 算力（H800 GPU）。
- 开源地址：FlashMLA GitHub
- 适配情况：已成功适配云天励飞 DeepEdge10 平台，相关代码已提交至 Gitee。
2. DeepEP
- 描述：首个面向 MoE（混合专家）模型的专家并行（EP）通信库，优化全到全通信，支持 FP8 数据格式，显著降低通信开销。
- 特性：
- 高吞吐内核：适用于训练和推理的预填充任务。
- 低延迟内核：优化推理解码速度，采用纯 RDMA 技术。
- 支持 NVLink 和 RDMA 混合通信。
- 开源地址：DeepEP GitHub
3. DeepGEMM
- 描述：专为 FP8 矩阵乘法优化的轻量级 GEMM 库，支持稠密和 MoE 布局，动态优化资源分配以提升算力效率。
- 性能：在 Hopper GPU 上可实现 1350+ FP8 TFLOPS 性能，核心代码仅 300 行，基于即时编译（JIT）技术。
- 开源地址：DeepGEMM GitHub
4. DualPipe
- 描述：一种双向流水线并行算法，专为 V3/R1 训练设计，实现计算与通信阶段的高效重叠，减少流水线气泡。
- 开源地址：DualPipe GitHub
5. 专家并行负载均衡器（EPLB）
- 描述：动态平衡 GPU 负载，通过冗余专家策略和分组路由优化数据流量，减少节点间通信开销。
- 开源地址：EPLB GitHub
6. 3FS 文件系统
- 描述：高性能分布式文件系统，专为现代 SSD 和 RDMA 网络设计，支持高吞吐数据访问，适用于 AI 训练和推理中的数据密集型任务。
- 性能：
- 集群聚合读取吞吐量达 6.6 TiB/s。
- 单节点 KVCache 查找峰值吞吐量超过 40 GiB/s。
- 开源地址：3FS GitHub
7. Smallpond
- 描述：基于 3FS 的轻量级数据处理框架，支持 PB 级数据集处理，操作简便，无需长期运行的服务。
- 开源地址：Smallpond GitHub
8. 其他资源
- DeepSeek-R1 模型权重：Hugging Face 仓库
- DeepSeek-R1 官方论文：arXiv 论文
- DeepSeek 提示词库：官方提示词库
概览
DeepSeek 技术开源周共发布了 5 个核心代码库（FlashMLA、DeepEP、DeepGEMM、DualPipe、EPLB）以及 2 个配套工具（3FS、Smallpond），覆盖了从计算、通信到存储的全栈优化。这些资源不仅显著提升了 AI 模型的训练和推理效率，还通过开源方式降低了高性能计算技术的应用门槛，为 AI 社区提供了强大的技术支持。
DeepSeek 开源进度全分析：技术亮点、协同关系及潜在影响
1. 技术亮点与核心功能
1.1 FlashMLA（开源进度 1/5）
-
功能：
FlashMLA 是一个针对 Hopper GPU 优化的高效 MLA（Multi-Layer Attention）解码内核，专为处理可变长度序列设计。它通过优化内存访问和计算效率，显著提升了推理阶段的性能。 -
性能：
- 在内存受限配置下，FlashMLA 可实现 3000 GB/s 的带宽。
- 在计算受限配置下，FlashMLA 的算力可达 580 TFLOPS（基于 H800 GPU）。
- 这些性能指标使其成为当前最先进的解码内核之一。
-
应用场景：
- 主要用于自然语言处理（NLP）中的推理阶段，特别是大语言模型（LLM）的文本生成任务。
- 适用于需要处理长序列的场景，如对话生成、文档摘要等。
-
技术基础：
- 结合了 FlashAttention 2&3 的注意力机制优化和 CUTLASS 的高效矩阵计算技术。
- 通过分块调度和内存优化，减少冗余计算和内存访问。
-
创新点：
- 支持可变长度序列的高效处理，避免了传统方法中的填充浪费。
- 通过动态调度机制，最大化 GPU 利用率。
以下是 FlashMLA 的编程调用方法及详细说明，帮助开发者快速上手并集成到自己的项目中。
1. 安装与依赖
1.1 硬件与软件需求
- 硬件：NVIDIA Hopper GPU（如 H800）。
- 软件：
- CUDA 12.3 及以上版本。
- PyTorch 2.0 及以上版本。
1.2 安装步骤
- 克隆 FlashMLA 代码库：
git clone https://github.com/deepseek-ai/FlashMLA.git cd FlashMLA - 安装依赖：
python setup.py install
2. 编程调用
2.1 导入模块
在 Python 脚本中导入 FlashMLA 的核心模块：
python">from flash_mla import get_mla_metadata, flash_mla_with_kvcache
2.2 获取元数据
使用 get_mla_metadata 函数获取分块调度元数据：
python">tile_scheduler_metadata, num_splits = get_mla_metadata(cache_seqlens, s_q * h_q // h_kv, h_kv
)
- 参数说明：
cache_seqlens：缓存序列长度。s_q * h_q // h_kv：查询序列长度与头数的乘积除以键值头数。h_kv：键值头数。
- 返回值：
tile_scheduler_metadata：分块调度元数据。num_splits：分块数量。
2.3 调用解码内核
使用 flash_mla_with_kvcache 函数执行解码操作：
python">for i in range(num_layers):o_i, lse_i = flash_mla_with_kvcache(q_i, kvcache_i, block_table, cache_seqlens, dv,tile_scheduler_metadata, num_splits, causal=True)
- 参数说明：
q_i：当前层的查询张量。kvcache_i：当前层的键值缓存。block_table：块表，用于管理缓存块。cache_seqlens：缓存序列长度。dv：值向量的维度。tile_scheduler_metadata：分块调度元数据。num_splits：分块数量。causal：是否启用因果掩码（默认为True）。
- 返回值：
o_i：当前层的输出张量。lse_i：当前层的对数求和指数（Log-Sum-Exp）。
3. 示例代码
以下是一个完整的调用示例：
python">import torch
from flash_mla import get_mla_metadata, flash_mla_with_kvcache# 假设输入参数
batch_size = 8
num_heads = 16
seq_len = 1024
head_dim = 64
cache_seqlens = torch.tensor([seq_len] * batch_size, dtype=torch.int32)
s_q = seq_len
h_q = num_heads
h_kv = num_heads
dv = head_dim# 初始化输入张量
q_i = torch.randn(batch_size, num_heads
