DeepGEMM：DeepSeek开源周第三天

작가:네오양 시간:2025/02/26 읽다: 5511

---

DeepGEMM是什么？

DeepGEMM是一个高效通用矩阵乘法（GEMM）库，专为FP8（8位浮点数）精度设计。

DeepGEMM是DeepSeek V3和R1模型训练与推理的关键组件，DeepGEMM不仅支持传统的密集矩阵乘法，还特别为混合专家模型（MoE）的分组GEMM需求提供了灵活支持。其核心代码仅约300行。

DeepGEMM是用来做什么的？

加速大模型训练与推理

矩阵乘法是神经网络中的基本操作，DeepGEMM通过低精度FP8计算减少内存和计算开销，提升效率，特别适用于像DeepSeek V3和R1这样的大型模型。

支持混合专家模型（MoE）

它不仅处理传统密集矩阵乘法，还针对MoE模型的分组GEMM需求进行了优化，支持连续布局和掩码分组布局，适应训练和推理的不同阶段。

提供高性能计算支持

利用Hopper架构的Tensor Core和即时编译（JIT）技术，DeepGEMM在运行时动态生成优化代码，最大化硬件性能，适用于需要极致计算效率的场景。

DeepGEMM开源的影响

这几天，DeepSeek连续开源自己的一些库，想来，后边两天也都是这个方向的东西。

这样一来，围绕DeepSeek的一系列的开源项目，将直接导致相关的一些产品的使用量上升，从MoE模型，到相关的型号的GPU。

요약하다

期待DeepSeek明天的开源项目。