DeepSeek 开源第,二【枪: 我】我在 AI 模型里当交警
在昨天开源 FlashMLA 后,DeepSeek 开源周又打响了第二枪:从数十亿到数万亿参数,用 DeepEP 突破高效通信的瓶颈。这是首个用于 MoE 模型训练和推理的 EP 通信库。
“春运”般的 AI 算力,用 DeepEP 书写交通规则
在传统分布式训练中,GPU集群常陷入“算力空转”的困境:当A卡完成计算时,B卡还在等待数据传输。就像高峰期的地铁换乘站,再强的算力也会被人流堵塞消解。
而 DeepEP 有以下亮点:
高效和优化的多对多通信
节点/跨节点都支持NVLink和RDMA
用于训练和推理预填充的高吞吐量内核
用于推理解码的低延迟内核
原生支持FP8调度
灵活GPU资源控制,实现计算与通信的高效重叠
DeepEP的突破在于重构了数据流的“交通规则”:通过 FP8 智能压缩技术,将原本需要 10 车道的数据货车瘦身为 8 车道,配合预填充机制提前规划传输路线。实测显示,在千卡集群中,这种“错峰出行+绿色通道”的组合拳,能让通信等待时间再度下降。
全网好评:每天都像 100 年
截止 14 时,Github 上的 Star 已经有 2.7k,还在不断增长。
网友也非常激动,有网友表示,感觉每一天都像 100 年一样,当然也有网友调侃,“我想看看英伟达的股价跌了多少”。
有人说,开源EP通信库DeepEP的引入可能会彻底改变AI和区块链应用程序的互操作性。通过改善分散系统之间的通信,它促进了更有效的数据交换和处理。这可以降低成本并提高人工智能任务的性能,吸引更多的开发人员进入加密空间。
也有人高度赞扬 DeepSeek 团队:他们正在做令人难以置信的工作。
重构AI基础设施的“底层语法”
当业界还在争论 MoE 架构的实用性时,DeepEP 已经悄然改写了游戏规则。
其创新的 group-limited gating 机制,让专家网络间的协作效率提升了 3 个数量级。
更令人敬佩的是,DeepSeek 这次将如此核心的技术完全开源。这相当于把自动驾驶的激光雷达技术图纸公之于众,在AI基础设施领域掀起“军备竞赛”。
DeepSeek 开源的不是代码,而是通往AGI的高速公路蓝图。
(内容来源:光明网)
作者: 编辑:陆浩然
越牛新闻客户端
越牛新闻微信
绍兴发布微信
越牛新闻微博
绍兴发布微博
新闻热线
0575-88880000
投稿信箱
zjsxnet@163.com