technology

technology

EP架构：是未来技术发展的主流趋势，还是仅适用于特定场景？

DeepSeek MoE架构采用跨节点专家并行（EP）架构，在提升推理系统性能方面展现出巨大潜力。这一架构在发展进程中也面临诸多挑战，其未来究竟是会成为行业的主流方向，还是仅适用于特定场景，成为特定领域的最优解，引发了广泛的讨论。 PPIO派欧云作为专注于分布式推理的AI infra公司，致力于探索前沿推理加速技术。PD分离（prefill-decode分离）作为一种新兴的推理范式，是我们近期重要的研究方向之一，其对EP架构的发展产生了深远影响。 一、EP 架构的技术优势与潜力 （一）提升系统吞吐能力 EP 架构通过增大 batch size，充分挖掘 GPU 矩阵乘法的并行计算潜力，显著提升系统的吞吐能力。在深度学习模型的推理阶段，较大的 batch size 能够让 GPU 在单位时间内处理更多数据。 以图像识别模型为例，当 batch size 增大时，GPU 可以同时对更多张图片进行特征提取与分类运算，大大加快了推理速度。这种机制充分利用了 GPU 的并行计算资源，使模型在数据处理效率上得到质的提升，

technology

PPIO实测一手性能数据，MoE模型推理效率显著提升，DeepGEMM重磅开源！

开源周内传来新消息，DeepSeek 正式发布了 DeepGEMM 开源库。 这是一个专为稠密和 MoE 模型设计的FP8 GEMM计算库，特别为 DeepSeek - V3/R1等MoE FP8量化模型的训练和推理提供了强有力的支持。 DeepGEMM 针对英伟达 Hopper 架构 GPU (如H100，H200，H800）进行了深度优化。 主要特点是代码简洁（核心部分仅300行左右）但性能出色，在各种矩阵形状下都能够媲美甚至超越专家调优的库。 作为一家专注于提供高性能 AI 计算服务的云平台，PPIO派欧云已经部署了大量 MoE FP8 量化模型（例如 DeepSeek FP8 版本）。 为了更好地利用 DeepGEMM 技术，提升这类模型的推理效率，PPIO 第一时间对 DeepGEMM 的性能进行了全面测试。 在了解具体测试数据之前，我们先来熟悉一些相关的基础概念。 什么是

DeepSeek推出DeepEP：首个开源EP通信库，让MoE模型训练与推理起飞！

今天，DeepSeek 在继 FlashMLA 之后，推出了第二个 OpenSourceWeek 开源项目——DeepEP。 作为首个专为 MoE（Mixture-of-Experts）训练与推理设计的开源 EP 通信库，DeepEP 在 EP（Expert Parallelism）领域迈出了重要一步，旨在为 MoE 模型提供低时延、高带宽、高吞吐的卡间和节点间通信能力。 根据测试结果，DeepEP 在节点内部的多卡通信中表现接近带宽上限，同时节点间通信效率也显著提升。 什么是EP？ 在深入了解 DeepEP 之前，我们需要先理解什么是 EP。 EP 是一种专为 MoE 设计的分布式计算方法。而 MoE 是一种基于 Transformer 的模型架构，采用稀疏策略，使其相比传统的密集模型在训练时更加轻量化。 在这种 MoE 神经网络架构中，

technology

DeepSeek开源FlashMLA：Hopper GPU解码新标杆，测评大揭秘！

https://www.jiqizhixin.com/articles/2025-02-25?from=synced&keyword=ppio

PPIO CTO王闻宇：深度解读苹果首款MR眼镜及其对元宇宙技术路线的启示

元宇宙的技术路线又将朝何方发展？