AWS Machine Learning Blog· Mona Mona·· 2 小时前AI 评分34
Amazon SageMaker AI 上的 MoE 内核工程优化实践
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
AWS 在 Amazon SageMaker AI 上为 fused MoE 模型实施内核优化，通过 Swap-AB 转置让专家维度 N=8192 占据 Hopper WGMMA 的首操作数位置，在 H200 上实现端到端输出吞吐提升 2–4%，该优化已合入 vLLM 0.24.0 及更高版本。
价值洞察
✦ 价值点
MoE推理的瓶颈从算法转向GPU内核级工程，头部云厂商把优化直接开源进vLLM，推理成本竞争进入底层微调阶段
⚡ 转化点
自建MoE推理的团队应升级vLLM至0.24.0以上或采用LMI v28容器，用配置切换而非改代码换取吞吐与首字延迟改善
来源：AWS Machine Learning Blog · aws.amazon.com