AI Dance

刚看完 SemiAnalysis 这篇 DeepSeek V4 推理性能长文，很有意思。 DeepSeek V4 一出来，被考试的是 NVIDIA、AMD、Huawei、vLLM、SGLang、TensorRT-LLM、ROCm、CANN 这一整套推理生态。 省流一下 SemiAnalysis 这篇的几个核心点： 1/ CUDA + vLLM / SGLang 仍然是 Day 0 最稳的生态。DeepSeek V4 Pro 发布当天，CUDA 平台上的 vLLM 和 SGLang 基本能直接跑，B200/B300 这类新 SKU 的 recipe 也大多开箱可用。 vLLM 和 SGLang 这两个开源推理引擎，已经是全球 ML 基础设施的核心组件了，各自独立出来成了公司（Inferact 和 RadixArk），融了几亿美金。他们的生态优势在这时候体现得最明显：新模型一出，开源生态能在第一时间接住。 2/ AMD 一开始很狼狈。MI355X Day 0 只能跑 FP8，交互性低到 1-2 tokens/user/sec，SemiAnalysis 直接说这不是生产可用状态。不过后面 AMD SGLang 团队 26 天内把性能拉了 100x 以上，这个追赶速度也很夸张。 3/ TensorRT-LLM 反而翻车了。他们有个 kernel 把 DeepSeek 的 hidden size 写死了 4096，这个问题拖了一周多才被注意到，SemiAnalysis 后来自己提 PR 修掉。 4/ Huawei Ascend 这次是另一条主线。华为 Ascend 950DT，在 DeepSeek V4 发布当天就提供了推理支持。CANN 发了优化指南和 benchmark 数据，也展示了从 kernel、graph path、quantization 到 serving / deployment recipe 的 full-stack 思路。 SemiAnalysis 的判断很明确：DeepSeek V4 的 Day 0 支持栈里，真正接住的只有两个，NVIDIA CUDA 和 Huawei CANN。 5/ GB300 NVL72 的 rack-scale 优势非常明显。SemiAnalysis 给的测算里，GB300 在 MTP 打开后几乎统治所有 interactivity level，50 tok/s/user、8k input、1k output 假设下，output token 成本可以到 $0.156 / million。 总结一下我的观感。 DeepSeek V4 的发布，本质上是一次对整个推理生态的年度统考。CUDA 生态依然最强，但华为的 Day 0 支持证明了 CANN 栈的成熟度正在快速提升。AMD 能在 26 天内追 100 倍，说明工程能力没问题，但 Day 0 的差距暴露了 ROCm 生态的脆弱。 TensorRT-LLM 的翻车，和 vLLM/SGLang 开箱即用的对比，可能是这篇文章最值得玩味的细节。闭源引擎的优化上限可能更高，但在 Day 0 这个时间窗口里，开源生态的响应速度是不可替代的。 问题变成了：当中国最好的开源模型之一（DeepSeek），遇上中国最好的 AI 芯片软件栈（CANN），这种 co-design 的优势会持续多久？NVIDIA 的护城河到底在硬件还是在软件？ 感觉这个问题，可能比模型本身的参数量重要得多。

18,680 次观看