Loading video...

Video Failed to Load

Go Home

今天体会到了 DeepSeek 的速度,恐怖如斯。 用习惯了 Codex 中的反应,刚刚那 DeepSeek 查询一下资料,几乎是发送给他就立马反馈。 然后就做了一个测试,同样的问题发给 DeepSeek 和 ChatGPT 和 Claude。

129,781 views • 5 days ago •via X (Twitter)

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

刚看完 SemiAnalysis 这篇 DeepSeek V4 推理性能长文,很有意思。 DeepSeek V4 一出来,被考试的是 NVIDIA、AMD、Huawei、vLLM、SGLang、TensorRT-LLM、ROCm、CANN 这一整套推理生态。 省流一下 SemiAnalysis 这篇的几个核心点: 1/ CUDA + vLLM / SGLang 仍然是 Day 0 最稳的生态。DeepSeek V4 Pro 发布当天,CUDA 平台上的 vLLM 和 SGLang 基本能直接跑,B200/B300 这类新 SKU 的 recipe 也大多开箱可用。 vLLM 和 SGLang 这两个开源推理引擎,已经是全球 ML 基础设施的核心组件了,各自独立出来成了公司(Inferact 和 RadixArk),融了几亿美金。他们的生态优势在这时候体现得最明显:新模型一出,开源生态能在第一时间接住。 2/ AMD 一开始很狼狈。MI355X Day 0 只能跑 FP8,交互性低到 1-2 tokens/user/sec,SemiAnalysis 直接说这不是生产可用状态。不过后面 AMD SGLang 团队 26 天内把性能拉了 100x 以上,这个追赶速度也很夸张。 3/ TensorRT-LLM 反而翻车了。他们有个 kernel 把 DeepSeek 的 hidden size 写死了 4096,这个问题拖了一周多才被注意到,SemiAnalysis 后来自己提 PR 修掉。 4/ Huawei Ascend 这次是另一条主线。华为 Ascend 950DT,在 DeepSeek V4 发布当天就提供了推理支持。CANN 发了优化指南和 benchmark 数据,也展示了从 kernel、graph path、quantization 到 serving / deployment recipe 的 full-stack 思路。 SemiAnalysis 的判断很明确:DeepSeek V4 的 Day 0 支持栈里,真正接住的只有两个,NVIDIA CUDA 和 Huawei CANN。 5/ GB300 NVL72 的 rack-scale 优势非常明显。SemiAnalysis 给的测算里,GB300 在 MTP 打开后几乎统治所有 interactivity level,50 tok/s/user、8k input、1k output 假设下,output token 成本可以到 $0.156 / million。 总结一下我的观感。 DeepSeek V4 的发布,本质上是一次对整个推理生态的年度统考。CUDA 生态依然最强,但华为的 Day 0 支持证明了 CANN 栈的成熟度正在快速提升。AMD 能在 26 天内追 100 倍,说明工程能力没问题,但 Day 0 的差距暴露了 ROCm 生态的脆弱。 TensorRT-LLM 的翻车,和 vLLM/SGLang 开箱即用的对比,可能是这篇文章最值得玩味的细节。闭源引擎的优化上限可能更高,但在 Day 0 这个时间窗口里,开源生态的响应速度是不可替代的。 问题变成了:当中国最好的开源模型之一(DeepSeek),遇上中国最好的 AI 芯片软件栈(CANN),这种 co-design 的优势会持续多久?NVIDIA 的护城河到底在硬件还是在软件? 感觉这个问题,可能比模型本身的参数量重要得多。

AI Dance

18,680 views • 4 months ago

为什么这样子说呢,因为我听录音就是感觉那个女的在念稿子 然后今天那个女的,发推特了,说的是他名牌支持他的山野基金,我看了下全是内幕钱包在收割 一秒钟拉到了300K,然后瞬间就归零了 刚刚去他们空间喷了几句,那女的说他不知道,是别人送他的他就发推特支持了 然后空间里面一群洗脑大神正在洗脑 还有那个女的既然收到币她就可以发推支持,那么有没有可能那一句话,也是那几个车头让他说的 还有就是我对币安广场不熟悉,因为不知到那女的在排队的时候,下面的观众 比如那个深大高材生,王小二 冷静 会不会私信她,让他念着一句话 因为他既然可以收币发推特支持别人的代币,那么他就可以收钱帮别人念稿子 这里是她当时的录音,大家可以听听,看像不像是念稿子,感觉她自己都记不出来这一句台词,完全就是照本宣科,读稿子 我请问下 你踏马支持的基金 ,你说一句别人给你打币了,你就发推特了,然后装无辜,说你被骗了? 那别人被收割的人怎么办? 一群车头还在那里CTO,我真不知道这些狗杂种会有多少花样可以玩出来 不愧为一个烧鸡,只要给钱,什么事都可以干 干了还说自己不会玩推特,我真是笑死了 去尼玛的 不要P脸的人,还有就是那些几万粉丝的大V,真的是闻到味道就去了,看见钱就两眼冒金花 我怕是掉钱眼眼里面去了,跟到蛆儿子一样,看见洞洞就往里钻 一看就是割韭菜的 真的垃圾 我草泥马 王小二 冷静 mirro 几个杂种

喷子

27,019 views • 8 months ago