
Hux
@huxlab • 1,563 subscribers
👨💻 前阿里技术专家 x 8年大厂技术管理 | AI Builder 🎯 注重Taste,分享AI高质量实践和深度认知
Shorts
Videos

这是Kimi K3开源后我见过最狠的帖子。 一个Baseten的工程师,花48小时喝了40罐气泡水,把Kimi K3的建模代码扒了个底朝天。 一个模型里塞进了22580个2019年的GPT-2。 七年时间参数涨了两万两千多倍, 但这根本不是靠堆参数堆出来的。 从GPT-2 → 线性注意力 → DeltaNet → 门控DeltaNet → Kimi自己的KDA, 每一步都在精准解决上一代的具体bug。 这才是开源最可怕的地方: 代码放出来第一天,全世界最聪明的人已经帮你把七年技术脉络理得明明白白。 闭源永远享受不到这个待遇。
Hux1,125,645 просмотров • 9 дней назад
Больше нет контента для загрузки