这是Kimi.ai K3开源后我见过最狠的帖子。 一个Baseten的工程师，ali(gnment) 老哥花48小时喝了40罐气泡水，把K3的建模代码扒了个底朝天。 128万浏览，6000多收藏， 最后得出一个结论， 一个K3里能塞下22580个2019年的GPT-2， 七年时间参数涨了两万两千多倍， 但这根本不是堆参数堆出来的。 从GPT-2到线性注意力，到DeltaNet，到门控DeltaNet，再到Kimi自己的KDA注意力。 每一步迭代，都在精准解决上一代的具体bug。 内存不够，信息干扰， 无法选择性遗忘，残差稀释， 没有一步是多余的。 这才是开源最可怕的地方啊兄弟们， 代码放出来第一天， 全世界最聪明的工程师， 已经在帮你把七年的技术脉络理得明明白白， 而你的闭源模型，永远享受不到这个待遇。

原帖作者@waterloo_intern 是滑铁卢的实习生，现在在Baseten做推理，这篇长文是目前我见过最好的Transformer演化讲解，没有之一！

@Kimi_Moonshot @waterloo_intern 开源的威力真是离谱啊 不是把答案交出去，是把全世界都拉进来一起破案。

@Kimi_Moonshot @waterloo_intern 对啊，你永远可以相信开放的力量

@Kimi_Moonshot @waterloo_intern 开源不到 24 小时，就研究 48 小时了，比起 k3，还是时间压缩技术更值得分享

@Kimi_Moonshot @waterloo_intern yet another reminder that great things aren't created with the snap of a finger congratulate him on this piece, deserves it

@Kimi_Moonshot @waterloo_intern yeah，Exactly👍

@Kimi_Moonshot @waterloo_intern 参数涨两万倍但真正的进步是每代架构精准解决上一代瓶颈，这种代际效率提升比堆参数更有意义 🔥 开源加速了整个过程的透明化。

@Kimi_Moonshot @waterloo_intern 这就是开源的正确反馈，代码放出来第一天，全世界最聪明的工程师， 帮你把七年的技术脉络理得明明白白

@Kimi_Moonshot @waterloo_intern 重點是48小時喝了40罐氣泡水

@Kimi_Moonshot @waterloo_intern 哈哈，会抓重点呀bro

@Kimi_Moonshot @waterloo_intern 开源也是被形势逼的。在这个市场上，对手比你优秀，比你有话语权，你得证明自己跟对手旗鼓相当。

@Kimi_Moonshot @waterloo_intern 是这样，就是被迫的，不开源没人用

@Kimi_Moonshot @waterloo_intern 这就是利用全世界的智慧进步，根本不是某几个公司能妄想垄断的

@Kimi_Moonshot @waterloo_intern 等大家分析得明明白白了，闭源模型不是可以直接“拿来”

@Kimi_Moonshot @waterloo_intern 这就是开源的优势啊，模型一放出来，全球工程师帮你拆得明明白白，技术路径直接捋得清清楚楚。反观闭源只能自己闷头啃，对比太明显了，这次扒K3也算是给行业把大模型七年的进化思路梳理得很透彻了。

@Kimi_Moonshot @waterloo_intern 今天学习

@Kimi_Moonshot @waterloo_intern That's impressive. And it's transparent and progressive.

@Kimi_Moonshot @waterloo_intern 48小时喝了40瓶汽水，不会得糖尿病吗？

@Kimi_Moonshot @waterloo_intern Lacroix,不同口味成分不同，人工添加剂也不同，这么海喝肯定伤肾

@Kimi_Moonshot @waterloo_intern 闭源模型会不会来抄袭，不对，是直接蒸馏KIMI K3？@grok

@Kimi_Moonshot @waterloo_intern @grok 一起来看看。你觉得怎样？

@Kimi_Moonshot @waterloo_intern 還得是工人智慧

@Kimi_Moonshot @waterloo_intern 不是咖啡吗😂

@Kimi_Moonshot @waterloo_intern 为什么这么喜欢喝气泡水？

@Kimi_Moonshot @waterloo_intern it's pointless. AI can do that in 5 minutes. what a waste of time and literally gross

@Kimi_Moonshot @waterloo_intern Kimi K3’s real story is not 22,000x more parameters, it is the seven years of architectural fixes underneath them. We wrote about it in @TheUpsideAI recently

@Kimi_Moonshot @waterloo_intern 快 发狗粮哦

@Kimi_Moonshot @waterloo_intern 气泡水是汽水么？

@Kimi_Moonshot @waterloo_intern 同一周英文圈至少三份 K3 拆解，可以对照看：Sebastian Raschka 的架构笔记、doubleword 讲 DeltaNet 家族演进那篇（标题就叫"你也能想出 KDA"）、还有 Kimi Linear 原论文。HN 上都是 300 分上下。

@Kimi_Moonshot @waterloo_intern Open source is basically free archaeology. With energy drinks and suspicious sleep schedules. Closed labs could never buy that chaos.

@Kimi_Moonshot @waterloo_intern 这不是… 而是… 这才是最… 太可怕了兄弟们… 而你… Fucking dumbass gptslop get out of my fucking feed

@Kimi_Moonshot @waterloo_intern 也许是他们根本就不需要。

@Kimi_Moonshot @waterloo_intern 「闭源模型，永远享受不到这个待遇」说得好！

@Kimi_Moonshot @waterloo_intern so impressed with the greatest minds of this generation man i feel dumb

@Kimi_Moonshot @waterloo_intern 开源不到24小时，研究了48小时 时间仙人，气泡水仙人

@Kimi_Moonshot @waterloo_intern 这太猛了吧

@Kimi_Moonshot @waterloo_intern Can we stop with all this performative stuff. You have Linkedin for all this.

@Kimi_Moonshot @waterloo_intern 我看不懂🤪@grok

@Kimi_Moonshot @waterloo_intern 大きなブレイクスルーに見えても 実際は小さな改善の積み重ねなんですね