Video wird geladen...
Video konnte nicht geladen werden
喵的太魔幻了,有点 Claude 干翻 Google 的感觉😂 这个程序员老哥 Tom Turney只用7天,就把谷歌砸翻全球内存股的十亿级算法,干成了比官方承诺还快的开源实现, 谷歌只发了颠覆性的KV缓存压缩论文,半行代码都没放出来, Tom Turney啃完论文里的数学公式,打开终端靠着Claude辅助, 7天就走完了大厂几个月的路, 前三天写完核心算法, 搭好141个测试用例, 跑通Python原型, 中间两天直接移植到llama.cpp, 写完Metal GPU内核, 最后两天疯狂优化, 把推理速度从739 tok/s干到了2747 tok/s, 纯工程优化就实现了3.7倍的提速, 他还在谷歌的方案上, 加了三项自己的研究创新, 长上下文跳过90%的value解压, 非对称K/V压缩保留key精度狠压value,老token自动降低精度, 最终成果是35B大模型,在普通MacBook上就能流畅跑,KV缓存直接压缩4.6倍,开源仓库上线一周就拿到613个星标,而谷歌到现在, 都没放出自己的官方代码, 说实话,这才是2026年最真实的写照,一个普通人加AI,就能把大厂攥在手里的核心技术,直接干成人人能用的开源工具,真的牛逼🤙 github 地址评论区自取👇
520,738 Aufrufe • vor 3 Monaten •via X (Twitter)
0 Kommentare
Keine Kommentare verfügbar
Kommentare vom Original-Post werden hier angezeigt
