Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

K3这记开源重锤太狠——2.8万亿参数、100万上下文、前端编程Arena登顶,单任务才0.94刀,是Opus 4.8的一半,直接把美国“闭源=高溢价API”的护城河砸出大洞,企业一算账就懒得为那点边际能力交几倍智商税了。 华尔街立马慌的是估值链:OpenAI/Anthropic的万亿故事靠“只有我能做”撑着,现在开源追到95%能力+本地部署零边际成本,AI基建ROI要重算,英伟达到港股模型股全被拖下水。说到底大模型是重资产、技术领先只是阶段性的,切换成本又极低,K3一出来就变“开源普惠+价格战”,闭源暴利时代算是被掀桌了

20,471 görüntüleme • 1 ay önce •via X (Twitter)

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

我操!Kimi.ai 月之暗面这波是真的疯了! 2.8T 参数的 K3 直接全权重开源就算了, 连推理内核、MoE 通信库、Agent 训练环境整套底层技术栈全给你端出来,硬生生把开源模型的天花板,直接抬到了闭源旗舰的家门口。 不是放个权重就炒开源概念的挤牙膏操作,是从模型到底层能跑起来生态的所有东西全白给,1M 长上下文、MoE 架构性能够打闭源, 之前天天喊开源追不上闭源的直接被打半残, 开发者再也不用对着闭源 API 的限流、涨价受窝囊气。 搞大模型的不用从零搭底层通信框架, 做 Agent 的不用卡闭源接口的脖子, 小团队也能基于全栈直接做二次开发, 从今天起,全球开源 AI 的游戏规则,真的改了。 今天之后,开源和闭源的代差,从两年砍到了半年。 Kimi K3 今天正式全开源,不是挤牙膏的版本更新。 2.8T 总参数 MoE, 激活 104B, 原生 100 万上下文。 靠 KDA 新注意力和 AttnRes 架构创新,单位算力智能密度直接提 2.5 倍,长上下文解码速度翻 6 倍。 最狠的是,这根本不是只放个权重的假开源。 FlashKDA 高性能内核,MoE 通信库,连用来做 Agent 强化学习的快照式训练环境 AgentENV, 全给你开源了。 从推理到训练的整个底层栈,直接搬空。 之前所有开源模型,本质都是在追闭源一年多前的尾巴。 这是第一个真正摸到闭源顶尖门槛的开放模型。 长编码、Agent、终端操作这些硬核任务, 已经能和第一梯队闭源掰手腕。 你永远可以相信开放的力量!! 用K3搓了一个他自己开源的介绍视频,特此致敬🫡

AYi

265,061 görüntüleme • 1 ay önce

Dario没有理由因为Kimi蒸馏Claude而生气。Anthropic自己刚刚才同意为盗版书籍训练模型一事,向相关作者支付总计15亿美元赔偿。平均下来,每一本被侵权的书大约赔偿3000美元。更有意思的是,Dario自己也承认,在百度工作的一年让他意识到,数据隐私并没有那么重要。当时他主要从事语音识别研究,而很多训练数据都是未经授权直接拿的。这段经历进一步强化了他对Scaling Law的信念。因此,自己干Anthropic之后,他们同样尽可能收集各种数据用于训练模型。 我认为,他真正气的并不是知识产权,而是这从根本上破坏了前沿AI实验室的商业模式。历史上,每一代最先进大模型的训练成本通常都会比上一代增长约4到10倍,甚至更多。例如,GPT-2的训练计算成本约为10万美元,而GPT-3已经达到约1000万美元,GPT-4的计算成本则约为1亿美元。这些数字还仅仅是算力成本,并没有包括研究人员薪酬、数据获取以及其他研发支出。因此,即使没有开源模型竞争,仅靠API收费模式,要获得正向投资回报也变得越来越困难,因为模型性能提升正在放缓,而训练成本却持续飙升。 如今,开源模型通过蒸馏技术,大约只需要6个月就能追赶到最先进闭源模型的水平。这意味着OpenAI、Anthropic等前沿实验室,实际上只有约半年的时间,依靠最新模型尽可能创造收入。半年之后,就会出现性能达到其90%,但成本只有10%的开源替代方案。 越来越多的美国企业也已经意识到,最顶尖模型带来的那一点性能优势,并不足以支撑其高昂的价格,因此开始转向成本更低的中国开源模型。就连Sam Altman的铁哥们儿Brian Chesky,公开说在Airbnb的部分AI开发中也采用了阿里的千问,而不是ChatGPT。

GeLun Ding

63,272 görüntüleme • 1 ay önce