Loading video...

Video Failed to Load

Go Home

Qwen 推理性能最高提升8倍! 这个 DFlash 前几天看到了,感觉就是以前的speculative decoding,结果今天看到有人加了 DDTree 技术。 实际就是把 speculative decoding 的单链 draft 变成树状draft + Tree Attention 一次验证 + 最长匹配 prefix commit。 目的是不让 draft 模型在 branching point 的预测被浪费, DFlash 每个 position 只留一个预测,DDTree 则保留多个,再让 target 模型一次看完挑哪个对。 直接让 Qwen3-30B-MoE 在 HumanEvalT 实现了 8.22 倍速度提升!

38,628 views • 2 months ago •via X (Twitter)

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

MiMo推出1000 Token/s超高速模型|体验测评 MiMo 推出了 MiMo V2.5 Pro UltraSpeed 超高速的模型版本,能够实现每秒输出超过 1,000 Token 的速度。 同时,这应该也是全球第一个达到这个速度的万亿(1T)参数模型。 藏师傅提前试了一下,做了三个测试,确实爽。 第一个跑了一个比较复杂的 3D 采矿小游戏测试。在没有素材的情况下,我让它全部用 Three.js 前端代码来生成素材。整体要求比较完整,虽然第一次实践时出了一些小问题,但在跟他沟通修改建议后,非常完美地实现了任务。 这次测试的各项指标如下:思考的 TPS:804 Token/s,峰值速度:810 Token/s,首次响应时间:4.71 秒。 第二个测试给了一个官网,其头部包含一个相对复杂的 3D 动画。 这次的输出速度快了非常多:峰值达到了 1426 Token/s,首次响应只用了 0.83 秒,在 32 秒内输出了 25624 个 Token,总计生成了 1000 行代码。 第三个测试给了一个更复杂的官网。我要求这个官网的 Header 头部包含以下 3D 效果:地球边缘、轨道上的飞船、星际尘埃、航线图、舷窗的 HUD 样式。 这个效果非常好,整体的视觉样式、状态、SVG 动画和驾驶卡片都非常精细,还有滚动的视差效果 这个输出的 TPS 达到了 1136 tokens/s,首次响应是 4.5 秒 官方测试平台下面有个数据展示,会显示相关信息 在流式输出的情况下,当你看着它只用 20 秒就产生一个非常复杂的 3D 游戏时,那种场景还是比较震撼的 之前的这些(比如说 Groq 之类的)超高速推理方案,在模型能力或者是整体水平上都会有所下降,但是 MiMo 这个在测试的时候,我没有看到这种迹象 最近很多公司都开始推出这种超高速的 API 服务,比如之前 OpenAI 和 Anthropic 都有 Fast 模式 在 Agent 场景下,模型输出效率的提升会直接带动每一步 Agent 操作的效率: 如果一个任务预估一分钟完成,你就会盯着它直到结束,然后立刻投入测试。如果需要五分钟才完成,你可能就会去干别的事,然后再回来看,难免会浪费一些时间 这种效率提升在 Sub-Agent 和并发场景下更加明显。因为它可以更快地产出大量结果,想象一下,如果同时启动一两百个 Sub-Agent,在模型能力没有衰减的前提下,速度提高 10 倍,体验是非常爽的 毕竟这本质上是面向那种对效率有极高要求的 To B 客户所推出的 希望后面大家卷起来,优化一下成本,让普通用户也能放开用这种 UltraSpeed 模型

歸藏(guizang.ai)

26,791 views • 28 days ago

说个暴论,你的审美和品味就是你的提示词,并决定了你使用AI的上限。 咱们看看这个案例, 零游戏开发经验,两周时间, 一个人,做出了一个完整可玩的3D外卖配送游戏🆒 主角是一只戴粉色头盔的卡皮巴拉, 骑着电动车在城市里穿梭接单, 订单会真实堆叠在后座,掉了就会失败, 还有完整的手机App导航和超市捡货系统, 很多人看完第一反应都是AI太厉害了,但其实并不是是AI的胜利, 本质是人类品味的胜利, 他没写几行代码, 所有的逻辑模型贴图音乐音效, 全都是AI生成的, 他只做了3件事, 1️⃣告诉AI我想要一个卡皮巴拉送外卖的游戏, 2️⃣然后在AI生成的一万个版本里, 3️⃣选出那个看起来最好玩的, 最后花两周时间一点点打磨细节, 调参数摆道具改手感, 其实这就是现在大家说的vibe coding, 让AI接管了所有的执行层, 人类只需要负责方向和品味, 以前你得学会编程建模配乐剪辑, 才能做出一个游戏, 现在你只需要知道, 什么东西是好的, 很多人说这是作弊, 但这才是真正的创意民主化呀, 一年前需要一个小团队干几个月的活, 现在一个普通人两周就能搞定, 我相信未来会有无数这样的作品冒出来,创意会比技术重要一百倍甚至更多。 这也回答了那个很多人都在问的问题, AI时代人类到底还有什么用❓ AI确实能生成一切, 但它不知道的是 什么东西看起来舒服, 什么东西玩起来爽, 什么东西能让人会心一笑, 比如那些纯AI生成的游戏为什么不好玩, 因为它们只有技术,没有灵魂, 那什么是灵魂呢? 我理解灵魂就是那个站在AI背后, 做每一个微小选择的人, 就是那个知道什么时候该停手, 什么时候该再改一下的人, 而且我觉得这只是一个开始, 今天是浏览器3D游戏, 那明天可能就是完整的App, 后天甚至是3A级别的游戏原型, 我们正在见证一个全新的创作时代, 任何人都能把自己的脑洞, 变成真正的产品, 游戏链接放在评论区了, 直接浏览器打开就能玩, 建议大家去试试, 你会真切地感受到, 那个属于普通人的创作黄金时代, 真的已经来了! #AI #游戏开发 #vibecoding

阿绎 AYi

12,095 views • 2 months ago

玩币的过年坐小孩那桌! 截止目前,上证连着第18个阳,反观加密近30天的恐惧指数有28天低于40。 有这样一种感觉:你打开一个新的应用,点了几下,突然发现——“嘿,这比我想象中顺手多了!” 真正让人愿意重复进入一个产品的,并不是一堆炫酷的功能,而是细节上的 “无感优化”、行为路径上的 连贯性提升。这些项目正在悄悄做的,正是这种让体验变得自然的改进。 Spaace 🟠 — NFT 不只是市场,而是用户体验的“积木场” Spaace 走得不是那种一次性爆发交易量的路线,而是在逐步把 NFT 交易转变为一种可持续参与的行为链条。在它的生态里,每一次挂单、浏览、任务参与不仅能获得奖励,还会形成一个更连贯的用户轨迹。你不再是“来一次、走一次”的游客,而是一个在生态里慢慢“成长”的参与者——这让 NFT 使用不再像一笔单一操作,而像一个可以反复进入、反复体验的互动空间。 Veera — 让链上入口变成你愿意点开的“探索入口” Veera 的方向并不只是做一个钱包,它试图把 Web3 的入口从命令式的“按钮堆栈”变成一种更像信息流的自然浏览感。你打开它,不是看到一墙按钮,而是像打开一个可以滑动、查看和探索的界面。这种把“入口”变成“探索空间”的思路,让用户从“被迫了解复杂操作”转向“顺手发现有趣内容”的习惯性行为,这对提高留存和用户连续参与是非常重要的一步。 MagicBlock ✨⬜ — 把实时体验和可扩展性带到链上应用 MagicBlock 是一个基于 Solana 的实时执行引擎,目标是让链上应用具备Web2 级的交互性能,并且保持去中心化的安全性。它使用 Ephemeral Rollups 技术,在不拆分状态的前提下提供极低延迟、几乎零手续费的执行环境,这适合实时游戏、DeFi 以及需要高频交互的场景。其设计让开发者不再为性能牺牲链上特性,同时也极大提升了用户“无延迟感”的体验可能性。 除了技术本身,MagicBlock 还在孵化器层面发力,吸引开发者来构建更具创意和实时性质的应用,这让生态不仅是底层引擎,更成为创新场景的催化器。 Altura — 资产不再只是标签,而是可调用的“行为构件” Alturax 的核心变化在于,它让链上资产具备更强的生态参与能力:不是只有买和卖的逻辑,而是一种资产在不同协议与玩法之间调用的能力。资产不再是静止的符号,而是可以参与多种逻辑、被策略调用的构建块。这种思路让资产在链上进一步融入生态协同,而不是只能在市场上看价格。 Konnex — 把现实世界的任务纳入链上协作图谱 Konnex 的有趣点在于:它不单是一个链上协议,而是试图把现实世界的不确定性直接带进链上。在它的构想中,机器人、自动化系统和协议之间可以协作,通过链上可验证的数据完成现实任务的结算 —— 使得现实世界的执行与去中心化结算建立起一种可验证的信任。 这是 Web3 往现实落地迈出的一步,不再把链上交互限定在数字资产,而是融入实体世界的执行逻辑之中。

搞子(明日香版)🕊️|🐬TermMax

102,534 views • 5 months ago