Loading video...
Video Failed to Load
Qwen 推理性能最高提升8倍! 这个 DFlash 前几天看到了,感觉就是以前的speculative decoding,结果今天看到有人加了 DDTree 技术。 实际就是把 speculative decoding 的单链 draft 变成树状draft + Tree Attention 一次验证 + 最长匹配 prefix commit。 目的是不让 draft 模型在 branching point 的预测被浪费, DFlash 每个 position 只留一个预测,DDTree 则保留多个,再让 target 模型一次看完挑哪个对。 直接让 Qwen3-30B-MoE 在 HumanEvalT 实现了 8.22 倍速度提升!
38,628 views • 2 months ago •via X (Twitter)
0 Comments
No comments available
Comments from the original post will appear here
Related Videos
0:12
Sensitive content
前天不是说看到一个洗浴城,有个很好的技师小姐姐嘛! 我昨天凌晨1点专门去找她,结果要排队等3小时,前面有个老哥一直加钟。 不死心的我,我昨天8点就去,对!我刚刚吃了晚饭和朋友酒吧都不去了,直接就去这家店了。 结果8点我都要排队,前面还有2个,还不一定保证前面有没有老哥会加钟。😂😂 然后我一听马上就走了(开玩笑等女朋友都不可能这么等),最后留了经理电话,经理说88号一般不接受电话预约,但是我跑了俩次,下次可以电话给她说,她来安排。 我都服气了,真的是 现在长得好看只能说有竞争力,关键是如果你长的好看 还有一技之长 那就很抢手了。 我就是被这个视频钓过去的🎣
墨鱼(:◎) |🐬TermMax
99,881 views • 2 months ago
