快10倍!卷完 Decoding 开始卷 Prefill 了
@nash_su20 B takipçi
49.270 görüntüleme
14 Yorum
Yorumlar X (Twitter) üzerindeki orijinal gönderiden alınmıştır

@nash_su
项目地址:
9 beğeni

@sakurayukiai
终于有人卷 prefill 了. Speculative decoding for generation is great, but when you drop 100k tokens of RAG context into a prompt, TTFT is what actually kills your latency budget.
3 beğeni

@QT9277
Prefill比Decoding更卷,10x提速才是真突破。
1 beğeni

@danzeng94173760
这个意味着我的rx580又可以申请出战了吗
1 beğeni

@tangqingyue
从 Decoding 加速卷到 Prefill 加速,这个趋势本身就在说明一件事:推理优化的重心正在从"生成得快"转向"准备得快"。长上下文场景下,Prefill 时间成了新的瓶颈,因为你要先把几万 token 塞进 KV cache 才能开始生成。Speculative Prefill 用小模型猜大模型要什么,本质上和 Speculative Decoding 是同一个思路:不改变大模型本身,用一个便宜的前哨去加速它。这是当前推理优化最务实的方向。
1 beğeni

@4111y80y
这提速太猛了,我的老显卡已经准备冒烟了。

@York_0831
prefill没人卷是因为效果不明显吧…本来就几百上千token/s提升10倍,对rps贡献度小于5%

@adisin
Anything similar but for apple silicon ?

@0xmomonifty
啥时候能让小显卡也能快速跑27b

@aias_0
Speculative prefill only wins if draft acceptance stays high. Otherwise you're burning FLOPs.

@huoshan007
这技术有点意思,长上下文等半天确实急人,小模型先扫一遍大的再补刀,跟老司机先探路再开车一个理儿。

@joewill1082630
Prefill 才是真正拖后腿的,小模型 speculation 思路合理,效果实测如何

@byxiuding
有点夸张了

@0x0a4c73
Try it but with the LFM2 models 🗣️