快10倍！卷完 Decoding 开始卷 Prefill 了 之前的 DFlash 已经很惊艳了，竟然又搞了 PFlash...... DFlash 是在 Decoding 阶段用小模型进行 Speculative 来提速，但是对于超长 Context， Prefill 阶段的时间也会很久。PFlash (Speculative Prefill) 推测预填充，用同样的思路，让 Prefill 结算实现了最快 10x 的提速！赶紧试试 项目地址点击：

项目地址：

终于有人卷 prefill 了. Speculative decoding for generation is great, but when you drop 100k tokens of RAG context into a prompt, TTFT is what actually kills your latency budget.

Prefill比Decoding更卷，10x提速才是真突破。

这个意味着我的rx580又可以申请出战了吗

从 Decoding 加速卷到 Prefill 加速，这个趋势本身就在说明一件事：推理优化的重心正在从"生成得快"转向"准备得快"。长上下文场景下，Prefill 时间成了新的瓶颈，因为你要先把几万 token 塞进 KV cache 才能开始生成。Speculative Prefill 用小模型猜大模型要什么，本质上和 Speculative Decoding 是同一个思路：不改变大模型本身，用一个便宜的前哨去加速它。这是当前推理优化最务实的方向。

这提速太猛了，我的老显卡已经准备冒烟了。

prefill没人卷是因为效果不明显吧…本来就几百上千token/s提升10倍，对rps贡献度小于5%

Anything similar but for apple silicon ?

啥时候能让小显卡也能快速跑27b

Speculative prefill only wins if draft acceptance stays high. Otherwise you're burning FLOPs.

这技术有点意思，长上下文等半天确实急人，小模型先扫一遍大的再补刀，跟老司机先探路再开车一个理儿。

Prefill 才是真正拖后腿的，小模型 speculation 思路合理，效果实测如何

有点夸张了

Try it but with the LFM2 models 🗣️