Gezinmeyi atla
快10倍!卷完 Decoding 开始卷 Prefill 了
0:00 / 0:22

快10倍!卷完 Decoding 开始卷 Prefill 了

nash_su - e/acc

@nash_su20 B takipçi

X profili
319 beğeniİndirOrijinal gönderi

49.270 görüntüleme

快10倍!卷完 Decoding 开始卷 Prefill 了 之前的 DFlash 已经很惊艳了,竟然又搞了 PFlash...... DFlash 是在 Decoding 阶段用小模型进行 Speculative 来提速,但是对于超长 Context, Prefill 阶段的时间也会很久。PFlash (Speculative Prefill) 推测预填充,用同样的思路,让 Prefill 结算实现了最快 10x 的提速!赶紧试试 项目地址点击:

14 Yorum

Yorumlar X (Twitter) üzerindeki orijinal gönderiden alınmıştır

  • nash_su - e/acc profil fotoğrafı

    @nash_su

    项目地址:

    9 beğeni

  • Sakura Yuki profil fotoğrafı

    @sakurayukiai

    终于有人卷 prefill 了. Speculative decoding for generation is great, but when you drop 100k tokens of RAG context into a prompt, TTFT is what actually kills your latency budget.

    3 beğeni

  • 阿台🕊️ profil fotoğrafı

    @QT9277

    Prefill比Decoding更卷,10x提速才是真突破。

    1 beğeni

  • dan zeng profil fotoğrafı

    @danzeng94173760

    这个意味着我的rx580又可以申请出战了吗

    1 beğeni

  • 唐清乐 profil fotoğrafı

    @tangqingyue

    从 Decoding 加速卷到 Prefill 加速,这个趋势本身就在说明一件事:推理优化的重心正在从"生成得快"转向"准备得快"。长上下文场景下,Prefill 时间成了新的瓶颈,因为你要先把几万 token 塞进 KV cache 才能开始生成。Speculative Prefill 用小模型猜大模型要什么,本质上和 Speculative Decoding 是同一个思路:不改变大模型本身,用一个便宜的前哨去加速它。这是当前推理优化最务实的方向。

    1 beğeni

  • Adair Lee profil fotoğrafı

    @4111y80y

    这提速太猛了,我的老显卡已经准备冒烟了。

  • Alex_tu profil fotoğrafı

    @York_0831

    prefill没人卷是因为效果不明显吧…本来就几百上千token/s提升10倍,对rps贡献度小于5%

  • adisin profil fotoğrafı

    @adisin

    Anything similar but for apple silicon ?

  • 0xMomo profil fotoğrafı

    @0xmomonifty

    啥时候能让小显卡也能快速跑27b

  • Coffee fans profil fotoğrafı

    @aias_0

    Speculative prefill only wins if draft acceptance stays high. Otherwise you're burning FLOPs.

  • 火山哥🕊️ profil fotoğrafı

    @huoshan007

    这技术有点意思,长上下文等半天确实急人,小模型先扫一遍大的再补刀,跟老司机先探路再开车一个理儿。

  • yuyuyuyu52 profil fotoğrafı

    @joewill1082630

    Prefill 才是真正拖后腿的,小模型 speculation 思路合理,效果实测如何

  • xiuding profil fotoğrafı

    @byxiuding

    有点夸张了

  • human — e/acc profil fotoğrafı

    @0x0a4c73

    Try it but with the LFM2 models 🗣️