Video wird geladen...
Video konnte nicht geladen werden
快10倍!卷完 Decoding 开始卷 Prefill 了 之前的 DFlash 已经很惊艳了,竟然又搞了 PFlash...... DFlash 是在 Decoding 阶段用小模型进行 Speculative 来提速,但是对于超长 Context, Prefill 阶段的时间也会很久。PFlash (Speculative Prefill) 推测预填充,用同样的思路,让 Prefill 结算实现了最快 10x 的提速!赶紧试试 项目地址点击:
49,251 Aufrufe • vor 3 Monaten •via X (Twitter)
0 Kommentare
Keine Kommentare verfügbar
Kommentare vom Original-Post werden hier angezeigt
