Video wird geladen...
Video konnte nicht geladen werden
【Apple Silicon激震!DFlashでAI推論が3.3倍速に爆速化】 最新のM5 Max環境でQwen3.5-9Bが驚異の「85 tok/s」を達成しました!🚀 秘密は「DFlash」による投機的デコード技術の導入です。 ・小さなドラフトモデルが言葉を16個分まとめて先読み生成(ブロック拡散) ・本体の大きなモデルがその内容を1回の処理で一括検証 MLXフレームワークを極限まで最適化し、GPUとCPU間の通信無駄を省く「同期エリジョン」により、量子化モデルでも2.5倍以上の高速化を実現しています。APIコストを気にせず、手元のMacで最新AIをサクサク動かせる最強のワークステーション環境が整いました!✨ #AppleSilicon #AI
19,916 Aufrufe • vor 4 Monaten •via X (Twitter)
0 Kommentare
Keine Kommentare verfügbar
Kommentare vom Original-Post werden hier angezeigt
