Video yükleniyor...
Video Yüklenemedi
【Apple Silicon激震!DFlashでAI推論が3.3倍速に爆速化】 最新のM5 Max環境でQwen3.5-9Bが驚異の「85 tok/s」を達成しました!🚀 秘密は「DFlash」による投機的デコード技術の導入です。 ・小さなドラフトモデルが言葉を16個分まとめて先読み生成(ブロック拡散) ・本体の大きなモデルがその内容を1回の処理で一括検証 MLXフレームワークを極限まで最適化し、GPUとCPU間の通信無駄を省く「同期エリジョン」により、量子化モデルでも2.5倍以上の高速化を実現しています。APIコストを気にせず、手元のMacで最新AIをサクサク動かせる最強のワークステーション環境が整いました!✨ #AppleSilicon #AI
19,916 görüntüleme • 3 ay önce •via X (Twitter)
0 Yorum
Yorum bulunmuyor
Orijinal gönderinin yorumları burada görünecek
