A-Uta
@UtaAoya • 3,193 subscribers
ローカルAIロボットクリエイター。 個人PCでLocal LLMとマイコンを組合せて試作の毎日。 RTX 5070 Ti / EVO-X2 / M5Stack / Stack-chan Minimal (ミニマル) LLM速度・設定・失敗例・再現条件やロボット制御を公開してます
Shorts
Videos
Local LLM - V100環境 中古約35万円環境※でGLM-5.3-FlashがMaya v1.1.0でこれくらい動いたよ！☺️ Strata革命以降『主戦場はGPUのパワー勝負から、PC全体最適』へ。 なのに『X投稿には“ハードウェア構成が1部しか書いてない“から再現が難しい』ので、私の環境を詳しく書きました。騒音と消費電力(150Wで耐えられる音量に)、メモリチャネルも参考にしてください。 ※35万円構成は256GBから128GB分を除外した金額。見れば分りますがDDR4全振りでSSD性能捨ててますw チャッピー解説 中古Tesla V100 32GB×2＋DDR4で、GLM-5.3-Flashに挑戦！🚀 約35万円構成のサーバーでProject Maya v1.1.0を検証。 ✅ DDR4を256GB→128GB（2133→2400 MT/s）に変更(マザーボードとCPUの限界のため抜きました泣) ✅ Decode：20.2→22.95 tok/s（約13.6%向上） ✅ 32K Prefill：552.9 tok/s（150W/枚） 旧世代GPUでも、メモリ構成の最適化で実用的な推論速度を確認できました！
A-Uta38,955 views • 19 days ago
No more content to load