Video yükleniyor...
Video Yüklenemedi
Local LLM - V100環境 中古約35万円環境※でGLM-5.3-FlashがMaya v1.1.0でこれくらい動いたよ!☺️ Strata革命以降『主戦場はGPUのパワー勝負から、PC全体最適』へ。 なのに『X投稿には“ハードウェア構成が1部しか書いてない“から再現が難しい』ので、私の環境を詳しく書きました。騒音と消費電力(150Wで耐えられる音量に)、メモリチャネルも参考にしてください。 ※35万円構成は256GBから128GB分を除外した金額。見れば分りますがDDR4全振りでSSD性能捨ててますw チャッピー解説 中古Tesla V100 32GB×2+DDR4で、GLM-5.3-Flashに挑戦!🚀 約35万円構成のサーバーでProject Maya v1.1.0を検証。 ✅ DDR4を256GB→128GB(2133→2400 MT/s)に変更(マザーボードとCPUの限界のため抜きました泣) ✅ Decode:20.2→22.95 tok/s(約13.6%向上) ✅ 32K Prefill:552.9 tok/s(150W/枚) 旧世代GPUでも、メモリ構成の最適化で実用的な推論速度を確認できました!
38,955 görüntüleme • 19 gün önce •via X (Twitter)
13 Yorum

@Sonic_Iso

いいセットアップですね! GLM-5.3-Flashについて、もうすぐ詳しいポストを書きます!

お願いします!☺️ みんなで、もっと高速化しましょう

やー音がねぇ。。あと結局電気代いくらになりますやら

V100の消費電力は150W制限にしてますから、1台だと、RTX 3060の170W、RTX4060Ti の165W、RTX 5060 Tiの180Wより低い感じです。 V100 150W × 2枚なので300Wだと、RTX 5070 Tiの300Wぐらいですね😌

おー詳細に有り難うございます! 1日8時間稼働で電気代月2000円くらいぽい?(AI予想) あと、気になったのはHermesとかで運用する場合32kだと毎回圧縮はいりそう?てとこです💡 とりあえず羨ましいです(笑)

DDR4 is the way.

agree!

35万円の環境でこの結果なら、GPUスペック競争はもう終わりだな

Hey, i also want to run this model. i am new to strata and i can see when you used system RAM to offload some experts (which do not fit in VRAM) it will be faster with 2400 Mhz DDR4 frequency. But: Why does PREFILL speed INCREASE with PREFILL size? And would a better CPU help?

Hi, I am planning to upgrade CPU. Also ChatGPT said: - Why does the average tok/s increase with longer sequences? The prefill speed is calculated using the following formula: Prefill involves costs that do not scale linearly with the number of tokens, such as GPU kernel launching, expert preparation and transfer, and batch processing management. Mechanism by which fixed overhead is diluted (conceptual diagram)

やはり音が…。殻割りして水冷化も考えたけどそこまですべきかどうか…。

かなりiPhoneを近づけています。そしてツマミで風量もコントロールできるように。 まあ、そばに置いて使うファンじゃないのは、その通りですw
