RadixArkのQwen3.8-Flash-Next-NVFP4 つかってFreeTokenをcodexで改造してやっと良きスピード出た Activeが小さいからそれなりに速度出た RAM DDR5 8ch GPU - RTX5090... x1 Prefill 277.5 tok/s Decode 59.13 tok/s - RTX5090 x2 Prefill 619.5 tok/s Decode 83.14 tok/sshow more

Nemotron-3-Ultra running on 4x 6000s edits my latest demo... video.. - 75 tok/s decode - 8x concurrency - 256k context - 899 tok/s prefill - 20k tok/s prefill cache - NVFP4 Setting it up to be my Hermes driver. It's good enough at most things and doesn't talk like a moron.show more

GLM-5.1-478B-NVFP4 Running on: - 4x RTX Pro 6000 -... Sglang - 370,000 max tokens (1.75x full context) - p10 27.7 | p90 45.6 tok/s decode (gen) - 1340 tok/s prefill I could get 2x decode if I limit to 64k context (100 tok/s) In this video it operates Figma (:show more

Running a local agent 24/7 until it successfully gets... paid for a security bug bounty Qwen3.8-27B - intel arc b70 - 262k context - vision - 60 tok/s decode - 1500-6000 tok/s prefillshow more

DeepSeek-V4-Flash-DSpark on 4x RTX PRO 6000、かなり良いところまで来た。 - Single inference:... ~328 tok/s - Batch throughput: ~1.7k tok/sshow more

今日地元の LLM ディスコで教わった、Qwen3.8 Flash Next を高速に動かすことに特化した謎の有志開発エンジン わいの 5090 +... DDR5 128GB 環境 llama.cpp で 30tok/s くらいしか出てなかったのが 使うだけでいきなり 100tok/s 出て横転 llama.cpp 側の設定チューニングとか何もやってないから完全にはフェアではないかもしれんけど しかし 100tok/s 出たらもう体感としてはオンラインモデルの応答くらいの速さで表示されてるようには見えるからなぁ flash next 専用でオフライン開発環境を固めちゃうのもアリな気がしてきたな、、show more

Qwen3.8-Flash-NextをRTX5090 + RAM 128GBで動かしてみてます。 そこそこ早そうで良きかな

You can now run Qwen3.8-27B in full BF16 on... a free Kaggle TPU. - with about 130 tok/s decode, - 10k tok/s prefill, - Native 262k context. - No quantization. - No paid GPU. - Measured on TPU v5e-8 It also exposes an OpenAI-compatible endpoint, so it plugs into Claude Code, Codex, and OpenCode.show more

I put MCDMA through its paces today and tested... Qwen 3.8 Flash Next on my dual Spark / Mac Studio cluster. My first test was disaggregated prefill across my two Sparks, then decode onto my Studio. PP 2,100 tok/s Decode 80 tok/s at 20k context, higher on short replies. That's faster than either machine manages on its own: the Studio alone prefills at about 1,200 tok/s, and the Sparks alone decode at 35 to 65. 🤯 Mac prefill has always been way behind the Sparks; now I get the best of both worlds with the hardware I currently have.show more

125B on a single RTX 4090 at 25 tok/s... is actually insane Qwen3.8-Flash-Next + MTP is hitting: 80K context 25.35 tok/s decode 471 tok/s prefill On one consumer GPU. Yes, it’s an MoE, so you’re not running all 125B parameters for every token. But still, getting a model this large to run this fast on a 4090 is wild. MTP is doing a lot of the heavy lifting here too. Instead of generating one token at a time, it can speculate on multiple tokens and verify them together. And 25 tok/s is the important number.show more

Local LLM - V100環境 中古約35万円環境※でGLM-5.3-FlashがMaya v1.1.0でこれくらい動いたよ！☺️ Strata革命以降『主戦場はGPUのパワー勝負から、PC全体最適』へ。 なのに『X投稿には“ハードウェア構成が1部しか書いてない“から再現が難しい』ので、私の環境を詳しく書きました。騒音と消費電力(150Wで耐えられる音量に)、メモリチャネルも参考にしてください。 ※35万円構成は256GBから128GB分を除外した金額。見れば分りますがDDR4全振りでSSD性能捨ててますw... チャッピー解説 中古Tesla V100 32GB×2＋DDR4で、GLM-5.3-Flashに挑戦！🚀 約35万円構成のサーバーでProject Maya v1.1.0を検証。 ✅ DDR4を256GB→128GB（2133→2400 MT/s）に変更(マザーボードとCPUの限界のため抜きました泣) ✅ Decode：20.2→22.95 tok/s（約13.6%向上） ✅ 32K Prefill：552.9 tok/s（150W/枚） 旧世代GPUでも、メモリ構成の最適化で実用的な推論速度を確認できました！show more

Meet Wally. Our inference stack for open frontier models,... built to be the fastest place to run them. Performance snapshot: GLM-5.3 Flash: 380 tok/s. GLM-5.3 Max: 790 tok/s Qwen3.8-27B: 485 tok/s DeepSeek-V4.1 Flash: 615 tok/s 1/7show more

GLM 4.7 Flash is supported in mlx-lm 0.30.3 (h/t... Ivan Fioravanti ᯅ) The 4-bit runs fast (43 tok/s generation, ~800 tok/s prefill) on a base M5 32GB laptop.show more

Qwen3.8 Next Flash UD-IQ3_XXS ~1 hour + 117k total... tokens RTX5090 + R9 9950X on 96GB DDR5 Decode falls from 50 tps to low 20's above 40k ctx window whilst prefill holds around 400-700 tps - no drafters. Never got to hit reasoning budget (max set 107k). Flags below.show more

Everyone's comparing the DGX Spark to a 5090 and... calling it slow. I think that's the wrong comparison. I ran Qwen3.6 35B-A3B FP8 with the full 262K context window enabled (~96GB RAM) — something gaming GPUs can't really do. Results: 🟢No context: 51.3 tok/s, TTFT 110ms 🟣200K prefill: 34.6 tok/s, TTFT 85s (~2,341 tok/s prefill) Prefill is way faster than a Mac. And 35 tok/s deep into 200K context, on a model this strong, is genuinely usable. The Spark plays a different game.show more

お立ち台でいつものやつをやってたら、CHAGE and ASKAのYAH YAH YAH が流れてたから飛鳥になりきってたドアラさん🤭いったんやめたかと思ったら、サビで今度はダチョウ倶楽部のヤー！を繰り出した🤣🤣🤣 #ドアラ

わあ！本当に知久寿焼さんが出演！！！ 元たまのといったらいいのか、パスカルズメンバーっていったらいいのか。 「故郷から東京に出てきて、高円寺にずっと住んでるんだけど、いい区長さんが誕生して良かった」スピーチ。 そしていきなり「セシウムと少女」歌ってくれた！！！大好きな歌。

出かけたついでにドスパラさんとツクモさんに寄ってRTX5090の値段を見てきました。 Amazonより10万以上は安く購入できる 欲しいです🥺 MiniMaxH3

さて、夏終わり頃の涼しくなった時期にでも平成ナイトをもう一度やりませんか。。？ だいぶ業界の人間が入れ替わっても未だに平成仕様が小さく流行ってるらしいので、新たな交流の目的と“かっこいい90's&00's”を盛り上げるために業界を底上げしたいです🙇‍♂️