Загрузка видео...

Не удалось загрузить видео

Возникла проблема при загрузке этого видео. Это может быть связано с временными проблемами сети или видео может быть недоступно.

На главную

RadixArkのQwen3.8-Flash-Next-NVFP4 つかってFreeTokenをcodexで改造してやっと良きスピード出た Activeが小さいからそれなりに速度出た RAM DDR5 8ch GPU - RTX5090 x1 Prefill 277.5 tok/s Decode 59.13 tok/s - RTX5090 x2 Prefill 619.5 tok/s Decode 83.14 tok/s

ぱぷりか炒め

1,674 subscribers

27,962 просмотров • 2 месяцев назад •via X (Twitter)

Наука и технологии

Anya Rossi• Live Now

Private livecam show

Комментарии: 6

Фото профиля ぱぷりか炒め

ぱぷりか炒め2 месяцев назад

qwen4exp用改造FreeToken

Фото профиля 金のニワトリ

金のニワトリ2 месяцев назад

デコード速度速いですね！vllmを改造してRTX PRO 6000 + 128GBメモリで動かしたときは22tpsぐらいしかでませんでした動画を見る感じ、メインメモリは〜140GB程度消費する感じですかね。。。

Фото профиля ぱぷりか炒め

ぱぷりか炒め2 месяцев назад

ありがとうございます！自分もそのくらいのtpsでぐるぐるしてたんですが、あのngram周りをRAM側にして処理〜あたり整理したらグッと速くなった感じでしたメモリは自分の環境だとシステム全体で140GBですが、expertsの分乗ってるだけなんで、RTX PRO 6000ならVRAM96GBあるのでもっと少なくできるかもな気もします

Фото профиля 金のニワトリ

金のニワトリ2 месяцев назад

ありがとうございます！私も色々と試してみます。あと実用上はコンテキストどれくらいのっけられるのかとか、並列化したときのスループットがどれくらいなのかとかも重要になってきそうですね。このあたりも検証予定です

Фото профиля ぱぷりか炒め

ぱぷりか炒め2 месяцев назад

うおお並列化忘れてました… vllmベース良さげですね

Фото профиля Pedro Moser

Pedro Moser2 месяцев назад

Nice! I was trying to do that for the gguf q4, but ran out of tokens on gpt sol :~

Похожие видео

Nemotron-3-Ultra running on 4x 6000s edits my latest demo video.. - 75 tok/s decode - 8x concurrency - 256k context - 899 tok/s prefill - 20k tok/s prefill cache - NVFP4 Setting it up to be my Hermes driver. It's good enough at most things and doesn't talk like a moron.

Nemotron-3-Ultra running on 4x 6000s edits my latest demo video.. - 75 tok/s decode - 8x concurrency - 256k context - 899 tok/s prefill - 20k tok/s prefill cache - NVFP4 Setting it up to be my Hermes driver. It's good enough at most things and doesn't talk like a moron.

0xSero

15,674 просмотров • 4 месяцев назад

GLM-5.1-478B-NVFP4 Running on: - 4x RTX Pro 6000 - Sglang - 370,000 max tokens (1.75x full context) - p10 27.7 | p90 45.6 tok/s decode (gen) - 1340 tok/s prefill I could get 2x decode if I limit to 64k context (100 tok/s) In this video it operates Figma (:

GLM-5.1-478B-NVFP4 Running on: - 4x RTX Pro 6000 - Sglang - 370,000 max tokens (1.75x full context) - p10 27.7 | p90 45.6 tok/s decode (gen) - 1340 tok/s prefill I could get 2x decode if I limit to 64k context (100 tok/s) In this video it operates Figma (:

0xSero

78,863 просмотров • 6 месяцев назад

Running a local agent 24/7 until it successfully gets paid for a security bug bounty Qwen3.8-27B - intel arc b70 - 262k context - vision - 60 tok/s decode - 1500-6000 tok/s prefill

Running a local agent 24/7 until it successfully gets paid for a security bug bounty Qwen3.8-27B - intel arc b70 - 262k context - vision - 60 tok/s decode - 1500-6000 tok/s prefill

0xSero

191,892 просмотров • 25 дней назад

DeepSeek-V4-Flash-DSpark on 4x RTX PRO 6000、かなり良いところまで来た。 - Single inference: ~328 tok/s - Batch throughput: ~1.7k tok/s

DeepSeek-V4-Flash-DSpark on 4x RTX PRO 6000、かなり良いところまで来た。 - Single inference: ~328 tok/s - Batch throughput: ~1.7k tok/s

AI✖️Satoshi⏩️

34,521 просмотров • 3 месяцев назад

今日地元の LLM ディスコで教わった、Qwen3.8 Flash Next を高速に動かすことに特化した謎の有志開発エンジンわいの 5090 + DDR5 128GB 環境 llama.cpp で 30tok/s くらいしか出てなかったのが使うだけでいきなり 100tok/s 出て横転 llama.cpp 側の設定チューニングとか何もやってないから完全にはフェアではないかもしれんけどしかし 100tok/s 出たらもう体感としてはオンラインモデルの応答くらいの速さで表示されてるようには見えるからなぁ flash next 専用でオフライン開発環境を固めちゃうのもアリな気がしてきたな、、

今日地元の LLM ディスコで教わった、Qwen3.8 Flash Next を高速に動かすことに特化した謎の有志開発エンジンわいの 5090 + DDR5 128GB 環境 llama.cpp で 30tok/s くらいしか出てなかったのが使うだけでいきなり 100tok/s 出て横転 llama.cpp 側の設定チューニングとか何もやってないから完全にはフェアではないかもしれんけどしかし 100tok/s 出たらもう体感としてはオンラインモデルの応答くらいの速さで表示されてるようには見えるからなぁ flash next 専用でオフライン開発環境を固めちゃうのもアリな気がしてきたな、、

jun

126,076 просмотров • 28 дней назад

Qwen3.8-Flash-NextをRTX5090 + RAM 128GBで動かしてみてます。そこそこ早そうで良きかな

Qwen3.8-Flash-NextをRTX5090 + RAM 128GBで動かしてみてます。そこそこ早そうで良きかな

ほーりーふぉっくす

47,387 просмотров • 1 месяц назад

You can now run Qwen3.8-27B in full BF16 on a free Kaggle TPU. - with about 130 tok/s decode, - 10k tok/s prefill, - Native 262k context. - No quantization. - No paid GPU. - Measured on TPU v5e-8 It also exposes an OpenAI-compatible endpoint, so it plugs into Claude Code, Codex, and OpenCode.

You can now run Qwen3.8-27B in full BF16 on a free Kaggle TPU. - with about 130 tok/s decode, - 10k tok/s prefill, - Native 262k context. - No quantization. - No paid GPU. - Measured on TPU v5e-8 It also exposes an OpenAI-compatible endpoint, so it plugs into Claude Code, Codex, and OpenCode.

Md Ismail Šojal 🕷️

60,548 просмотров • 1 месяц назад

I put MCDMA through its paces today and tested Qwen 3.8 Flash Next on my dual Spark / Mac Studio cluster. My first test was disaggregated prefill across my two Sparks, then decode onto my Studio. PP 2,100 tok/s Decode 80 tok/s at 20k context, higher on short replies. That's faster than either machine manages on its own: the Studio alone prefills at about 1,200 tok/s, and the Sparks alone decode at 35 to 65. 🤯 Mac prefill has always been way behind the Sparks; now I get the best of both worlds with the hardware I currently have.

I put MCDMA through its paces today and tested Qwen 3.8 Flash Next on my dual Spark / Mac Studio cluster. My first test was disaggregated prefill across my two Sparks, then decode onto my Studio. PP 2,100 tok/s Decode 80 tok/s at 20k context, higher on short replies. That's faster than either machine manages on its own: the Studio alone prefills at about 1,200 tok/s, and the Sparks alone decode at 35 to 65. 🤯 Mac prefill has always been way behind the Sparks; now I get the best of both worlds with the hardware I currently have.

Ash Hart

13,240 просмотров • 1 месяц назад

125B on a single RTX 4090 at 25 tok/s is actually insane Qwen3.8-Flash-Next + MTP is hitting: 80K context 25.35 tok/s decode 471 tok/s prefill On one consumer GPU. Yes, it’s an MoE, so you’re not running all 125B parameters for every token. But still, getting a model this large to run this fast on a 4090 is wild. MTP is doing a lot of the heavy lifting here too. Instead of generating one token at a time, it can speculate on multiple tokens and verify them together. And 25 tok/s is the important number.

125B on a single RTX 4090 at 25 tok/s is actually insane Qwen3.8-Flash-Next + MTP is hitting: 80K context 25.35 tok/s decode 471 tok/s prefill On one consumer GPU. Yes, it’s an MoE, so you’re not running all 125B parameters for every token. But still, getting a model this large to run this fast on a 4090 is wild. MTP is doing a lot of the heavy lifting here too. Instead of generating one token at a time, it can speculate on multiple tokens and verify them together. And 25 tok/s is the important number.

FHILY👑

40,049 просмотров • 1 месяц назад

Local LLM - V100環境中古約35万円環境※でGLM-5.3-FlashがMaya v1.1.0でこれくらい動いたよ！☺️ Strata革命以降『主戦場はGPUのパワー勝負から、PC全体最適』へ。なのに『X投稿には“ハードウェア構成が1部しか書いてない“から再現が難しい』ので、私の環境を詳しく書きました。騒音と消費電力(150Wで耐えられる音量に)、メモリチャネルも参考にしてください。 ※35万円構成は256GBから128GB分を除外した金額。見れば分りますがDDR4全振りでSSD性能捨ててますw チャッピー解説中古Tesla V100 32GB×2＋DDR4で、GLM-5.3-Flashに挑戦！🚀 約35万円構成のサーバーでProject Maya v1.1.0を検証。 ✅ DDR4を256GB→128GB（2133→2400 MT/s）に変更(マザーボードとCPUの限界のため抜きました泣) ✅ Decode：20.2→22.95 tok/s（約13.6%向上） ✅ 32K Prefill：552.9 tok/s（150W/枚）旧世代GPUでも、メモリ構成の最適化で実用的な推論速度を確認できました！

Local LLM - V100環境中古約35万円環境※でGLM-5.3-FlashがMaya v1.1.0でこれくらい動いたよ！☺️ Strata革命以降『主戦場はGPUのパワー勝負から、PC全体最適』へ。なのに『X投稿には“ハードウェア構成が1部しか書いてない“から再現が難しい』ので、私の環境を詳しく書きました。騒音と消費電力(150Wで耐えられる音量に)、メモリチャネルも参考にしてください。 ※35万円構成は256GBから128GB分を除外した金額。見れば分りますがDDR4全振りでSSD性能捨ててますw チャッピー解説中古Tesla V100 32GB×2＋DDR4で、GLM-5.3-Flashに挑戦！🚀 約35万円構成のサーバーでProject Maya v1.1.0を検証。 ✅ DDR4を256GB→128GB（2133→2400 MT/s）に変更(マザーボードとCPUの限界のため抜きました泣) ✅ Decode：20.2→22.95 tok/s（約13.6%向上） ✅ 32K Prefill：552.9 tok/s（150W/枚）旧世代GPUでも、メモリ構成の最適化で実用的な推論速度を確認できました！

A-Uta

38,955 просмотров • 13 дней назад

Meet Wally. Our inference stack for open frontier models, built to be the fastest place to run them. Performance snapshot: GLM-5.3 Flash: 380 tok/s. GLM-5.3 Max: 790 tok/s Qwen3.8-27B: 485 tok/s DeepSeek-V4.1 Flash: 615 tok/s 1/7

Meet Wally. Our inference stack for open frontier models, built to be the fastest place to run them. Performance snapshot: GLM-5.3 Flash: 380 tok/s. GLM-5.3 Max: 790 tok/s Qwen3.8-27B: 485 tok/s DeepSeek-V4.1 Flash: 615 tok/s 1/7

RunAnywhere

65,960 просмотров • 1 месяц назад

GLM 4.7 Flash is supported in mlx-lm 0.30.3 (h/t Ivan Fioravanti ᯅ) The 4-bit runs fast (43 tok/s generation, ~800 tok/s prefill) on a base M5 32GB laptop.

GLM 4.7 Flash is supported in mlx-lm 0.30.3 (h/t Ivan Fioravanti ᯅ) The 4-bit runs fast (43 tok/s generation, ~800 tok/s prefill) on a base M5 32GB laptop.

Awni Hannun

141,194 просмотров • 9 месяцев назад

Qwen3.8 Next Flash UD-IQ3_XXS ~1 hour + 117k total tokens RTX5090 + R9 9950X on 96GB DDR5 Decode falls from 50 tps to low 20's above 40k ctx window whilst prefill holds around 400-700 tps - no drafters. Never got to hit reasoning budget (max set 107k). Flags below.

Qwen3.8 Next Flash UD-IQ3_XXS ~1 hour + 117k total tokens RTX5090 + R9 9950X on 96GB DDR5 Decode falls from 50 tps to low 20's above 40k ctx window whilst prefill holds around 400-700 tps - no drafters. Never got to hit reasoning budget (max set 107k). Flags below.

wd 🇵🇹🔺

62,911 просмотров • 1 месяц назад

Everyone's comparing the DGX Spark to a 5090 and calling it slow. I think that's the wrong comparison. I ran Qwen3.6 35B-A3B FP8 with the full 262K context window enabled (~96GB RAM) — something gaming GPUs can't really do. Results: 🟢No context: 51.3 tok/s, TTFT 110ms 🟣200K prefill: 34.6 tok/s, TTFT 85s (~2,341 tok/s prefill) Prefill is way faster than a Mac. And 35 tok/s deep into 200K context, on a model this strong, is genuinely usable. The Spark plays a different game.

Everyone's comparing the DGX Spark to a 5090 and calling it slow. I think that's the wrong comparison. I ran Qwen3.6 35B-A3B FP8 with the full 262K context window enabled (~96GB RAM) — something gaming GPUs can't really do. Results: 🟢No context: 51.3 tok/s, TTFT 110ms 🟣200K prefill: 34.6 tok/s, TTFT 85s (~2,341 tok/s prefill) Prefill is way faster than a Mac. And 35 tok/s deep into 200K context, on a model this strong, is genuinely usable. The Spark plays a different game.

stevibe

34,141 просмотров • 5 месяцев назад

お立ち台でいつものやつをやってたら、CHAGE and ASKAのYAH YAH YAH が流れてたから飛鳥になりきってたドアラさん🤭いったんやめたかと思ったら、サビで今度はダチョウ倶楽部のヤー！を繰り出した🤣🤣🤣 #ドアラ

お立ち台でいつものやつをやってたら、CHAGE and ASKAのYAH YAH YAH が流れてたから飛鳥になりきってたドアラさん🤭いったんやめたかと思ったら、サビで今度はダチョウ倶楽部のヤー！を繰り出した🤣🤣🤣 #ドアラ

saori🐨🐟💙

82,946 просмотров • 3 лет назад

わあ！本当に知久寿焼さんが出演！！！元たまのといったらいいのか、パスカルズメンバーっていったらいいのか。「故郷から東京に出てきて、高円寺にずっと住んでるんだけど、いい区長さんが誕生して良かった」スピーチ。そしていきなり「セシウムと少女」歌ってくれた！！！大好きな歌。

わあ！本当に知久寿焼さんが出演！！！元たまのといったらいいのか、パスカルズメンバーっていったらいいのか。「故郷から東京に出てきて、高円寺にずっと住んでるんだけど、いい区長さんが誕生して良かった」スピーチ。そしていきなり「セシウムと少女」歌ってくれた！！！大好きな歌。

原田あきら（日本共産党都議会議員/杉並）

14,435 просмотров • 4 месяцев назад

出かけたついでにドスパラさんとツクモさんに寄ってRTX5090の値段を見てきました。 Amazonより10万以上は安く購入できる欲しいです🥺 MiniMaxH3

出かけたついでにドスパラさんとツクモさんに寄ってRTX5090の値段を見てきました。 Amazonより10万以上は安く購入できる欲しいです🥺 MiniMaxH3

－TAKATO－AI_room

17,675 просмотров • 2 месяцев назад

さて、夏終わり頃の涼しくなった時期にでも平成ナイトをもう一度やりませんか。。？だいぶ業界の人間が入れ替わっても未だに平成仕様が小さく流行ってるらしいので、新たな交流の目的と“かっこいい90's&00's”を盛り上げるために業界を底上げしたいです🙇‍♂️

さて、夏終わり頃の涼しくなった時期にでも平成ナイトをもう一度やりませんか。。？だいぶ業界の人間が入れ替わっても未だに平成仕様が小さく流行ってるらしいので、新たな交流の目的と“かっこいい90's&00's”を盛り上げるために業界を底上げしたいです🙇‍♂️

りょちこちゃん。㊙︎

40,383 просмотров • 4 месяцев назад