正在加载视频...

视频加载失败

加载此视频时出现问题。这可能是由于临时网络问题，或视频可能不可用。

DeepSeek-V4-Flash-DSpark on 4x RTX PRO 6000、かなり良いところまで来た。 - Single inference: ~328 tok/s - Batch throughput: ~1.7k tok/s

AI✖️Satoshi⏩️

3,669 subscribers

28,291 次观看 • 1 个月前 •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

0 条评论

暂无评论

原始帖子的评论将显示在这里

相关视频

Finally got my hands on the big one. Qwen3.5-122B-A10B — 122 billion parameters. Too big for any single consumer GPU. So I rented 4 of each... and then one professional card to see if brute force even matters. - 1x RTX PRO 6000 (96GB): 101.4 tok/s - 4x 5090 (128GB): 87.0 tok/s - 4x 4090 (96GB): 25.1 tok/s - 4x 3090 (96GB): 20.8 tok/s One single $8,500 card beat four RTX 5090s

Finally got my hands on the big one. Qwen3.5-122B-A10B — 122 billion parameters. Too big for any single consumer GPU. So I rented 4 of each... and then one professional card to see if brute force even matters. - 1x RTX PRO 6000 (96GB): 101.4 tok/s - 4x 5090 (128GB): 87.0 tok/s - 4x 4090 (96GB): 25.1 tok/s - 4x 3090 (96GB): 20.8 tok/s One single $8,500 card beat four RTX 5090s

stevibe

195,832 次观看 • 5 个月前

GLM-5.1-478B-NVFP4 Running on: - 4x RTX Pro 6000 - Sglang - 370,000 max tokens (1.75x full context) - p10 27.7 | p90 45.6 tok/s decode (gen) - 1340 tok/s prefill I could get 2x decode if I limit to 64k context (100 tok/s) In this video it operates Figma (:

GLM-5.1-478B-NVFP4 Running on: - 4x RTX Pro 6000 - Sglang - 370,000 max tokens (1.75x full context) - p10 27.7 | p90 45.6 tok/s decode (gen) - 1340 tok/s prefill I could get 2x decode if I limit to 64k context (100 tok/s) In this video it operates Figma (:

0xSero

74,772 次观看 • 3 个月前

SGLang now supports DSpark, enabling confidence-driven, variable-length verification for speculative decoding 🎉 DSpark addresses a key bottleneck under load: instead of verifying every draft token, it verifies only where the draft model is confident, so the gains hold even as batch size scales. We heavily optimized variable-length verification in SGLang. Across batch sizes 1 to 256, DSpark gives the best throughput/latency tradeoff on DeepSeek-V4-Flash, ahead of both MTP and non-spec. At high concurrency, dynamic scheduling provides up to ~20% higher throughput compared to a fixed budget, while maintaining high verification quality across workloads. With fused kernels and zero-overhead scheduling, DeepSeek-V4-Pro reaches 383.7 tok/s at B=1 on B300. DSpark is now available in SGLang with support for Qwen3 and DeepSeek-V4. Thanks DeepSeek for open-sourcing! Blog with full technical details and commands to run below 👇

SGLang now supports DSpark, enabling confidence-driven, variable-length verification for speculative decoding 🎉 DSpark addresses a key bottleneck under load: instead of verifying every draft token, it verifies only where the draft model is confident, so the gains hold even as batch size scales. We heavily optimized variable-length verification in SGLang. Across batch sizes 1 to 256, DSpark gives the best throughput/latency tradeoff on DeepSeek-V4-Flash, ahead of both MTP and non-spec. At high concurrency, dynamic scheduling provides up to ~20% higher throughput compared to a fixed budget, while maintaining high verification quality across workloads. With fused kernels and zero-overhead scheduling, DeepSeek-V4-Pro reaches 383.7 tok/s at B=1 on B300. DSpark is now available in SGLang with support for Qwen3 and DeepSeek-V4. Thanks DeepSeek for open-sourcing! Blog with full technical details and commands to run below 👇

LMSYS Org

169,398 次观看 • 1 个月前

deepseek v4 flashによるdeepseek v4 flashの紹介動画なん～～出来はともかくとして、タスクを完遂できると思ってなかったなん～～～あと動画作成依頼してから１０分かからずできたのがかなりつよいだなん。

deepseek v4 flashによるdeepseek v4 flashの紹介動画なん～～出来はともかくとして、タスクを完遂できると思ってなかったなん～～～あと動画作成依頼してから１０分かからずできたのがかなりつよいだなん。

しとちゃ！🦊🍮

27,393 次观看 • 8 天前

ここまで来た。かなり良い

ここまで来た。かなり良い

hida_tarou

12,073 次观看 • 8 个月前

New LFM2.5-2.6B hits DeepSeek-V4 level on tool calling and runs 3.7x faster! We ran Liquid AI 's new LFM2.5-2.6B against DeepSeek-V4-Flash on one box with 4x RTX 5090. Both got the same three jobs, and each one only completes if the model fires every tool call Topics: -weather and local time in six cities -one budget into six currencies -four hotels checked and booked for one date Outputs: LFM2.5-2.6B: 35/35 tool-calls, 366 tok/s, 19s DeepSeek-V4-Flash: 35/35 tool-calls, 77 tok/s, 70s Both models made all 35 calls, and both fired twelve of them in one turn. LFM was trained for agents, and tool calling is where that shows. Strong result for a model you can run right on your phone

New LFM2.5-2.6B hits DeepSeek-V4 level on tool calling and runs 3.7x faster! We ran Liquid AI 's new LFM2.5-2.6B against DeepSeek-V4-Flash on one box with 4x RTX 5090. Both got the same three jobs, and each one only completes if the model fires every tool call Topics: -weather and local time in six cities -one budget into six currencies -four hotels checked and booked for one date Outputs: LFM2.5-2.6B: 35/35 tool-calls, 366 tok/s, 19s DeepSeek-V4-Flash: 35/35 tool-calls, 77 tok/s, 70s Both models made all 35 calls, and both fired twelve of them in one turn. LFM was trained for agents, and tool calling is where that shows. Strong result for a model you can run right on your phone

atomic.chat

107,238 次观看 • 3 天前

How Fast is Gemma 4 on a MacBook Pro M4? Benchmarking Google's new MoE (26B-A4B) > Model size: 26.1 GiB > Load time: ~4.2s Comparing single request VS > concurrent requests performance > 32k total context, 4 parallel slots single request behavior > TTFT: 5.68s > prompt: 3,701 tokens @ 652 tok/s > decode: 40.08 tok/s sequential (1 request at a time): > avg duration: 20.5s > p99: 22.1s > throughput: 40.11 tok/s > clean finishes: 100% concurrent (4 parallel requests): > aggregate throughput: 47.25 tok/s > total system throughput: 262.27 tok/s > avg duration: 65.1s > p95 latency: 68.8s > req/sec: 0.058 Head-to-Head: Sequential vs Concurrent throughput: > 40.11 tok/s → 47.25 tok/s (+17.8%) > small gain despite 4x parallelism latency per request: > 20.5s → 65.1s (~3.2x slower) > you pay heavily for concurrency system throughput (true utilization): > ~40 tok/s → 262 tok/s (~6.5x total output) > this is where concurrency wins tokens per second (decode ceiling): > ~40 tok/s steady in both modes > hardware-bound, not scheduler-bound TTFT impact: > ~5.7s baseline → buried under queueing in concurrent > “headers waittime” becomes the bottleneck What this actually means? - You don’t get linear scaling from parallel slots - You trade latency for total output - Mac Unified Memory setup is clearly saturating - Bandwidth + Scheduling overhead show up immediately This is exactly why GPUs dominate here Concurrency without killing latency

How Fast is Gemma 4 on a MacBook Pro M4? Benchmarking Google's new MoE (26B-A4B) > Model size: 26.1 GiB > Load time: ~4.2s Comparing single request VS > concurrent requests performance > 32k total context, 4 parallel slots single request behavior > TTFT: 5.68s > prompt: 3,701 tokens @ 652 tok/s > decode: 40.08 tok/s sequential (1 request at a time): > avg duration: 20.5s > p99: 22.1s > throughput: 40.11 tok/s > clean finishes: 100% concurrent (4 parallel requests): > aggregate throughput: 47.25 tok/s > total system throughput: 262.27 tok/s > avg duration: 65.1s > p95 latency: 68.8s > req/sec: 0.058 Head-to-Head: Sequential vs Concurrent throughput: > 40.11 tok/s → 47.25 tok/s (+17.8%) > small gain despite 4x parallelism latency per request: > 20.5s → 65.1s (~3.2x slower) > you pay heavily for concurrency system throughput (true utilization): > ~40 tok/s → 262 tok/s (~6.5x total output) > this is where concurrency wins tokens per second (decode ceiling): > ~40 tok/s steady in both modes > hardware-bound, not scheduler-bound TTFT impact: > ~5.7s baseline → buried under queueing in concurrent > “headers waittime” becomes the bottleneck What this actually means? - You don’t get linear scaling from parallel slots - You trade latency for total output - Mac Unified Memory setup is clearly saturating - Bandwidth + Scheduling overhead show up immediately This is exactly why GPUs dominate here Concurrency without killing latency

Ahmad

88,866 次观看 • 4 个月前

MiniMax M2.7 is 230B params. Can you actually run it at home? I tested Unsloth's UD-IQ3_XXS (80GB) on 4 different rigs: 🟠 4x RTX 4090 (96GB): 71.52 tok/s, TTFT 1045ms 🟢 4x RTX 5090 (128GB): 120.54 tok/s, TTFT 725ms 🟡 1x RTX PRO 6000 (96GB): 118.74 tok/s, TTFT 765ms 🟣 DGX Spark (128GB) — 24.41 tok/s, TTFT 741ms Backend: llama.cpp. Context: 32k. Max tokens: 4096. I went with IQ3_XXS because it's the biggest quant that fits in 96GB VRAM while still leaving safe headroom for 32k context. Same quant across all four rigs, fairest comparison I could run. Now look at rough peak GPU power draw: 🟠 4x4090 → 1,800W peak (450W × 4) 🟢 4x5090 → 2,300W peak (575W × 4) 🟡 RTX PRO 6000 → 600W peak 🟣 DGX Spark → 240W peak (whole system) The RTX PRO 6000 is the quiet winner. One card, 96GB, matching a 4x5090 rig at roughly a quarter of the power and zero multi-GPU headaches. Best tokens-per-watt by a wide margin. DGX Spark is slow on generation but pulls the least power of any rig here, around 240W for the whole system. Prefill-friendly, memory-rich, wall-socket-friendly. And yes, plenty of people cap their cards. Even then, 4x 4090 or 4x 5090 still pulls well over 1,200W from the GPUs alone.

MiniMax M2.7 is 230B params. Can you actually run it at home? I tested Unsloth's UD-IQ3_XXS (80GB) on 4 different rigs: 🟠 4x RTX 4090 (96GB): 71.52 tok/s, TTFT 1045ms 🟢 4x RTX 5090 (128GB): 120.54 tok/s, TTFT 725ms 🟡 1x RTX PRO 6000 (96GB): 118.74 tok/s, TTFT 765ms 🟣 DGX Spark (128GB) — 24.41 tok/s, TTFT 741ms Backend: llama.cpp. Context: 32k. Max tokens: 4096. I went with IQ3_XXS because it's the biggest quant that fits in 96GB VRAM while still leaving safe headroom for 32k context. Same quant across all four rigs, fairest comparison I could run. Now look at rough peak GPU power draw: 🟠 4x4090 → 1,800W peak (450W × 4) 🟢 4x5090 → 2,300W peak (575W × 4) 🟡 RTX PRO 6000 → 600W peak 🟣 DGX Spark → 240W peak (whole system) The RTX PRO 6000 is the quiet winner. One card, 96GB, matching a 4x5090 rig at roughly a quarter of the power and zero multi-GPU headaches. Best tokens-per-watt by a wide margin. DGX Spark is slow on generation but pulls the least power of any rig here, around 240W for the whole system. Prefill-friendly, memory-rich, wall-socket-friendly. And yes, plenty of people cap their cards. Even then, 4x 4090 or 4x 5090 still pulls well over 1,200W from the GPUs alone.

stevibe

191,782 次观看 • 3 个月前

先日のmaimai配信で「Xaleid◆scopiX」をリマスターでクリア出来なかったので、なんとかランクSまで乗せました。なんじゃこりゃ

先日のmaimai配信で「Xaleid◆scopiX」をリマスターでクリア出来なかったので、なんとかランクSまで乗せました。なんじゃこりゃ

絡める

386,729 次观看 • 1 年前

本年もありがとうございました！！！おかげさまで最高の1年になりました！！！！！！来年もみんなででっかいことしようぜ！！！！！！良いお年をーーー！！！！！！

本年もありがとうございました！！！おかげさまで最高の1年になりました！！！！！！来年もみんなででっかいことしようぜ！！！！！！良いお年をーーー！！！！！！

大石昌良【オーイシマサヨシ】

215,022 次观看 • 7 个月前

チキン利食いなんてこのやり方ですぐに良くなります。今まで伸ばせなかったところ見たらほぼこれで伸ばせたはずだよ

チキン利食いなんてこのやり方ですぐに良くなります。今まで伸ばせなかったところ見たらほぼこれで伸ばせたはずだよ

Kou@ベーシストFX手法研究家

38,929 次观看 • 4 个月前

君が来たら運命で来なかったらさよなら。こういうおまじないをしたこと、ありますか？

君が来たら運命で来なかったらさよなら。こういうおまじないをしたこと、ありますか？

SHIROSE（WHITE JAM）

45,906 次观看 • 5 个月前

いつまでお客さんのつもりでいるんですか？もう、来るところまで来てますよこの国は…. 本当のことを言ってくれるのはれいわしかいないってことなんですよ諦めますか？？私は諦めたくないから最後まで抗うつもり

いつまでお客さんのつもりでいるんですか？もう、来るところまで来てますよこの国は…. 本当のことを言ってくれるのはれいわしかいないってことなんですよ諦めますか？？私は諦めたくないから最後まで抗うつもり

瞬🐾

75,336 次观看 • 1 年前

ギターの音だけで曲作ろうとして、やっぱりリズムあった方が良いなぁとなって、しばらく寝かしとくかぁ〜…のまま忘れてた曲。これはこれで良いじゃんね。

ギターの音だけで曲作ろうとして、やっぱりリズムあった方が良いなぁとなって、しばらく寝かしとくかぁ〜…のまま忘れてた曲。これはこれで良いじゃんね。

大山純

14,130 次观看 • 1 年前

#ホンドタヌキまたツイッターにタヌキブームが来ててとても良い。タヌキって進化の過程であまり襲われることも恐れられることもなかったんだろうなと思うムーブが多いよな……

#ホンドタヌキまたツイッターにタヌキブームが来ててとても良い。タヌキって進化の過程であまり襲われることも恐れられることもなかったんだろうなと思うムーブが多いよな……

豚 2.0

531,815 次观看 • 9 个月前

🕰️ 20年前、あなたは何をしていましたか？ ✈️ セントレアは今日でハタチになりました。開港から20年いろいろなことがありました。この映像でみなさんが20年前のころを思い出すきっかけになれば嬉しいです。そしてまた20年後、未来を楽しみにしながら、これからもセントレアは皆さんとともに歩んでいきます。

🕰️ 20年前、あなたは何をしていましたか？ ✈️ セントレアは今日でハタチになりました。開港から20年いろいろなことがありました。この映像でみなさんが20年前のころを思い出すきっかけになれば嬉しいです。そしてまた20年後、未来を楽しみにしながら、これからもセントレアは皆さんとともに歩んでいきます。

中部国際空港セントレア

192,389 次观看 • 1 年前

初心者さん限定ライブの様子をできる限りぎゅっっとまとめました、、、！自分で急いで編集したからいろいろ拙いところは許して🥲 これを機にまた初めましての方々やまだライブ来たことない方に出会えたら嬉しいなあ…！

初心者さん限定ライブの様子をできる限りぎゅっっとまとめました、、、！自分で急いで編集したからいろいろ拙いところは許して🥲 これを機にまた初めましての方々やまだライブ来たことない方に出会えたら嬉しいなあ…！

YOSUKE

20,089 次观看 • 3 个月前

MADEIN S - "BLUE" PERFORMANCE MV 事務所問題でいろいろ考えること、思う事はありますがシンプルに出された作品が良すぎる。とんでもない良曲。正直めっちゃいい曲だと思う。各人のビジュアルも最高。みんなとてつもない美人。いい意味で『4人』でも凄い。完成してる。だからこそ完全体になったときの破壊力は凄まじいと思う。「Bridge Single」になることを信じてる。

MADEIN S - "BLUE" PERFORMANCE MV 事務所問題でいろいろ考えること、思う事はありますがシンプルに出された作品が良すぎる。とんでもない良曲。正直めっちゃいい曲だと思う。各人のビジュアルも最高。みんなとてつもない美人。いい意味で『4人』でも凄い。完成してる。だからこそ完全体になったときの破壊力は凄まじいと思う。「Bridge Single」になることを信じてる。

坂本メディ郎

463,830 次观看 • 1 年前

トウモロコシの皮でスズメを作りました🌽 わりと失敗なく作れると思います。トウモロコシの皮で小鳥が作りたくて悩んでいたところ、庭に来るスズメが低空飛行で脇を飛び去り、その時、飛んでるスズメを上から見てこれだと思いました。その後、少しずつ改良してきました。翼をハサミで切ったり切らなかったり、嘴をお腹側の皮で作ったり、いろんなパターンを試しています。皮は半日ほど置いておくと薄くなって作りやすいです。

トウモロコシの皮でスズメを作りました🌽 わりと失敗なく作れると思います。トウモロコシの皮で小鳥が作りたくて悩んでいたところ、庭に来るスズメが低空飛行で脇を飛び去り、その時、飛んでるスズメを上から見てこれだと思いました。その後、少しずつ改良してきました。翼をハサミで切ったり切らなかったり、嘴をお腹側の皮で作ったり、いろんなパターンを試しています。皮は半日ほど置いておくと薄くなって作りやすいです。

inori

186,567 次观看 • 1 个月前