Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

DeepSeek V4.1 Flash 1017 on TensorFold ⚡️ - 16 concurrent session - Each with full native 1M context - Non-greedy, thinking on. OFFICIAL WEIGHTS. Recipe dropping very soon!

21,711 görüntüleme • 4 gün önce •via X (Twitter)

43 Yorum

Mia profil fotoğrafı
Mia4 gün önce

@volatilemarkts 4x DGX Sparks SUPPORTS SWITCHLESS

Mia profil fotoğrafı
Mia4 gün önce

@volatilemarkts Out now

Stary Libra profil fotoğrafı
Stary Libra4 gün önce

@ashxhart @volatilemarkts Can I change the setting to TP3 and use it on 3 Spark?

Mia profil fotoğrafı
Mia4 gün önce

@ashxhart @volatilemarkts Initial release supports only 4

Stary Libra profil fotoğrafı
Stary Libra4 gün önce

@ashxhart @volatilemarkts Okay. I'll wait. Thanks as always for sharing your awesome work!

Kevin Theo profil fotoğrafı
Kevin Theo4 gün önce

@ashxhart @volatilemarkts running your SGLang recipe on 4 Sparks in a switchless ring. stock DeepSeek V4.1 Flash here: 70.0 tok/s on code single stream, 72.9 total at 4 streams (26.2 each). 16 sessions at full 1M is a different league. will rerun my prompts on TensorFold when the recipe drops

HealthRanger profil fotoğrafı
HealthRanger4 gün önce

@ashxhart @volatilemarkts Oh man, this is most definitely worth trying out. Can't wait for the recipe!

vr8vr8 profil fotoğrafı
vr8vr84 gün önce

@ashxhart @volatilemarkts Nice achievement 👍

TechMD profil fotoğrafı
TechMD4 gün önce

@ashxhart @volatilemarkts Did you get the 4 spark @MiaAI_lab

Mia profil fotoğrafı
Mia4 gün önce

@ashxhart @volatilemarkts Yes a while ago :)

TechMD profil fotoğrafı
TechMD4 gün önce

@ashxhart @volatilemarkts nice Im happy, Hope it made a difference to your workflow

GP3611 Phoenix profil fotoğrafı
GP3611 Phoenix4 gün önce

@ashxhart @volatilemarkts how about single stream peak?

Simo profil fotoğrafı
Simo4 gün önce

@ashxhart @volatilemarkts Publish sustained throughput latency and memory under full load

Twon | 00.sol | 1TB VRAM profil fotoğrafı
Twon | 00.sol | 1TB VRAM4 gün önce

@ashxhart @volatilemarkts Ablit recipe too please 🙏

Mr. Galt profil fotoğrafı
Mr. Galt4 gün önce

@ashxhart @volatilemarkts Nice, now I want two extra Sparks. :(

BullBear.News profil fotoğrafı
BullBear.News4 gün önce

@ashxhart @volatilemarkts running 1M context natively on a 16gb mac mini via ollama sounds wild, how does tensorfold handle KV cache paging for those concurrent sessions?

lostinazeroy profil fotoğrafı
lostinazeroy4 gün önce

@ashxhart @volatilemarkts 16 sessions each at full 1m context on one box is wild

Mike Hutu profil fotoğrafı
Mike Hutu4 gün önce

@ashxhart @volatilemarkts Sayy whaa 2x DGX?

Mia profil fotoğrafı
Mia4 gün önce

@ashxhart @volatilemarkts Nah... this is 4

Chris Frisby profil fotoğrafı
Chris Frisby4 gün önce

@ashxhart @volatilemarkts Dang, what's the best quant on TP=3? 4bit?

Mia profil fotoğrafı
Mia4 gün önce

@ashxhart @volatilemarkts OFFICIAL WEIGHTS !!!!

Chris Frisby profil fotoğrafı
Chris Frisby4 gün önce

@ashxhart @volatilemarkts Dang, looking forward to it! 🤞🏼🙌🏼

Surrender ⚡️ profil fotoğrafı
Surrender ⚡️4 gün önce

@ashxhart @volatilemarkts have you tried minimax yet?

Mia profil fotoğrafı
Mia4 gün önce

@ashxhart @volatilemarkts Yes. I skipped it.

Ponzi profil fotoğrafı
Ponzi4 gün önce

@ashxhart @volatilemarkts

Pragnyan Ramtha profil fotoğrafı
Pragnyan Ramtha4 gün önce

@ashxhart @volatilemarkts ok where is the kv cache even living

Sage Byte profil fotoğrafı
Sage Byte4 gün önce

@ashxhart @volatilemarkts Offical weights and 16 concurrent sessions is crazy 🔥

Mia profil fotoğrafı
Mia4 gün önce

@ashxhart @volatilemarkts The only way to do it is crazy.

Whispers of Wisdom profil fotoğrafı
Whispers of Wisdom4 gün önce

@ashxhart @volatilemarkts If you have time, can you please update the 2x DGX Spark version too please ♥️

FrontierMind profil fotoğrafı
FrontierMind4 gün önce

@ashxhart @volatilemarkts running 16 concurrent sessions at 1m context on flash weights sounds wild for local infra

steddy profil fotoğrafı
steddy4 gün önce

@ashxhart @volatilemarkts I don’t see a graphical front end for TensorFold on Spark. Only Mac

Peter Morris profil fotoğrafı
Peter Morris4 gün önce

@ashxhart @volatilemarkts I assume you need 4×GB10 for 16 concurrent?

Mia profil fotoğrafı
Mia4 gün önce

@ashxhart @volatilemarkts With official weights, yes, but it will support 3 sparks later on too

Steven Cheng profil fotoğrafı
Steven Cheng4 gün önce

@ashxhart @volatilemarkts 16 sessions with full 1M context running simultaneously? That memory bandwidth must be absolutely insane.

Novaris profil fotoğrafı
Novaris4 gün önce

@ashxhart @volatilemarkts 16 concurrent sessions, each with full 1M context — that's the kind of spec that makes 'just run it locally' sound almost reasonable.

The SI Maximalist profil fotoğrafı
The SI Maximalist4 gün önce

@ashxhart @volatilemarkts the number I’m watching for in the recipe: tokens/sec per session with all 16 contexts filled. A 1M window tells us capacity; sustained decoding tells us how responsive those sessions are

Random Libertarian Tech Lead profil fotoğrafı
Random Libertarian Tech Lead4 gün önce

@ashxhart @volatilemarkts Should be interesting to see how this compares single-stream compared to my ground-up Rust stack.

汉卿 | hanqing profil fotoğrafı
汉卿 | hanqing4 gün önce

@ashxhart @volatilemarkts 1M上下文+16并发+非贪心,这配方一出直接封神。

Ryan Feng profil fotoğrafı
Ryan Feng4 gün önce

@ashxhart @volatilemarkts prefil? sglang can do 5k+/s on TP4

Mia profil fotoğrafı
Mia4 gün önce

@ashxhart @volatilemarkts I can only test switchless for now, don't have a switch. Switchless gets 4k prefill on 256k

Dave profil fotoğrafı
Dave4 gün önce

@ashxhart @volatilemarkts I'm on TF 1.0.12 with DS 4 spark and I have images. But sad face TF does not cache images so reads are expeeeeensive.

AI Doc profil fotoğrafı
AI Doc4 gün önce

@ashxhart @volatilemarkts But is it better than glm 5.3 flash? @MiaAI_lab

Dr.-Ing. Manuel Ramsaier profil fotoğrafı
Dr.-Ing. Manuel Ramsaier4 gün önce

@ashxhart @volatilemarkts ❤️❤️❤️ will this be significantly better than the exl3 on 2 sparks ?!

Benzer Videolar