Загрузка видео...

Не удалось загрузить видео

На главную

DeepSeek-R1 on Mac Studio 192GB 🪄

259,545 просмотров • 1 год назад •via X (Twitter)

Комментарии: 12

Фото профиля Georgi Gerganov
Georgi Gerganov1 год назад

The model is quantized by @UnslothAI

Фото профиля Solar Heavy
Solar Heavy1 год назад

- Moonlight

Фото профиля Unsloth AI
Unsloth AI1 год назад

Looks soo good! 🎇🐋

Фото профиля Daniel Nakov
Daniel Nakov1 год назад

come on apple, new studio

Фото профиля Georgi Gerganov
Georgi Gerganov1 год назад

M4 studio with 256GB would be the final boss

Фото профиля unfazed.
unfazed.1 год назад

@JudeSkrr il a encore drop

Фото профиля Vasilii Kharitonov 🌍
Vasilii Kharitonov 🌍1 год назад

Tried R1 32B 8bit on M4 Pro with 48 GB memory (ggml-org/DeepSeek-R1-Distill-Qwen-32B-Q8_0-GGUF), seems to run great 👍 Memory usage is 43.3/48.0GB, eval time is about 7 tokens per second.

Фото профиля GP
GP1 год назад

I need your cli setup 😏

Фото профиля Woody Lu
Woody Lu1 год назад

Could you share the noise level (in DB) of the mac when running it locally?

Фото профиля Georgi Gerganov
Georgi Gerganov1 год назад

Not sure how to measure it. It only makes noise for very long contexts, otherwise it's completely silent. And when it makes noise, it's not really loud IMO.

Фото профиля Alexander Kvamme
Alexander Kvamme1 год назад

What profiling tool are you using? Much cleaner than htop

Фото профиля Georgi Gerganov
Georgi Gerganov1 год назад

asitop

Похожие видео