Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

Here is how to deploy and serve any LLM on HF with a single command in less than 3 minutes with llama.cpp $ bash -c "$(curl -s

143,145 görüntüleme • 3 yıl önce •via X (Twitter)

8 Yorum

Georgi Gerganov profil fotoğrafı
Georgi Gerganov3 yıl önce

More info

Fernando Vidal profil fotoğrafı
Fernando Vidal3 yıl önce

Would be cool to have some kind of auth system, where you can have it check against a list of auth tokens before serving the request.

Donneker profil fotoğrafı
Donneker3 yıl önce

thanks for the demo, nice done

bornjre profil fotoğrafı
bornjre3 yıl önce

Does server binary supports LLaVA/BakLLaVA models ?

wwwwg profil fotoğrafı
wwwwg3 yıl önce

@memdotai mem it

Mem profil fotoğrafı
Mem3 yıl önce

@ggerganov Saved! Here's the compiled thread: 🪄 AI-generated summary: "This thread provides instructions on how to deploy and serve any LLM on HF with a single command in less than 3 minutes using llama.cpp. More information can be found at the...

Tim Wu profil fotoğrafı
Tim Wu3 yıl önce

Time to fill up my runpod credits. 😁 It would be lovely if supports llava.

Filippo Broggini profil fotoğrafı
Filippo Broggini3 yıl önce

They should have made you CEO of OpenAI 😅😇💪

Benzer Videolar