Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

Modern @Java Project : a Spring Boot wrapper for from Alfonso² Peterssen supporting OpenAI Chat Completion REST requests 🔥 #OpenAI #SpringBoot

12,117 görüntüleme • 1 yıl önce •via X (Twitter)

6 Yorum

Stephan Janssen ☕️🧠🧞‍♂️ profil fotoğrafı
Stephan Janssen ☕️🧠🧞‍♂️1 yıl önce

As a result I can now use @DevoxxGenie with a pure Java Arm Inference engine running locally on my mac using Llama 3.2 🍏🔥

Stephan Janssen ☕️🧠🧞‍♂️ profil fotoğrafı
Stephan Janssen ☕️🧠🧞‍♂️1 yıl önce

Next possible steps: 🔺 MatMul on GPU using @tornadovm 🔺 GraalVM native version 🔺 Create Java Flame graph to see where performance issue's are located (matmul 🔥) ⁉️ LLM Sharding (any takers?) 🤩 ⁉️ BitNet * Ternary model support

Georgios Andrianakis profil fotoğrafı
Georgios Andrianakis1 yıl önce

@java @TheMukel Nice! I was planning on adding a Quarkus module so you just reminded me to create an issue:

Stephan Janssen ☕️🧠🧞‍♂️ profil fotoğrafı
Stephan Janssen ☕️🧠🧞‍♂️1 yıl önce

@java @TheMukel Great, the goal is to have a Modern & Fast Java Inference engine🔥#WhatEverItTakes

Danny Ki profil fotoğrafı
Danny Ki1 yıl önce

@java @TheMukel How do tools shape the boundaries of creativity?

Castani profil fotoğrafı
Castani1 yıl önce

@java @TheMukel :)

Benzer Videolar