ラズパイ5(メモリ16GB) + SSD(1TB)でローカルLLM動かしてみました
Steve 🥧 Raspberry Pi IoT電子工作
Visit on X@SteveKasuya214K followers
183,051 views
ラズパイ5(メモリ16GB) + SSD(1TB)でローカルLLM動かしてみました
使ったモデルは80億パラメータのLlama-3-ELYZA-JP-8B.Q5_K_Mです
これがラズパイでこのスピードで動くのは楽しいですね〜😀
Comments
Comments from the original post on X (Twitter)
No comments yet
