t.toda's banner
t.toda's profile picture

t.toda

@Trtd6Trtd1,594 subscribers

ML Engineer / NLP / 音声対話 / Kaggle Master / #シフアカ / #ロボ漫才 Substackで毎週AI関連の情報を発信してます: https://t.co/cHCOiZpki4

Shorts

8Bの1bitモデルだって Qwenベースで日本語もいける 試してみたけど爆速ですげぇ

8Bの1bitモデルだって Qwenベースで日本語もいける 試してみたけど爆速ですげぇ

129,929 Aufrufe

LiquidAI/LFM2.5-1.2B-JPを富士通のOneCompで量子化したら200t/s出てびびった 今朝感激してた盆栽の倍🪴🪴 体感だがRepetition率が上がってる気がするので性能は落ちちゃってる印象 パラメータ次第かもだが

LiquidAI/LFM2.5-1.2B-JPを富士通のOneCompで量子化したら200t/s出てびびった 今朝感激してた盆栽の倍🪴🪴 体感だがRepetition率が上がってる気がするので性能は落ちちゃってる印象 パラメータ次第かもだが

18,432 Aufrufe

Videos

Keine weiteren Inhalte verfügbar