正在加载视频...

视频加载失败

RadixArkのQwen3.8-Flash-Next-NVFP4 つかってFreeTokenをcodexで改造してやっと良きスピード出た Activeが小さいからそれなりに速度出た RAM DDR5 8ch GPU - RTX5090 x1 Prefill 277.5 tok/s Decode 59.13 tok/s - RTX5090 x2 Prefill 619.5 tok/s Decode 83.14 tok/s

27,962 次观看 • 2 个月前 •via X (Twitter)

6 条评论

ぱぷりか炒め 的头像
ぱぷりか炒め2 个月前

qwen4exp用改造FreeToken

金のニワトリ 的头像
金のニワトリ2 个月前

デコード速度速いですね!vllmを改造してRTX PRO 6000 + 128GBメモリで動かしたときは22tpsぐらいしかでませんでした 動画を見る感じ、メインメモリは〜140GB程度消費する感じですかね。。。

ぱぷりか炒め 的头像
ぱぷりか炒め2 个月前

ありがとうございます!自分もそのくらいのtpsでぐるぐるしてたんですが、 あのngram周りをRAM側にして処理〜あたり整理したらグッと速くなった感じでした メモリは自分の環境だとシステム全体で140GBですが、expertsの分乗ってるだけなんで、RTX PRO 6000ならVRAM96GBあるのでもっと少なくできるかもな気もします

金のニワトリ 的头像
金のニワトリ2 个月前

ありがとうございます! 私も色々と試してみます。あと実用上はコンテキストどれくらいのっけられるのかとか、並列化したときのスループットがどれくらいなのかとかも重要になってきそうですね。このあたりも検証予定です

ぱぷりか炒め 的头像
ぱぷりか炒め2 个月前

うおお並列化忘れてました… vllmベース良さげですね

Pedro Moser 的头像
Pedro Moser2 个月前

Nice! I was trying to do that for the gguf q4, but ran out of tokens on gpt sol :~

相关视频