Video wird geladen...
Video konnte nicht geladen werden
感觉现在开源的速度已经疯了。。。 Kimi.ai 家的K3开源才两天,已经被Unsloth AI 干到能在Mac Studio上跑了🤯!!! 2.8万亿参数的模型,原始大小1.56T, 他们用动态1-bit量化,直接压到594G,缩了62%, 还保留了78.9%的精度, 128G内存的Mac Studio就能跑, 虽然速度不快,但它真的能跑。 谁能想到半个月前,这个级别的模型还只有大厂有算力碰, 现在我们在家,在自己的消费级电脑上,就能跑全球最顶尖的开源大模型了,damn! 权重放出来48小时,量化、适配、教程全给你整完了, Unsloth这速度,真的离谱。 不得不说这就是开源最恐怖的地方啊, 模型放出来第一天, 全世界最聪明的工程师都在帮你压体积、提速度、做适配, 闭源模型,永远享受不到这个待遇。
289,379 Aufrufe • vor 1 Monat •via X (Twitter)
0 Kommentare
Keine Kommentare verfügbar
Kommentare vom Original-Post werden hier angezeigt
