在 M2 的 Macbook Air 上进行 LLaMA 7B 模型的本地推理 🤯 虽然目前生成的效果还比较差，但是推理速度极快。真正做到了消费级硬件推理，开源社区生态发展太快了。 视频未加速。

距离这条推发布不到一周的时间

chatGLM-6B/slim(open source) 也已经可以单机单卡推理了，整体效果还不错。要我说的话，6B版本甚至比文心一言要好。不知道chatGLM100B版本什么效果。

openai不开源的话大家就会奔着开源的去，然后在某个时间点超过openai。像极了mysql的发展

再过段时间会不会手机硬件也能勉强跑起来了，到时候就实现decentralized ai service

這套我在我的 M1 max 試, 蠻容易 crash 的, 但能跑就是奇蹟了. 以我在 CV 方面的經驗, 沒 calibrate 的 quantization 根本不能用, 更不用說極端 4bit

最近看起來進展很快, 但還是請大家注意一件事實 -- LLaMA 的 NN architecture 並沒有公開, 這樣能施展的優化壓縮技巧是有限的.

牛叉啊 准确度差点 凡是架不住便宜啊

@memdotai mem it

@Tisoga Saved! Here's the compiled thread: 🪄 AI-generated summary: "在 M2 的 Macbook Air 上，我们成功地在消费级硬件上实现了 LLaMA 7B 模型的本地推理，推理速度极快，虽然生成效果还不太理想"

有优化推理引擎吗