Загрузка видео...
Не удалось загрузить видео
发现一个开源小模型,在GitHub上已经斩获 5w star,还登上了Trending榜单。 用它可以让你只用3块钱、花两个小时,就能训练出一个仅有25.8M参数的超小语言模型。 主打极致轻量化,最小版本体积只有 GPT-3 的 1/2700。 而且还开源了 tokenizer 分词器训练,包含 Pretrain、SFT等全过程训练代码,甚至拓展了视觉多模态的MiniMind-V。 所有训练脚本均为 PyTorch 原生实现,兼容MoE混合专家模型架构,基本实现了对大语言模型全阶段的开源复现
52,933 просмотров • 2 дней назад •via X (Twitter)
Комментарии: 0
Нет доступных комментариев
Здесь появятся комментарии из оригинального поста
Похожие видео
0:18
Sensitive content
《少妇白洁》AI电影开发日志#013 昨天折腾了一晚上 测试了几个无限制模型 看到成片的时候差点给我气笑了 很多模型训练的还是不够 细节处理不到位 发点能过的废片存个档 也算给后面避个坑,另外有没有老哥有成熟的NSFW视频模型推荐一个呢? #少妇白洁 #AI电影 #AI导演 #AI影视制作
雨中君
86,880 просмотров • 23 дней назад
