Загрузка видео...

Не удалось загрузить видео

На главную

发现一个开源小模型,在GitHub上已经斩获 5w star,还登上了Trending榜单。 用它可以让你只用3块钱、花两个小时,就能训练出一个仅有25.8M参数的超小语言模型。 主打极致轻量化,最小版本体积只有 GPT-3 的 1/2700。 而且还开源了 tokenizer 分词器训练,包含 Pretrain、SFT等全过程训练代码,甚至拓展了视觉多模态的MiniMind-V。 所有训练脚本均为 PyTorch 原生实现,兼容MoE混合专家模型架构,基本实现了对大语言模型全阶段的开源复现

52,933 просмотров • 2 дней назад •via X (Twitter)

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

非常Nice啊,这模型完全免费,Token终于可以自由白嫖了,甚至视频模型都是免费的,太爽了。 它叫Agnes AI,全球模型榜前十,6 月 1 号起把自己家三个核心模型全免费开放了,无限期。图片模型在 artificial analysis 上榜了,文字模型一周被干了一万亿 Token。我把它接进 Claude Code,配起来十分钟的事,Token 随便用。 这玩意到底是什么呢。 Agnes AI 是全球模型榜单前十的一个 AI Lab,这次免费开放的是三个模型,文本、图片、视频。 文本模型叫 agnes-2.0-flash。能写代码,能做知识问答,能跑 Agent,能规划复杂任务。在 Claw-Eval 智能体评测榜进了 Top 10。说真的,这周它还要上 1M 超长上下文,以前用 200K 的模型跑到 150K 就降智,这种破事不用再忍了。 图片模型叫 agnes-image-2.1-flash。图改图、多图融合、换背景、改文字、图像修复,电商主图和广告素材这种反复改的场景,太合适了。最近还加了 4K 超高清输出,最高 4096×4096,生成的图可以直接进印刷,不是那种看着还行一放大就糊的草稿。 视频模型叫 agnes-video-2.0。原生音画同步,首帧生视频、首尾帧生视频、多镜头切换都支持,720P 和 1080P 随便选。 接进 Claude Code 怎么搞,其实很简单。 第一步,去 注册,拿到 API key。 第二步,打开 cc-switch。右上角选 Claude CLI,右上角点 + 号,选自定义配置。把 API key 填进去,请求地址写 格式选 OpenAI Chat Completions。 第三步,点获取模型列表,选 agnes-2.0-flash。 第四步,点左上角设置,找到路由,打开路由总开关,Claude 打开。 完事。 回到 Claude Code 正常发消息,模型就已经切过去了。我试了一个在酒吧吉他弹唱的视频,和真人区别不大。 现在 Token 不要钱,Agent 该跑几轮跑几轮,该拆几步拆几步。反正我觉得这才是免费开放最爽的部分,不只是省钱,是心理上解放了。 我测试了一下视频模型,能用,就是慢了点,文字模型还是比较快的。 开发者文档在 OpenClaw、Hermes、Claude Desktop 的,也有现成教程。

老王霸 AI Lab

46,938 просмотров • 13 дней назад

Distil-Whisper:让语音识别的速度提高 5.8 倍,参数减少 51%,准确度保持在 99%。 Whisper 在语音识别方面表现卓著,但是它有一个明显的缺点:训练出来的小模型支持的语言比较少,而大模型推理速度又很慢。如果你有海量的数据需要处理,或者对实时性要求略高,那使用 Whisper 可能会让你比较头疼。 你可以使用工程手段来加速推理,例如将语音分片后并发处理然后合并结果,但这里涉及到本地计算资源瓶颈的问题,以及合并分片时容错处理的问题,工程复杂度比较高。 《Distil-Whisper: Robust Knowledge Distillation via Large-Scale Pseudo Labelling 》, Whisper 的 Large-v2 model 生成了一系列的 soft targets(也就是概率分布),然后复制 Whisper 网络的第一层和最后一层解码器,最后生成了一个更小、更快效果更好的蒸馏模型 Distil-Whisper。论文数据写的是:速度提高了 5.8 倍,参数减少了 51%,准确度保持在 99%。 这个模型的效果之所以不错,主要还是得益于训练数据的完备,它结合了九个公开可用的语音识别数据集,合并后包含 21170 小时的语音数据,涵盖超过 18260 名说话者和 10 个不同的领域;自从 Whisper 大力出奇迹(它从互联网爬取了 68w 小时的数据,未公开)以后,相信后续语音领域的论文都会配置更庞大的数据集。 Distil-Whisper 目前开源在 Hugging Face 上,模型地址: Demo: Demo 会把模型下载到本地,然后通过 WebGPU 直接在网页上跑起来,测试了下效果,还是挺不错的。 目前仅支持英文,如果想让它支持中文,需要使用同样海量的中文语料数据,重新做一次知识蒸馏,但我觉得即便是这样做,效果也不一定好,因为 Whisper 本身对中文、韩语等支持就不太优秀,这个信息可以从 Whisper 的论文中找到数据支撑。 下面这个视频是 Whisper 和 Distil-Whisper 的对比效果:

Barret李靖

124,227 просмотров • 2 лет назад

在现在这个圈子,听到“狼来了”大家可能都不害怕,还要回过头看一眼狼是不是真的来了。但是如果听到“Coming Soon”,做法绝对是不回头直接往前冲。 今天要讲的是临时抱佛脚之0G Labs (Ø,G) - AI L1 ,故事的起源来自于0G传奇男人 Jtsong.eth (Ø,G) 的一句“Soon”。结合最近的消息,感觉0G可能是真的Soon了! 其实早在之前就Building过0G,在三方数据中发现自己在6M和12M的排行榜有自己的排名。在最早之前也拿过0G DC的“0GYapper”Role,基础条件上面应该没什么问题。所以想着继续Builidng一下,万一有惊喜呢? 最近也是关注到AI的基础设施发生重大变化源自0G Labs (Ø,G) - AI L1 的突破。0G 训练了迄今为止最大的分布式 LLM - 100B+ 参数。 传统的 AI 训练需要超算、高带宽网络、巨额资金投入。基本上只有大厂能玩得起,小公司和研究机构只能看着或者借用大公司的产品。 0G Labs 和中国移动合作推出的 DiLoCoX 框架,可以说如果面市就做了反垄断。他们成功在 1 Gbps 网络上训练了 107B 参数的模型。对比原有的成本降低了 95%,速度提升了 10 倍。这不只是技术突破,毫不夸张的讲可能对AI 训练逻辑都会重新洗牌。 看起来是一件降本增效的事情,但实际上意味着: 1️⃣初创公司不用烧钱买 GPU 就能训练大模型 2️⃣中型企业可以内部训练专属模型,不用过度依赖云 3️⃣政府和研究机构能够主权化开发 AI 能力 从技术层面来看,DiLoCoX 通过管道并行、延迟容错通信重叠、自适应梯度压缩,让原本需要数据中心高带宽的训练过程,能在分布式集群上跑通。 0G Labs (Ø,G) - AI L1 做的不是简单的技术优化,是在重新定义 AI 训练的门槛和规则。是从集中式超级计算机到分布式网络的转变。

Meta

43,482 просмотров • 11 месяцев назад

最近一段时间都在关注模型、建模、仿真、优化 这些都是有趣课题,值得去了解学习 在这里我简单介绍两款开源项目: Webots 和 Modelica & OpenModelica 视频1是Webots的自动驾驶仿真 视频2是OpenModelica 6气缸的 v6 引擎仿真 模型,模拟仿真,物理引擎,机器人,自动驾驶,都是非常重要的课题和基础 Webots 是一款用于模拟机器人的开源多平台桌面应用程序 之前也提及:汽车自动驾驶其实就是一个大号机器人,软件定义汽车已是趋势 Webots 提供了一个完整的开发环境来建模、编程和模拟机器人 它为专业用途而设计,广泛应用于工业、教育和研究 Webots 基于 C++/Qt 构建,支持 ROS Webots 依靠 ODE(Open Dynamics Engine,开放动力学引擎)进行物理模拟 因此,一些 Webots 参数、结构或概念引用了 ODE ODE 有着广泛的应用,值得更多关注 Webots + ODE + ROS 一个完整的机器人自动驾驶模拟仿真工具链 一个思考:我们的世界是个建模仿真还是一个真实存在 -------------- 建模很重要 Model knowledge is stored in books and human minds which computers cannot access 数值分析、科学计算软件包基本都会搭载建模仿真工具,比如 MATLAB 有 Simulink Scilab 有 Xcos 当然,也有很多专注建模和仿真的开源工具,上面介绍的 Webots,接着再给大家介绍下 Modelica & OpenModelica Modelica 是开源建模语言 OpenModelica 是一个基于 Modelica 的开源建模和仿真环境 (基于 C/C++/Qt 构建),包含编译器和运行时,旨在供工业和学术用途 基于建模语言和仿真环境去学习研究和实践数学建模、物理模拟和科学工程都是非常好的方式 类似将 MATLAB/Octave/Scilab 用于数值分析和科学计算是同样道理 Modelica 基本理念: 设计一种建模语言,满足多领域物理系统建模与仿真工程应用,可用于几乎所有工程领域的建模,从而摆脱针对特定专业领域工具的限制 换言之,Modelica 即是建模语言,同时也是模型交换与重用的标准 众多面向对象建模语言开发商共同一起,基于他们的经验,研究建立多领域物理系统的建模规范 Modelica 可以解决用连续微分代数方程组(DAEs)表示的许多问题 Modelica 使用 DAEs,而避免使用常微分方程 (ODEs) 描述物理世界,从而在建立方程方面减轻了建模人员的负担 Modelica 支持连续变量和离散变量两种方式在同一组件模型或系统模型中使用 Modelica 模型标准库,Modelica Standard Library, MSL 开发 MSL 的目的是让使用 Modelica 语言的用户,不用开发底层基本的组件模型,就可以开展物理系统的建模和仿真工作 用户需要掌握 Modelica 语言的基础,并学会怎样有效地使用 MSL 目前版本的 MSL 包含 1417 component models and blocks, 512 example models, and 1219 functions Modelica 是开源建模语言,采用类似 C++ 的发展模式,希望能最终纳入 ISO, ANSI, IEEE 标准体系 如果不出意外,Modelica 极有可能会像 C++ 一样成为一种流行的物理系统建模语言,我们拭目以待吧 有关 Modelica & OpenModelica 的介绍和快速了解,可下载官方提供的 200 多页幻灯片资料 从 1997 年 1.0 版到现在正在开发的 3.7 版,Modelica 建模语言之路也已走了快 30年 ---------------------- ps: 国内外的很多差距其实就体现在这些方面,国外很多研究和应用可以一直持续几十年不间断。(展开,包括很多知名摇滚重金属乐队,动不动就是30,40年历史,国内乐队大多昙花一现,有些东西确实没办法) 我们更多是热点来了一哄而上,热度退却,再一哄而散。没有10年,几十年甚至上百年的积累沉淀,怎么比和竞争呢 所以不要盲目的瞎高潮,克制住站在巨人肩上取得一点进展的狂喜中迷失自我

灰狐

12,904 просмотров • 1 год назад