Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

发现一个开源小模型,在GitHub上已经斩获 5w star,还登上了Trending榜单。 用它可以让你只用3块钱、花两个小时,就能训练出一个仅有25.8M参数的超小语言模型。 主打极致轻量化,最小版本体积只有 GPT-3 的 1/2700。 而且还开源了 tokenizer 分词器训练,包含 Pretrain、SFT等全过程训练代码,甚至拓展了视觉多模态的MiniMind-V。 所有训练脚本均为 PyTorch 原生实现,兼容MoE混合专家模型架构,基本实现了对大语言模型全阶段的开源复现

55,207 görüntüleme • 1 ay önce •via X (Twitter)

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

有个事我憋很久了,今天必须说一下。 市面上那些标榜 AI 驱动交易的 Bot,我深度用过几款之后发现一个特离谱的现象:它们所谓的 AI 就是接了一个 GPT 或者 Claude 的 API,把 K 线数据原封不动丢进去,让一个从来没被训练过理解金融时间序列的通用模型给你输出买卖建议。说难听点,跟拿 ChatGPT 算命没什么区别。 所以 AIX 的多模型路由方案,是我接触这个项目之后第一个真正觉得"方向对了"的设计。 它同时接了 GPT、Claude、DeepSeek R1、Gemini 这些通用模型,也集成了 Kronos 这类专门为金融预测训练的专业模型。中间多了一层调度层,根据当前市场状态智能路由,震荡市用一套推理框架,单边趋势切另一套算法组合。 这个设计的聪明之处在于它承认了一个很朴素的事实:没有一种模型能在所有行情里通吃。趋势跟随在单边市是神,进了震荡就是来回止损。反过来网格在震荡舒服,单边一来直接穿仓。通用大模型做策略意图理解很强但看 K 线的能力确实有限,专用金融模型在时序预测上更精准但没办法理解你用自然语言描述的策略逻辑。没有一个模型能同时搞定所有事。 AIX 干的事不是选一个最强的模型然后迷信它,而是让不同模型在不同环节轮班上岗,动态调权重。这个思路在传统量化里叫多因子动态权重,AIX 把它搬到了 LLM 和时序模型的协同上。 我体验下来的感受是它不像那种一问一答的 Bot,更像有一个小团队在后台协作,你只需要给方向,它自己去协调谁干什么。这个架构如果跑通,抗单一模型失效的能力跟那些只接一个 API 的项目不在一个数量级。 个人分享,非投资建议。

DeFi狙击手 | Ai🕊️

17,513 görüntüleme • 1 ay önce

非常Nice啊,这模型完全免费,Token终于可以自由白嫖了,甚至视频模型都是免费的,太爽了。 它叫Agnes AI,全球模型榜前十,6 月 1 号起把自己家三个核心模型全免费开放了,无限期。图片模型在 artificial analysis 上榜了,文字模型一周被干了一万亿 Token。我把它接进 Claude Code,配起来十分钟的事,Token 随便用。 这玩意到底是什么呢。 Agnes AI 是全球模型榜单前十的一个 AI Lab,这次免费开放的是三个模型,文本、图片、视频。 文本模型叫 agnes-2.0-flash。能写代码,能做知识问答,能跑 Agent,能规划复杂任务。在 Claw-Eval 智能体评测榜进了 Top 10。说真的,这周它还要上 1M 超长上下文,以前用 200K 的模型跑到 150K 就降智,这种破事不用再忍了。 图片模型叫 agnes-image-2.1-flash。图改图、多图融合、换背景、改文字、图像修复,电商主图和广告素材这种反复改的场景,太合适了。最近还加了 4K 超高清输出,最高 4096×4096,生成的图可以直接进印刷,不是那种看着还行一放大就糊的草稿。 视频模型叫 agnes-video-2.0。原生音画同步,首帧生视频、首尾帧生视频、多镜头切换都支持,720P 和 1080P 随便选。 接进 Claude Code 怎么搞,其实很简单。 第一步,去 注册,拿到 API key。 第二步,打开 cc-switch。右上角选 Claude CLI,右上角点 + 号,选自定义配置。把 API key 填进去,请求地址写 格式选 OpenAI Chat Completions。 第三步,点获取模型列表,选 agnes-2.0-flash。 第四步,点左上角设置,找到路由,打开路由总开关,Claude 打开。 完事。 回到 Claude Code 正常发消息,模型就已经切过去了。我试了一个在酒吧吉他弹唱的视频,和真人区别不大。 现在 Token 不要钱,Agent 该跑几轮跑几轮,该拆几步拆几步。反正我觉得这才是免费开放最爽的部分,不只是省钱,是心理上解放了。 我测试了一下视频模型,能用,就是慢了点,文字模型还是比较快的。 开发者文档在 OpenClaw、Hermes、Claude Desktop 的,也有现成教程。

产品经理老王霸

52,217 görüntüleme • 1 ay önce

Distil-Whisper:让语音识别的速度提高 5.8 倍,参数减少 51%,准确度保持在 99%。 Whisper 在语音识别方面表现卓著,但是它有一个明显的缺点:训练出来的小模型支持的语言比较少,而大模型推理速度又很慢。如果你有海量的数据需要处理,或者对实时性要求略高,那使用 Whisper 可能会让你比较头疼。 你可以使用工程手段来加速推理,例如将语音分片后并发处理然后合并结果,但这里涉及到本地计算资源瓶颈的问题,以及合并分片时容错处理的问题,工程复杂度比较高。 《Distil-Whisper: Robust Knowledge Distillation via Large-Scale Pseudo Labelling 》, Whisper 的 Large-v2 model 生成了一系列的 soft targets(也就是概率分布),然后复制 Whisper 网络的第一层和最后一层解码器,最后生成了一个更小、更快效果更好的蒸馏模型 Distil-Whisper。论文数据写的是:速度提高了 5.8 倍,参数减少了 51%,准确度保持在 99%。 这个模型的效果之所以不错,主要还是得益于训练数据的完备,它结合了九个公开可用的语音识别数据集,合并后包含 21170 小时的语音数据,涵盖超过 18260 名说话者和 10 个不同的领域;自从 Whisper 大力出奇迹(它从互联网爬取了 68w 小时的数据,未公开)以后,相信后续语音领域的论文都会配置更庞大的数据集。 Distil-Whisper 目前开源在 Hugging Face 上,模型地址: Demo: Demo 会把模型下载到本地,然后通过 WebGPU 直接在网页上跑起来,测试了下效果,还是挺不错的。 目前仅支持英文,如果想让它支持中文,需要使用同样海量的中文语料数据,重新做一次知识蒸馏,但我觉得即便是这样做,效果也不一定好,因为 Whisper 本身对中文、韩语等支持就不太优秀,这个信息可以从 Whisper 的论文中找到数据支撑。 下面这个视频是 Whisper 和 Distil-Whisper 的对比效果:

Barret李靖

124,227 görüntüleme • 2 yıl önce

最近一段时间都在关注模型、建模、仿真、优化 这些都是有趣课题,值得去了解学习 在这里我简单介绍两款开源项目: Webots 和 Modelica & OpenModelica 视频1是Webots的自动驾驶仿真 视频2是OpenModelica 6气缸的 v6 引擎仿真 模型,模拟仿真,物理引擎,机器人,自动驾驶,都是非常重要的课题和基础 Webots 是一款用于模拟机器人的开源多平台桌面应用程序 之前也提及:汽车自动驾驶其实就是一个大号机器人,软件定义汽车已是趋势 Webots 提供了一个完整的开发环境来建模、编程和模拟机器人 它为专业用途而设计,广泛应用于工业、教育和研究 Webots 基于 C++/Qt 构建,支持 ROS Webots 依靠 ODE(Open Dynamics Engine,开放动力学引擎)进行物理模拟 因此,一些 Webots 参数、结构或概念引用了 ODE ODE 有着广泛的应用,值得更多关注 Webots + ODE + ROS 一个完整的机器人自动驾驶模拟仿真工具链 一个思考:我们的世界是个建模仿真还是一个真实存在 -------------- 建模很重要 Model knowledge is stored in books and human minds which computers cannot access 数值分析、科学计算软件包基本都会搭载建模仿真工具,比如 MATLAB 有 Simulink Scilab 有 Xcos 当然,也有很多专注建模和仿真的开源工具,上面介绍的 Webots,接着再给大家介绍下 Modelica & OpenModelica Modelica 是开源建模语言 OpenModelica 是一个基于 Modelica 的开源建模和仿真环境 (基于 C/C++/Qt 构建),包含编译器和运行时,旨在供工业和学术用途 基于建模语言和仿真环境去学习研究和实践数学建模、物理模拟和科学工程都是非常好的方式 类似将 MATLAB/Octave/Scilab 用于数值分析和科学计算是同样道理 Modelica 基本理念: 设计一种建模语言,满足多领域物理系统建模与仿真工程应用,可用于几乎所有工程领域的建模,从而摆脱针对特定专业领域工具的限制 换言之,Modelica 即是建模语言,同时也是模型交换与重用的标准 众多面向对象建模语言开发商共同一起,基于他们的经验,研究建立多领域物理系统的建模规范 Modelica 可以解决用连续微分代数方程组(DAEs)表示的许多问题 Modelica 使用 DAEs,而避免使用常微分方程 (ODEs) 描述物理世界,从而在建立方程方面减轻了建模人员的负担 Modelica 支持连续变量和离散变量两种方式在同一组件模型或系统模型中使用 Modelica 模型标准库,Modelica Standard Library, MSL 开发 MSL 的目的是让使用 Modelica 语言的用户,不用开发底层基本的组件模型,就可以开展物理系统的建模和仿真工作 用户需要掌握 Modelica 语言的基础,并学会怎样有效地使用 MSL 目前版本的 MSL 包含 1417 component models and blocks, 512 example models, and 1219 functions Modelica 是开源建模语言,采用类似 C++ 的发展模式,希望能最终纳入 ISO, ANSI, IEEE 标准体系 如果不出意外,Modelica 极有可能会像 C++ 一样成为一种流行的物理系统建模语言,我们拭目以待吧 有关 Modelica & OpenModelica 的介绍和快速了解,可下载官方提供的 200 多页幻灯片资料 从 1997 年 1.0 版到现在正在开发的 3.7 版,Modelica 建模语言之路也已走了快 30年 ---------------------- ps: 国内外的很多差距其实就体现在这些方面,国外很多研究和应用可以一直持续几十年不间断。(展开,包括很多知名摇滚重金属乐队,动不动就是30,40年历史,国内乐队大多昙花一现,有些东西确实没办法) 我们更多是热点来了一哄而上,热度退却,再一哄而散。没有10年,几十年甚至上百年的积累沉淀,怎么比和竞争呢 所以不要盲目的瞎高潮,克制住站在巨人肩上取得一点进展的狂喜中迷失自我

灰狐

12,978 görüntüleme • 1 yıl önce