Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

「熊猫吃短信2 - 垃圾短信过滤」新版更新啦。最近又迷恋上了训练小模型,把以前的模型训练过程几乎重新调整了一遍。我让大模型自己尝试超参组合,不断的做实验,代替搜索算法,它夜以继日的跑了半个月,最后告诉我,我的经验参数就是最优的。

50,870 Aufrufe • vor 1 Monat •via X (Twitter)

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

在现在这个圈子,听到“狼来了”大家可能都不害怕,还要回过头看一眼狼是不是真的来了。但是如果听到“Coming Soon”,做法绝对是不回头直接往前冲。 今天要讲的是临时抱佛脚之0G Labs (Ø,G) - AI L1 ,故事的起源来自于0G传奇男人 Jtsong.eth (Ø,G) 的一句“Soon”。结合最近的消息,感觉0G可能是真的Soon了! 其实早在之前就Building过0G,在三方数据中发现自己在6M和12M的排行榜有自己的排名。在最早之前也拿过0G DC的“0GYapper”Role,基础条件上面应该没什么问题。所以想着继续Builidng一下,万一有惊喜呢? 最近也是关注到AI的基础设施发生重大变化源自0G Labs (Ø,G) - AI L1 的突破。0G 训练了迄今为止最大的分布式 LLM - 100B+ 参数。 传统的 AI 训练需要超算、高带宽网络、巨额资金投入。基本上只有大厂能玩得起,小公司和研究机构只能看着或者借用大公司的产品。 0G Labs 和中国移动合作推出的 DiLoCoX 框架,可以说如果面市就做了反垄断。他们成功在 1 Gbps 网络上训练了 107B 参数的模型。对比原有的成本降低了 95%,速度提升了 10 倍。这不只是技术突破,毫不夸张的讲可能对AI 训练逻辑都会重新洗牌。 看起来是一件降本增效的事情,但实际上意味着: 1️⃣初创公司不用烧钱买 GPU 就能训练大模型 2️⃣中型企业可以内部训练专属模型,不用过度依赖云 3️⃣政府和研究机构能够主权化开发 AI 能力 从技术层面来看,DiLoCoX 通过管道并行、延迟容错通信重叠、自适应梯度压缩,让原本需要数据中心高带宽的训练过程,能在分布式集群上跑通。 0G Labs (Ø,G) - AI L1 做的不是简单的技术优化,是在重新定义 AI 训练的门槛和规则。是从集中式超级计算机到分布式网络的转变。

Meta

43,482 Aufrufe • vor 11 Monaten

非常Nice啊,这模型完全免费,Token终于可以自由白嫖了,甚至视频模型都是免费的,太爽了。 它叫Agnes AI,全球模型榜前十,6 月 1 号起把自己家三个核心模型全免费开放了,无限期。图片模型在 artificial analysis 上榜了,文字模型一周被干了一万亿 Token。我把它接进 Claude Code,配起来十分钟的事,Token 随便用。 这玩意到底是什么呢。 Agnes AI 是全球模型榜单前十的一个 AI Lab,这次免费开放的是三个模型,文本、图片、视频。 文本模型叫 agnes-2.0-flash。能写代码,能做知识问答,能跑 Agent,能规划复杂任务。在 Claw-Eval 智能体评测榜进了 Top 10。说真的,这周它还要上 1M 超长上下文,以前用 200K 的模型跑到 150K 就降智,这种破事不用再忍了。 图片模型叫 agnes-image-2.1-flash。图改图、多图融合、换背景、改文字、图像修复,电商主图和广告素材这种反复改的场景,太合适了。最近还加了 4K 超高清输出,最高 4096×4096,生成的图可以直接进印刷,不是那种看着还行一放大就糊的草稿。 视频模型叫 agnes-video-2.0。原生音画同步,首帧生视频、首尾帧生视频、多镜头切换都支持,720P 和 1080P 随便选。 接进 Claude Code 怎么搞,其实很简单。 第一步,去 注册,拿到 API key。 第二步,打开 cc-switch。右上角选 Claude CLI,右上角点 + 号,选自定义配置。把 API key 填进去,请求地址写 格式选 OpenAI Chat Completions。 第三步,点获取模型列表,选 agnes-2.0-flash。 第四步,点左上角设置,找到路由,打开路由总开关,Claude 打开。 完事。 回到 Claude Code 正常发消息,模型就已经切过去了。我试了一个在酒吧吉他弹唱的视频,和真人区别不大。 现在 Token 不要钱,Agent 该跑几轮跑几轮,该拆几步拆几步。反正我觉得这才是免费开放最爽的部分,不只是省钱,是心理上解放了。 我测试了一下视频模型,能用,就是慢了点,文字模型还是比较快的。 开发者文档在 OpenClaw、Hermes、Claude Desktop 的,也有现成教程。

老王霸 AI Lab

46,938 Aufrufe • vor 13 Tagen

Distil-Whisper:让语音识别的速度提高 5.8 倍,参数减少 51%,准确度保持在 99%。 Whisper 在语音识别方面表现卓著,但是它有一个明显的缺点:训练出来的小模型支持的语言比较少,而大模型推理速度又很慢。如果你有海量的数据需要处理,或者对实时性要求略高,那使用 Whisper 可能会让你比较头疼。 你可以使用工程手段来加速推理,例如将语音分片后并发处理然后合并结果,但这里涉及到本地计算资源瓶颈的问题,以及合并分片时容错处理的问题,工程复杂度比较高。 《Distil-Whisper: Robust Knowledge Distillation via Large-Scale Pseudo Labelling 》, Whisper 的 Large-v2 model 生成了一系列的 soft targets(也就是概率分布),然后复制 Whisper 网络的第一层和最后一层解码器,最后生成了一个更小、更快效果更好的蒸馏模型 Distil-Whisper。论文数据写的是:速度提高了 5.8 倍,参数减少了 51%,准确度保持在 99%。 这个模型的效果之所以不错,主要还是得益于训练数据的完备,它结合了九个公开可用的语音识别数据集,合并后包含 21170 小时的语音数据,涵盖超过 18260 名说话者和 10 个不同的领域;自从 Whisper 大力出奇迹(它从互联网爬取了 68w 小时的数据,未公开)以后,相信后续语音领域的论文都会配置更庞大的数据集。 Distil-Whisper 目前开源在 Hugging Face 上,模型地址: Demo: Demo 会把模型下载到本地,然后通过 WebGPU 直接在网页上跑起来,测试了下效果,还是挺不错的。 目前仅支持英文,如果想让它支持中文,需要使用同样海量的中文语料数据,重新做一次知识蒸馏,但我觉得即便是这样做,效果也不一定好,因为 Whisper 本身对中文、韩语等支持就不太优秀,这个信息可以从 Whisper 的论文中找到数据支撑。 下面这个视频是 Whisper 和 Distil-Whisper 的对比效果:

Barret李靖

124,227 Aufrufe • vor 2 Jahren

兄弟们,最近世界杯打得火热,想尝试让不同的AI模型帮我分析一下“目前最有可能夺冠的是谁?” 先登场的是Claude Opus 4.8和ChatGPT 5.5(视频一)。 GPT 5.5还算中规中矩预测的是法国队,不过Opus 4.8让我有点意外居然是西班牙。 然后我看了一下他们的预测依据,我怎么感觉Opus 4.8不太靠谱呢?我这开了网络搜索啊,它难道不知道西班牙开局不利吗?这因素都没考虑进去不应该啊。 我又找了个大佬推荐的专门搞深度研究的AI产品:Apodex Apodex 它硬是给我跑出了一篇带 8 个权威信源的小论文,我把它的回答也发出来了,你们感受一下这个差距(视频二)。 它没有直接给答案,而是先干了一件让我很惊讶的事: 1/ 自己去查了 Opta 超级电脑的 2.5 万次模拟结果,告诉我法国原本夺冠概率 13%,仅次于西班牙。然后它又实时扒了最新博彩赔率,发现开赛后法国已经变成“独立第一热门”,赔率 +410。 2/ 这还没完,它怕我被数据忽悠,又去交叉验证了《纽约时报》、BBC、Fox Sports 的多篇战报,甚至扒出了姆巴佩本赛季 47 场 49 球的恐怖数据,以及英格兰后防线谁又伤了…… 3/ 最后连西班牙被佛得角逼平导致淘汰赛路径变难的连锁反应都给我推演了出来。 相比一些AI的“伪正确”(一本正经的胡说八道), Apodex 的每一条结论,都敢把原始信源亮出来让你点开查证。 它不是会聊天的嘴替,它是真的能帮你去发现那些还没人替你整理好的复杂真相。 以后谁敢再跟你空口预测冠军,你就把这截图甩过去:你的信源在哪?依据是什么? 感兴趣的可以去测试一下他们家的产品:

李岳

17,571 Aufrufe • vor 16 Tagen