Meta

在现在这个圈子，听到“狼来了”大家可能都不害怕，还要回过头看一眼狼是不是真的来了。但是如果听到“Coming Soon”，做法绝对是不回头直接往前冲。 今天要讲的是临时抱佛脚之0G Labs (Ø,G) - AI L1 ，故事的起源来自于0G传奇男人 Jtsong.eth (Ø,G) 的一句“Soon”。结合最近的消息，感觉0G可能是真的Soon了！ 其实早在之前就Building过0G，在三方数据中发现自己在6M和12M的排行榜有自己的排名。在最早之前也拿过0G DC的“0GYapper”Role，基础条件上面应该没什么问题。所以想着继续Builidng一下，万一有惊喜呢？ 最近也是关注到AI的基础设施发生重大变化源自0G Labs (Ø,G) - AI L1 的突破。0G 训练了迄今为止最大的分布式 LLM - 100B+ 参数。 传统的 AI 训练需要超算、高带宽网络、巨额资金投入。基本上只有大厂能玩得起，小公司和研究机构只能看着或者借用大公司的产品。 0G Labs 和中国移动合作推出的 DiLoCoX 框架，可以说如果面市就做了反垄断。他们成功在 1 Gbps 网络上训练了 107B 参数的模型。对比原有的成本降低了 95%，速度提升了 10 倍。这不只是技术突破，毫不夸张的讲可能对AI 训练逻辑都会重新洗牌。 看起来是一件降本增效的事情，但实际上意味着： 1️⃣初创公司不用烧钱买 GPU 就能训练大模型 2️⃣中型企业可以内部训练专属模型，不用过度依赖云 3️⃣政府和研究机构能够主权化开发 AI 能力 从技术层面来看，DiLoCoX 通过管道并行、延迟容错通信重叠、自适应梯度压缩，让原本需要数据中心高带宽的训练过程，能在分布式集群上跑通。 0G Labs (Ø,G) - AI L1 做的不是简单的技术优化，是在重新定义 AI 训练的门槛和规则。是从集中式超级计算机到分布式网络的转变。

43,482 просмотров