Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

白宫加密政策主管David Sacks： 四年内AI 大模型能力将增长一百万倍 ！ “我认为目前至少在三个关键维度上，进步的速度都是指数级的。” “首先是算法本身。模型每年提升的速度大概是 3-4 倍。” “它们不仅仅是在速度和性能上更快更好，而且将从量变到质变。” “接着是推理模型。” “我们甚至还没有真正进入智能代理时代，但这将是继推理模型之后的下一个重大飞跃。” “在这个领域，我们才刚刚开始（推理算力增加带来的能力增加也将是倍数增长）。” “接下来是芯片。” “根据多种衡量标准，每一代芯片的性能可能比上一代提高 3-4 倍。” “不只是单个芯片在不断进步，他们还在研究如何将这些芯片联网在一起。” “就像 NVL72 系统，它类似于一个机架系统，可以在数据中心级别大幅提升性能。” “计算能力是第三个你会看到基本上呈指数级进步的领域。” “只需要看看数据中心中部署的 GPU 数量。” “当马斯克最初开始训练 Grok 时，我认为他们大概有 10 万块 GPU。现在已经有 30 万块 GPU，而且正朝着百万块 GPU的目标迈进。OpenAI 的数据中心 Stargate 也是同样的情况。” “在接下来的几年中，他们可能会发展到 500 万、1000 万块 GPU。” 1,000,000 倍的增长是怎么得出的： “算法、芯片和数据中心的扩展和改进速度都是每年 3-4 倍。” “也就是说，每两年进步...

gntalktalk's profile picture

夜谈

3,624 subscribers

25,895 görüntüleme • 1 yıl önce •via X (Twitter)

Bilim & TeknolojiHaberler & PolitikaEğitim
LIVE

Anya Rossi• Live Now

Private livecam show

4 Yorum

kaspaG 𐤊 profil fotoğrafı
kaspaG 𐤊1 yıl önce

推理模型大成的话人类思维有点危险了

莊生夢蝶🦋 profil fotoğrafı
莊生夢蝶🦋1 yıl önce

亦或被垄断企业和独裁政府掌控了，非普通人之福。

守夜人 profil fotoğrafı
守夜人1 yıl önce

电力是“拌脚石”？

JustinSunGirls.eth profil fotoğrafı
JustinSunGirls.eth1 yıl önce

伟大领袖特朗普宣布成立A1部门

Benzer Videolar

马斯克：AI界对超级智能的数学认知，错了整整100倍。 不是方向偏了。是数量级的误解。 他说：算法改进空间还有两个数量级。同一台电脑，不加硬件，智能提升100倍。 所有人盯着GPU军备竞赛。 但真正的战场在软件。 更可怕的是复利效应—— 第1年×10，第2年×100，第3年×1000。 三年后，AI与人脑的差距，将超过人脑与计算器的差距。 我们以为超级智能还很远。 其实我们已经在曲线里面了。
1:18

马斯克：AI界对超级智能的数学认知，错了整整100倍。 不是方向偏了。是数量级的误解。 他说：算法改进空间还有两个数量级。同一台电脑，不加硬件，智能提升100倍。 所有人盯着GPU军备竞赛。 但真正的战场在软件。 更可怕的是复利效应—— 第1年×10，第2年×100，第3年×1000。 三年后，AI与人脑的差距，将超过人脑与计算器的差距。 我们以为超级智能还很远。 其实我们已经在曲线里面了。

KK.aWSB

28,418 görüntüleme • 4 ay önce

马斯克说，AI圈里的大多数人，还没搞懂一件事。 几乎没人明白。 我们今天所见的AI，其“智能密度”的潜力，被严重低估了。 低估了多少？ 两个数量级，也就是100倍。 这意味着什么？ 同样的硬件，同样的能耗。 每千兆字节，每瓦特电力，每个晶体管。 仅靠算法的改进，就能压榨出100倍的智能。 这是纯粹的软件和算法革命。 硬件的进步还没算进去。 电脑本身还在变得更强，更大。 预算也越来越夸张。 所以马斯克判断，AI正以每年10倍的速度变得更聪明。 这是一个极度可怕的增长率。 问题来了。 当算力不再是绝对瓶颈，算法的突破成为关键，谁能掌握定义下一个时代的主动权？ 这种指数级增长的智能，最终会掌握在谁手里？ 是服务于个体、增强国家实力的工具，还是成为少数科技寡头和全球主义者控制世界的新手段？ 这不再是简单的技术问题。 这是一场地缘政治、文明形态和未来生存方式的终极竞赛。
1:21

马斯克说，AI圈里的大多数人，还没搞懂一件事。 几乎没人明白。 我们今天所见的AI，其“智能密度”的潜力，被严重低估了。 低估了多少？ 两个数量级，也就是100倍。 这意味着什么？ 同样的硬件，同样的能耗。 每千兆字节，每瓦特电力，每个晶体管。 仅靠算法的改进，就能压榨出100倍的智能。 这是纯粹的软件和算法革命。 硬件的进步还没算进去。 电脑本身还在变得更强，更大。 预算也越来越夸张。 所以马斯克判断，AI正以每年10倍的速度变得更聪明。 这是一个极度可怕的增长率。 问题来了。 当算力不再是绝对瓶颈，算法的突破成为关键，谁能掌握定义下一个时代的主动权？ 这种指数级增长的智能，最终会掌握在谁手里？ 是服务于个体、增强国家实力的工具，还是成为少数科技寡头和全球主义者控制世界的新手段？ 这不再是简单的技术问题。 这是一场地缘政治、文明形态和未来生存方式的终极竞赛。

墓碑科技

42,106 görüntüleme • 6 ay önce

每个人都能买得起 英伟达发布个人AI超级计算机 ，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。 将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。 设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心 也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿 参数的大语言模型。 通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿 参数模型。 而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。 简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！
1:30

每个人都能买得起 英伟达发布个人AI超级计算机 ，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。 将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。 设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心 也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿 参数的大语言模型。 通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿 参数模型。 而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。 简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

小互

85,697 görüntüleme • 1 yıl önce

🔥现在特斯拉FSD的水平很大可能已经超越了人类！ 马斯克在今年一月份表示：FSD正在以指数级速度进步。我们有信心三个月后，也就是2025年第二季度，其事故率将低于经验丰富的司机！ FSD的安全系数会持续不断提升，将达到比人类司机高10倍、100倍的水平，到最后基本上是完全不会出事故！”
1:06

🔥现在特斯拉FSD的水平很大可能已经超越了人类！ 马斯克在今年一月份表示：FSD正在以指数级速度进步。我们有信心三个月后，也就是2025年第二季度，其事故率将低于经验丰富的司机！ FSD的安全系数会持续不断提升，将达到比人类司机高10倍、100倍的水平，到最后基本上是完全不会出事故！”

谢嘉琪

34,147 görüntüleme • 1 yıl önce

Anthropic CEO 说了句大实话：AI 模型的能力每年增长10倍，所有价值都在最前沿那一层，其他的都是吃剩饭。 Dario Amodei 的原话：智力这个因子太大了，大到能压过其他所有因素。用户几乎不会主动选一个更笨的模型。 他还提了一嘴在百度的经历。当年做语音识别要数据，百度那边说"在中国我们不关心隐私"。结果就是他们有海量无限制的语音数据可以用来训练。 这两件事放一起看挺有意思的：一边是数据不设限带来的训练优势，一边是前沿智力碾压一切的判断。
1:27

Anthropic CEO 说了句大实话：AI 模型的能力每年增长10倍，所有价值都在最前沿那一层，其他的都是吃剩饭。 Dario Amodei 的原话：智力这个因子太大了，大到能压过其他所有因素。用户几乎不会主动选一个更笨的模型。 他还提了一嘴在百度的经历。当年做语音识别要数据，百度那边说"在中国我们不关心隐私"。结果就是他们有海量无限制的语音数据可以用来训练。 这两件事放一起看挺有意思的：一边是数据不设限带来的训练优势，一边是前沿智力碾压一切的判断。

Vincent

83,815 görüntüleme • 25 gün önce

英伟达老板黄仁勋亲口承认，未来推理需求将会增长10亿倍！ 兄弟们，是10亿倍，不是100倍，不是1000倍，拿好您的CPU，还有电力能源！我准备把内存芯片股票逐步止盈，押注更多的CPU和能源板块！🧐 我们仅仅才刚刚开始，CPU需求将会指数级增长，未来可能CPU体量会超过GPU，苏妈说的1:1配比，可能依旧偏向保守了！ $AMD $INTC $ARM $NVDA
0:20

英伟达老板黄仁勋亲口承认，未来推理需求将会增长10亿倍！ 兄弟们，是10亿倍，不是100倍，不是1000倍，拿好您的CPU，还有电力能源！我准备把内存芯片股票逐步止盈，押注更多的CPU和能源板块！🧐 我们仅仅才刚刚开始，CPU需求将会指数级增长，未来可能CPU体量会超过GPU，苏妈说的1:1配比，可能依旧偏向保守了！ $AMD $INTC $ARM $NVDA

Rocky

243,293 görüntüleme • 2 ay önce

Google量子计算新突破：量子计算芯片 Willow 5 分钟完成传统计算机100亿亿亿年的计算 最近大家都在关注 AI，也许没有注意到 Google 刚发布的 量子计算芯片 Willow 想象一下，有一道数学题，就算用世界上最快的超级计算机来解，也需要计算100亿亿亿年。而Google的最新量子计算芯片Willow只用了5分钟就解决了。如果你对这个数字没有概念，这个时间比我们宇宙的年龄（138亿年）还要长得多！ 什么是量子计算？ 要理解这个突破，我们先来聊聊普通计算机和量子计算机的区别： - 普通计算机使用的是"比特"（位），就像一个开关，只能是开（1）或关（0）两种状态 - 量子计算机使用的是"量子比特"（量子位），它可以同时处于多个状态，这让计算能力呈指数级增长 Willow的突破性进展 Google的Willow芯片最大的突破在于解决了量子计算领域30年来的一个大难题。传统上，量子比特越多，计算错误就越多。但Willow通过创新的"逻辑量子位"设计，实现了相反的效果：随着量子比特的增加，错误反而会减少。这就像搭建了一个会自我纠错的超级计算系统。 这对我们的生活意味着什么？ 虽然现在还不能期待在家里放一台量子电脑，但Willow的突破将在未来带来许多令人兴奋的应用： - 加速新药物的研发 - 设计更高效的电动车电池 - 优化城市交通流量 - 开发更安全的通信加密系统 - 提升人工智能的学习能力 未来展望 Google预计在2030年左右可能会看到商用量子计算机。虽然还面临着提高运算精度、降低成本等挑战，但Willow的诞生就像是莱特兄弟的第一次飞行——它证明了"不可能"是可能的。这打开了一扇通向未来的大门，量子计算革命已经势不可挡。 这次的突破，不仅仅是技术的进步，更预示着人类即将进入一个全新的计算时代。虽然距离普及还需要时间，但就像当年的第一台计算机一样，Willow 有可能会是未来量子计算机的开始。
6:38

Google量子计算新突破：量子计算芯片 Willow 5 分钟完成传统计算机100亿亿亿年的计算 最近大家都在关注 AI，也许没有注意到 Google 刚发布的 量子计算芯片 Willow 想象一下，有一道数学题，就算用世界上最快的超级计算机来解，也需要计算100亿亿亿年。而Google的最新量子计算芯片Willow只用了5分钟就解决了。如果你对这个数字没有概念，这个时间比我们宇宙的年龄（138亿年）还要长得多！ 什么是量子计算？ 要理解这个突破，我们先来聊聊普通计算机和量子计算机的区别： - 普通计算机使用的是"比特"（位），就像一个开关，只能是开（1）或关（0）两种状态 - 量子计算机使用的是"量子比特"（量子位），它可以同时处于多个状态，这让计算能力呈指数级增长 Willow的突破性进展 Google的Willow芯片最大的突破在于解决了量子计算领域30年来的一个大难题。传统上，量子比特越多，计算错误就越多。但Willow通过创新的"逻辑量子位"设计，实现了相反的效果：随着量子比特的增加，错误反而会减少。这就像搭建了一个会自我纠错的超级计算系统。 这对我们的生活意味着什么？ 虽然现在还不能期待在家里放一台量子电脑，但Willow的突破将在未来带来许多令人兴奋的应用： - 加速新药物的研发 - 设计更高效的电动车电池 - 优化城市交通流量 - 开发更安全的通信加密系统 - 提升人工智能的学习能力 未来展望 Google预计在2030年左右可能会看到商用量子计算机。虽然还面临着提高运算精度、降低成本等挑战，但Willow的诞生就像是莱特兄弟的第一次飞行——它证明了"不可能"是可能的。这打开了一扇通向未来的大门，量子计算革命已经势不可挡。 这次的突破，不仅仅是技术的进步，更预示着人类即将进入一个全新的计算时代。虽然距离普及还需要时间，但就像当年的第一台计算机一样，Willow 有可能会是未来量子计算机的开始。

宝玉

131,542 görüntüleme • 1 yıl önce

“我们究竟是创造了一个工具还是一个生物？” Sam 在 "机器人之心 "小组讨论会上的发言。 Sam： 但我认为，这无疑是迄今为止人类经历的最重大的更新年份。可能这也是我们将会遭遇的最大变革，因为从现在开始，人们已经接受强大的人工智能将成为现实，并且还会有逐步的更新。就像是第一代 iPhone 面世的那年，以及随后每一代 iPhone 的更新，我们现在能够明显感受到这一代与去年那代的差异。所以，这确实是一个重要的时刻。 我感到欣慰的是，现在人们开始正确地把这些系统当作工具来看待。艺术家尤其如此，但其他人也是一样。 曾经，人们真正恐惧的是，我们究竟是创造了一个工具还是一个生物，这将意味着什么？现在，人们视这些系统为人类工具箱中的新工具，并且正在用它创造一些非常了不起的东西。 模型显然不知道你在说什么，因为这不在它的训练数据里，它也无法从训练数据中学习到这些信息。 这是完全可以预期的。你再问一遍。比如说，你提到“意识”这个概念，模型回答：“是的，我完全明白你的意思，但我之前从未听说过这个词。” 问： “这对我来说就像是一次更新。你认为人工智能会趋向于探索创造性智能和自主性吗？” Sam： 这个问题有多个答案。这取决于激励模型。这是人类的选择。 问： “这将是判断意识的一个很好的测试。因为如果它有自我表达的愿望，并且仅仅为了创作的乐趣而去创作，那不会是偶然的。这绝对有点像生物。” Sam： 这是生物化的。我认为在此之前还有很多步骤。 我们现在要回答问题吗？这真的很棒。
0:30

“我们究竟是创造了一个工具还是一个生物？” Sam 在 "机器人之心 "小组讨论会上的发言。 Sam： 但我认为，这无疑是迄今为止人类经历的最重大的更新年份。可能这也是我们将会遭遇的最大变革，因为从现在开始，人们已经接受强大的人工智能将成为现实，并且还会有逐步的更新。就像是第一代 iPhone 面世的那年，以及随后每一代 iPhone 的更新，我们现在能够明显感受到这一代与去年那代的差异。所以，这确实是一个重要的时刻。 我感到欣慰的是，现在人们开始正确地把这些系统当作工具来看待。艺术家尤其如此，但其他人也是一样。 曾经，人们真正恐惧的是，我们究竟是创造了一个工具还是一个生物，这将意味着什么？现在，人们视这些系统为人类工具箱中的新工具，并且正在用它创造一些非常了不起的东西。 模型显然不知道你在说什么，因为这不在它的训练数据里，它也无法从训练数据中学习到这些信息。 这是完全可以预期的。你再问一遍。比如说，你提到“意识”这个概念，模型回答：“是的，我完全明白你的意思，但我之前从未听说过这个词。” 问： “这对我来说就像是一次更新。你认为人工智能会趋向于探索创造性智能和自主性吗？” Sam： 这个问题有多个答案。这取决于激励模型。这是人类的选择。 问： “这将是判断意识的一个很好的测试。因为如果它有自我表达的愿望，并且仅仅为了创作的乐趣而去创作，那不会是偶然的。这绝对有点像生物。” Sam： 这是生物化的。我认为在此之前还有很多步骤。 我们现在要回答问题吗？这真的很棒。

Lei.sea

14,132 görüntüleme • 2 yıl önce

马斯克，要用100万颗GPU造智能？ 去年他刚连上20万颗GPU，已经是全球第一。 今年目标：100万颗，成本高达400亿到600亿美元。 这是全世界第一次，有人用这种方式堆出AI的极限。 他不是在建AI模型，而是在造一台超级AI工厂。 用最硬核的方式，把智能硬拼出来。 这不仅是资本的竞赛，更是算力的军备竞赛。 每一块GPU，都是通向通用AI的一块砖。 当别人还在调参数、调算法， 马斯克已经直接开造，砸出来一个AI地基。 这不是模型迭代，而是智能的工业化。 全球AI竞赛，可能从此进入下一个阶段。
1:02

马斯克，要用100万颗GPU造智能？ 去年他刚连上20万颗GPU，已经是全球第一。 今年目标：100万颗，成本高达400亿到600亿美元。 这是全世界第一次，有人用这种方式堆出AI的极限。 他不是在建AI模型，而是在造一台超级AI工厂。 用最硬核的方式，把智能硬拼出来。 这不仅是资本的竞赛，更是算力的军备竞赛。 每一块GPU，都是通向通用AI的一块砖。 当别人还在调参数、调算法， 马斯克已经直接开造，砸出来一个AI地基。 这不是模型迭代，而是智能的工业化。 全球AI竞赛，可能从此进入下一个阶段。

墓碑科技

112,554 görüntüleme • 8 ay önce

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕） 演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任 这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。 按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。 例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。 此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。 所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言 好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍 去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。 哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。 所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战 目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。 虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。 然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要 目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。 但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。 通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。 但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展 但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。 但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。 我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。 我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。 然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。 在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要 接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。 我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果 现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。 至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。 那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考 总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。 因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？ 这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道 呢？但这个数据量实在太大了。我们无法处理。 如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？ 在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展 那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。 这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。 不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结 总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。 例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。 此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。 所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 我就在这里结束我的演讲。谢谢。 视频来源：
17:51

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕） 演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任 这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。 按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。 例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。 此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。 所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言 好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍 去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。 哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。 所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战 目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。 虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。 然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要 目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。 但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。 通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。 但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展 但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。 但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。 我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。 我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。 然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。 在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要 接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。 我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果 现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。 至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。 那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考 总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。 因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？ 这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道 呢？但这个数据量实在太大了。我们无法处理。 如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？ 在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展 那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。 这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。 不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结 总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。 例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。 此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。 所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 我就在这里结束我的演讲。谢谢。 视频来源：

宝玉

59,578 görüntüleme • 2 yıl önce

马斯克给出了一个明确的警告： AI竞赛，中共国正在获胜。 这听起来有点反直觉。 不是芯片决定胜负吗？ 不是美国在芯片上遥遥领先吗？ 马斯克看到了另一面。 他认为到了2026年，中共国的发电量将超过美国的三倍。 AI的本质是算力，算力的本质是能源。 他们会解决芯片问题的。 他们会开始自己大规模制造芯片。 而且，摩尔定律已经死了。 这是英伟达黄仁勋亲口说的。 从3纳米到2纳米，性能提升不是3:2，可能只有10%。 这意味着芯片技术的物理极限越来越近。 技术进步的回报在递减。 当所有人都快要撞到同一堵墙上时，领先者的优势就被削弱了。 这给了追赶者一个巨大的机会窗口。 几十年来，华尔街和建制派精英们推动的全球化，将美国的制造业和供应链拱手相让。 他们以为只是转移了低端工厂，换来了廉价商品。 但实际上，他们转移的是一个国家的工业基础和能源命脉。 现在，我们看到结果了。 当AI时代真的到来，竞争的核心又回到了最朴素的工业基础： 能源和制造。 最终的局面可能是，中共国将拥有比其他任何人都多的电力。 也可能拥有比任何人都多的芯片。
0:41

马斯克给出了一个明确的警告： AI竞赛，中共国正在获胜。 这听起来有点反直觉。 不是芯片决定胜负吗？ 不是美国在芯片上遥遥领先吗？ 马斯克看到了另一面。 他认为到了2026年，中共国的发电量将超过美国的三倍。 AI的本质是算力，算力的本质是能源。 他们会解决芯片问题的。 他们会开始自己大规模制造芯片。 而且，摩尔定律已经死了。 这是英伟达黄仁勋亲口说的。 从3纳米到2纳米，性能提升不是3:2，可能只有10%。 这意味着芯片技术的物理极限越来越近。 技术进步的回报在递减。 当所有人都快要撞到同一堵墙上时，领先者的优势就被削弱了。 这给了追赶者一个巨大的机会窗口。 几十年来，华尔街和建制派精英们推动的全球化，将美国的制造业和供应链拱手相让。 他们以为只是转移了低端工厂，换来了廉价商品。 但实际上，他们转移的是一个国家的工业基础和能源命脉。 现在，我们看到结果了。 当AI时代真的到来，竞争的核心又回到了最朴素的工业基础： 能源和制造。 最终的局面可能是，中共国将拥有比其他任何人都多的电力。 也可能拥有比任何人都多的芯片。

墓碑科技

39,942 görüntüleme • 6 ay önce

马斯克大的要来了！ 正式公布了一个超级大项目 Terafab 全称是 Tesla + SpaceX + xAI 联合芯片超级工厂 这一次，又是把第一性原理发挥到了极致 AI 算力不够 我们就自己开厂！ Tera：代表 Terawatt 太瓦，也就是 1万亿瓦（10¹² W）的计算能力/年 全世界人类目前所有AI芯片加起来，一年能提供的计算能力大概只有 Terafab 的1/50 要殖民火星、建月球基地、在太空搞巨型计算、星际文明 这些都需要巨量算力 所以 Terafab 不只是 Tesla 的芯片厂 更是为了整个人类多行星文明！
0:43

马斯克大的要来了！ 正式公布了一个超级大项目 Terafab 全称是 Tesla + SpaceX + xAI 联合芯片超级工厂 这一次，又是把第一性原理发挥到了极致 AI 算力不够 我们就自己开厂！ Tera：代表 Terawatt 太瓦，也就是 1万亿瓦（10¹² W）的计算能力/年 全世界人类目前所有AI芯片加起来，一年能提供的计算能力大概只有 Terafab 的1/50 要殖民火星、建月球基地、在太空搞巨型计算、星际文明 这些都需要巨量算力 所以 Terafab 不只是 Tesla 的芯片厂 更是为了整个人类多行星文明！

Annie 所长

36,273 görüntüleme • 3 ay önce

如果你把任务分解得足够小，我从没见过谁是无法进步的，但你知道这可能会很丢人，好处是，一旦你迈出了第一步，你就已经勇敢面对困难，并且你的进步速度非线性增长，而是飞速上升，所以最酷的是，第一步有多小并不重要，因为它会开始翻倍，任何翻倍的事情都会以令人难以置信的速度增长，这也是非常有用的知识。
0:55

如果你把任务分解得足够小，我从没见过谁是无法进步的，但你知道这可能会很丢人，好处是，一旦你迈出了第一步，你就已经勇敢面对困难，并且你的进步速度非线性增长，而是飞速上升，所以最酷的是，第一步有多小并不重要，因为它会开始翻倍，任何翻倍的事情都会以令人难以置信的速度增长，这也是非常有用的知识。

Morris

70,589 görüntüleme • 1 yıl önce

什么才是数据中心最大的威胁？ 不是竞争。 也不是监管。 是去中心化。 Perplexity的CEO一语惊人。 他说，真正的颠覆，是当AI被封装进你设备上的本地芯片里。 到那时，还需要一个中心化的数据中心来处理一切吗？ 根本不需要。 更进一步想。 芯片自带的模型会不断适应你本人。 AI就在你的电脑上观察、学习、进化。 因为它住在你的电脑里，而不是在遥远的服务器上，所以你很放心。 你的数据，完全属于你。 你的习惯，你的偏好，你的智能，都沉淀在你自己的设备里，成为你专属的“大脑”。 你拥有它。 这才是真正的数据主权。 当这一切发生时，那些耗资数千亿、甚至数万亿建造的庞大中心化数据中心，还有存在的意义吗？ 建立在全球各地，为少数巨头收集和处理用户数据的模式，似乎走到了一个十字路口。 这不仅是技术路线的改变。 更是权力从少数中心化机构，回归到每一个普通人手中的开始。
1:15

什么才是数据中心最大的威胁？ 不是竞争。 也不是监管。 是去中心化。 Perplexity的CEO一语惊人。 他说，真正的颠覆，是当AI被封装进你设备上的本地芯片里。 到那时，还需要一个中心化的数据中心来处理一切吗？ 根本不需要。 更进一步想。 芯片自带的模型会不断适应你本人。 AI就在你的电脑上观察、学习、进化。 因为它住在你的电脑里，而不是在遥远的服务器上，所以你很放心。 你的数据，完全属于你。 你的习惯，你的偏好，你的智能，都沉淀在你自己的设备里，成为你专属的“大脑”。 你拥有它。 这才是真正的数据主权。 当这一切发生时，那些耗资数千亿、甚至数万亿建造的庞大中心化数据中心，还有存在的意义吗？ 建立在全球各地，为少数巨头收集和处理用户数据的模式，似乎走到了一个十字路口。 这不仅是技术路线的改变。 更是权力从少数中心化机构，回归到每一个普通人手中的开始。

墓碑科技

14,583 görüntüleme • 4 ay önce

马斯克：30-36个月，AI 要上天，记住我的话 如果你记不住的话，那我再说一遍，30-36个月！ 1. AI 最大瓶颈将不是芯片，而是电力！ 不是 GPU，也不是 HBM，而是发电厂、变压器、电网和基础设施。 2. 太阳能在太空发电效率约是地球的 5 倍 一旦发射成本下降，AI 数据中心将开始飞向太空。 3. 5 年后，新增 AI 算力将主要来自太空。 马斯克预测，未来每年部署到太空运行的 AI 算力，都将超过人类史上地球上的 AI 算力总和！
1:00

马斯克：30-36个月，AI 要上天，记住我的话 如果你记不住的话，那我再说一遍，30-36个月！ 1. AI 最大瓶颈将不是芯片，而是电力！ 不是 GPU，也不是 HBM，而是发电厂、变压器、电网和基础设施。 2. 太阳能在太空发电效率约是地球的 5 倍 一旦发射成本下降，AI 数据中心将开始飞向太空。 3. 5 年后，新增 AI 算力将主要来自太空。 马斯克预测，未来每年部署到太空运行的 AI 算力，都将超过人类史上地球上的 AI 算力总和！

Annie 所长

81,265 görüntüleme • 19 gün önce

是算力不够用，被卡住了脖子。 算力缺口到底有多大？ AMD的CEO苏姿丰，给了几个数字。 她说，未来4-5年，全球AI算力需要增长100倍。 100倍是什么概念？ 她造了个新词：Yottaflop。 1后面跟着24个零。 地球上所有沙滩的沙子数量，大概是1后面22个零。 用来驱动AI的算力，将比地球上所有的沙子还多。 这些算力要用来干什么？ 她说，为了让AI无处不在。 渗透进每个人的工作和生活。 提高所有人的生产力。 这里的关键问题是，谁来定义“生产力”？ 是华尔街的精英，还是俄亥俄的普通工人？ 是达沃斯论坛，还是美国的铁锈带？ AI的进化方向，不应该只由硅谷的几家巨头决定。 这种巨大的算力，如果集中在少数人手里，到底是赋能，还是控制？ 我们是在创造一个辅助人类的工具，还是在打造一个数字上帝？ 技术狂飙的背后，谁在制定规则？ 谁又在真正受益？ 这些问题，比Yottaflop后面有多少个零，重要得多。
2:10

是算力不够用，被卡住了脖子。 算力缺口到底有多大？ AMD的CEO苏姿丰，给了几个数字。 她说，未来4-5年，全球AI算力需要增长100倍。 100倍是什么概念？ 她造了个新词：Yottaflop。 1后面跟着24个零。 地球上所有沙滩的沙子数量，大概是1后面22个零。 用来驱动AI的算力，将比地球上所有的沙子还多。 这些算力要用来干什么？ 她说，为了让AI无处不在。 渗透进每个人的工作和生活。 提高所有人的生产力。 这里的关键问题是，谁来定义“生产力”？ 是华尔街的精英，还是俄亥俄的普通工人？ 是达沃斯论坛，还是美国的铁锈带？ AI的进化方向，不应该只由硅谷的几家巨头决定。 这种巨大的算力，如果集中在少数人手里，到底是赋能，还是控制？ 我们是在创造一个辅助人类的工具，还是在打造一个数字上帝？ 技术狂飙的背后，谁在制定规则？ 谁又在真正受益？ 这些问题，比Yottaflop后面有多少个零，重要得多。

墓碑科技

50,534 görüntüleme • 5 ay önce

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。 （对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看） 先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。 去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。 在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。 最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。 并且陶哲轩提到了基于大语言模型的一些改进的方案： 比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。 比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。 即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！ 当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。 还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。 对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？ 陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。 他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。 演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。 这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。 尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。 原始 YT 视频：
57:23

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。 （对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看） 先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。 去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。 在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。 最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。 并且陶哲轩提到了基于大语言模型的一些改进的方案： 比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。 比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。 即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！ 当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。 还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。 对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？ 陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。 他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。 演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。 这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。 尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。 原始 YT 视频：

宝玉

300,964 görüntüleme • 1 yıl önce

谁拥有算力，谁就拥有了下一个时代的入口。 特斯拉造了Dojo超级计算平台，专门训练自动驾驶。 现在只撑起了5%的任务，剩下的，还是靠英伟达的GPU。纽约的数据中心在跑，但还不够，远远不够。 马斯克的XAI，正在建一个更大的怪兽： 全球最大算力集群，目标超20万张GPU一起训练。 地点选在孟菲斯，未来扩到一百万张，全是英伟达最新的Blackwell芯片。不是八十万，不是九十万，是一百万。 如果你还觉得这只是技术升级，那你错了。 马斯克下注的是基础设施的重构。 机器人不是工具，是未来的“水电煤”。 而算力，是它们的供血系统。 所有AI的智能，只是表象； 背后的芯片、架构、能耗，才是真正的战争。 谁拥有算力，谁就拥有了下一个时代的入口。
1:56

谁拥有算力，谁就拥有了下一个时代的入口。 特斯拉造了Dojo超级计算平台，专门训练自动驾驶。 现在只撑起了5%的任务，剩下的，还是靠英伟达的GPU。纽约的数据中心在跑，但还不够，远远不够。 马斯克的XAI，正在建一个更大的怪兽： 全球最大算力集群，目标超20万张GPU一起训练。 地点选在孟菲斯，未来扩到一百万张，全是英伟达最新的Blackwell芯片。不是八十万，不是九十万，是一百万。 如果你还觉得这只是技术升级，那你错了。 马斯克下注的是基础设施的重构。 机器人不是工具，是未来的“水电煤”。 而算力，是它们的供血系统。 所有AI的智能，只是表象； 背后的芯片、架构、能耗，才是真正的战争。 谁拥有算力，谁就拥有了下一个时代的入口。

墓碑科技

59,872 görüntüleme • 1 yıl önce

Elon Musk表示，在现阶段，自动驾驶比人类驾驶更安全的发展路径已经非常清晰。 很明显他看到了FSD的安全进步曲线， 清晰的显示，不久的将来，将会远远超越人类。这在他脑中已经是毫无疑问了。 🚨大部分投资者理解不了指数级增长的可怕性。一年进步10倍，5年后不是进步50倍，而是进步10万倍。
0:40

Elon Musk表示，在现阶段，自动驾驶比人类驾驶更安全的发展路径已经非常清晰。 很明显他看到了FSD的安全进步曲线， 清晰的显示，不久的将来，将会远远超越人类。这在他脑中已经是毫无疑问了。 🚨大部分投资者理解不了指数级增长的可怕性。一年进步10倍，5年后不是进步50倍，而是进步10万倍。

谢嘉琪

11,865 görüntüleme • 2 ay önce

【“五层蛋糕论”讲清中美AI竞争格局】 黄仁勋在访谈中提出了一个全新的分析框架，将AI产业比作一个五层的蛋糕。看懂了这五层，就看清了中美科技博弈的真实现状： 1.能源。市场对算力的需求每年增长100万倍，这中间的鸿沟要靠能源来填，而中国的能源产能是美国2倍。 2.芯片。这层美国领先没的说，但中国的制造能力不可小觑，低成本+减免算下来，美国的制造成本是中国的4-8倍。 3.基建。美国建个数据中心要磨叽三年，中国一个周末能建成一座医院，这个速度老黄是服气的。 4.模型。美国模型领先中国半年左右，但重点在于中国开源做得好，不开源就谈不上全行业大范围应用。 5.应用。黄仁勋认为，要是问中国人“AI利大于弊还是弊大于利”，80%中国人会回答利大于弊，而美国恰好相反，说到底谁应用得最快最广泛谁就能赢下这场工业革命。
4:10

【“五层蛋糕论”讲清中美AI竞争格局】 黄仁勋在访谈中提出了一个全新的分析框架，将AI产业比作一个五层的蛋糕。看懂了这五层，就看清了中美科技博弈的真实现状： 1.能源。市场对算力的需求每年增长100万倍，这中间的鸿沟要靠能源来填，而中国的能源产能是美国2倍。 2.芯片。这层美国领先没的说，但中国的制造能力不可小觑，低成本+减免算下来，美国的制造成本是中国的4-8倍。 3.基建。美国建个数据中心要磨叽三年，中国一个周末能建成一座医院，这个速度老黄是服气的。 4.模型。美国模型领先中国半年左右，但重点在于中国开源做得好，不开源就谈不上全行业大范围应用。 5.应用。黄仁勋认为，要是问中国人“AI利大于弊还是弊大于利”，80%中国人会回答利大于弊，而美国恰好相反，说到底谁应用得最快最广泛谁就能赢下这场工业革命。

傅盛

110,716 görüntüleme • 6 ay önce