Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

最近Cloudflare CEO Matthew Prince分享了一组很有深意的数据:Google训练AI时能看到的网页量,是OpenAI的3.2倍,更是微软的4.8倍。 很多人问Gemini为什么追得这么快?答案就在这3.2倍的数据里。这是Google成立27年来靠搜索业务攒下的底层红利,它能触达的边界和解决问题的深度,不是靠短期烧钱买算力就能追上的。

48,128 görüntüleme • 5 ay önce •via X (Twitter)

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

白宫加密政策主管David Sacks: 四年内AI 大模型能力将增长一百万倍 ! “我认为目前至少在三个关键维度上,进步的速度都是指数级的。” “首先是算法本身。模型每年提升的速度大概是 3-4 倍。” “它们不仅仅是在速度和性能上更快更好,而且将从量变到质变。” “接着是推理模型。” “我们甚至还没有真正进入智能代理时代,但这将是继推理模型之后的下一个重大飞跃。” “在这个领域,我们才刚刚开始(推理算力增加带来的能力增加也将是倍数增长)。” “接下来是芯片。” “根据多种衡量标准,每一代芯片的性能可能比上一代提高 3-4 倍。” “不只是单个芯片在不断进步,他们还在研究如何将这些芯片联网在一起。” “就像 NVL72 系统,它类似于一个机架系统,可以在数据中心级别大幅提升性能。” “计算能力是第三个你会看到基本上呈指数级进步的领域。” “只需要看看数据中心中部署的 GPU 数量。” “当马斯克最初开始训练 Grok 时,我认为他们大概有 10 万块 GPU。现在已经有 30 万块 GPU,而且正朝着百万块 GPU的目标迈进。OpenAI 的数据中心 Stargate 也是同样的情况。” “在接下来的几年中,他们可能会发展到 500 万、1000 万块 GPU。” 1,000,000 倍的增长是怎么得出的: “算法、芯片和数据中心的扩展和改进速度都是每年 3-4 倍。” “也就是说,每两年进步 10 倍。” “很多人没有理解指数级进步的含义:如果每两年提升 10 倍,并不意味着四年后你只是提升 20 倍。” “这实际上意味着提升 100 倍。” “把这些因素相乘:算法、芯片,以及可用于 AI 的原始计算能力。” 100 倍模型 🧠 × 100 倍芯片 💾 × 100 倍计算能力 ⚡️ = 1,000,000 倍的 AI 大模型🤖 “你所谈论的就是 1,000,000 倍的能力增长。” “但这种变革的影响将是绝对巨大的。” “我觉得人们还没有充分认识到这一点,因为他们不了解指数级进步的意义。”

夜谈

25,895 görüntüleme • 1 yıl önce

熟悉Prompt的同学们应该都知道,通常在写Prompt的时候要先设定角色:“你是XX方面的专家”,这并非玄学,而是有科学根据的。 GPT在训练的时候,有各种训练数据,有的质量高有的质量低,而默认情况下,生成高质量数据和低质量数据的概率差不多,但是当你给它设定XX专家的角色时,它会尽可能把概率分布在高质量的解决方案上。 详细内容建议看下面这段Andrej Karpathy在State of GPT中的一段演讲。 以下是这段视频的文字文字内容: ---------- 下面我要讲的这点对LLM的理解非常有趣,我觉得这算是LLM的一种心理特性:LLM并不追求成功,而是追求模仿。你希望它成功,那就需要向它明确要求。这里的意思是,在训练Transformer的过程中,它们有各种训练集,而这些训练数据中可能涵盖了各种不同质量的表现。比如,可能有一个关于物理问题的提示,然后可能有学生的解答完全错误,但也可能有专家的答案完全正确。尽管Transformer可以识别出低质量的解决方案和高质量的解决方案,但默认情况下,它们只会模仿所有的数据,因为它们仅仅是基于语言模型进行训练的。 在实际测试中,你其实需要明确要求它表现得好。在这篇论文的实验中,他们尝试了各种提示。例如,“让我们逐步思考”这种提示就很有效,因为它把推理过程分散到了许多记号上。但效果更好的是这样的提示:“让我们以一步一步的方式解决问题,以确保我们得到正确的答案。” 这就好像是在引导Transformer去得出正确的答案,这会使Transformer的表现更好,因为此时Transformer不再需要把它的概率质量分散到低质量的解决方案上,尽管这听起来很荒谬。 基本上,你可以自由地要求一个高质量的解决方案。比如,你可以告诉它,“你是这个话题的领先专家。假装你的智商是120。” 但不要尝试要求太高的智商,因为如果你要求智商400,可能就超出了数据分布的范围,更糟糕的是,你可能落入了类似科幻内容的数据分布,它可能会开始展现一些科幻的,或者说角色扮演类的东西。所以,你需要找到适合的智商要求。我想这可能是一个U型曲线的关系。

宝玉

348,497 görüntüleme • 3 yıl önce

你以为的聪明,很快就要不值钱了。 英伟达的黄仁勋最近有个说法。 他说,传统定义的聪明,比如高技术能力、解决问题的能力,本质上是一种商品。 人工智能首先要替代的,就是这种“商品”。 第一个被冲击的“聪明”行业是什么? 软件编程。 这恰恰是过去几十年被认为是顶尖聪明的职业。 一个时代结束了。 那么,真正稀缺的聪明是什么? 黄仁勋的答案很有意思。 他认为,真正的聪明,是技术敏锐度和人类同理心的结合体。 是一种能“预见未来”的能力。 能洞察那些没有说出口的话,能感知到别人忽略的氛围。 这种“直觉”从何而来? 数据分析、第一性原理、人生经验、智慧、对他人的感知。 是所有这些东西的融合。 拥有这种能力的人,才是真正有价值的。 他们能看到问题冒头之前就把它按下去。 这听起来,不像是常春藤名校里用SAT分数筛选出来的“精英”。 更像是在真实世界里摸爬滚打,历经风浪的企业家或政治家。 他们的决策,往往超越了冷冰冰的数据和模型。 这是否在暗示,由所谓技术官僚和数据专家主导的治理模式,其根基正在被动摇? 当机器可以比专家更“专家”时,人类的价值到底体现在哪里? 黄仁勋似乎给出了他的答案:人性深处的洞察力和同理心。 这种能力,无法量化,无法编程,也无法被轻易复制。

墓碑科技

204,510 görüntüleme • 5 ay önce

天才数学家陶哲轩对数学AI的思考 像真的,但其实不对。 AI写出的证明,乍看完美无瑕,细看漏洞百出。 为什么? 因为它没有“嗅觉”。 今天的AI,已经完全能通过“目测测试” 生成的内容看起来专业、太对味了。 但一旦你靠近它、认真嗅一下,就会发现它撒了香水 掩盖的,是逻辑上的腐臭。 不像传统的初学者那种“明显错”, AI的问题常常隐藏在最高级别的伪装底下: 写得太好,看不出哪里坏。 就像Terry Tao说的:“数学,是有味道的。” 一个真正靠谱的证明,不只是形式正确,而是通体带着那种“对的直觉” 结构自然、推理顺畅、细节干净利落。就像人闻食物的味道,不需要吃一口,就知道有没有毒。 AI没有这个。 它可以模仿口感,复制包装,但闻不到底层的真实。因为它是在学“怎么看起来像对的”,而不是“为什么它是真的”。 你可以把它理解为一个训练过非常精良的演员,知道什么时候该皱眉、什么时候叹气,用上最漂亮的定理、最熟练的转折,但它不明白它的角色到底在干什么。 而这,正是问题所在。 人类在判断一个复杂证明时,靠的不止是推理,更靠一种经验直觉:这个步骤自然吗?这个拆解方式靠谱不靠谱?这个结构合理不合理?我们甚至很难说清楚“为什么不行”,但就是知道,“不对劲”。 这就是“数学的嗅觉” 你说不明白,但你能闻得出来。 AlphaGo和AlphaZero之所以能搞定围棋和国际象棋,不是因为它们穷举了所有下法,而是因为它们学会了在哪些局面里,有“胜利的味道”。 即便讲不出理由,它们凭那股味道,也能找到通向胜利的路。 数学AI要想达到人类水平,它得也有这种“方向感”。 不是生成个像样的证明,而是能问自己:“我是不是在一个貌似正确,实际上死路的方向上走太远了?” 也许未来某一天,它能真正感觉到:“这一步味道不对,我得退回来。” 那一天,它就不只是一个生成文本的工具,而是真正的数学伙伴了。 🙋‍♂️人有灵气

墓碑科技

120,892 görüntüleme • 1 yıl önce

AI能拿奥数金牌,却解不开小学数学题。 这是怎么回事? 谷歌DeepMind的创始人Demis Hassabis自己揭了AI的老底。 今天的AI,本质上是个“速冻产品”。 训练完成,能力就定格了。 像个一次性相机,拍完就不能再改。 它无法像人一样,从现实世界里持续学习、自我进化。 你希望它能在线学习,根据你的任务进行个性化调整。 但它做不到。 AI的智能是“锯齿状”的。 在某些高精尖问题上,表现惊人。 但在另外一些简单问题上,却错得离谱。 就像一个围棋高手,却不会玩跳棋。 这正常吗? Hassabis认为,真正通用的智能系统,不该有这种“锯齿感”。 一个数学专家,绝不会在简单问题上犯错。 那么,为什么现在的AI会这样? 是因为算法设计的根本缺陷,还是训练数据本身就充满了偏见和矛盾? 科技巨头们热衷于宣传AI的巨大突破。 达沃斯论坛上的精英们也在描绘AI驱动的未来世界。 他们很少谈论这些根本性的局限。 这些“锯齿”会不会成为被利用的漏洞? 当一个系统强大到可以影响经济决策、甚至军事判断时,它的“弱智”时刻会带来什么后果? Hassabis还提到了真正的创造力。 他说,提出一个正确的问题,比解决一个猜想更难。 现在的AI,只是个高效的解题工具。 它没有品味,没有洞察力,更提不出像爱因斯坦那样的革命性思想。 如果把AI的知识库截止到1911年,它能自己搞出广义相对论吗? 答案显然是否定的。 那么,我们在期待的到底是“智能”,还是一个越来越强大的“计算器”?

墓碑科技

25,850 görüntüleme • 4 ay önce

昨天凌晨,DeepSeek又崩了 第三次 但这次我看到了不一样的东西。 “风口来了?” 不是风口 是钱开始往底层流了。 “什么意思?” 你以为AI在赚钱。 其实真正赚钱的,是给AI 供电、供资源、建基础设施的人。 “这不就是科技吗?” 不是 这是能源生意,是资源生意。 是最传统、也最赚钱的生意。 ———— “那DeepSeek崩跟赚钱有什么关系?” 关系很直接 它暴露了一件事 AI 不是无根的,它要消耗真实成本。 “什么成本?” 电、芯片、机房、散热。 这些都要钱,而且是持续烧钱。 行业数据显示:过去两年,头部 AI厂商的推理调用量增长了数百到上千倍 服务器、电力、带宽,全在疯狂扩容 OpenAI CEO Sam Altman去年说过:“未来AI 公司的核心竞争力,可能不是模型,而是能源获取能力。” “那不就是算力贵?” 算力贵,但更关键的是: 在同样的性能下,谁能用更低的成本提供服务 这是算法、架构、能源的综合博弈。 英伟达 CEO 黄仁勋在 GTC 大会上说过:“数据中心就是词元工厂,输入电力和数据,输出智能。” ———— “那谁能做到?” 谁掌握低成本能源,谁就有优势。 谁优化得好,谁就能活下来。 看一个行业共识: 美国路线: 用最先进的芯片(英伟达H100,单价约3万美元)堆性能,追求极致算力。 中国路线: 用成本优化。部分数据中心通过绿电协议,电价可以压到 0.3-0.5元/度。 再配合模型压缩、推理加速,综合成本可以做到很低。 这不是谁更好,而是两种不同的竞争策略。 “所以这是一门电的生意?” 不只是电 是一整套系统。 电网、储能、数据中心、矿产资源,全都在里面。 ———— “矿产也有关系?” 当然。 电网要铜,电池要锂镍钴,储能和设备都靠这些。 矿产 → 电力基础设施 → 数据中心 → AI 算力 这是一条完整的产业链。 谁控制上游资源,谁就在下游有定价权。 “那这些资源在哪?” 非洲、南美、东南亚。 这就是为什么这些地方开始被重新看见。 “所以非洲是风口?” 不是风口。 是底座。 是未来电力体系的原材料仓库。 谁提前布局,谁占位置。 ———— “那中东呢?” 中东还在赚钱。 因为石油还没退出。 霍尔木兹海峡,全球三成石油要过。 一紧张,油价就涨。 “油价涨对普通人有什么影响?” 油价一涨,运输、制造、食品全涨。 生活成本上去,工资不一定跟上。 这就是最直接的民生压力。 “那 AI 会改变这个吗?” 会,但不是你想的那样。 “怎么说?” AI 一方面在消耗更多电力。 另一方面,AI 也在帮助优化电网、提升能源效率、降低工业能耗。 这是一个动态平衡的过程。 ———— “那赚钱机会在哪?” 在底层。 不在最热的应用,而在供电、供资源、建系统的人。 “为什么?” 因为底层是刚需。 刚需就有定价权。 有定价权就有利润。 我认识一个做 AI 客服的团队。 他们发现: 一个中型电商公司,AI 客服每天处理1000次对话,每次平均消耗 5000 词元。 一个月下来,词元成本在几千到上万美元。 但省下来的人力成本,是这个的10倍以上。 创始人说:“AI不是在烧钱,是在重新分配成本。” ———— “所以以后拼的是什么?” 拼谁能用更低的成本,提供更好的服务。 拼谁能在算法、架构、能源上做到极致优化。 “成本低意味着什么?” 意味着生产效率更高。 企业利润更高。 国家竞争力更强。 “那 DeepSeek 崩这件事本质是什么?” 是一次压力测试。 告诉所有人,AI不是免费的,它需要强大的基础设施支撑。 ———— “再说直白一点?” DeepSeek 崩了,不只是因为资源不够。 还有流量突增、调度架构、服务弹性等问题。 但这些问题背后,都指向同一个方向: 基础设施的重要性。 “那最后大家争的还是资源?” 以前是石油。 现在是算力。 本质是能量 + 效率。 ———— “那普通人该记住什么?” 记住一件事。 不要只盯着最火的东西 要盯着支撑它的东西。 “什么意思?” 不是谁在用 AI 最赚钱。 而是谁在给 AI 供电、供资源、供系统,同时还能优化成本、提升效率。 “再具体一点?” 未来最值钱的,不只是最聪明的AI 而是能让 AI高效、稳定、低成本运转下去的那一整套体系。 ———— 很多人盯着 AI有多厉害。 很少人去看,AI靠什么活着。 活着靠什么? 电,资源,系统,优化。 所以真正的机会,从来不在最亮的地方。 在光背后的那一层。 你可以不懂AI。 但你要知道,谁在给它续命,谁在让它更高效。 因为所有大机会,都藏在基础设施里。 ———— 你觉得下一个“底层红利”会在哪?评论区聊聊。

Powerpei🦅

18,351 görüntüleme • 3 ay önce