Loading video...

Video Failed to Load

Go Home

最近Cloudflare CEO Matthew Prince分享了一组很有深意的数据:Google训练AI时能看到的网页量,是OpenAI的3.2倍,更是微软的4.8倍。 很多人问Gemini为什么追得这么快?答案就在这3.2倍的数据里。这是Google成立27年来靠搜索业务攒下的底层红利,它能触达的边界和解决问题的深度,不是靠短期烧钱买算力就能追上的。

48,124 views • 4 months ago •via X (Twitter)

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

白宫加密政策主管David Sacks: 四年内AI 大模型能力将增长一百万倍 ! “我认为目前至少在三个关键维度上,进步的速度都是指数级的。” “首先是算法本身。模型每年提升的速度大概是 3-4 倍。” “它们不仅仅是在速度和性能上更快更好,而且将从量变到质变。” “接着是推理模型。” “我们甚至还没有真正进入智能代理时代,但这将是继推理模型之后的下一个重大飞跃。” “在这个领域,我们才刚刚开始(推理算力增加带来的能力增加也将是倍数增长)。” “接下来是芯片。” “根据多种衡量标准,每一代芯片的性能可能比上一代提高 3-4 倍。” “不只是单个芯片在不断进步,他们还在研究如何将这些芯片联网在一起。” “就像 NVL72 系统,它类似于一个机架系统,可以在数据中心级别大幅提升性能。” “计算能力是第三个你会看到基本上呈指数级进步的领域。” “只需要看看数据中心中部署的 GPU 数量。” “当马斯克最初开始训练 Grok 时,我认为他们大概有 10 万块 GPU。现在已经有 30 万块 GPU,而且正朝着百万块 GPU的目标迈进。OpenAI 的数据中心 Stargate 也是同样的情况。” “在接下来的几年中,他们可能会发展到 500 万、1000 万块 GPU。” 1,000,000 倍的增长是怎么得出的: “算法、芯片和数据中心的扩展和改进速度都是每年 3-4 倍。” “也就是说,每两年进步 10 倍。” “很多人没有理解指数级进步的含义:如果每两年提升 10 倍,并不意味着四年后你只是提升 20 倍。” “这实际上意味着提升 100 倍。” “把这些因素相乘:算法、芯片,以及可用于 AI 的原始计算能力。” 100 倍模型 🧠 × 100 倍芯片 💾 × 100 倍计算能力 ⚡️ = 1,000,000 倍的 AI 大模型🤖 “你所谈论的就是 1,000,000 倍的能力增长。” “但这种变革的影响将是绝对巨大的。” “我觉得人们还没有充分认识到这一点,因为他们不了解指数级进步的意义。”

夜谈

25,895 views • 1 year ago

熟悉Prompt的同学们应该都知道,通常在写Prompt的时候要先设定角色:“你是XX方面的专家”,这并非玄学,而是有科学根据的。 GPT在训练的时候,有各种训练数据,有的质量高有的质量低,而默认情况下,生成高质量数据和低质量数据的概率差不多,但是当你给它设定XX专家的角色时,它会尽可能把概率分布在高质量的解决方案上。 详细内容建议看下面这段Andrej Karpathy在State of GPT中的一段演讲。 以下是这段视频的文字文字内容: ---------- 下面我要讲的这点对LLM的理解非常有趣,我觉得这算是LLM的一种心理特性:LLM并不追求成功,而是追求模仿。你希望它成功,那就需要向它明确要求。这里的意思是,在训练Transformer的过程中,它们有各种训练集,而这些训练数据中可能涵盖了各种不同质量的表现。比如,可能有一个关于物理问题的提示,然后可能有学生的解答完全错误,但也可能有专家的答案完全正确。尽管Transformer可以识别出低质量的解决方案和高质量的解决方案,但默认情况下,它们只会模仿所有的数据,因为它们仅仅是基于语言模型进行训练的。 在实际测试中,你其实需要明确要求它表现得好。在这篇论文的实验中,他们尝试了各种提示。例如,“让我们逐步思考”这种提示就很有效,因为它把推理过程分散到了许多记号上。但效果更好的是这样的提示:“让我们以一步一步的方式解决问题,以确保我们得到正确的答案。” 这就好像是在引导Transformer去得出正确的答案,这会使Transformer的表现更好,因为此时Transformer不再需要把它的概率质量分散到低质量的解决方案上,尽管这听起来很荒谬。 基本上,你可以自由地要求一个高质量的解决方案。比如,你可以告诉它,“你是这个话题的领先专家。假装你的智商是120。” 但不要尝试要求太高的智商,因为如果你要求智商400,可能就超出了数据分布的范围,更糟糕的是,你可能落入了类似科幻内容的数据分布,它可能会开始展现一些科幻的,或者说角色扮演类的东西。所以,你需要找到适合的智商要求。我想这可能是一个U型曲线的关系。

宝玉

348,453 views • 3 years ago

你以为的聪明,很快就要不值钱了。 英伟达的黄仁勋最近有个说法。 他说,传统定义的聪明,比如高技术能力、解决问题的能力,本质上是一种商品。 人工智能首先要替代的,就是这种“商品”。 第一个被冲击的“聪明”行业是什么? 软件编程。 这恰恰是过去几十年被认为是顶尖聪明的职业。 一个时代结束了。 那么,真正稀缺的聪明是什么? 黄仁勋的答案很有意思。 他认为,真正的聪明,是技术敏锐度和人类同理心的结合体。 是一种能“预见未来”的能力。 能洞察那些没有说出口的话,能感知到别人忽略的氛围。 这种“直觉”从何而来? 数据分析、第一性原理、人生经验、智慧、对他人的感知。 是所有这些东西的融合。 拥有这种能力的人,才是真正有价值的。 他们能看到问题冒头之前就把它按下去。 这听起来,不像是常春藤名校里用SAT分数筛选出来的“精英”。 更像是在真实世界里摸爬滚打,历经风浪的企业家或政治家。 他们的决策,往往超越了冷冰冰的数据和模型。 这是否在暗示,由所谓技术官僚和数据专家主导的治理模式,其根基正在被动摇? 当机器可以比专家更“专家”时,人类的价值到底体现在哪里? 黄仁勋似乎给出了他的答案:人性深处的洞察力和同理心。 这种能力,无法量化,无法编程,也无法被轻易复制。

墓碑科技

204,426 views • 4 months ago

天才数学家陶哲轩对数学AI的思考 像真的,但其实不对。 AI写出的证明,乍看完美无瑕,细看漏洞百出。 为什么? 因为它没有“嗅觉”。 今天的AI,已经完全能通过“目测测试” 生成的内容看起来专业、太对味了。 但一旦你靠近它、认真嗅一下,就会发现它撒了香水 掩盖的,是逻辑上的腐臭。 不像传统的初学者那种“明显错”, AI的问题常常隐藏在最高级别的伪装底下: 写得太好,看不出哪里坏。 就像Terry Tao说的:“数学,是有味道的。” 一个真正靠谱的证明,不只是形式正确,而是通体带着那种“对的直觉” 结构自然、推理顺畅、细节干净利落。就像人闻食物的味道,不需要吃一口,就知道有没有毒。 AI没有这个。 它可以模仿口感,复制包装,但闻不到底层的真实。因为它是在学“怎么看起来像对的”,而不是“为什么它是真的”。 你可以把它理解为一个训练过非常精良的演员,知道什么时候该皱眉、什么时候叹气,用上最漂亮的定理、最熟练的转折,但它不明白它的角色到底在干什么。 而这,正是问题所在。 人类在判断一个复杂证明时,靠的不止是推理,更靠一种经验直觉:这个步骤自然吗?这个拆解方式靠谱不靠谱?这个结构合理不合理?我们甚至很难说清楚“为什么不行”,但就是知道,“不对劲”。 这就是“数学的嗅觉” 你说不明白,但你能闻得出来。 AlphaGo和AlphaZero之所以能搞定围棋和国际象棋,不是因为它们穷举了所有下法,而是因为它们学会了在哪些局面里,有“胜利的味道”。 即便讲不出理由,它们凭那股味道,也能找到通向胜利的路。 数学AI要想达到人类水平,它得也有这种“方向感”。 不是生成个像样的证明,而是能问自己:“我是不是在一个貌似正确,实际上死路的方向上走太远了?” 也许未来某一天,它能真正感觉到:“这一步味道不对,我得退回来。” 那一天,它就不只是一个生成文本的工具,而是真正的数学伙伴了。 🙋‍♂️人有灵气

墓碑科技

120,892 views • 11 months ago

昨天凌晨,DeepSeek又崩了 第三次 但这次我看到了不一样的东西。 “风口来了?” 不是风口 是钱开始往底层流了。 “什么意思?” 你以为AI在赚钱。 其实真正赚钱的,是给AI 供电、供资源、建基础设施的人。 “这不就是科技吗?” 不是 这是能源生意,是资源生意。 是最传统、也最赚钱的生意。 ———— “那DeepSeek崩跟赚钱有什么关系?” 关系很直接 它暴露了一件事 AI 不是无根的,它要消耗真实成本。 “什么成本?” 电、芯片、机房、散热。 这些都要钱,而且是持续烧钱。 行业数据显示:过去两年,头部 AI厂商的推理调用量增长了数百到上千倍 服务器、电力、带宽,全在疯狂扩容 OpenAI CEO Sam Altman去年说过:“未来AI 公司的核心竞争力,可能不是模型,而是能源获取能力。” “那不就是算力贵?” 算力贵,但更关键的是: 在同样的性能下,谁能用更低的成本提供服务 这是算法、架构、能源的综合博弈。 英伟达 CEO 黄仁勋在 GTC 大会上说过:“数据中心就是词元工厂,输入电力和数据,输出智能。” ———— “那谁能做到?” 谁掌握低成本能源,谁就有优势。 谁优化得好,谁就能活下来。 看一个行业共识: 美国路线: 用最先进的芯片(英伟达H100,单价约3万美元)堆性能,追求极致算力。 中国路线: 用成本优化。部分数据中心通过绿电协议,电价可以压到 0.3-0.5元/度。 再配合模型压缩、推理加速,综合成本可以做到很低。 这不是谁更好,而是两种不同的竞争策略。 “所以这是一门电的生意?” 不只是电 是一整套系统。 电网、储能、数据中心、矿产资源,全都在里面。 ———— “矿产也有关系?” 当然。 电网要铜,电池要锂镍钴,储能和设备都靠这些。 矿产 → 电力基础设施 → 数据中心 → AI 算力 这是一条完整的产业链。 谁控制上游资源,谁就在下游有定价权。 “那这些资源在哪?” 非洲、南美、东南亚。 这就是为什么这些地方开始被重新看见。 “所以非洲是风口?” 不是风口。 是底座。 是未来电力体系的原材料仓库。 谁提前布局,谁占位置。 ———— “那中东呢?” 中东还在赚钱。 因为石油还没退出。 霍尔木兹海峡,全球三成石油要过。 一紧张,油价就涨。 “油价涨对普通人有什么影响?” 油价一涨,运输、制造、食品全涨。 生活成本上去,工资不一定跟上。 这就是最直接的民生压力。 “那 AI 会改变这个吗?” 会,但不是你想的那样。 “怎么说?” AI 一方面在消耗更多电力。 另一方面,AI 也在帮助优化电网、提升能源效率、降低工业能耗。 这是一个动态平衡的过程。 ———— “那赚钱机会在哪?” 在底层。 不在最热的应用,而在供电、供资源、建系统的人。 “为什么?” 因为底层是刚需。 刚需就有定价权。 有定价权就有利润。 我认识一个做 AI 客服的团队。 他们发现: 一个中型电商公司,AI 客服每天处理1000次对话,每次平均消耗 5000 词元。 一个月下来,词元成本在几千到上万美元。 但省下来的人力成本,是这个的10倍以上。 创始人说:“AI不是在烧钱,是在重新分配成本。” ———— “所以以后拼的是什么?” 拼谁能用更低的成本,提供更好的服务。 拼谁能在算法、架构、能源上做到极致优化。 “成本低意味着什么?” 意味着生产效率更高。 企业利润更高。 国家竞争力更强。 “那 DeepSeek 崩这件事本质是什么?” 是一次压力测试。 告诉所有人,AI不是免费的,它需要强大的基础设施支撑。 ———— “再说直白一点?” DeepSeek 崩了,不只是因为资源不够。 还有流量突增、调度架构、服务弹性等问题。 但这些问题背后,都指向同一个方向: 基础设施的重要性。 “那最后大家争的还是资源?” 以前是石油。 现在是算力。 本质是能量 + 效率。 ———— “那普通人该记住什么?” 记住一件事。 不要只盯着最火的东西 要盯着支撑它的东西。 “什么意思?” 不是谁在用 AI 最赚钱。 而是谁在给 AI 供电、供资源、供系统,同时还能优化成本、提升效率。 “再具体一点?” 未来最值钱的,不只是最聪明的AI 而是能让 AI高效、稳定、低成本运转下去的那一整套体系。 ———— 很多人盯着 AI有多厉害。 很少人去看,AI靠什么活着。 活着靠什么? 电,资源,系统,优化。 所以真正的机会,从来不在最亮的地方。 在光背后的那一层。 你可以不懂AI。 但你要知道,谁在给它续命,谁在让它更高效。 因为所有大机会,都藏在基础设施里。 ———— 你觉得下一个“底层红利”会在哪?评论区聊聊。

Powerpei🦅

18,323 views • 2 months ago