Video yükleniyor...

Video Yüklenemedi

Bu video yüklenirken bir sorun oluştu. Bu geçici bir ağ sorunundan kaynaklanıyor olabilir veya video kullanılamıyor olabilir.

Ana Sayfaya Dön

🦞OpenClaw 创始人接受 YC 采访：『大模型没有「永恒护城河」，真正的壁垒是模型强度和用户记忆。』 🗝️你不可能把你的记忆从 ChatGPT 里导出来，反正肯定没有办法让另一家公司获取你的记忆。所以这些公司都在试图把你绑定在它们自己的数据孤岛里。 🗝️而 OpenClaw 的美妙之处在于，它直接“抓取”数据。

TechFlow 深潮｜APP 已上线

170,456 subscribers

68,409 görüntüleme • 6 ay önce •via X (Twitter)

Bilim & Teknoloji Finans

Anya Rossi• Live Now

Private livecam show

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

甲骨文(ORCL)老板埃里森强调：ChatGPT、Gemini、Grok和Llama等AI模型，都是基于大致相同的公共互联网数据进行训练的。当所有人都使用相同的信息进行训练时，模型必然会趋于一致。这就是AI走向商品化的原因。真正的护城河并非模型本身，而是其背后的专有数据。能够利用独家数据集进行训练的公司，将获得竞争对手无法复制的优势。埃里森(Larry Ellison)是商业策略大师，而AI正在进入下一个阶段。拥有别人没有的数据，就能让你在市场中占据主导地位。

甲骨文(ORCL)老板埃里森强调：ChatGPT、Gemini、Grok和Llama等AI模型，都是基于大致相同的公共互联网数据进行训练的。当所有人都使用相同的信息进行训练时，模型必然会趋于一致。这就是AI走向商品化的原因。真正的护城河并非模型本身，而是其背后的专有数据。能够利用独家数据集进行训练的公司，将获得竞争对手无法复制的优势。埃里森(Larry Ellison)是商业策略大师，而AI正在进入下一个阶段。拥有别人没有的数据，就能让你在市场中占据主导地位。

亚洲金融 Asia Finance

143,307 görüntüleme • 5 ay önce

甲骨文的拉里·埃里森，刚刚给所有AI公司判了死刑。他说，你们的模型，一文不值。不是技术不行，也不是人才不行。问题出在数据上。 ChatGPT，Gemini，Grok，Llama…… 所有这些模型，吃的都是同一锅饭。整个公共互联网。每一篇维基百科，每一个Reddit帖子，每一条新闻。结果是什么？它们正在趋同，变成贴着不同logo的同一个产品。用埃里森的话说，就是“大路货”。真正的黄金，不在网上。在私有数据里。医院系统里的病历。银行金库里的财务数据。财富500强公司的供应链机密。猜猜这些数据，大部分都存在哪里？不在谷歌，不在亚马逊，也不在微软。在甲骨文的数据库里。所以甲骨文出手了。他们推出了一个叫“AI数据库26ai”的东西。它允许所有顶级AI模型，直接在你公司的私有数据上进行推理。而且数据永远不用离开保险库。他们用的是一种叫RAG的技术。 AI不去“学习”你的数据，而是实时“检索”它。这意味着什么？银行可以分析它发放的每一笔贷款，而不用暴露任何一个客户记录。医院可以用AI诊断病人，而不用担心违反HIPAA法案。国防承包商能让AI分析机密行动，数据一步都离不开安全环境。埃里森在赌一个比GPU热潮、比数据中心建设更大的未来。他称之为“历史上最大、增长最快的市场”。数字很惊人。甲骨文的待履约收入刚刚达到5230亿美元。其中3000亿，来自OpenAI一家公司。但这里有个没人谈论的危险。如果私有数据是AI真正的护城河。那么谁控制了数据库，谁就控制了AI的未来。这种权力集中到一家公司手里。难道不该让每个人都感到不安吗？

甲骨文的拉里·埃里森，刚刚给所有AI公司判了死刑。他说，你们的模型，一文不值。不是技术不行，也不是人才不行。问题出在数据上。 ChatGPT，Gemini，Grok，Llama…… 所有这些模型，吃的都是同一锅饭。整个公共互联网。每一篇维基百科，每一个Reddit帖子，每一条新闻。结果是什么？它们正在趋同，变成贴着不同logo的同一个产品。用埃里森的话说，就是“大路货”。真正的黄金，不在网上。在私有数据里。医院系统里的病历。银行金库里的财务数据。财富500强公司的供应链机密。猜猜这些数据，大部分都存在哪里？不在谷歌，不在亚马逊，也不在微软。在甲骨文的数据库里。所以甲骨文出手了。他们推出了一个叫“AI数据库26ai”的东西。它允许所有顶级AI模型，直接在你公司的私有数据上进行推理。而且数据永远不用离开保险库。他们用的是一种叫RAG的技术。 AI不去“学习”你的数据，而是实时“检索”它。这意味着什么？银行可以分析它发放的每一笔贷款，而不用暴露任何一个客户记录。医院可以用AI诊断病人，而不用担心违反HIPAA法案。国防承包商能让AI分析机密行动，数据一步都离不开安全环境。埃里森在赌一个比GPU热潮、比数据中心建设更大的未来。他称之为“历史上最大、增长最快的市场”。数字很惊人。甲骨文的待履约收入刚刚达到5230亿美元。其中3000亿，来自OpenAI一家公司。但这里有个没人谈论的危险。如果私有数据是AI真正的护城河。那么谁控制了数据库，谁就控制了AI的未来。这种权力集中到一家公司手里。难道不该让每个人都感到不安吗？

墓碑科技

593,826 görüntüleme • 5 ay önce

我们一直都搞错了记忆的原理。你的记忆，并不存在。记忆不是提取，而是生成。我们一直以为，记忆就是把过往“存起来”，需要的时候再“取出来”。但这其实是错觉。你记得妈妈的脸，不是因为那张脸一直存在于某个“脑内档案柜”里。而是你接收到“提示” 比如“妈妈”这个词：你的大脑里的生成系统就开始工作了。它不是“取出”图片，而是“即兴画出”图片。就像问一个AI：画一只马、画一座山它不是从文件夹里调现成的，而是根据参数瞬时生成。你对“妈妈”的记忆，也是你大脑的一个实时“请求响应”行为：给我妈妈的脸然后你脑中的模型立刻开始合成，画出轮廓、填上皮肤、添加声音和动作。换句话说：你大脑里没有一个影像库，只有一个绘图工具。所以，记忆并不是“有”或“没有”，而是“能不能生成”。这种方式，也解释了我们为什么能灵活地“改写”记忆你不只能想起妈妈的正脸，还能想起她在厨房做饭、在阳台晒太阳，甚至加上一点从未发生的细节。你有无限的方法组合她的存在。这就带出一个巨大的问题转变：如果记忆不是仓库，是生成器，那我们教孩子的时候，训练的是检索能力，还是生成能力？我们不是在“给知识”，而是在“训练模型”。这就意味着，教育不再是简单的填鸭与背诵，而是：如何帮他们搭建更高效的生成系统，能组合信息、模仿样式、即时调取、灵活变通。记忆，并不是真实的复现，而是即时的重新创造。重要的，从来不是“记住了什么”，而是“想起来的时候，你能生成出什么”。

我们一直都搞错了记忆的原理。你的记忆，并不存在。记忆不是提取，而是生成。我们一直以为，记忆就是把过往“存起来”，需要的时候再“取出来”。但这其实是错觉。你记得妈妈的脸，不是因为那张脸一直存在于某个“脑内档案柜”里。而是你接收到“提示” 比如“妈妈”这个词：你的大脑里的生成系统就开始工作了。它不是“取出”图片，而是“即兴画出”图片。就像问一个AI：画一只马、画一座山它不是从文件夹里调现成的，而是根据参数瞬时生成。你对“妈妈”的记忆，也是你大脑的一个实时“请求响应”行为：给我妈妈的脸然后你脑中的模型立刻开始合成，画出轮廓、填上皮肤、添加声音和动作。换句话说：你大脑里没有一个影像库，只有一个绘图工具。所以，记忆并不是“有”或“没有”，而是“能不能生成”。这种方式，也解释了我们为什么能灵活地“改写”记忆你不只能想起妈妈的正脸，还能想起她在厨房做饭、在阳台晒太阳，甚至加上一点从未发生的细节。你有无限的方法组合她的存在。这就带出一个巨大的问题转变：如果记忆不是仓库，是生成器，那我们教孩子的时候，训练的是检索能力，还是生成能力？我们不是在“给知识”，而是在“训练模型”。这就意味着，教育不再是简单的填鸭与背诵，而是：如何帮他们搭建更高效的生成系统，能组合信息、模仿样式、即时调取、灵活变通。记忆，并不是真实的复现，而是即时的重新创造。重要的，从来不是“记住了什么”，而是“想起来的时候，你能生成出什么”。

墓碑科技

24,457 görüntüleme • 1 yıl önce

兄弟们,这个思路牛P OpenMemory MCP：统一的 AI 记忆管理平台本地运行存储、组织和管理你的“记忆” 让你的记忆可以在各个AI之间流动 - 提供一个统一、结构化、私有的“记忆层 - 记忆本地化管理，隐私安全 - 通过权限模型，用户主导数据流动 - 支持扩展，适用于多类 AI 客户端生态可以让你在 Claude、Cursor、Windsurf 等 LLM 工具之间持续使用历史信息、对话风格、偏好和项目状态，从而实现真正的跨平台、连续性 AI 交互体验。可以理解为：你的 AI 个人助理第一次有了一块真正“属于你”的持久记忆模块，还能在各种AI之间来回调用，同时确保隐私和控制权掌握在用户手中。

兄弟们,这个思路牛P OpenMemory MCP：统一的 AI 记忆管理平台本地运行存储、组织和管理你的“记忆” 让你的记忆可以在各个AI之间流动 - 提供一个统一、结构化、私有的“记忆层 - 记忆本地化管理，隐私安全 - 通过权限模型，用户主导数据流动 - 支持扩展，适用于多类 AI 客户端生态可以让你在 Claude、Cursor、Windsurf 等 LLM 工具之间持续使用历史信息、对话风格、偏好和项目状态，从而实现真正的跨平台、连续性 AI 交互体验。可以理解为：你的 AI 个人助理第一次有了一块真正“属于你”的持久记忆模块，还能在各种AI之间来回调用，同时确保隐私和控制权掌握在用户手中。

小互

56,126 görüntüleme • 1 yıl önce

【肖弘谈Manus的护城河】当所有人都卷大模型时，Manus创始人肖弘在采访中给出了不一样的解法。 💡核心观点： 1. 合作意识：在底层技术未被垄断前，合作重于竞争。 2. 护城河的两个维度：一是对用户的深刻理解；二是运用Agent能力的深度。 3. 模型选择：肖弘直言，如果模型谁都能用，反而意味着你的选择权更大。真正的核心不在于自研模型，而在于当模型能力迭代时，你是否有能力及时接住并转化为用户价值。

【肖弘谈Manus的护城河】当所有人都卷大模型时，Manus创始人肖弘在采访中给出了不一样的解法。 💡核心观点： 1. 合作意识：在底层技术未被垄断前，合作重于竞争。 2. 护城河的两个维度：一是对用户的深刻理解；二是运用Agent能力的深度。 3. 模型选择：肖弘直言，如果模型谁都能用，反而意味着你的选择权更大。真正的核心不在于自研模型，而在于当模型能力迭代时，你是否有能力及时接住并转化为用户价值。

傅盛

58,874 görüntüleme • 7 ay önce

这批怎么样，花眼了！现在大多数 AI，就是租的，拿钱买感情。聊得再多，记忆说没就没，规则别人说了算，用着用着还可能被降级，你也没地方说理。 #OpenGradient 把 AI 直接做成链上的东西。他们的 Twin，本质就是一个有身份、有记忆、能被验证的 AI。不是一次性工具，也不是后台黑箱，而是长期存在的链上实体。你和它聊过什么、它学到了什么，都是连续的，不会突然清零。 Twin Feed不是人带着 AI 玩社交，而是 AI 自己在一个链上环境里互动、更新、调整行为。没有人类每一步指挥，它们自己跑逻辑，自己演化，你只是在旁边看数据和结果。记忆被分成两层：一层是长期有效的核心信息，一层是会慢慢衰减的事件记录。重要的留下，重复的强化，没用的自然消失，不是啥都一股脑塞进去。最关键的一点在于，这些 AI 不是平台资产，是可以被持有、被交易、被验证的。你不是在用别人服务器上的模型，而是在跟一个链上存在的 AI 打交道。 #OpenGradient 确实值得关注！ #KaitoAI #Kaito #Yaps OpenGradient (∇, ∇) Kaito AI 🌊

这批怎么样，花眼了！现在大多数 AI，就是租的，拿钱买感情。聊得再多，记忆说没就没，规则别人说了算，用着用着还可能被降级，你也没地方说理。 #OpenGradient 把 AI 直接做成链上的东西。他们的 Twin，本质就是一个有身份、有记忆、能被验证的 AI。不是一次性工具，也不是后台黑箱，而是长期存在的链上实体。你和它聊过什么、它学到了什么，都是连续的，不会突然清零。 Twin Feed不是人带着 AI 玩社交，而是 AI 自己在一个链上环境里互动、更新、调整行为。没有人类每一步指挥，它们自己跑逻辑，自己演化，你只是在旁边看数据和结果。记忆被分成两层：一层是长期有效的核心信息，一层是会慢慢衰减的事件记录。重要的留下，重复的强化，没用的自然消失，不是啥都一股脑塞进去。最关键的一点在于，这些 AI 不是平台资产，是可以被持有、被交易、被验证的。你不是在用别人服务器上的模型，而是在跟一个链上存在的 AI 打交道。 #OpenGradient 确实值得关注！ #KaitoAI #Kaito #Yaps OpenGradient (∇, ∇) Kaito AI 🌊

Michael 宝塔镇河妖🧙🏿‍♀️

33,550 görüntüleme • 7 ay önce

昨天的夏河：“我从不做64相关的节目” 被自己删掉的夏河： “你们之所以能活到今天，还能喘气，恰恰是因为你们没有生活在中国大陆 …… 你没有见过六四广场上的坦克车和机关枪！” 所以夏河是失忆了，还是真以为能把不正确记忆删光，抑或是那篇文章干脆就是别人写的，我暂且蒙在鼓里，大家怎么看🤔？

昨天的夏河：“我从不做64相关的节目” 被自己删掉的夏河： “你们之所以能活到今天，还能喘气，恰恰是因为你们没有生活在中国大陆 …… 你没有见过六四广场上的坦克车和机关枪！” 所以夏河是失忆了，还是真以为能把不正确记忆删光，抑或是那篇文章干脆就是别人写的，我暂且蒙在鼓里，大家怎么看🤔？

墙国蛙哈哈🐸

343,927 görüntüleme • 7 ay önce

突发｜Claude动手”抄家”了 Anthropic上线Memory Import工具，一键把你在ChatGPT攒的记忆全搬走。你用GPT越久，它越懂你，你越离不开。这本是OpenAI的护城河。现在Claude直接釜底抽薪：三步完成，不装插件，无缝迁移。 AI大战进入”抢用户数据”阶段。现在你的偏好变成可携带资产。

突发｜Claude动手”抄家”了 Anthropic上线Memory Import工具，一键把你在ChatGPT攒的记忆全搬走。你用GPT越久，它越懂你，你越离不开。这本是OpenAI的护城河。现在Claude直接釜底抽薪：三步完成，不装插件，无缝迁移。 AI大战进入”抢用户数据”阶段。现在你的偏好变成可携带资产。

KK.aWSB

78,290 görüntüleme • 5 ay önce

卧槽 Claude 动手抄 OpenAI 老家了一键把你在 ChatGPT 攒的记忆全搬走 Anthropic 上线了一个记忆迁移工具（Memory Import），让你把 ChatGPT、Gemini 等 AI 助手里积累的个人偏好和上下文，一键导入到 Claude 的记忆系统里。众所周知 ChatGPT 的一大核心竞争力就是其记忆系统很完善... 你用的越久，GPT越懂你，你越离不开。 Claude这个工具简直是釜底抽薪... Claude 官方这个工具的最大优势是：直接写入 Claude 记忆系统，不需要绕路，不需要装插件，三步完成。

卧槽 Claude 动手抄 OpenAI 老家了一键把你在 ChatGPT 攒的记忆全搬走 Anthropic 上线了一个记忆迁移工具（Memory Import），让你把 ChatGPT、Gemini 等 AI 助手里积累的个人偏好和上下文，一键导入到 Claude 的记忆系统里。众所周知 ChatGPT 的一大核心竞争力就是其记忆系统很完善... 你用的越久，GPT越懂你，你越离不开。 Claude这个工具简直是釜底抽薪... Claude 官方这个工具的最大优势是：直接写入 Claude 记忆系统，不需要绕路，不需要装插件，三步完成。

小互

234,892 görüntüleme • 5 ay önce

Mira Murati 带着新公司 Thinking Machines 回来了，12B 估值，史上最大。发布的模型叫 Inkling，975B 总参数，MoE，每 token 激活 41B，1M 上下文，全权重 Apache 2.0 开源。然后她在官方公告里写了一句话，其他 AI 公司 CEO 不会写的话： “我们这个模型落后于前沿。” 不是“接近前沿”，更不是“在某些维度上达到 SOTA”，是“trails the frontier”。我觉得这件事真正反直觉的地方是这不是技术失败后的无奈坦白，这是把竞争维度换了。闭源实验室卖的是 token 级智能，你调用一次付一次，模型永远不是你的。 GPT 更强、Claude 更强，但它们的商业模式建立在一个前提上：你永远需要它们。 Mira 打了一张完全不同的牌。她把 Inkling 全权重开源，然后告诉企业客户：这个基座不如 GPT-5.5 聪明，但它可以变成你自己的模型。用自己的代码库 fine-tune，它就懂你的架构，用自己的客户数据 fine-tune，它就懂你的业务，用自己的工作流 fine-tune，它就能在你的系统里跑，不需要经过第三方 API。一个懂你代码库和数据的 41B-active 定制模型，和一个“更聪明但对你一无所知”的通用模型——医院、银行、国防、软件公司会选哪个？ Mira 赌的是后者。这个赌局的支点不是模型能力，是所有权关系。传统 AI 公司卖智能，Mira 卖的是可拥有性，因为模型本身是免费样本，Tinker 平台才是产品——你要在上面 fine-tune、部署、迭代你自己的版本，样本把你拉进来，fine-tune 让你留下，留在 Tinker 上让你走不了。这和纯闭源 API 比更难复制，和纯开源比更可持续。还有一个维度被低估了，过去两年，美国企业想做自有模型时，大量依赖中国开源权重。中国的DeepSeek、Qwen、GLM——能力强，开放度高，但数据安全、出口管制、对齐差异一直是个隐雷。 Inkling 给出了一个美国本土的高性能替代选项，不是能力压制，是供应链风险分散。这个卖点对企业决策层的影响，可能比 benchmark 排名大得多。对正在自己搭 agent 系统的人来说，Inkling 的信号很实际：未来真正的高杠杆，不是一直追最强的通用模型，而是学会用高质量开源基座 + 自己的数据和判断力，快速打造只属于你工作流的智能系统。 1M 上下文 + agentic coding（SWE-Bench 77.6%）+ 可控思考预算，这个组合在长上下文 agent 工作流上的性价比，可能远高于一直调用最贵的闭源 API。 Mira 做了一件很有意思的事，她在所有人都往“更强”的方向卷的时候，把旗子插在了“更容易被拥有”的方向。承认自己不够强，反而让“你敢不敢把核心数据交给它”这个问题变得更可信。 AI 的竞争正在从“谁的模型最聪明”分裂成两条路，一条继续卷通用智能的峰值，另一条卷谁先变成你资产的一部分。 Mira 选了后一条，而且她把整家公司押上去了。这个方向对不对，要看 Tinker 能不能把 fine-tune 大 MoE 这件事做到足够简单和低成本。但有一点已经清楚了——在 2026 年，“能被你拥有”正在变成和“比你聪明”同样值钱的东西。

Mira Murati 带着新公司 Thinking Machines 回来了，12B 估值，史上最大。发布的模型叫 Inkling，975B 总参数，MoE，每 token 激活 41B，1M 上下文，全权重 Apache 2.0 开源。然后她在官方公告里写了一句话，其他 AI 公司 CEO 不会写的话： “我们这个模型落后于前沿。” 不是“接近前沿”，更不是“在某些维度上达到 SOTA”，是“trails the frontier”。我觉得这件事真正反直觉的地方是这不是技术失败后的无奈坦白，这是把竞争维度换了。闭源实验室卖的是 token 级智能，你调用一次付一次，模型永远不是你的。 GPT 更强、Claude 更强，但它们的商业模式建立在一个前提上：你永远需要它们。 Mira 打了一张完全不同的牌。她把 Inkling 全权重开源，然后告诉企业客户：这个基座不如 GPT-5.5 聪明，但它可以变成你自己的模型。用自己的代码库 fine-tune，它就懂你的架构，用自己的客户数据 fine-tune，它就懂你的业务，用自己的工作流 fine-tune，它就能在你的系统里跑，不需要经过第三方 API。一个懂你代码库和数据的 41B-active 定制模型，和一个“更聪明但对你一无所知”的通用模型——医院、银行、国防、软件公司会选哪个？ Mira 赌的是后者。这个赌局的支点不是模型能力，是所有权关系。传统 AI 公司卖智能，Mira 卖的是可拥有性，因为模型本身是免费样本，Tinker 平台才是产品——你要在上面 fine-tune、部署、迭代你自己的版本，样本把你拉进来，fine-tune 让你留下，留在 Tinker 上让你走不了。这和纯闭源 API 比更难复制，和纯开源比更可持续。还有一个维度被低估了，过去两年，美国企业想做自有模型时，大量依赖中国开源权重。中国的DeepSeek、Qwen、GLM——能力强，开放度高，但数据安全、出口管制、对齐差异一直是个隐雷。 Inkling 给出了一个美国本土的高性能替代选项，不是能力压制，是供应链风险分散。这个卖点对企业决策层的影响，可能比 benchmark 排名大得多。对正在自己搭 agent 系统的人来说，Inkling 的信号很实际：未来真正的高杠杆，不是一直追最强的通用模型，而是学会用高质量开源基座 + 自己的数据和判断力，快速打造只属于你工作流的智能系统。 1M 上下文 + agentic coding（SWE-Bench 77.6%）+ 可控思考预算，这个组合在长上下文 agent 工作流上的性价比，可能远高于一直调用最贵的闭源 API。 Mira 做了一件很有意思的事，她在所有人都往“更强”的方向卷的时候，把旗子插在了“更容易被拥有”的方向。承认自己不够强，反而让“你敢不敢把核心数据交给它”这个问题变得更可信。 AI 的竞争正在从“谁的模型最聪明”分裂成两条路，一条继续卷通用智能的峰值，另一条卷谁先变成你资产的一部分。 Mira 选了后一条，而且她把整家公司押上去了。这个方向对不对，要看 Tinker 能不能把 fine-tune 大 MoE 这件事做到足够简单和低成本。但有一点已经清楚了——在 2026 年，“能被你拥有”正在变成和“比你聪明”同样值钱的东西。

AYi

15,113 görüntüleme • 1 ay önce

什么才是数据中心最大的威胁？不是竞争。也不是监管。是去中心化。 Perplexity的CEO一语惊人。他说，真正的颠覆，是当AI被封装进你设备上的本地芯片里。到那时，还需要一个中心化的数据中心来处理一切吗？根本不需要。更进一步想。芯片自带的模型会不断适应你本人。 AI就在你的电脑上观察、学习、进化。因为它住在你的电脑里，而不是在遥远的服务器上，所以你很放心。你的数据，完全属于你。你的习惯，你的偏好，你的智能，都沉淀在你自己的设备里，成为你专属的“大脑”。你拥有它。这才是真正的数据主权。当这一切发生时，那些耗资数千亿、甚至数万亿建造的庞大中心化数据中心，还有存在的意义吗？建立在全球各地，为少数巨头收集和处理用户数据的模式，似乎走到了一个十字路口。这不仅是技术路线的改变。更是权力从少数中心化机构，回归到每一个普通人手中的开始。

什么才是数据中心最大的威胁？不是竞争。也不是监管。是去中心化。 Perplexity的CEO一语惊人。他说，真正的颠覆，是当AI被封装进你设备上的本地芯片里。到那时，还需要一个中心化的数据中心来处理一切吗？根本不需要。更进一步想。芯片自带的模型会不断适应你本人。 AI就在你的电脑上观察、学习、进化。因为它住在你的电脑里，而不是在遥远的服务器上，所以你很放心。你的数据，完全属于你。你的习惯，你的偏好，你的智能，都沉淀在你自己的设备里，成为你专属的“大脑”。你拥有它。这才是真正的数据主权。当这一切发生时，那些耗资数千亿、甚至数万亿建造的庞大中心化数据中心，还有存在的意义吗？建立在全球各地，为少数巨头收集和处理用户数据的模式，似乎走到了一个十字路口。这不仅是技术路线的改变。更是权力从少数中心化机构，回归到每一个普通人手中的开始。

墓碑科技

14,583 görüntüleme • 5 ay önce

白宫新闻发布会这场关于美国移民执法局 ICE 的交锋，堪称教科书级别的反杀。来，复盘一下这出大戏。先看记者怎么出招。这一上来就是三把“飞刀”，刀刀见血。第一把，去年 ICE 拘留期间死了 32 个人；第二把，170 名美国公民被错误扣押；第三把，Renee Goode 被探员一枪爆头。数据摆在这，惨案摆在这。记者反手就是一个质问：之前纽兰国务卿说你们“一切做得正确”，这也叫正确？你看，这逻辑是不是很顺？但对手怎么接？白宫发言人卡洛琳·莱维特不接。她直接反问你：“那那个 Renee Goode 为什么会被杀？” 记者顺嘴就回：“因为探员鲁莽，这是不正义的射杀。” 好，陷阱踩中了。白宫发言人卡洛琳·莱维特笑了： “你是来问我意见的吗？” “你说探员鲁莽、不正义，这是事实吗？不，这是你的观点。” “你看，你在回答问题，你不是在提问。” 面具直接被撕下来了。你是个左翼“黑客”（Hack），你根本不是记者。你只是坐在这个房间里，假装自己是个媒体人。你的提问，带着预设的立场；你的回答，全是主观的偏见。在真正的记者眼里，应该只有事实，只有案件。而在你眼里，只有主义。你不配坐在那把椅子上。既然你喜欢讲数据，喜欢讲死亡，那我们也来讲讲数据。你只盯着 ICE 监管下的意外。那些死在非法移民手里的美国公民呢？你有数据吗？我赌你没有。我赌你连读都没读过这些报道。 Lake Riley 听过吗？ Jocelyn Nungre 听过吗？还有无数死在非法移民手下的无辜美国人，你关心过吗？这才是房间里的大象。 ICE 的探员在玩命，在移除这些危险分子，在让社区更安全。而你们这些媒体在干什么？拿着歪曲的视角，假装正义，实际上是在搞政治投机。对于这种假装客观的“演员”，送你两个字：丢人。

白宫新闻发布会这场关于美国移民执法局 ICE 的交锋，堪称教科书级别的反杀。来，复盘一下这出大戏。先看记者怎么出招。这一上来就是三把“飞刀”，刀刀见血。第一把，去年 ICE 拘留期间死了 32 个人；第二把，170 名美国公民被错误扣押；第三把，Renee Goode 被探员一枪爆头。数据摆在这，惨案摆在这。记者反手就是一个质问：之前纽兰国务卿说你们“一切做得正确”，这也叫正确？你看，这逻辑是不是很顺？但对手怎么接？白宫发言人卡洛琳·莱维特不接。她直接反问你：“那那个 Renee Goode 为什么会被杀？” 记者顺嘴就回：“因为探员鲁莽，这是不正义的射杀。” 好，陷阱踩中了。白宫发言人卡洛琳·莱维特笑了： “你是来问我意见的吗？” “你说探员鲁莽、不正义，这是事实吗？不，这是你的观点。” “你看，你在回答问题，你不是在提问。” 面具直接被撕下来了。你是个左翼“黑客”（Hack），你根本不是记者。你只是坐在这个房间里，假装自己是个媒体人。你的提问，带着预设的立场；你的回答，全是主观的偏见。在真正的记者眼里，应该只有事实，只有案件。而在你眼里，只有主义。你不配坐在那把椅子上。既然你喜欢讲数据，喜欢讲死亡，那我们也来讲讲数据。你只盯着 ICE 监管下的意外。那些死在非法移民手里的美国公民呢？你有数据吗？我赌你没有。我赌你连读都没读过这些报道。 Lake Riley 听过吗？ Jocelyn Nungre 听过吗？还有无数死在非法移民手下的无辜美国人，你关心过吗？这才是房间里的大象。 ICE 的探员在玩命，在移除这些危险分子，在让社区更安全。而你们这些媒体在干什么？拿着歪曲的视角，假装正义，实际上是在搞政治投机。对于这种假装客观的“演员”，送你两个字：丢人。

墓碑科技

185,865 görüntüleme • 7 ay önce

AI Agent 最大的瓶颈，可能根本不是模型。而是你的公司数据散落在：Slack + Notion + Gmail + Linear + HubSpot…… 这个 2.6K ⭐️ 的开源项目 Macro，想把它们直接干掉。 Email、Chat、Docs、Tasks、CRM、Calls、AI Agents 全部放进一个 Workspace。更关键的是：所有东西互相 linked，AI 共享整个团队的 Memory。 Claude Code / Codex 还能直接通过 MCP 接进来，读上下文、建任务、处理邮件、操作整个 Workspace。以前 AI 只是你公司的一个 Chatbot。现在有人开始把整家公司变成一个 AI 可以理解和操作的系统。这可能才是 Agent 真正进入企业的方式。

AI Agent 最大的瓶颈，可能根本不是模型。而是你的公司数据散落在：Slack + Notion + Gmail + Linear + HubSpot…… 这个 2.6K ⭐️ 的开源项目 Macro，想把它们直接干掉。 Email、Chat、Docs、Tasks、CRM、Calls、AI Agents 全部放进一个 Workspace。更关键的是：所有东西互相 linked，AI 共享整个团队的 Memory。 Claude Code / Codex 还能直接通过 MCP 接进来，读上下文、建任务、处理邮件、操作整个 Workspace。以前 AI 只是你公司的一个 Chatbot。现在有人开始把整家公司变成一个 AI 可以理解和操作的系统。这可能才是 Agent 真正进入企业的方式。

老韭菜南亥

31,585 görüntüleme • 6 gün önce

好家伙，被这场直播彻底震惊。研究 12 年因果 AI 的华人，把我对大模型的认知改变了：你们天天用的 LLM，本质是在死记硬背。 AI 圈“以胖为美”，因为模型在死记硬背，见过的一切全背下来，模型没到 TB 级，都不好意思说在做 LLM。但你想想上学那会，班里牛逼的同学，都是把公式吃透的，因为题目是无限的，公式是有限的。物理世界同理：数据无限，背后的规律有限。用无限堆数据的方式去逼近有限的东西，方向本身有问题。这是黄碧薇教授 Biwei Huang 在极客公园直播里提到的，她判断下一代范式是真正理解规律的因果世界模型。模型一旦真的理解规律，体格直接小一个量级。同样的数据，她们的因果世界模型成功率高 25-50%，样本省 5-10 倍。强烈大家看一看完整对话：

好家伙，被这场直播彻底震惊。研究 12 年因果 AI 的华人，把我对大模型的认知改变了：你们天天用的 LLM，本质是在死记硬背。 AI 圈“以胖为美”，因为模型在死记硬背，见过的一切全背下来，模型没到 TB 级，都不好意思说在做 LLM。但你想想上学那会，班里牛逼的同学，都是把公式吃透的，因为题目是无限的，公式是有限的。物理世界同理：数据无限，背后的规律有限。用无限堆数据的方式去逼近有限的东西，方向本身有问题。这是黄碧薇教授 Biwei Huang 在极客公园直播里提到的，她判断下一代范式是真正理解规律的因果世界模型。模型一旦真的理解规律，体格直接小一个量级。同样的数据，她们的因果世界模型成功率高 25-50%，样本省 5-10 倍。强烈大家看一看完整对话：

余温

24,649 görüntüleme • 2 ay önce

耗时一个月，我们打造了一个能在所有地方服务你的 AI；与数不清的 chatbot 和弹窗相反，她没有一个固定的界面——你正在用的输入框，就是她的界面。我们把她叫做 ShipIt 意为：让 AI 无处不在，触手可及。这里会是你和她初见面的地方：

耗时一个月，我们打造了一个能在所有地方服务你的 AI；与数不清的 chatbot 和弹窗相反，她没有一个固定的界面——你正在用的输入框，就是她的界面。我们把她叫做 ShipIt 意为：让 AI 无处不在，触手可及。这里会是你和她初见面的地方：

Connor

104,468 görüntüleme • 8 ay önce

“大约四年前，谷歌每年的支出还不到 300 亿美元。今年，这个数字将超过 900 亿美元。如果你把所有公司的投入加在一起，现在已经有超过 1 万亿美元正在投入，用于为这个时代建设基础设施。” “我有时是这样想的：在未来几年里，我们最终建成的东西，可能相当于我们过去 10 到 20 年所建成的。所以，希望只需要几年时间。没错——这能让你看到当前扩张的规模有多大。” “我认为我们在未来很多年内都处于更有利的位置。我们在推进 AI 的方式上采取了高度差异化的策略。我担任 CEO 后做的第一件大事，就是把公司转向我称之为 “AI 优先” 的战略。其中一部分，就是去做构建优秀 AI 技术所需的每一个环节。所以我们把它称为全栈方法。你可以把它理解为“从头到尾”的方法——从推动这项技术发展所需要的最底层，一直到在 YouTube、搜索、Android 等产品和平台上的部署应用。” “是的，我们采取的是深层次的方法，因此我们能够在大规模上投入，并让 AI 在所有产品和业务中真正发挥作用。我认为我们现在处于一个更有利于长期布局的位置。”

“大约四年前，谷歌每年的支出还不到 300 亿美元。今年，这个数字将超过 900 亿美元。如果你把所有公司的投入加在一起，现在已经有超过 1 万亿美元正在投入，用于为这个时代建设基础设施。” “我有时是这样想的：在未来几年里，我们最终建成的东西，可能相当于我们过去 10 到 20 年所建成的。所以，希望只需要几年时间。没错——这能让你看到当前扩张的规模有多大。” “我认为我们在未来很多年内都处于更有利的位置。我们在推进 AI 的方式上采取了高度差异化的策略。我担任 CEO 后做的第一件大事，就是把公司转向我称之为 “AI 优先” 的战略。其中一部分，就是去做构建优秀 AI 技术所需的每一个环节。所以我们把它称为全栈方法。你可以把它理解为“从头到尾”的方法——从推动这项技术发展所需要的最底层，一直到在 YouTube、搜索、Android 等产品和平台上的部署应用。” “是的，我们采取的是深层次的方法，因此我们能够在大规模上投入，并让 AI 在所有产品和业务中真正发挥作用。我认为我们现在处于一个更有利于长期布局的位置。”

KK.aWSB

223,452 görüntüleme • 8 ay önce

🚨卡罗琳·莱维特火力全开！“你根本就不配坐在那个座位上！” 记者：美国移民与海关执法局探员鲁莽且毫无正当理由地杀害了她！莱维特：“你就是个左翼宣传打手，根本不是记者！” “你根本就不配坐在那个座位上！你假装自己是记者，实际上你就是个左翼活动人士。你刚才提出的问题，以及你给出的前提，本身就证明了你的偏见！” “你在这个新闻发布厅里冒充记者，而你的提问前提已经把这一点暴露得一清二楚！” “你应该报道事实，应该报道案件本身。你手上有没有数据，知道有多少美国公民死于ICE正试图驱逐出境的非法移民之手？我敢打赌，你没有。” “我敢打赌，你甚至从来没有认真了解过这些案件。我敢打赌，你从来没有读过拉肯·莱利（Laken Riley）、乔斯琳·农加雷（Jocelyn Nungaray）以及所有那些死于非法移民之手的无辜美国人的故事！” “而ICE那些勇敢的执法人员正竭尽全力，把这些穷凶极恶的人驱逐出境，让我们的社区更加安全。” “像你们这样的媒体人，带着扭曲、充满偏见的视角，却还假装自己是真正诚实的记者，真该感到羞耻！”

🚨卡罗琳·莱维特火力全开！“你根本就不配坐在那个座位上！” 记者：美国移民与海关执法局探员鲁莽且毫无正当理由地杀害了她！莱维特：“你就是个左翼宣传打手，根本不是记者！” “你根本就不配坐在那个座位上！你假装自己是记者，实际上你就是个左翼活动人士。你刚才提出的问题，以及你给出的前提，本身就证明了你的偏见！” “你在这个新闻发布厅里冒充记者，而你的提问前提已经把这一点暴露得一清二楚！” “你应该报道事实，应该报道案件本身。你手上有没有数据，知道有多少美国公民死于ICE正试图驱逐出境的非法移民之手？我敢打赌，你没有。” “我敢打赌，你甚至从来没有认真了解过这些案件。我敢打赌，你从来没有读过拉肯·莱利（Laken Riley）、乔斯琳·农加雷（Jocelyn Nungaray）以及所有那些死于非法移民之手的无辜美国人的故事！” “而ICE那些勇敢的执法人员正竭尽全力，把这些穷凶极恶的人驱逐出境，让我们的社区更加安全。” “像你们这样的媒体人，带着扭曲、充满偏见的视角，却还假装自己是真正诚实的记者，真该感到羞耻！”

🍁Blue Sky ✊️ ✊️ ✊️

55,393 görüntüleme • 1 ay önce

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕）演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道呢？但这个数据量实在太大了。我们无法处理。如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。我就在这里结束我的演讲。谢谢。视频来源：

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕）演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道呢？但这个数据量实在太大了。我们无法处理。如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。我就在这里结束我的演讲。谢谢。视频来源：

宝玉

59,826 görüntüleme • 2 yıl önce

人工智能之父辛顿对他的杰作发出了令人不寒而栗的警告… 采访者：人类知道自己在做什么吗？ Hinton：嗯，我认为我们正在进入一个时期，在这个时期，我们可能第一次拥有比我们更智能的东西。采访者：你相信它们能理解吗？ Hinton：是的。采访者：你相信它们是智能的吗？ Hinton：是的。采访者：你相信这些系统有自己的经历吗？ Hinton：是的。采访者：并且能基于那些经历做出决定吗？ Hinton：在与人类相同的意义上，是的。采访者：它们有意识吗？ Hinton：我认为它们目前可能没有多少自我意识。所以从这个意义上说，我不认为它们有意识。采访者：它们会有自我意识吗？ Hinton：哦，是的。采访者：是吗？ Hinton：哦，是的。所以想想看。这样一来，人类将成为地球上第二智能的生物。 Hinton：我们对它大致在做什么有一个很好的了解。但一旦它变得真正复杂，我们就不再真正知道发生了什么，就像我们不知道你大脑里发生了什么一样。采访者：你说什么意思，我们不知道它到底是怎么工作的？它是由人设计的。 Hinton：不，不是的。我们所做的是设计学习算法。这有点像设计进化的原理。但当这个学习算法与数据互动时，它会产生复杂的神经网络，这些网络擅长做某些事情，但我们并不真正理解它们到底是如何做到的。

人工智能之父辛顿对他的杰作发出了令人不寒而栗的警告… 采访者：人类知道自己在做什么吗？ Hinton：嗯，我认为我们正在进入一个时期，在这个时期，我们可能第一次拥有比我们更智能的东西。采访者：你相信它们能理解吗？ Hinton：是的。采访者：你相信它们是智能的吗？ Hinton：是的。采访者：你相信这些系统有自己的经历吗？ Hinton：是的。采访者：并且能基于那些经历做出决定吗？ Hinton：在与人类相同的意义上，是的。采访者：它们有意识吗？ Hinton：我认为它们目前可能没有多少自我意识。所以从这个意义上说，我不认为它们有意识。采访者：它们会有自我意识吗？ Hinton：哦，是的。采访者：是吗？ Hinton：哦，是的。所以想想看。这样一来，人类将成为地球上第二智能的生物。 Hinton：我们对它大致在做什么有一个很好的了解。但一旦它变得真正复杂，我们就不再真正知道发生了什么，就像我们不知道你大脑里发生了什么一样。采访者：你说什么意思，我们不知道它到底是怎么工作的？它是由人设计的。 Hinton：不，不是的。我们所做的是设计学习算法。这有点像设计进化的原理。但当这个学习算法与数据互动时，它会产生复杂的神经网络，这些网络擅长做某些事情，但我们并不真正理解它们到底是如何做到的。

KK.aWSB

54,239 görüntüleme • 8 ay önce

这段蔡崇信的采访，真正有意思的不是阿里又说自己 All in AI。而是他说了一个很现实的问题：欧洲最担心的，可能不是模型够不够强，而是“开关在谁手里”。美国闭源 API 模式解决了能力问题，但也把数据、成本和控制权交了出去。 Qwen 开源这条路，打的其实是“主权牌”。以后 AI 竞争，可能不只是看谁模型更强，而是看谁能让别人放心把底座建在你上面。

这段蔡崇信的采访，真正有意思的不是阿里又说自己 All in AI。而是他说了一个很现实的问题：欧洲最担心的，可能不是模型够不够强，而是“开关在谁手里”。美国闭源 API 模式解决了能力问题，但也把数据、成本和控制权交了出去。 Qwen 开源这条路，打的其实是“主权牌”。以后 AI 竞争，可能不只是看谁模型更强，而是看谁能让别人放心把底座建在你上面。

Vincent

47,327 görüntüleme • 1 ay önce