Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

这段 Perplexity 的创始人 Aravind Srinivas 与 Stripe 的 David Singleton 炉边谈话的视频非常值得一看，Perplexity 很坦诚的分享了 Perplexity 的创业历程、内部运作、招人、从其他大公司学到的经验以及未来展望等话题。 Perplexity 最开始不是做搜索的，而是做自然语言到 SQL-2 的转换工具。创始人 Aravind Srinivas 和团队受到搜索引擎和 Google 发展历程的启发，希望创建一个在数据库上搜索的工具，支持自然语言检索，所以他们就去抓取了 Twitter 的数据整理成表格格式方便搜索，这个演示获得了投资人的认可，为 Perplexity 赢得了第一批投资。 而后他们意识到接入大语言模型可以降低对数据预处理的依赖，只要在数据查询出来后扔给大语言模型帮助整理就可以了，所以他们就基于 GPT-3.5 推出了一款通用搜索引擎，用大语言模型生成搜索结果，并提供原始的网页摘要和连接。 后来他们又花了大量精力优化搜索速度，包括构建自己的索引、改进语言模型、提高搜索和推理的同时性、减少网络延迟等。他们并没有花太多精力做推广，仅靠口碑就获得了大量增长。 前一段时间和 Arc 浏览器合作，使 Perplexity 成为 Arc 的默认搜索引擎，这进一步推动了用户规模的快速增长。截至 2023 年，Perplexity 已经积累了上千万月活用户和数十亿的查询量。 值得一提的是，这次合作是两个产品的用户促成的，双方都没有给对方付费。 Perplexity 现在的员工只有 45 个人，他们前 10-20 名员工招募的方式也很特别，不是靠 LeetCode...

dotey's profile picture

宝玉

250,725 subscribers

232,117 Aufrufe • vor 2 Jahren •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

10 Kommentare

Profilbild von Alvin-GenAI
Alvin-GenAIvor 2 Jahren

全文整理的很好。我一年多前就开始用，我是Perplexity 早期用户，现在已经离不开它了，了。英伟达的黄教主 也公开宣传它。不过最近他们会屏蔽 VPN 上来的用户，这两天都上不去。

Profilbild von David Weng
David Wengvor 2 Jahren

Perplexity 最近给付费用户开放了没有额外使用限制（还是一天600次）的 Claude 3 Opus，爽

Profilbild von Obscure
Obscurevor 2 Jahren

这位朋友莫不是要在perplexity试用？

Profilbild von Rainman
Rainmanvor 2 Jahren

宝玉老师厉害的，还有YouTube

Profilbild von Winnerineast
Winnerineastvor 2 Jahren

先上桌子，然后逐渐接近市场上的需要。也是一句古话：临渊羡鱼，不如退而结网。

Profilbild von Kimi Huang
Kimi Huangvor 2 Jahren

有在YouTube上的版本吗？管理起来比较方便。

Profilbild von Jason
Jasonvor 2 Jahren

请问使用什么工具拿到字幕的？

Profilbild von 宝玉
宝玉vor 2 Jahren

自己写的脚本用whisper转的

Profilbild von 云儿淡风也轻
云儿淡风也轻vor 2 Jahren

这哥们儿真的不藏私

Profilbild von Kimi Huang
Kimi Huangvor 2 Jahren

可以让我下载这个视频，然后upload到YouTube上面去吗？我看了看YouTube上没相关的内容。

Ähnliche Videos

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。 （对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看） 先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。 去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。 在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。 最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。 并且陶哲轩提到了基于大语言模型的一些改进的方案： 比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。 比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。 即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！ 当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。 还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。 对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？ 陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。 他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。 演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。 这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。 尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。 原始 YT 视频：
57:23

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。 （对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看） 先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。 去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。 在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。 最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。 并且陶哲轩提到了基于大语言模型的一些改进的方案： 比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。 比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。 即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！ 当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。 还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。 对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？ 陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。 他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。 演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。 这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。 尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。 原始 YT 视频：

宝玉

304,577 Aufrufe • vor 2 Jahren

“我们究竟是创造了一个工具还是一个生物？” Sam 在 "机器人之心 "小组讨论会上的发言。 Sam： 但我认为，这无疑是迄今为止人类经历的最重大的更新年份。可能这也是我们将会遭遇的最大变革，因为从现在开始，人们已经接受强大的人工智能将成为现实，并且还会有逐步的更新。就像是第一代 iPhone 面世的那年，以及随后每一代 iPhone 的更新，我们现在能够明显感受到这一代与去年那代的差异。所以，这确实是一个重要的时刻。 我感到欣慰的是，现在人们开始正确地把这些系统当作工具来看待。艺术家尤其如此，但其他人也是一样。 曾经，人们真正恐惧的是，我们究竟是创造了一个工具还是一个生物，这将意味着什么？现在，人们视这些系统为人类工具箱中的新工具，并且正在用它创造一些非常了不起的东西。 模型显然不知道你在说什么，因为这不在它的训练数据里，它也无法从训练数据中学习到这些信息。 这是完全可以预期的。你再问一遍。比如说，你提到“意识”这个概念，模型回答：“是的，我完全明白你的意思，但我之前从未听说过这个词。” 问： “这对我来说就像是一次更新。你认为人工智能会趋向于探索创造性智能和自主性吗？” Sam： 这个问题有多个答案。这取决于激励模型。这是人类的选择。 问： “这将是判断意识的一个很好的测试。因为如果它有自我表达的愿望，并且仅仅为了创作的乐趣而去创作，那不会是偶然的。这绝对有点像生物。” Sam： 这是生物化的。我认为在此之前还有很多步骤。 我们现在要回答问题吗？这真的很棒。
0:30

“我们究竟是创造了一个工具还是一个生物？” Sam 在 "机器人之心 "小组讨论会上的发言。 Sam： 但我认为，这无疑是迄今为止人类经历的最重大的更新年份。可能这也是我们将会遭遇的最大变革，因为从现在开始，人们已经接受强大的人工智能将成为现实，并且还会有逐步的更新。就像是第一代 iPhone 面世的那年，以及随后每一代 iPhone 的更新，我们现在能够明显感受到这一代与去年那代的差异。所以，这确实是一个重要的时刻。 我感到欣慰的是，现在人们开始正确地把这些系统当作工具来看待。艺术家尤其如此，但其他人也是一样。 曾经，人们真正恐惧的是，我们究竟是创造了一个工具还是一个生物，这将意味着什么？现在，人们视这些系统为人类工具箱中的新工具，并且正在用它创造一些非常了不起的东西。 模型显然不知道你在说什么，因为这不在它的训练数据里，它也无法从训练数据中学习到这些信息。 这是完全可以预期的。你再问一遍。比如说，你提到“意识”这个概念，模型回答：“是的，我完全明白你的意思，但我之前从未听说过这个词。” 问： “这对我来说就像是一次更新。你认为人工智能会趋向于探索创造性智能和自主性吗？” Sam： 这个问题有多个答案。这取决于激励模型。这是人类的选择。 问： “这将是判断意识的一个很好的测试。因为如果它有自我表达的愿望，并且仅仅为了创作的乐趣而去创作，那不会是偶然的。这绝对有点像生物。” Sam： 这是生物化的。我认为在此之前还有很多步骤。 我们现在要回答问题吗？这真的很棒。

Lei.sea

14,132 Aufrufe • vor 2 Jahren

非常值得一看的视频，OpenAI 联合创始人 Andrej Karpathy 在2024年加州大学伯克利分校人工智能黑客马拉松颁奖典礼上的主题演讲。 OpenAI 联合创始人 Andrej Karpathy 解释了新的计算范式： “我们正在进入一个新的计算范式，大语言模型就像CPU一样，使用Token而不是字节，并且有一个上下文窗口而不是RAM。 这就是大语言模型操作系统（Large Language Model OS, LMOS）。” Andrej在演讲中分享了他对黑客马拉松的热情，强调这种活动带来的巨大能量和创造力，尤其是年轻人们在其中展现出的创新精神。他指出，人工智能领域在过去15年中经历了巨大的发展，从最初的学术研讨到现在的广泛应用，这种变化令人瞩目。尤其是大语言模型的兴起，彻底改变了计算的范式，使得计算不仅仅是处理字节，而是处理语言和上下文，这为人工智能的应用打开了新的大门。 他回顾了自己在OpenAI的经历，描述了公司从八个人在公寓里工作到如今成为市值近千亿美元的行业巨头的历程。通过一个个小项目的积累和发展，OpenAI最终实现了巨大的突破。Andrej特别强调了项目经验的重要性，指出很多看似不起眼的小项目最终可能会带来意想不到的巨大影响。 他还提到“一万小时”定律，强调成功源于反复的实践和大量的付出，只有通过持续不断地努力和项目驱动学习，才能在某个领域内获得真正的专业技能。他鼓励大家多做项目，通过项目来推动自己的学习和进步，并通过分享和发布项目来获取成就感和动力。 最后，Andrej展望了未来人工智能和技术的发展，指出我们正处在一个独特的时代，人工智能将进一步融入我们的生活，带来更多的可能性和挑战。他希望大家能够从小项目开始，不断积累经验，最终对世界产生积极的影响，共同塑造一个美好的未来。 完整文稿：
18:35

非常值得一看的视频，OpenAI 联合创始人 Andrej Karpathy 在2024年加州大学伯克利分校人工智能黑客马拉松颁奖典礼上的主题演讲。 OpenAI 联合创始人 Andrej Karpathy 解释了新的计算范式： “我们正在进入一个新的计算范式，大语言模型就像CPU一样，使用Token而不是字节，并且有一个上下文窗口而不是RAM。 这就是大语言模型操作系统（Large Language Model OS, LMOS）。” Andrej在演讲中分享了他对黑客马拉松的热情，强调这种活动带来的巨大能量和创造力，尤其是年轻人们在其中展现出的创新精神。他指出，人工智能领域在过去15年中经历了巨大的发展，从最初的学术研讨到现在的广泛应用，这种变化令人瞩目。尤其是大语言模型的兴起，彻底改变了计算的范式，使得计算不仅仅是处理字节，而是处理语言和上下文，这为人工智能的应用打开了新的大门。 他回顾了自己在OpenAI的经历，描述了公司从八个人在公寓里工作到如今成为市值近千亿美元的行业巨头的历程。通过一个个小项目的积累和发展，OpenAI最终实现了巨大的突破。Andrej特别强调了项目经验的重要性，指出很多看似不起眼的小项目最终可能会带来意想不到的巨大影响。 他还提到“一万小时”定律，强调成功源于反复的实践和大量的付出，只有通过持续不断地努力和项目驱动学习，才能在某个领域内获得真正的专业技能。他鼓励大家多做项目，通过项目来推动自己的学习和进步，并通过分享和发布项目来获取成就感和动力。 最后，Andrej展望了未来人工智能和技术的发展，指出我们正处在一个独特的时代，人工智能将进一步融入我们的生活，带来更多的可能性和挑战。他希望大家能够从小项目开始，不断积累经验，最终对世界产生积极的影响，共同塑造一个美好的未来。 完整文稿：

宝玉

124,026 Aufrufe • vor 2 Jahren

GTC 2024：黄仁勋与七位 Transformer 论文作者圆桌会谈中英文字幕 在今年的GTC大会上，英伟达的黄仁勋以一种充满仪式感的方式邀请了Transformer的七位作者（Niki Parmar因故临时未能出席）参与圆桌论坛的讨论，这是七位作者首次在公开场合集体亮相。 他们在对话中也表达了一些令人印象深刻的观点： 1. 计算成本的降低和加速计算的兴起 在个人电脑革命的 20 年里，计算成本降低了 10000 倍，这是一个史无前例的成就。然而，计算成本的急剧下降在某个时刻停止了。为了继续推动计算能力的发展，加速计算应运而生。加速计算虽然具有挑战性，但通过加速那占据 99% 运行时间的 1% 代码，许多看似不可能的事情将变为可能。 2. 人工智能技术的突破和生成式 AI 的潜力 AlexNet 的出现标志着人工智能与 GPU 加速计算的首次结合，引发了人们对 AI 领域的广泛关注。随后，生成式 AI 的出现让人们看到了 AI 技术的巨大潜力。生成式 AI 不仅可以识别图像，还可以根据文本描述生成相应的图像，这种对数据的理解和生成能力，预示着一场新的工业革命的开始。这场革命将诞生前所未有的产品和服务，并对各行各业产生深远的影响。 3. Transformer 的诞生与自然语言处理的变革 Transformer 的发明者们分享了他们的研究动机和创新历程。最初，他们希望建立一个能够处理海量自然语言数据的高效模型。Transformer 独特的自注意力机制和并行处理能力，使其能够在各种自然语言任务上取得突破性的进展。同时，Transformer 的通用性也让研究者们意识到，它不仅适用于语言，还可以扩展到图像、音频等多个领域，这为人工智能的发展开辟了新的道路。 4. AI 创业公司的使命和愿景 随着人工智能技术的不断进步，许多 Transformer 的发明者选择离开大公司，创立了自己的 AI 公司。他们的目标是将这项变革性的技术带给更多人，让 AI 惠及各行各业。有的公司致力于创建通用的 AI 平台，有的专注于特定领域，如生物医学或金融。但他们的共同愿景是，通过人工智能来解决现实世界的问题，改善人类的生活。这些 AI 创业公司的努力，将加速人工智能技术的发展和应用。 5. 人工智能未来的发展方向 对话中，专家们对人工智能未来的发展方向进行了展望。他们认为，未来的重点将是提高模型的推理能力和常识理解。同时，高质量的数据和人机交互也至关重要。研究者们期望通过构建更高效、更通用的模型，让 AI 能够从更少的数据中学习，并具备类似人类的思考和问题解决能力。此外，将 AI 与其他领域如生物学、金融等结合，将释放出更大的潜力。
56:25

GTC 2024：黄仁勋与七位 Transformer 论文作者圆桌会谈中英文字幕 在今年的GTC大会上，英伟达的黄仁勋以一种充满仪式感的方式邀请了Transformer的七位作者（Niki Parmar因故临时未能出席）参与圆桌论坛的讨论，这是七位作者首次在公开场合集体亮相。 他们在对话中也表达了一些令人印象深刻的观点： 1. 计算成本的降低和加速计算的兴起 在个人电脑革命的 20 年里，计算成本降低了 10000 倍，这是一个史无前例的成就。然而，计算成本的急剧下降在某个时刻停止了。为了继续推动计算能力的发展，加速计算应运而生。加速计算虽然具有挑战性，但通过加速那占据 99% 运行时间的 1% 代码，许多看似不可能的事情将变为可能。 2. 人工智能技术的突破和生成式 AI 的潜力 AlexNet 的出现标志着人工智能与 GPU 加速计算的首次结合，引发了人们对 AI 领域的广泛关注。随后，生成式 AI 的出现让人们看到了 AI 技术的巨大潜力。生成式 AI 不仅可以识别图像，还可以根据文本描述生成相应的图像，这种对数据的理解和生成能力，预示着一场新的工业革命的开始。这场革命将诞生前所未有的产品和服务，并对各行各业产生深远的影响。 3. Transformer 的诞生与自然语言处理的变革 Transformer 的发明者们分享了他们的研究动机和创新历程。最初，他们希望建立一个能够处理海量自然语言数据的高效模型。Transformer 独特的自注意力机制和并行处理能力，使其能够在各种自然语言任务上取得突破性的进展。同时，Transformer 的通用性也让研究者们意识到，它不仅适用于语言，还可以扩展到图像、音频等多个领域，这为人工智能的发展开辟了新的道路。 4. AI 创业公司的使命和愿景 随着人工智能技术的不断进步，许多 Transformer 的发明者选择离开大公司，创立了自己的 AI 公司。他们的目标是将这项变革性的技术带给更多人，让 AI 惠及各行各业。有的公司致力于创建通用的 AI 平台，有的专注于特定领域，如生物医学或金融。但他们的共同愿景是，通过人工智能来解决现实世界的问题，改善人类的生活。这些 AI 创业公司的努力，将加速人工智能技术的发展和应用。 5. 人工智能未来的发展方向 对话中，专家们对人工智能未来的发展方向进行了展望。他们认为，未来的重点将是提高模型的推理能力和常识理解。同时，高质量的数据和人机交互也至关重要。研究者们期望通过构建更高效、更通用的模型，让 AI 能够从更少的数据中学习，并具备类似人类的思考和问题解决能力。此外，将 AI 与其他领域如生物学、金融等结合，将释放出更大的潜力。

宝玉

54,522 Aufrufe • vor 2 Jahren

被员工背叛是一种怎样的感受？泡泡玛特创始人王宁回忆起创业初期时说，那时候他甚至连合格的员工都招不到，能招来的，都是在别处找不到工作的人。即便如此，在春节期间，他的整个团队却骗走了一笔提前发放的工资，然后集体辞职离开。只有那些能够熬过这些至暗时刻、坚持下来的人，最终才会成功。
1:47

被员工背叛是一种怎样的感受？泡泡玛特创始人王宁回忆起创业初期时说，那时候他甚至连合格的员工都招不到，能招来的，都是在别处找不到工作的人。即便如此，在春节期间，他的整个团队却骗走了一笔提前发放的工资，然后集体辞职离开。只有那些能够熬过这些至暗时刻、坚持下来的人，最终才会成功。

亚洲总裁 AsiaExec

276,566 Aufrufe • vor 8 Monaten

我在MIT看到的Agent 新范式 今天在麻省理工学院的EmTech大会上，看到了一个让我重新思考整个AI agent领域的演示。 演示方是TinyFish，一家相当低调的公司。创始团队里有两位华人，获得了ICONIQ领投的近3.5亿元人民币融资，但在今天之前从未公开展示过他们的核心产品。 而他们正在做的事情，已经在为Google和DoorDash运行超过千万级别的web agent操作... 不是实验室demo，是真实的生产环境。 TinyFish产品能让 AI 能够像人类一样自动操作网页、完成企业级任务... 它可以在没有 API 的情况下，让 AI 自动跨网站读取、理解、操作网页，执行业务流程、采集数据、提交信息、监控变化。 从抓数据、比价格、做填表、查库存，到合规审查与动态定价，都能完成... 可以在几千个网站间实时操作、执行任务。 也就是可以以同时运行一千个ChatGPT Atlas ，然后不间断的，同样的答案运行一千万次... 一个被所有人忽视的事实 TinyFish的CEO Sudheesh在演示中分享了一个震撼的洞察： 现在市面上所有的AI agent，都只能操作5%的网络。 不是因为开发者技术不行，而是因为所有人都在基于搜索引擎构建agent。 而搜索这个范式，早就失效了。 搜索是怎么失效的？ 我们来看一个最简单的例子：Amazon。 Amazon的每个产品页面都被Google完整索引，完全可以爬取。这是搜索引擎最理想的场景。 但当你在Amazon搜索"笔记本电脑"时会发生什么？ 你会看到上万个结果。赞助商品、虚假评论、AI生成的描述铺天盖地。你翻了几页就放弃了，最后随便点一个"看起来还行"的，结账走人。 这不是Amazon的问题。这是搜索范式本身的问题：当数据量太大时，排名就失效了。 Google成功地索引了数百万Amazon页面，但这并没有让搜索变得更有用。Amazon自己建了搜索引擎，也没有解决问题。 网络变得太大了。即使是已经被索引的那部分，排名也已经无法工作。 搜索假设你想"找到"某样东西。但如果你需要"检查所有"东西呢？比较所有供应商？验证每一个选项？** 这时候，整个范式就崩溃了。 那剩下的95%呢？ 更糟糕的是，刚才说的还只是那5%被索引的网络。 剩下95%的网络藏在哪里？ - 需要登录的供应商门户 - 有身份验证的医疗系统 - 只能通过表单提交访问的政府数据库 - 需要多步骤导航的竞争情报 搜索引擎根本接触不到这些。不是技术问题，是架构问题。你无法爬取需要交互才能访问的内容。 所以我们面临两个问题： 1. 被索引的5%网络因为太大而失效 2. 95%的重要数据根本没被索引 两个问题的根源都一样：搜索这个范式假设人类会手动评估结果。当你需要全面的情报而不是排名选项时，它就失效了。 为什么现有方案都解决不了 你可能会想：RAG呢？更好的embedding呢？Browser agents 呢？ 它们都解决不了 因为它们都继承了搜索的核心局限：假设你想"找到"某样东西，而不是"检查所有"东西。 当一个采购团队需要检查200个供应商门户的竞争定价时，排名帮不了你。 当制药公司需要在数千个研究站点匹配临床试验的患者资格时，检索帮不了你。 这不是"这项工作很繁琐我们想自动化"的问题。这是"这种分析在我们需要的规模上根本不可能完成"的问题。 从可读Web到可执行Web Sudheesh解释了他们的解决方案： 不是更好的搜索，而是操作性基础设施。 TinyFish构建的系统可以： - 登录认证系统 - 导航多步骤工作流 - 提取结构化数据 - 同时运行数十万个并行会话 这就是从"可读Web"到"可执行Web"的转变。 浏览器代理（比如OpenAI的Atlas）帮助个人更快地导航网站：一次一个会话，一个浏览器。 TinyFish 的 Mino： 👉 就像一个“AI工厂”，让公司自己创建、部署和管理这些“网页机器人（Web Agents）”。 Mino可在基础设施规模上运行数十万个并行会话，在需要人类团队数周时间完成的复杂工作流中保持准确性。 这不是自行车和摩托车的区别。这是自行车和货运网络的区别。 规模化的证明 这不是理论 TinyFish已经在为ClassPass、Google、DoorDash等公司每月运行3000万次操作。 ClassPass的例子很典型：他们需要聚合数万家健身工作室的课程。大部分工作室没有API，只有手动更新的预订网站。课程安排每天变化，价格因时间、地点和等级而异。 传统方法全部失败： - 人工录入：无法规模化，数据永远过时 - 爬虫：网站一改版就崩溃 - API对接：长尾永远不会开发集成 使用TinyFish后，他们的场馆覆盖率增加了3-4倍，成本降低了50%。 更具体的实际落地案例： 🏨 Google Hotels 日本许多酒店使用老旧系统，无法接入 Google 聚合平台 TinyFish 的代理能自动获取这些酒店的库存与价格； 无需 IT 改造，让 Google Hotels 实现实时更新。 实现 99% 的实时覆盖率 更新频率提升 20 倍 运行量超过 每月 1,000 万+ 操作 🛵 DoorDash 为每个城市部署 AI 代理，自动抓取竞争网站菜单、价格、促销 每小时更新、自动去重与异常检测； 与 DoorDash 内部数据系统自动对接。 每月收集数百万个定价变量； 用于动态调整价格、优化市场响应； 自动化 95% 市场数据采集； 提高预测模型精度 30%； 大幅降低人工调研成本（原来每月人工工时 1200+ 小时）。 这意味着什么 搜索在过去25年里运行得很好，因为网络足够小，人类可以手动评估排名结果。 现在网络太大了。即使是被索引的部分也变得无法管理。而95%的网络从来没被索引过。 接下来的范式不是更好的搜索或更智能的排名。而是能够在整个网络上导航、推理和提取的操作性基础设施：公开的和私密的，被索引的和未被索引的。 Agent功能的发展速度远超预期。短短36个月，我们就从"AI起草邮件"发展到了"AI运行完整工作流"。 TinyFish可能在企业规模的实际落地上已经领先了。 他们正在向开发者开放这个基础设施。如果你在构建需要大规模可靠性的agent产品，这可能是一个值得关注的早期信号。
0:25

我在MIT看到的Agent 新范式 今天在麻省理工学院的EmTech大会上，看到了一个让我重新思考整个AI agent领域的演示。 演示方是TinyFish，一家相当低调的公司。创始团队里有两位华人，获得了ICONIQ领投的近3.5亿元人民币融资，但在今天之前从未公开展示过他们的核心产品。 而他们正在做的事情，已经在为Google和DoorDash运行超过千万级别的web agent操作... 不是实验室demo，是真实的生产环境。 TinyFish产品能让 AI 能够像人类一样自动操作网页、完成企业级任务... 它可以在没有 API 的情况下，让 AI 自动跨网站读取、理解、操作网页，执行业务流程、采集数据、提交信息、监控变化。 从抓数据、比价格、做填表、查库存，到合规审查与动态定价，都能完成... 可以在几千个网站间实时操作、执行任务。 也就是可以以同时运行一千个ChatGPT Atlas ，然后不间断的，同样的答案运行一千万次... 一个被所有人忽视的事实 TinyFish的CEO Sudheesh在演示中分享了一个震撼的洞察： 现在市面上所有的AI agent，都只能操作5%的网络。 不是因为开发者技术不行，而是因为所有人都在基于搜索引擎构建agent。 而搜索这个范式，早就失效了。 搜索是怎么失效的？ 我们来看一个最简单的例子：Amazon。 Amazon的每个产品页面都被Google完整索引，完全可以爬取。这是搜索引擎最理想的场景。 但当你在Amazon搜索"笔记本电脑"时会发生什么？ 你会看到上万个结果。赞助商品、虚假评论、AI生成的描述铺天盖地。你翻了几页就放弃了，最后随便点一个"看起来还行"的，结账走人。 这不是Amazon的问题。这是搜索范式本身的问题：当数据量太大时，排名就失效了。 Google成功地索引了数百万Amazon页面，但这并没有让搜索变得更有用。Amazon自己建了搜索引擎，也没有解决问题。 网络变得太大了。即使是已经被索引的那部分，排名也已经无法工作。 搜索假设你想"找到"某样东西。但如果你需要"检查所有"东西呢？比较所有供应商？验证每一个选项？** 这时候，整个范式就崩溃了。 那剩下的95%呢？ 更糟糕的是，刚才说的还只是那5%被索引的网络。 剩下95%的网络藏在哪里？ - 需要登录的供应商门户 - 有身份验证的医疗系统 - 只能通过表单提交访问的政府数据库 - 需要多步骤导航的竞争情报 搜索引擎根本接触不到这些。不是技术问题，是架构问题。你无法爬取需要交互才能访问的内容。 所以我们面临两个问题： 1. 被索引的5%网络因为太大而失效 2. 95%的重要数据根本没被索引 两个问题的根源都一样：搜索这个范式假设人类会手动评估结果。当你需要全面的情报而不是排名选项时，它就失效了。 为什么现有方案都解决不了 你可能会想：RAG呢？更好的embedding呢？Browser agents 呢？ 它们都解决不了 因为它们都继承了搜索的核心局限：假设你想"找到"某样东西，而不是"检查所有"东西。 当一个采购团队需要检查200个供应商门户的竞争定价时，排名帮不了你。 当制药公司需要在数千个研究站点匹配临床试验的患者资格时，检索帮不了你。 这不是"这项工作很繁琐我们想自动化"的问题。这是"这种分析在我们需要的规模上根本不可能完成"的问题。 从可读Web到可执行Web Sudheesh解释了他们的解决方案： 不是更好的搜索，而是操作性基础设施。 TinyFish构建的系统可以： - 登录认证系统 - 导航多步骤工作流 - 提取结构化数据 - 同时运行数十万个并行会话 这就是从"可读Web"到"可执行Web"的转变。 浏览器代理（比如OpenAI的Atlas）帮助个人更快地导航网站：一次一个会话，一个浏览器。 TinyFish 的 Mino： 👉 就像一个“AI工厂”，让公司自己创建、部署和管理这些“网页机器人（Web Agents）”。 Mino可在基础设施规模上运行数十万个并行会话，在需要人类团队数周时间完成的复杂工作流中保持准确性。 这不是自行车和摩托车的区别。这是自行车和货运网络的区别。 规模化的证明 这不是理论 TinyFish已经在为ClassPass、Google、DoorDash等公司每月运行3000万次操作。 ClassPass的例子很典型：他们需要聚合数万家健身工作室的课程。大部分工作室没有API，只有手动更新的预订网站。课程安排每天变化，价格因时间、地点和等级而异。 传统方法全部失败： - 人工录入：无法规模化，数据永远过时 - 爬虫：网站一改版就崩溃 - API对接：长尾永远不会开发集成 使用TinyFish后，他们的场馆覆盖率增加了3-4倍，成本降低了50%。 更具体的实际落地案例： 🏨 Google Hotels 日本许多酒店使用老旧系统，无法接入 Google 聚合平台 TinyFish 的代理能自动获取这些酒店的库存与价格； 无需 IT 改造，让 Google Hotels 实现实时更新。 实现 99% 的实时覆盖率 更新频率提升 20 倍 运行量超过 每月 1,000 万+ 操作 🛵 DoorDash 为每个城市部署 AI 代理，自动抓取竞争网站菜单、价格、促销 每小时更新、自动去重与异常检测； 与 DoorDash 内部数据系统自动对接。 每月收集数百万个定价变量； 用于动态调整价格、优化市场响应； 自动化 95% 市场数据采集； 提高预测模型精度 30%； 大幅降低人工调研成本（原来每月人工工时 1200+ 小时）。 这意味着什么 搜索在过去25年里运行得很好，因为网络足够小，人类可以手动评估排名结果。 现在网络太大了。即使是被索引的部分也变得无法管理。而95%的网络从来没被索引过。 接下来的范式不是更好的搜索或更智能的排名。而是能够在整个网络上导航、推理和提取的操作性基础设施：公开的和私密的，被索引的和未被索引的。 Agent功能的发展速度远超预期。短短36个月，我们就从"AI起草邮件"发展到了"AI运行完整工作流"。 TinyFish可能在企业规模的实际落地上已经领先了。 他们正在向开发者开放这个基础设施。如果你在构建需要大规模可靠性的agent产品，这可能是一个值得关注的早期信号。

小互

43,368 Aufrufe • vor 11 Monaten

刚刚过去的一天ai行业又有大事发生！ Openclaw的最大竞争对手来了！ Perplexity 宣布推出perplexity computer，这个云端电脑聚合了多款最新大模型，可以根据用户的提出的需求寻找最合适的大模型从而完成任务。 可以说这是用了和openclaw完全不同的架构，openclaw是由用户自己运行的电脑，通过一个大模型来解决问题。而perplexity则是通过多种大模型聚合的云端电脑帮用户寻找最合适的大模型解决问题。 一个像私人助理，一个像工作团队。目前200刀每月，大家可以体验。 Moonlake 在今天推出了全新的多模态大模型，从视频演示中，他们只输入了几句话，就生成了一个保龄球游戏的全貌。这个大模型的厉害之处大家可以去他们的官推视频查看，可以说是对于游戏生成行业的一次冲击。也是我觉得非常厉害的一个产品，世界果然属于聪明的年轻人 Anthropic 宣布收购了 Vercept ，这是一家ai桌面助手，可以学习人类的习惯去使用电脑，对于后续ai工作流的提升极为有用。 claude和openai也均对ai安全性问题给出了最新的处理建议，在ai高速发展的今天，安全性更为重要 感谢各位点赞支持！关注我，每天带来最新的ai资讯！
11:17

刚刚过去的一天ai行业又有大事发生！ Openclaw的最大竞争对手来了！ Perplexity 宣布推出perplexity computer，这个云端电脑聚合了多款最新大模型，可以根据用户的提出的需求寻找最合适的大模型从而完成任务。 可以说这是用了和openclaw完全不同的架构，openclaw是由用户自己运行的电脑，通过一个大模型来解决问题。而perplexity则是通过多种大模型聚合的云端电脑帮用户寻找最合适的大模型解决问题。 一个像私人助理，一个像工作团队。目前200刀每月，大家可以体验。 Moonlake 在今天推出了全新的多模态大模型，从视频演示中，他们只输入了几句话，就生成了一个保龄球游戏的全貌。这个大模型的厉害之处大家可以去他们的官推视频查看，可以说是对于游戏生成行业的一次冲击。也是我觉得非常厉害的一个产品，世界果然属于聪明的年轻人 Anthropic 宣布收购了 Vercept ，这是一家ai桌面助手，可以学习人类的习惯去使用电脑，对于后续ai工作流的提升极为有用。 claude和openai也均对ai安全性问题给出了最新的处理建议，在ai高速发展的今天，安全性更为重要 感谢各位点赞支持！关注我，每天带来最新的ai资讯！

Vic TALK

79,162 Aufrufe • vor 7 Monaten

亲爱的，这个视频里，最让我印象深刻的是，团队明显不是为了发一个一次性的 NFT 然后就收工 他们是有意识地在打造一个具有长期价值和分量的品牌与生态 在这个 NFT 项目来来去去、昙花一现的圈子里，他们做的和其他人不同，其他很多项目而热闹一阵子，很快就被遗忘 他们是真正在尝试创造一个能够在 Web3 里长期存在、不断发展的东西 冲了！
0:22

亲爱的，这个视频里，最让我印象深刻的是，团队明显不是为了发一个一次性的 NFT 然后就收工 他们是有意识地在打造一个具有长期价值和分量的品牌与生态 在这个 NFT 项目来来去去、昙花一现的圈子里，他们做的和其他人不同，其他很多项目而热闹一阵子，很快就被遗忘 他们是真正在尝试创造一个能够在 Web3 里长期存在、不断发展的东西 冲了！

Moonlight🌙月光

30,840 Aufrufe • vor 8 Monaten

OpenAI联合创始人，首席科学家伊利亚10月17日TED演讲视频观点：人们将开始出于自身利益，以前所未有的协作方式采取行动， 随着人工智能的不断进步，随着技术的进步，[...]我认为将会发生的是，人们将开始出于自身利益以前所未有的协作方式采取行动。现在已经发生了。 你会看到领先的 AGI 公司开始合作，例如 Frontiers 模型论坛。我们预计公司，甚至竞争对手，将共享技术信息以确保他们的人工智能安全。我们甚至可能会看到政府这样做。 另一个例子是，在 OpenAI，我们确实相信 AGI 将会有多么引人注目。所以，我们的经营理念之一，并且已经在我们的网站上写了 5 年了，就是，当技术发展到我们非常接近 AGI、比人类更聪明的计算机时，如果其他公司距离我们还很远的话。在我们前面，那么我们不会与他们竞争，而是会帮助他们，在某种意义上加入他们。 为什么要这样做？因为我们意识到 AGI 将会带来多么令人难以置信的戏剧性。我的主张是，随着每一代能力的进步，随着人工智能变得更好，随着所有人都体验到人工智能的能力，运行人工智能工作和通用人工智能工作的人们以及从事这些工作的人们也会体验到这一点，将改变我们看待人工智能和通用人工智能的方式。这将改变集体行为。这就是为什么我希望尽管这项技术带来了巨大的挑战，但我们能够克服它们的一个重要原因。 @TEDAI2023 From：Jim Fan
12:24

OpenAI联合创始人，首席科学家伊利亚10月17日TED演讲视频观点：人们将开始出于自身利益，以前所未有的协作方式采取行动， 随着人工智能的不断进步，随着技术的进步，[...]我认为将会发生的是，人们将开始出于自身利益以前所未有的协作方式采取行动。现在已经发生了。 你会看到领先的 AGI 公司开始合作，例如 Frontiers 模型论坛。我们预计公司，甚至竞争对手，将共享技术信息以确保他们的人工智能安全。我们甚至可能会看到政府这样做。 另一个例子是，在 OpenAI，我们确实相信 AGI 将会有多么引人注目。所以，我们的经营理念之一，并且已经在我们的网站上写了 5 年了，就是，当技术发展到我们非常接近 AGI、比人类更聪明的计算机时，如果其他公司距离我们还很远的话。在我们前面，那么我们不会与他们竞争，而是会帮助他们，在某种意义上加入他们。 为什么要这样做？因为我们意识到 AGI 将会带来多么令人难以置信的戏剧性。我的主张是，随着每一代能力的进步，随着人工智能变得更好，随着所有人都体验到人工智能的能力，运行人工智能工作和通用人工智能工作的人们以及从事这些工作的人们也会体验到这一点，将改变我们看待人工智能和通用人工智能的方式。这将改变集体行为。这就是为什么我希望尽管这项技术带来了巨大的挑战，但我们能够克服它们的一个重要原因。 @TEDAI2023 From：Jim Fan

AI Will

120,098 Aufrufe • vor 2 Jahren

OpenAI 创始人 John Schulman 访谈节选：为什么 GPT-4 比一年前更“聪明”了？主要都是后训练（Post-Training）带来的！ 另外他认为，在强化学习研究领域，研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈，并对各个部分充满好奇心是关键。此外，从第一性原理出发思考问题，而不仅仅依靠实验证据，也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel：在未来，用于训练的计算力中，预训练与后训练的比例是否会明显偏向后训练呢？ John Schulman：确实，有一些观点支持这种说法。 Dwarkesh Patel：我是说，现在这个比例非常不平衡。 John Schulman：但你可以认为，模型生成的输出质量比网上的大多数内容都要高。因此，让模型自己思考似乎更有道理，而不仅仅是训练来模仿网络上的内容。所以，我认为从第一性原理上来说，这是有说服力的。我会说，我们通过后训练取得了很多进步。因此，我不确定。所以，我希望我们会继续推动这种方法，并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel：当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢？ John Schulman：对，我会说大部分都是后训练带来的。 Dwarkesh Patel：这很有意思。 John Schulman：因此，有很多不同的改进方向。我们会考虑数据质量，数据数量，进行更多的部署和收集新数据的迭代，改变你收集的注解种类。因此，有很多因素叠加在一起。但是全部加在一起，就会带来一个相当不错的，有效的计算力提升。 Dwarkesh Patel：后训练的优化程度对于竞争优势有多大影响呢？ John Schulman：目前，我会区别公司是通过我们的模型有多大等等。那么，找出你之前提到的所有这些数据的复杂问题的公司，会占据大优势吗？ John Schulman：我认为这确实是一个优势，因为这是一个非常复杂的任务。因此，你必须有很多有技能的人来执行它。因此，存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程，创建一个具备人们所关心的所有功能的模型，是十分复杂的。这需要付出大量的努力，它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒，要想立即启动这种模型并非易事。 Dwarkesh Patel：看起来那些正在进行最严肃的预训练努力的公司，也在进行严肃的后训练努力。因此，看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman：另外，还有一种情况使得这个壁垒并非那么明显，那就是你可以提取模型，或者复制别人的模型输出，或者使用别人的模型进行比较。我认为大公司可能并不会这样做，因为这违反了服务条款，也会损害他们的自尊心，但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel：那些真正擅长进行这种强化学习（RL）研究的人有什么样的特质呢？我听说这种研究非常具有挑战性，但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢？ John Schulman：我觉得有相当多的经验是关键。自从研究生时期以来，我一直在研究 RL 算法，涉及到数据收集、到注释过程，再到与语言模型的交互。所以，我算是涉猎了这些领域。我认为，在这类研究中表现出色的人通常对整个技术堆栈有全面的了解，并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点，还会从第一性原理出发思考问题。比如，假设深度学习是有效的，那么理想的收集数据的类型应该是什么，等等。
5:04

OpenAI 创始人 John Schulman 访谈节选：为什么 GPT-4 比一年前更“聪明”了？主要都是后训练（Post-Training）带来的！ 另外他认为，在强化学习研究领域，研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈，并对各个部分充满好奇心是关键。此外，从第一性原理出发思考问题，而不仅仅依靠实验证据，也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel：在未来，用于训练的计算力中，预训练与后训练的比例是否会明显偏向后训练呢？ John Schulman：确实，有一些观点支持这种说法。 Dwarkesh Patel：我是说，现在这个比例非常不平衡。 John Schulman：但你可以认为，模型生成的输出质量比网上的大多数内容都要高。因此，让模型自己思考似乎更有道理，而不仅仅是训练来模仿网络上的内容。所以，我认为从第一性原理上来说，这是有说服力的。我会说，我们通过后训练取得了很多进步。因此，我不确定。所以，我希望我们会继续推动这种方法，并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel：当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢？ John Schulman：对，我会说大部分都是后训练带来的。 Dwarkesh Patel：这很有意思。 John Schulman：因此，有很多不同的改进方向。我们会考虑数据质量，数据数量，进行更多的部署和收集新数据的迭代，改变你收集的注解种类。因此，有很多因素叠加在一起。但是全部加在一起，就会带来一个相当不错的，有效的计算力提升。 Dwarkesh Patel：后训练的优化程度对于竞争优势有多大影响呢？ John Schulman：目前，我会区别公司是通过我们的模型有多大等等。那么，找出你之前提到的所有这些数据的复杂问题的公司，会占据大优势吗？ John Schulman：我认为这确实是一个优势，因为这是一个非常复杂的任务。因此，你必须有很多有技能的人来执行它。因此，存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程，创建一个具备人们所关心的所有功能的模型，是十分复杂的。这需要付出大量的努力，它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒，要想立即启动这种模型并非易事。 Dwarkesh Patel：看起来那些正在进行最严肃的预训练努力的公司，也在进行严肃的后训练努力。因此，看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman：另外，还有一种情况使得这个壁垒并非那么明显，那就是你可以提取模型，或者复制别人的模型输出，或者使用别人的模型进行比较。我认为大公司可能并不会这样做，因为这违反了服务条款，也会损害他们的自尊心，但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel：那些真正擅长进行这种强化学习（RL）研究的人有什么样的特质呢？我听说这种研究非常具有挑战性，但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢？ John Schulman：我觉得有相当多的经验是关键。自从研究生时期以来，我一直在研究 RL 算法，涉及到数据收集、到注释过程，再到与语言模型的交互。所以，我算是涉猎了这些领域。我认为，在这类研究中表现出色的人通常对整个技术堆栈有全面的了解，并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点，还会从第一性原理出发思考问题。比如，假设深度学习是有效的，那么理想的收集数据的类型应该是什么，等等。

宝玉

57,189 Aufrufe • vor 2 Jahren

Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈（四/完结） 关于大语言模型对经济的影响以及学术界的选择 学生：大语言模型的经济影响，比如劳动力市场的影响，比你最初预期的要慢。Chegg（在线教育技术公司）和一些服务人员受到了影响。你认为学术界应该获得AI方面的补贴，还是应该选择与业界的大公司合作？ Eric：我非常努力地推动为大学建立数据中心。如果我是这里的计算机科学系教师，我会非常失望，因为无法与研究生一起构建能够进行博士研究的算法。我被迫和这些公司合作。我认为这些公司在这方面并没有表现出足够的慷慨。我与许多你们认识的教师交谈，他们花费大量时间等待Google Cloud的配额。这是非常糟糕的情况。这个领域正在快速发展。我们希望美国能胜出，我们希望美国的大学——出于多种原因，我认为正确的做法是把资源提供给他们。我在这方面做了很多努力。 至于劳动力市场的影响，我将这个问题交给这里的真正专家。作为Eric教导的业余经济学家，我坚信那些接受过大学教育、从事高技能工作的人将会适应，因为人们将会与这些系统一起工作。我认为这些系统与以往的技术浪潮没有区别。那些危险的工作和不需要太多人为判断的工作将被取代。 关于计算机科学教育的未来 学生：我对“文本到行动”及其对计算机科学教育的影响非常感兴趣。你认为计算机科学教育应该如何变革以适应新时代？ Eric：我认为计算机科学专业的本科生群体将始终有一位编程搭档。因此，当你学习你的第一个for循环时，你会有一个工具作为你的伙伴。这就是未来的教学方式，教授会讲解概念，但你会通过这种方式参与其中。这是我的猜测。 关于非Transformer架构与数学创新 学生：你提到了一些让你兴奋的非Transformer架构。我想其中一个被提到的是状态模型，但现在还有一种是更长上下文的模型。我更好奇的是你在这方面看到的情况。 Eric：我对数学的理解还不够深入，但我非常高兴我们为数学家们提供了工作机会，因为这里的数学太复杂了。但基本上，他们是在采用不同的方法来进行梯度下降和矩阵乘法，使其更快更好。Transformer架构是一种能够同时进行乘法运算的系统化方式，这是我理解的方式。它和其他的很像，但数学部分不同。我们将继续关注这些新的数学进展。 关于中美关系与国家安全 学生：你在关于国家安全的论文中提到，中美两国在现代架构的帮助下处于关键地位。接下来的10个国家，以及稍后的一组国家，都是美国的盟友，或者与美国盟友关系密切。我很好奇你对这些国家，尤其是那些中间地带但并非正式盟友的国家有什么看法。它们有多大可能愿意加入我们的安全阵营？是什么因素可能会阻碍它们加入？ Eric：最值得关注的国家是印度，因为顶尖的AI人才从印度来到美国，我们应该让印度保留一部分顶尖人才。他们没有我们这里如此丰富的培训设施和项目。在我看来，印度是这一领域的重要摇摆国家。中国已经没有机会了，不会再回来。日本和韩国显然站在我们这一边。台湾在硬件方面很出色，但他们的软件开发较弱。在全球范围内，其他大国的选择并不多。欧洲因为欧盟的政策和管理机制陷入困境，这并不是什么新鲜事。我与他们斗争了10年，但他们仍然有许多限制，导致我们在欧洲开展研究非常困难。法国还有一些机会，但我不太看好德国。其余的国家都不够有影响力。 关于编程与AI 学生：我是编译器工程师。考虑到你设想这些模型将具备的能力，我们还需要花时间学习编程吗？ Eric：是的，这是一个老生常谈的问题，为什么你已经会说英语还要学习英语呢？是为了让你的英语更好。你确实需要理解这些系统的工作原理，我对此非常坚定。 关于分布式计算与大语言模型的训练 学生：你是否探索过分布式环境？虽然构建大型集群很困难，但MacBooks的性能很强大。你认为类似“Folding@home”的想法适合训练吗？ Eric：是的，我们对此进行了深入研究。算法的工作方式是你有一个非常大的矩阵，基本上是一个乘法函数。系统的速度完全受限于内存到CPU或GPU的传输速度。Nvidia的下一代芯片已经将所有这些功能整合到了一块芯片中，如今的芯片已经足够大到需要将它们都粘合在一起。短时间内，分布式计算在训练大语言模型方面的进展可能有限。 关于数据隐私与版权 学生：在ChatGPT发布后，OpenAI因使用他们的作品进行训练而被《纽约时报》起诉。你觉得这种情况会如何发展？这对数据隐私有何影响？ Eric：我曾经从事过大量的音乐版权工作。我了解到在60年代，有一系列诉讼最终达成了一项协议：每次播放你的歌曲，你都能获得一定的版权费。我猜AI领域可能会有类似的情况。可能会有很多诉讼，最后可能会达成一种协议，要求你必须支付你的一部分收入，以便使用类似ASCAP BMI的版权管理机构。 关于AI领域的垄断与反垄断法规 学生：现在看起来几个主要玩家在AI领域占据主导地位，他们会继续维持这个地位。这些公司似乎与那些受到反垄断法规关注的大公司有所交叉。你对这两种趋势有何看法？像是监管部门会否对这些公司进行分拆？这将会对现状产生怎样的影响？ Eric：在我的职业生涯中，我曾帮助微软避免被拆分，结果它确实没有被拆分。我也曾努力阻止谷歌被分拆，目前来看，谷歌还未被分拆。因此，从我的观察来看，这些公司被分拆的趋势并不明显。只要这些公司避免成为像约翰·D·洛克菲勒那样的企业巨头，政府可能不会采取行动。这些公司占据主导地位的原因是他们有足够的资本来建设数据中心。 关于技术差距对全球的影响 学生：这一切将会把那些不参与前沿模型开发和无法获取计算资源的国家带向何方？富国越来越富，穷国尽力而为。 Eric：事实上，这就是富国的游戏，对吧？巨大的资本，众多技术过硬的人才，强有力的政府支持。有些国家，比如印度，将会成为这一领域的重要参与者。其他国家可能需要找到合作伙伴或与其他国家联合。 对年轻人的建议 主持人：最后一个问题，Eric。你花了很多时间帮助年轻人，他们正在创造大量财富，你对在座的各位有什么建议吗？他们正在为这门课写商业计划书或撰写政策提案、研究提案，未来职业发展方面你有什么建议？ Eric：我在商学院教过一门关于这个主题的课程。快速制作原型的能力真的非常重要，成为创业者的一个难点在于一切都发生得非常快。现在，如果你不能在一天之内利用这些工具构建你的原型，那你就需要考虑一下了，因为你的竞争对手正在这么做。所以我的建议是，尽快使用这些工具把你的想法制作成原型。这是关键，因为在其他公司、其他大学，或你从未去过的地方，一定有人正在做和你一样的事情。
11:23

Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈（四/完结） 关于大语言模型对经济的影响以及学术界的选择 学生：大语言模型的经济影响，比如劳动力市场的影响，比你最初预期的要慢。Chegg（在线教育技术公司）和一些服务人员受到了影响。你认为学术界应该获得AI方面的补贴，还是应该选择与业界的大公司合作？ Eric：我非常努力地推动为大学建立数据中心。如果我是这里的计算机科学系教师，我会非常失望，因为无法与研究生一起构建能够进行博士研究的算法。我被迫和这些公司合作。我认为这些公司在这方面并没有表现出足够的慷慨。我与许多你们认识的教师交谈，他们花费大量时间等待Google Cloud的配额。这是非常糟糕的情况。这个领域正在快速发展。我们希望美国能胜出，我们希望美国的大学——出于多种原因，我认为正确的做法是把资源提供给他们。我在这方面做了很多努力。 至于劳动力市场的影响，我将这个问题交给这里的真正专家。作为Eric教导的业余经济学家，我坚信那些接受过大学教育、从事高技能工作的人将会适应，因为人们将会与这些系统一起工作。我认为这些系统与以往的技术浪潮没有区别。那些危险的工作和不需要太多人为判断的工作将被取代。 关于计算机科学教育的未来 学生：我对“文本到行动”及其对计算机科学教育的影响非常感兴趣。你认为计算机科学教育应该如何变革以适应新时代？ Eric：我认为计算机科学专业的本科生群体将始终有一位编程搭档。因此，当你学习你的第一个for循环时，你会有一个工具作为你的伙伴。这就是未来的教学方式，教授会讲解概念，但你会通过这种方式参与其中。这是我的猜测。 关于非Transformer架构与数学创新 学生：你提到了一些让你兴奋的非Transformer架构。我想其中一个被提到的是状态模型，但现在还有一种是更长上下文的模型。我更好奇的是你在这方面看到的情况。 Eric：我对数学的理解还不够深入，但我非常高兴我们为数学家们提供了工作机会，因为这里的数学太复杂了。但基本上，他们是在采用不同的方法来进行梯度下降和矩阵乘法，使其更快更好。Transformer架构是一种能够同时进行乘法运算的系统化方式，这是我理解的方式。它和其他的很像，但数学部分不同。我们将继续关注这些新的数学进展。 关于中美关系与国家安全 学生：你在关于国家安全的论文中提到，中美两国在现代架构的帮助下处于关键地位。接下来的10个国家，以及稍后的一组国家，都是美国的盟友，或者与美国盟友关系密切。我很好奇你对这些国家，尤其是那些中间地带但并非正式盟友的国家有什么看法。它们有多大可能愿意加入我们的安全阵营？是什么因素可能会阻碍它们加入？ Eric：最值得关注的国家是印度，因为顶尖的AI人才从印度来到美国，我们应该让印度保留一部分顶尖人才。他们没有我们这里如此丰富的培训设施和项目。在我看来，印度是这一领域的重要摇摆国家。中国已经没有机会了，不会再回来。日本和韩国显然站在我们这一边。台湾在硬件方面很出色，但他们的软件开发较弱。在全球范围内，其他大国的选择并不多。欧洲因为欧盟的政策和管理机制陷入困境，这并不是什么新鲜事。我与他们斗争了10年，但他们仍然有许多限制，导致我们在欧洲开展研究非常困难。法国还有一些机会，但我不太看好德国。其余的国家都不够有影响力。 关于编程与AI 学生：我是编译器工程师。考虑到你设想这些模型将具备的能力，我们还需要花时间学习编程吗？ Eric：是的，这是一个老生常谈的问题，为什么你已经会说英语还要学习英语呢？是为了让你的英语更好。你确实需要理解这些系统的工作原理，我对此非常坚定。 关于分布式计算与大语言模型的训练 学生：你是否探索过分布式环境？虽然构建大型集群很困难，但MacBooks的性能很强大。你认为类似“Folding@home”的想法适合训练吗？ Eric：是的，我们对此进行了深入研究。算法的工作方式是你有一个非常大的矩阵，基本上是一个乘法函数。系统的速度完全受限于内存到CPU或GPU的传输速度。Nvidia的下一代芯片已经将所有这些功能整合到了一块芯片中，如今的芯片已经足够大到需要将它们都粘合在一起。短时间内，分布式计算在训练大语言模型方面的进展可能有限。 关于数据隐私与版权 学生：在ChatGPT发布后，OpenAI因使用他们的作品进行训练而被《纽约时报》起诉。你觉得这种情况会如何发展？这对数据隐私有何影响？ Eric：我曾经从事过大量的音乐版权工作。我了解到在60年代，有一系列诉讼最终达成了一项协议：每次播放你的歌曲，你都能获得一定的版权费。我猜AI领域可能会有类似的情况。可能会有很多诉讼，最后可能会达成一种协议，要求你必须支付你的一部分收入，以便使用类似ASCAP BMI的版权管理机构。 关于AI领域的垄断与反垄断法规 学生：现在看起来几个主要玩家在AI领域占据主导地位，他们会继续维持这个地位。这些公司似乎与那些受到反垄断法规关注的大公司有所交叉。你对这两种趋势有何看法？像是监管部门会否对这些公司进行分拆？这将会对现状产生怎样的影响？ Eric：在我的职业生涯中，我曾帮助微软避免被拆分，结果它确实没有被拆分。我也曾努力阻止谷歌被分拆，目前来看，谷歌还未被分拆。因此，从我的观察来看，这些公司被分拆的趋势并不明显。只要这些公司避免成为像约翰·D·洛克菲勒那样的企业巨头，政府可能不会采取行动。这些公司占据主导地位的原因是他们有足够的资本来建设数据中心。 关于技术差距对全球的影响 学生：这一切将会把那些不参与前沿模型开发和无法获取计算资源的国家带向何方？富国越来越富，穷国尽力而为。 Eric：事实上，这就是富国的游戏，对吧？巨大的资本，众多技术过硬的人才，强有力的政府支持。有些国家，比如印度，将会成为这一领域的重要参与者。其他国家可能需要找到合作伙伴或与其他国家联合。 对年轻人的建议 主持人：最后一个问题，Eric。你花了很多时间帮助年轻人，他们正在创造大量财富，你对在座的各位有什么建议吗？他们正在为这门课写商业计划书或撰写政策提案、研究提案，未来职业发展方面你有什么建议？ Eric：我在商学院教过一门关于这个主题的课程。快速制作原型的能力真的非常重要，成为创业者的一个难点在于一切都发生得非常快。现在，如果你不能在一天之内利用这些工具构建你的原型，那你就需要考虑一下了，因为你的竞争对手正在这么做。所以我的建议是，尽快使用这些工具把你的想法制作成原型。这是关键，因为在其他公司、其他大学，或你从未去过的地方，一定有人正在做和你一样的事情。

宝玉

14,213 Aufrufe • vor 2 Jahren

小扎吐槽苹果和 Google，以及谈为什么开源 AI **Mark Zuckerberg**: 我认为移动生态系统中普遍存在的一个问题是有两个把持入口的公司，Apple 和 Google，它们可以告诉你可以构建什么。 在我们的历史中有很多次，比如有经济层面的情况，就是我们构建了些东西，然后它们就会拿走我们大部分的收入，但还有一种是质量层面，这实际上让我更加不满，也就是有很多次我们推出或希望推出某些功能，然后Apple就会说，不，你不能推出这功能。 这真的很糟糕。 问题是，这样的世界是否会在AI领域复现，就像你会有一小部分拥有封闭模型的公司，它们控制API，因此将能够告诉你可以构建什么。 我可以说，对我们来说，自己构建一个模型以避免处于那种位置是值得的。 我不希望那些其他公司告诉我们可以构建什么，而且我认为从开源的角度来看，很多开发人员也不希望那些公司告诉他们可以构建什么。这就是我坚定支持开源的原因之一，我认为未来AI的集中化可能像其广泛传播一样具有潜在危险。 我发现很多人都在思考，如果我们能实现这种技术，那么让它广泛传播是否不利。 我认为另一种可能也很糟糕的情况是，如果一个机构掌握了一种强大的AI远超其他所有人的，这同样是非常糟糕的。在我看来，一个理想的世界应该是这样的：AI技术被广泛而均衡地应用，随着时间推移逐步增强其健康性。在这样的世界里，各种系统能够相互制衡，这种平衡的状态比一个高度集中化的世界要健康得多。 虽然风险无处不在，但我觉得有一个风险我想人们我并没有听到太多人提及。 **Dwarkesh Patel**:举例来说，一个价值100亿美元的模型，如果经过评估是完全安全的，你们会选择开源吗？ **Mark Zuckerberg**:我的答案是，只要这个模型对我们有所帮助，那我们就会开源。 **Dwarkesh Patel**: 那如果这个模型是用100亿美元的研发经费研发出来的，然后现在要开源呢？ **Mark Zuckerberg**: 我们一直以来都有开源软件的传统，但是我们并不会开源我们的产品。 比如说，我们并不会将Instagram的代码开源，但我们会开源许多底层的基础设施。我们历史上最大的一个项目可能就是开放计算项目。在这个项目中，我们将我们所有的服务器的设计网络交换机和数据中心的设计开源了，这对我们来说非常有帮助。 因为很多人可以设计服务器，但现在，大家普遍都采用了我们的设计，这就意味着整个供应链都围绕我们的设计展开，规 模变大，对所有人来说都变得更便宜，为我们节省了数十亿美元。 这真是太棒了，对吧？ 因此，我认为开源有多种方式可以对我们有所帮助。 一种就是，如果有人能够找出更便宜的运行模型的方法，我们将花费数十亿甚至上千亿美元，在所有这些模型上，所以如果我们能做的更有效率，那我们就可以节省数十亿甚至上百亿美元，这可能本身就非常有价值。 **Dwarkesh Patel**: 关于开源，我很想知道你是否认为像PyTorch、React、Open Compute这样的开源项目，对世界的影响是否已经超过了Meta在社交媒体方面的作用。 **Mark Zuckerberg**: 因为我曾经和使用这些服务的人交谈过，他们觉得这是有可能的，因为互联网的很大一部分都在运行这些项目。这是一个有趣的问题，我认为几乎有一半的世界人口都在使用我们的产品，这是一个真实的点，所以我觉得这很难超越。 但不管怎样，我还是认为开源是一种新的、非常強大的建设方式。 来源：
4:08

小扎吐槽苹果和 Google，以及谈为什么开源 AI **Mark Zuckerberg**: 我认为移动生态系统中普遍存在的一个问题是有两个把持入口的公司，Apple 和 Google，它们可以告诉你可以构建什么。 在我们的历史中有很多次，比如有经济层面的情况，就是我们构建了些东西，然后它们就会拿走我们大部分的收入，但还有一种是质量层面，这实际上让我更加不满，也就是有很多次我们推出或希望推出某些功能，然后Apple就会说，不，你不能推出这功能。 这真的很糟糕。 问题是，这样的世界是否会在AI领域复现，就像你会有一小部分拥有封闭模型的公司，它们控制API，因此将能够告诉你可以构建什么。 我可以说，对我们来说，自己构建一个模型以避免处于那种位置是值得的。 我不希望那些其他公司告诉我们可以构建什么，而且我认为从开源的角度来看，很多开发人员也不希望那些公司告诉他们可以构建什么。这就是我坚定支持开源的原因之一，我认为未来AI的集中化可能像其广泛传播一样具有潜在危险。 我发现很多人都在思考，如果我们能实现这种技术，那么让它广泛传播是否不利。 我认为另一种可能也很糟糕的情况是，如果一个机构掌握了一种强大的AI远超其他所有人的，这同样是非常糟糕的。在我看来，一个理想的世界应该是这样的：AI技术被广泛而均衡地应用，随着时间推移逐步增强其健康性。在这样的世界里，各种系统能够相互制衡，这种平衡的状态比一个高度集中化的世界要健康得多。 虽然风险无处不在，但我觉得有一个风险我想人们我并没有听到太多人提及。 **Dwarkesh Patel**:举例来说，一个价值100亿美元的模型，如果经过评估是完全安全的，你们会选择开源吗？ **Mark Zuckerberg**:我的答案是，只要这个模型对我们有所帮助，那我们就会开源。 **Dwarkesh Patel**: 那如果这个模型是用100亿美元的研发经费研发出来的，然后现在要开源呢？ **Mark Zuckerberg**: 我们一直以来都有开源软件的传统，但是我们并不会开源我们的产品。 比如说，我们并不会将Instagram的代码开源，但我们会开源许多底层的基础设施。我们历史上最大的一个项目可能就是开放计算项目。在这个项目中，我们将我们所有的服务器的设计网络交换机和数据中心的设计开源了，这对我们来说非常有帮助。 因为很多人可以设计服务器，但现在，大家普遍都采用了我们的设计，这就意味着整个供应链都围绕我们的设计展开，规 模变大，对所有人来说都变得更便宜，为我们节省了数十亿美元。 这真是太棒了，对吧？ 因此，我认为开源有多种方式可以对我们有所帮助。 一种就是，如果有人能够找出更便宜的运行模型的方法，我们将花费数十亿甚至上千亿美元，在所有这些模型上，所以如果我们能做的更有效率，那我们就可以节省数十亿甚至上百亿美元，这可能本身就非常有价值。 **Dwarkesh Patel**: 关于开源，我很想知道你是否认为像PyTorch、React、Open Compute这样的开源项目，对世界的影响是否已经超过了Meta在社交媒体方面的作用。 **Mark Zuckerberg**: 因为我曾经和使用这些服务的人交谈过，他们觉得这是有可能的，因为互联网的很大一部分都在运行这些项目。这是一个有趣的问题，我认为几乎有一半的世界人口都在使用我们的产品，这是一个真实的点，所以我觉得这很难超越。 但不管怎样，我还是认为开源是一种新的、非常強大的建设方式。 来源：

宝玉

74,721 Aufrufe • vor 2 Jahren

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕） 演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任 这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。 按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。 例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。 此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。 所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言 好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍 去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。 哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。 所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战 目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。 虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。 然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要 目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。 但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。 通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。 但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展 但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。 但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。 我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。 我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。 然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。 在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要 接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。 我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果 现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。 至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。 那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考 总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。 因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？ 这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道 呢？但这个数据量实在太大了。我们无法处理。 如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？ 在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展 那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。 这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。 不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结 总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。 例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。 此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。 所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 我就在这里结束我的演讲。谢谢。 视频来源：
17:51

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕） 演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任 这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。 按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。 例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。 此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。 所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言 好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍 去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。 哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。 所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战 目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。 虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。 然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要 目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。 但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。 通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。 但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展 但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。 但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。 我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。 我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。 然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。 在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要 接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。 我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果 现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。 至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。 那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考 总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。 因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？ 这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道 呢？但这个数据量实在太大了。我们无法处理。 如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？ 在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展 那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。 这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。 不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结 总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。 例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。 此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。 所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 我就在这里结束我的演讲。谢谢。 视频来源：

宝玉

59,826 Aufrufe • vor 2 Jahren

Ilya——塑造世界的人工智能科学家 如今，AI 是一项伟大的科技，因为 AI 将解决我们现在面临的所有问题。它能解决就业问题，能治疗疾病，能消除贫困，但同时它也会带来新的问题。假新闻将会愈演愈烈，网络攻击将变得更加严重，我们将面临全自动的 AI 武器的问题。我认为 AI 有潜力创造出无比稳定的独裁统治。 今天早晨，关于人工智能威力的警告再次响起，超过 1300 位科技产业领军人物、研究者及其他人士正呼吁暂停人工智能的发展，以便认真考虑其带来的风险。 扮演上帝，科学家们被指责这么做已经有一段时间了，但我们正在创造的东西确实与我们迄今为止创造的任何东西都截然不同。是的，我们绝对有能力创造出具有自我目标的全自主实体。而且，这些实体变得比人类聪明的时候，确保它们的目标与我们的目标保持一致将变得至关重要。 什么激励我？我喜欢思考根本问题，基本问题。我们的系统不能做什么，而人类却可以做到？我几乎以哲学的方式去思考这些问题。比如，什么是学习？什么是经验？什么是思考？大脑又是如何运作的呢？ 我感觉技术就仿佛一种自然力量。在我看来，技术与生物进化之间有许多相似之处。生物进化的过程其实很容易理解，我们有基因的变异，自然选择的过程。我们保留那些有利于生存的变异，随着时间的推移，这个过程将使生物体变得极其复杂。我们不能因为理解了生物进化就能理解人体是如何运作的，但我们可以大概理解这个过程。 我认为目前的机器学习也处在类似的阶段，特别是深度学习，我们有一个非常简单的规则，它从数据中提取信息，并将这些信息输入到模型中，我们只需不断重复这个过程。这个过程的结果就是将数据的复杂性转化为模型的复杂性。因此，最终的模型会变得非常复杂，我们并不能完全了解它的运作机制，需要进行大量的研究，但实现这一切的算法其实很简单。 也许你听说过 ChatGPT，如果你还没听说过，那就做好准备。你可以把它看作是暴风雨来临之前的零星细雨。我们需要对此保持高度警觉，因为我认同这是一个意义重大的时刻。ChatGPT 被誉为颠覆性的创新，在许多方面，它确实做到了，比如在测试中得分超过人类。微软最近的一项研究得出结论，GPT4 是一个初级阶段的，但尚未完全形成的通用人工智能系统。 这就是通用人工智能。通用人工智能，这是一个可以胜任人类能做的任何工作或任务的计算机系统，而且可能做得更好。有可能在短时间内实现通用人工智能，也可能需要更长的时间。但我认为，由于通用人工智能可能在不久的将来出现，这个可能性足够大，我们应该给予它足够的重视。这一点至关重要要确保这些超级智能的系统能按照我们的最大利益去行动。 最初的通用人工智能可能就是大型数据中心，这些中心中充满了大量并行运行的专用神经网络处理器，紧凑、高热、能耗大，其消耗的能量可能相当于一千万个家庭的用电量。这些系统的智能程度可能会大幅提升，我相信它们将对社会产生深远影响。不过，人类真的会从中获益吗？谁会获益，谁又会付出代价呢？ 首批通用人工智能的信念和欲望将极为重要，所以我们必须正确地编程这些系统。如果我们做不到这一点，那么就会出现这样的情况：进化的本质，即自然选择，将使这些系统优先考虑自己的生存。并不是说它们会主动对人类产生敌意，甚至想要伤害人类，但它们将变得过于强大。我认为，一个恰当的类比就是人类对待动物的方式。我们并不是憎恨动物，实际上人类往往对动物怀有深深的爱意，但当我们需要在两座城市之间修建高速公路时，我们并不会征求动物的意见，而只是因为这对我们来说非常重要而去做。我认为这也是我们与通用人工智能（AGI）之间的默认关系，那些能真正自主运作并为自己目标服务的 AGI。 许多机器学习领域的专家这些知识渊博和经验丰富的人士，对通用人工智能（AGI）抱有许多疑虑。他们对 AGI 可能出现的时间以及是否真的能够实现表示怀疑。目前，这还是一个鲜为人知的问题。用于神经网络和人工智能的计算机速度可能在未来几年内增加 10 万倍。如果多个团队处于竞相开发通用人工智能的军备竞赛态势中，他们就会没有足够的时间来确保他们构建的通用人工智能会真正关心人类。因为在我看来，这就像是通用人工智能发展的雪崩，一发不可收拾。 我认为将来整个地球的表面很可能布满太阳能板和数据中心。考虑到这些担忧，未来的通用人工智能的建设应该是多国间的合作项目。不论如何，人工智能的未来都将是美好的。如果这同样也能给人类带来福祉，那就更加理想了。 视频来源：
11:45

Ilya——塑造世界的人工智能科学家 如今，AI 是一项伟大的科技，因为 AI 将解决我们现在面临的所有问题。它能解决就业问题，能治疗疾病，能消除贫困，但同时它也会带来新的问题。假新闻将会愈演愈烈，网络攻击将变得更加严重，我们将面临全自动的 AI 武器的问题。我认为 AI 有潜力创造出无比稳定的独裁统治。 今天早晨，关于人工智能威力的警告再次响起，超过 1300 位科技产业领军人物、研究者及其他人士正呼吁暂停人工智能的发展，以便认真考虑其带来的风险。 扮演上帝，科学家们被指责这么做已经有一段时间了，但我们正在创造的东西确实与我们迄今为止创造的任何东西都截然不同。是的，我们绝对有能力创造出具有自我目标的全自主实体。而且，这些实体变得比人类聪明的时候，确保它们的目标与我们的目标保持一致将变得至关重要。 什么激励我？我喜欢思考根本问题，基本问题。我们的系统不能做什么，而人类却可以做到？我几乎以哲学的方式去思考这些问题。比如，什么是学习？什么是经验？什么是思考？大脑又是如何运作的呢？ 我感觉技术就仿佛一种自然力量。在我看来，技术与生物进化之间有许多相似之处。生物进化的过程其实很容易理解，我们有基因的变异，自然选择的过程。我们保留那些有利于生存的变异，随着时间的推移，这个过程将使生物体变得极其复杂。我们不能因为理解了生物进化就能理解人体是如何运作的，但我们可以大概理解这个过程。 我认为目前的机器学习也处在类似的阶段，特别是深度学习，我们有一个非常简单的规则，它从数据中提取信息，并将这些信息输入到模型中，我们只需不断重复这个过程。这个过程的结果就是将数据的复杂性转化为模型的复杂性。因此，最终的模型会变得非常复杂，我们并不能完全了解它的运作机制，需要进行大量的研究，但实现这一切的算法其实很简单。 也许你听说过 ChatGPT，如果你还没听说过，那就做好准备。你可以把它看作是暴风雨来临之前的零星细雨。我们需要对此保持高度警觉，因为我认同这是一个意义重大的时刻。ChatGPT 被誉为颠覆性的创新，在许多方面，它确实做到了，比如在测试中得分超过人类。微软最近的一项研究得出结论，GPT4 是一个初级阶段的，但尚未完全形成的通用人工智能系统。 这就是通用人工智能。通用人工智能，这是一个可以胜任人类能做的任何工作或任务的计算机系统，而且可能做得更好。有可能在短时间内实现通用人工智能，也可能需要更长的时间。但我认为，由于通用人工智能可能在不久的将来出现，这个可能性足够大，我们应该给予它足够的重视。这一点至关重要要确保这些超级智能的系统能按照我们的最大利益去行动。 最初的通用人工智能可能就是大型数据中心，这些中心中充满了大量并行运行的专用神经网络处理器，紧凑、高热、能耗大，其消耗的能量可能相当于一千万个家庭的用电量。这些系统的智能程度可能会大幅提升，我相信它们将对社会产生深远影响。不过，人类真的会从中获益吗？谁会获益，谁又会付出代价呢？ 首批通用人工智能的信念和欲望将极为重要，所以我们必须正确地编程这些系统。如果我们做不到这一点，那么就会出现这样的情况：进化的本质，即自然选择，将使这些系统优先考虑自己的生存。并不是说它们会主动对人类产生敌意，甚至想要伤害人类，但它们将变得过于强大。我认为，一个恰当的类比就是人类对待动物的方式。我们并不是憎恨动物，实际上人类往往对动物怀有深深的爱意，但当我们需要在两座城市之间修建高速公路时，我们并不会征求动物的意见，而只是因为这对我们来说非常重要而去做。我认为这也是我们与通用人工智能（AGI）之间的默认关系，那些能真正自主运作并为自己目标服务的 AGI。 许多机器学习领域的专家这些知识渊博和经验丰富的人士，对通用人工智能（AGI）抱有许多疑虑。他们对 AGI 可能出现的时间以及是否真的能够实现表示怀疑。目前，这还是一个鲜为人知的问题。用于神经网络和人工智能的计算机速度可能在未来几年内增加 10 万倍。如果多个团队处于竞相开发通用人工智能的军备竞赛态势中，他们就会没有足够的时间来确保他们构建的通用人工智能会真正关心人类。因为在我看来，这就像是通用人工智能发展的雪崩，一发不可收拾。 我认为将来整个地球的表面很可能布满太阳能板和数据中心。考虑到这些担忧，未来的通用人工智能的建设应该是多国间的合作项目。不论如何，人工智能的未来都将是美好的。如果这同样也能给人类带来福祉，那就更加理想了。 视频来源：

宝玉

49,199 Aufrufe • vor 2 Jahren

为什么有的人总是可以遇到贵人？ 我这两年有一个非常明显的感受，就是发现遇到的贵人概率越来越高了，以前会经常观察身边人这个现象，发现每个人遇到贵人的概率完全是不一样的，而且我觉得这件事儿是真的有方法论。 1.成为贵人，才能遇到贵人。只有自己是贵人，才能真正理解贵人说的话做的事情的原因，这样才能知道自己该如何做事情具备哪些品质才可以吸引贵人。 2.一定程度上这是个概率学，我们能做的就是提高概率发生，要知道哪些因素可以提高这件事发生的概率，比如同样一个人，环境、影响力、圈子质量不一样，结果完全不同。即使你有能力，但你就是在小地方，也没人知道你，你根本就没有展示自我价值的机会。 3.如果你是一个有能力、靠谱、有责任心、诚实、本分的人，再加上你去积累影响力，把自己的想法对外输出，这样知道你的人的数量会几何倍增，数量倍增了，即便同等概率下遇到贵人的数量也增加了，而且很可能会主动联系你。 4.要选择贵人容易扎堆的地方，贵人往往会在资源丰富、机会多的地方，如果你跳进这些地方，遇到贵人的概率就会大大增加，比如你从三线城市跳到一线城市、行业内更好的大平台公司。 5.贵人之所以愿意在你没有起势时帮助你，是因为他们看到了你身上具备成功的属性、有他之前的影子，有一天你可以成为他们或超越他们，你的这种潜能才是得到贵人的根本，他们帮助你也是在去验证自己的眼光，你未来的成功也是他们对自己信仰的验证过程。 6.记得在《繁花》中有这么一段，爷叔的一个回眸看到宝总穿着西装站在那里，他看着阿宝的眼神是有光的，就仿佛看到了年轻时的自己。
0:31

为什么有的人总是可以遇到贵人？ 我这两年有一个非常明显的感受，就是发现遇到的贵人概率越来越高了，以前会经常观察身边人这个现象，发现每个人遇到贵人的概率完全是不一样的，而且我觉得这件事儿是真的有方法论。 1.成为贵人，才能遇到贵人。只有自己是贵人，才能真正理解贵人说的话做的事情的原因，这样才能知道自己该如何做事情具备哪些品质才可以吸引贵人。 2.一定程度上这是个概率学，我们能做的就是提高概率发生，要知道哪些因素可以提高这件事发生的概率，比如同样一个人，环境、影响力、圈子质量不一样，结果完全不同。即使你有能力，但你就是在小地方，也没人知道你，你根本就没有展示自我价值的机会。 3.如果你是一个有能力、靠谱、有责任心、诚实、本分的人，再加上你去积累影响力，把自己的想法对外输出，这样知道你的人的数量会几何倍增，数量倍增了，即便同等概率下遇到贵人的数量也增加了，而且很可能会主动联系你。 4.要选择贵人容易扎堆的地方，贵人往往会在资源丰富、机会多的地方，如果你跳进这些地方，遇到贵人的概率就会大大增加，比如你从三线城市跳到一线城市、行业内更好的大平台公司。 5.贵人之所以愿意在你没有起势时帮助你，是因为他们看到了你身上具备成功的属性、有他之前的影子，有一天你可以成为他们或超越他们，你的这种潜能才是得到贵人的根本，他们帮助你也是在去验证自己的眼光，你未来的成功也是他们对自己信仰的验证过程。 6.记得在《繁花》中有这么一段，爷叔的一个回眸看到宝总穿着西装站在那里，他看着阿宝的眼神是有光的，就仿佛看到了年轻时的自己。

小人物

49,089 Aufrufe • vor 2 Jahren

蔡崇信的这个访谈非常值得一看，摘录一些其中的内容： - 我来自一个完全不同的文化背景，我在一个浓厚的中国文化环境中长大，并就读于一所中文学校。所以，当我 13 岁的时候到达美国新泽西州时，我几乎不会说英语。因此，我去了一所寄宿学校。我认为，为了更好地融入和交到朋友，我需要参加很多体育活动。我尝试加入了很多运动队，但是我没能入选棒球队。 - 成长过程中我父亲是对我产生最重要影响的人。他是我见过的最聪明、最敏锐的人之一，但他非常严厉。我曾经害怕我父亲。他已经去世了。但我觉得如果他还在世，我可以和他谈谈："我在生活中也有所成就，可能也能与你的成就媲美。"但我还是不如他聪明。 - 在 1999 年，一个我在台湾认识的朋友，我们的父母也是朋友，他建议我去杭州见见这个人，马云。他说马云很特别，有点疯狂，但是我应该去见见他。于是我坐上了飞往杭州的航班。那时候，香港和杭州之间一周只有两个航班，分别是周二和周四。我就坐飞机去杭州找他。 当我走进他在杭州的公寓，他住在一个叫做"莱茵花园"的小区的二楼公寓。我看到门口有好几双鞋，显然里面有不少人在工作。有工程师，也有客服人员。那时，马云已经创建了一个网站，供中国的中小型出口商利用，以便他们能够向全世界销售产品。你们可能不会相信，我们的第一个网站，阿里巴巴，其实是英文版的，因为面向的客户群主要在西方。里面的工程师们正在忙碌着，客服人员也在做各种事情。我至今仍记得他们有一本笔记本，把网站上的每一个注册用户都记了下来，那时共有 28,000 名注册用户。 大约过了一个小时，我和马云闲聊，我说，"马云，我得用一下卫生间，我去一下卫生间可以吗？"我看到洗手台旁边竟然有 10 把牙刷。我想，"天哪，这些人真是无时无刻都在这个房间里生活，工作。"这就是公司文化的起源，就像我们通常说的，从一个车库开始的，对吧？离开时我深受鼓舞，不仅仅是因为马云的愿景和魅力，也因为看到有那么多人愿意跟随他。那是很早的时候，他并没有什么资金，那些在那里工作的人全都是他的学生。 - 一个值得人们跟随的领导人应具备最重要的特质是：他能给人们描绘出一个未来的蓝图。 - 当时，我们的业务是 B2B 市场，马云说，"随着中国即将加入 WTO，所有这些中小型企业都希望能在全球范围内做生意。"阿里巴巴的使命，无论是过去还是现在，都是致力于让企业无论在何处都能轻松开展业务。我们的 DNA 和文化就是帮助小企业尽可能广泛地开展国际业务。这就是我们的愿景。毫无疑问，我们已经发展成为一家大型的国内消费公司，同时也在云计算领域发展。 - 我们做的第一件事是承认错误。我们承认过去可能没有重视用户体验。第二件事是重新分配人员，调整适应新策略的组织架构。这是大公司常见的问题。大公司的架构一成不变，因为员工不喜欢改变，他们不愿意换工作，害怕被解雇等等。然后你开始让公司的方向适应你的组织结构，但是这是错误的。正确的做法应该是先明确公司的方向，然后调整公司的组织架构。所以我们实际上在淘宝内部重新进行了重组。 - 我认为不愿承认错误是人的本性。真正的领导者和优秀的管理者有能力反思自我，并说，"我可能做错了某些事。我做错了这个。" "我需要改变。"他们需要改变自身。但人的本性往往让他们不去这么做。我想我们也陷入了这个困境，需要有点谦虚。我认为领导力的一部分就是要有谦逊之心。你必须能够承认错误，并说，"好的，我们需要改正方向，这是新的愿景，"因为员工需要这样的指导。这非常重要。 - 过去三年的士气一直不好。我指的是很多因素。首先，我们经历了新冠疫情，然后中国经济在疫情之后反弹，但后来增长放缓。竞争压力是另一个问题。还有就是监管审查的压力。我们支付了巨额罚款，但那已经是过去的事了。所有这些因素加在一起对士气产生了相当大的打击。但正如我所说，最重要的是，员工需要一个方向。如果你能清晰地传达出这个方向，他们就会重新振作起来。 - 但我对当下消费者的看法是，有几个因素可能压制了他们的信心和消费意愿。首先，由于房地产市场的下滑，出现了财富缩水现象。我认为，平均来说，房地产价格已经下跌了 30%。当人们的大部分财富都投资在房地产上，且市场出现下滑时，他们会觉得自己不再富有，想要储蓄，消费意愿减弱。其次，我认为今天的年轻人仍然担心找不到工作。就以我们自己为例，在过去的几个季度里，我们的员工人数由于自然流失而减少。我们并没有进行裁员，但也没有进行新的招聘。我认为对企业，尤其是私营企业，提供激励措施是非常重要的。并给予他们投资的信心和雇佣人员。当人们对未来感到不确定时，对工作稳定性的不确定也会影响他们的消费意愿。但是，消费的能力是存在的。中国的储蓄率很高，家庭现金仍然充足。 - 中国将继续在世界上扮演制造业强国的角色。尽管人口在相对减少，但中国的人口规模仍然非常庞大。你正在观察的是中国经济中有生产力的 8 亿劳动力。即使这个数字减少到 6 亿或 6.5 亿，这仍然是一个庞大的生产力规模。中国人民勤奋努力，教育系统也非常出色。因此，我们拥有受过良好教育的劳动力和熟练的劳动力。你可能已经注意到，很多企业都在将供应链多元化，转移到越南、墨西哥等地。但是，我们还需要看到这样一个事实，越南的人口大约只有 1 亿，劳动力只有 6000 万。而中国的规模是越南的十倍以上。越南等国家永远无法取代中国作为世界制造中心的地位。 - 美国对中国的芯片封锁，阿里巴巴也受到很大影响，尤其是对其云业务和向客户提供高端计算服务的能力产生了影响。在短期和可能的中期内是一个问题。但从长远来看，中国将发展出自己制造高端 GPU 的能力。 - 对于芯片短缺，是个严重的问题，短期来看，在限制措施下达前，已经积累了一定的库存。在接下来的一年或 18 个月里，仍可以利用现有的库存进行大语言模型的训练。相比于应用，训练更需要高性能的计算能力，这就涉及到了所谓的推理。在推理方面，有许多不同的选择，不需要像最新的模型那样都需要高性能和高端的芯片。 - 如果可以无限制地获取 NVIDIA 的顶级显卡，那么阿里巴巴会有一个更强大的云计算业务，并且会拥有更多希望从阿里云这里租用计算能力的客户。 - 一个有力的企业文化就是你认同公司的使命，非常明确地看到公司的前进方向，你喜欢和同事一起工作。你喜欢你的老板，你喜欢你的同事。我认为这一直是阿里巴巴的文化。我们有一句话，"快乐工作，认真生活。" 人们总是讨论如何平衡工作和生活，但在阿里巴巴，我们问："为什么工作和生活一定要对立起来？" 当你上班的时候，你应该感到快乐，因为你在朋友中间。 - 和善并不意味着就是好老板因为如果你对人太好，你就会误导他们。我认为一个好老板最重要的是给出即时的反馈。反馈不能是季度评估或年终评估的事情。反馈必须即时给出。人们需要知道他们是不是做错了什么，或者他们没有付出全部的努力。他们需要立刻知道。 - 谦逊是很重要的领导原则，你必须能够承认自己的错误。另外，你不能总是假装自己是房间里最聪明的人。有时候人们在寻找那样的领导。你可能想提出一个好主意或者什么，但那不能是一直如此。因为你得让向你汇报的人有权提出他们自己的想法。否则，你就会扼杀创新。 - 对年轻人的建议是学习一两个基础的技能，让你在所有人中能够处于前 10%。比如，如果你想学怎么编程，或者你想深入某个特定主题领域，我认为你必须发展一些专门技能。我在职业上的专长实际上是税法。我做了三年的税务律师工作，我知道我可以走进一个房间，在人们谈论税务结构时显得比较懂行。这对我现在仍然有所帮助。我们正在关注一些国际事务，其中正确地构建公司实体、税务结构和许可证结构非常重要，所以我对此非常投入。你不能期望自己在所有领域都是通才。你必须能够向别人明确表达，"我在某一方面是专家"，这是你赢得他人尊重的方式。 - 另一条给年轻人的建议是，要学习多项技能。尤其是，我认为在未来，数据科学将会非常重要。参加一门数据科学的课程吧。这个课程过去被称为统计学，但现在我们更喜欢称之为数据科学，这个名字听起来更有吸引力。同时，也去上一门心理学课。我觉得人类的思维以及思维如何运作非常有趣，这与机器有很大的不同。如果你具备一些编程能力，那就更好了，比如现在的年轻人，他们都会学习 Python 或 Java 等编程语言。理解数据科学和心理学的基础知识，我认为你就具备了在生活中取得成功所需的所有工具。 视频来源： 视频文稿：
36:48

蔡崇信的这个访谈非常值得一看，摘录一些其中的内容： - 我来自一个完全不同的文化背景，我在一个浓厚的中国文化环境中长大，并就读于一所中文学校。所以，当我 13 岁的时候到达美国新泽西州时，我几乎不会说英语。因此，我去了一所寄宿学校。我认为，为了更好地融入和交到朋友，我需要参加很多体育活动。我尝试加入了很多运动队，但是我没能入选棒球队。 - 成长过程中我父亲是对我产生最重要影响的人。他是我见过的最聪明、最敏锐的人之一，但他非常严厉。我曾经害怕我父亲。他已经去世了。但我觉得如果他还在世，我可以和他谈谈："我在生活中也有所成就，可能也能与你的成就媲美。"但我还是不如他聪明。 - 在 1999 年，一个我在台湾认识的朋友，我们的父母也是朋友，他建议我去杭州见见这个人，马云。他说马云很特别，有点疯狂，但是我应该去见见他。于是我坐上了飞往杭州的航班。那时候，香港和杭州之间一周只有两个航班，分别是周二和周四。我就坐飞机去杭州找他。 当我走进他在杭州的公寓，他住在一个叫做"莱茵花园"的小区的二楼公寓。我看到门口有好几双鞋，显然里面有不少人在工作。有工程师，也有客服人员。那时，马云已经创建了一个网站，供中国的中小型出口商利用，以便他们能够向全世界销售产品。你们可能不会相信，我们的第一个网站，阿里巴巴，其实是英文版的，因为面向的客户群主要在西方。里面的工程师们正在忙碌着，客服人员也在做各种事情。我至今仍记得他们有一本笔记本，把网站上的每一个注册用户都记了下来，那时共有 28,000 名注册用户。 大约过了一个小时，我和马云闲聊，我说，"马云，我得用一下卫生间，我去一下卫生间可以吗？"我看到洗手台旁边竟然有 10 把牙刷。我想，"天哪，这些人真是无时无刻都在这个房间里生活，工作。"这就是公司文化的起源，就像我们通常说的，从一个车库开始的，对吧？离开时我深受鼓舞，不仅仅是因为马云的愿景和魅力，也因为看到有那么多人愿意跟随他。那是很早的时候，他并没有什么资金，那些在那里工作的人全都是他的学生。 - 一个值得人们跟随的领导人应具备最重要的特质是：他能给人们描绘出一个未来的蓝图。 - 当时，我们的业务是 B2B 市场，马云说，"随着中国即将加入 WTO，所有这些中小型企业都希望能在全球范围内做生意。"阿里巴巴的使命，无论是过去还是现在，都是致力于让企业无论在何处都能轻松开展业务。我们的 DNA 和文化就是帮助小企业尽可能广泛地开展国际业务。这就是我们的愿景。毫无疑问，我们已经发展成为一家大型的国内消费公司，同时也在云计算领域发展。 - 我们做的第一件事是承认错误。我们承认过去可能没有重视用户体验。第二件事是重新分配人员，调整适应新策略的组织架构。这是大公司常见的问题。大公司的架构一成不变，因为员工不喜欢改变，他们不愿意换工作，害怕被解雇等等。然后你开始让公司的方向适应你的组织结构，但是这是错误的。正确的做法应该是先明确公司的方向，然后调整公司的组织架构。所以我们实际上在淘宝内部重新进行了重组。 - 我认为不愿承认错误是人的本性。真正的领导者和优秀的管理者有能力反思自我，并说，"我可能做错了某些事。我做错了这个。" "我需要改变。"他们需要改变自身。但人的本性往往让他们不去这么做。我想我们也陷入了这个困境，需要有点谦虚。我认为领导力的一部分就是要有谦逊之心。你必须能够承认错误，并说，"好的，我们需要改正方向，这是新的愿景，"因为员工需要这样的指导。这非常重要。 - 过去三年的士气一直不好。我指的是很多因素。首先，我们经历了新冠疫情，然后中国经济在疫情之后反弹，但后来增长放缓。竞争压力是另一个问题。还有就是监管审查的压力。我们支付了巨额罚款，但那已经是过去的事了。所有这些因素加在一起对士气产生了相当大的打击。但正如我所说，最重要的是，员工需要一个方向。如果你能清晰地传达出这个方向，他们就会重新振作起来。 - 但我对当下消费者的看法是，有几个因素可能压制了他们的信心和消费意愿。首先，由于房地产市场的下滑，出现了财富缩水现象。我认为，平均来说，房地产价格已经下跌了 30%。当人们的大部分财富都投资在房地产上，且市场出现下滑时，他们会觉得自己不再富有，想要储蓄，消费意愿减弱。其次，我认为今天的年轻人仍然担心找不到工作。就以我们自己为例，在过去的几个季度里，我们的员工人数由于自然流失而减少。我们并没有进行裁员，但也没有进行新的招聘。我认为对企业，尤其是私营企业，提供激励措施是非常重要的。并给予他们投资的信心和雇佣人员。当人们对未来感到不确定时，对工作稳定性的不确定也会影响他们的消费意愿。但是，消费的能力是存在的。中国的储蓄率很高，家庭现金仍然充足。 - 中国将继续在世界上扮演制造业强国的角色。尽管人口在相对减少，但中国的人口规模仍然非常庞大。你正在观察的是中国经济中有生产力的 8 亿劳动力。即使这个数字减少到 6 亿或 6.5 亿，这仍然是一个庞大的生产力规模。中国人民勤奋努力，教育系统也非常出色。因此，我们拥有受过良好教育的劳动力和熟练的劳动力。你可能已经注意到，很多企业都在将供应链多元化，转移到越南、墨西哥等地。但是，我们还需要看到这样一个事实，越南的人口大约只有 1 亿，劳动力只有 6000 万。而中国的规模是越南的十倍以上。越南等国家永远无法取代中国作为世界制造中心的地位。 - 美国对中国的芯片封锁，阿里巴巴也受到很大影响，尤其是对其云业务和向客户提供高端计算服务的能力产生了影响。在短期和可能的中期内是一个问题。但从长远来看，中国将发展出自己制造高端 GPU 的能力。 - 对于芯片短缺，是个严重的问题，短期来看，在限制措施下达前，已经积累了一定的库存。在接下来的一年或 18 个月里，仍可以利用现有的库存进行大语言模型的训练。相比于应用，训练更需要高性能的计算能力，这就涉及到了所谓的推理。在推理方面，有许多不同的选择，不需要像最新的模型那样都需要高性能和高端的芯片。 - 如果可以无限制地获取 NVIDIA 的顶级显卡，那么阿里巴巴会有一个更强大的云计算业务，并且会拥有更多希望从阿里云这里租用计算能力的客户。 - 一个有力的企业文化就是你认同公司的使命，非常明确地看到公司的前进方向，你喜欢和同事一起工作。你喜欢你的老板，你喜欢你的同事。我认为这一直是阿里巴巴的文化。我们有一句话，"快乐工作，认真生活。" 人们总是讨论如何平衡工作和生活，但在阿里巴巴，我们问："为什么工作和生活一定要对立起来？" 当你上班的时候，你应该感到快乐，因为你在朋友中间。 - 和善并不意味着就是好老板因为如果你对人太好，你就会误导他们。我认为一个好老板最重要的是给出即时的反馈。反馈不能是季度评估或年终评估的事情。反馈必须即时给出。人们需要知道他们是不是做错了什么，或者他们没有付出全部的努力。他们需要立刻知道。 - 谦逊是很重要的领导原则，你必须能够承认自己的错误。另外，你不能总是假装自己是房间里最聪明的人。有时候人们在寻找那样的领导。你可能想提出一个好主意或者什么，但那不能是一直如此。因为你得让向你汇报的人有权提出他们自己的想法。否则，你就会扼杀创新。 - 对年轻人的建议是学习一两个基础的技能，让你在所有人中能够处于前 10%。比如，如果你想学怎么编程，或者你想深入某个特定主题领域，我认为你必须发展一些专门技能。我在职业上的专长实际上是税法。我做了三年的税务律师工作，我知道我可以走进一个房间，在人们谈论税务结构时显得比较懂行。这对我现在仍然有所帮助。我们正在关注一些国际事务，其中正确地构建公司实体、税务结构和许可证结构非常重要，所以我对此非常投入。你不能期望自己在所有领域都是通才。你必须能够向别人明确表达，"我在某一方面是专家"，这是你赢得他人尊重的方式。 - 另一条给年轻人的建议是，要学习多项技能。尤其是，我认为在未来，数据科学将会非常重要。参加一门数据科学的课程吧。这个课程过去被称为统计学，但现在我们更喜欢称之为数据科学，这个名字听起来更有吸引力。同时，也去上一门心理学课。我觉得人类的思维以及思维如何运作非常有趣，这与机器有很大的不同。如果你具备一些编程能力，那就更好了，比如现在的年轻人，他们都会学习 Python 或 Java 等编程语言。理解数据科学和心理学的基础知识，我认为你就具备了在生活中取得成功所需的所有工具。 视频来源： 视频文稿：

宝玉

462,431 Aufrufe • vor 2 Jahren

你以为Telegram是私密聊天工具？ 恰恰相反。 Signal的创始人Moxie Marlinspike揭开了谜底。 他说Telegram根本就不是私密通讯软件。 你发的每一条信息，收到的每一条信息，都以明文形式存在Telegram的数据库里。 就像一个云盘。 不信你试试。 手机丢进海里，换个新手机，用电话号码登录。 你的聊天记录是不是一条不少，都回来了？ 它们从哪儿来的？ 这些数据，Telegram公司自己就能看。 这背后有什么逻辑？ 一个俄罗斯富豪，创办了一个未经加密的WhatsApp复制品。 他本人常去俄罗斯，团队和家人也都在那里。 却成功让全世界相信，这是一个加密通讯App，而他是个持不同政见者。 这本身就有点奇怪，不是吗？ 几个月前，创始人在法国被捕。 不是因为加密问题，而是因为Telegram拒绝向法国提供他们本就掌握的儿童色情案件数据。 他们有数据，只是选择不给。 这与Signal完全不同，Signal没有用户数据，想给也给不了。 法国的传票他们敢不理会。 那么，面对更强硬的俄罗斯政府，他们又是如何做到安然无恙的？ 创始人和他的家人，为何能自由进出，毫发无损？ 合理的推测是什么？ 他说自己不爱钱，不坐私人飞机。 结果一周后就在私人飞机上被捕了。 他们还有一个反应极快的公关团队。 任何质疑其加密或创始人形象的报道，哪怕再小，都会在几分钟内收到要求更正的通知。 一个号称只有50人的团队，能量如此之大？ 这里面的水，到底有多深？
6:22

你以为Telegram是私密聊天工具？ 恰恰相反。 Signal的创始人Moxie Marlinspike揭开了谜底。 他说Telegram根本就不是私密通讯软件。 你发的每一条信息，收到的每一条信息，都以明文形式存在Telegram的数据库里。 就像一个云盘。 不信你试试。 手机丢进海里，换个新手机，用电话号码登录。 你的聊天记录是不是一条不少，都回来了？ 它们从哪儿来的？ 这些数据，Telegram公司自己就能看。 这背后有什么逻辑？ 一个俄罗斯富豪，创办了一个未经加密的WhatsApp复制品。 他本人常去俄罗斯，团队和家人也都在那里。 却成功让全世界相信，这是一个加密通讯App，而他是个持不同政见者。 这本身就有点奇怪，不是吗？ 几个月前，创始人在法国被捕。 不是因为加密问题，而是因为Telegram拒绝向法国提供他们本就掌握的儿童色情案件数据。 他们有数据，只是选择不给。 这与Signal完全不同，Signal没有用户数据，想给也给不了。 法国的传票他们敢不理会。 那么，面对更强硬的俄罗斯政府，他们又是如何做到安然无恙的？ 创始人和他的家人，为何能自由进出，毫发无损？ 合理的推测是什么？ 他说自己不爱钱，不坐私人飞机。 结果一周后就在私人飞机上被捕了。 他们还有一个反应极快的公关团队。 任何质疑其加密或创始人形象的报道，哪怕再小，都会在几分钟内收到要求更正的通知。 一个号称只有50人的团队，能量如此之大？ 这里面的水，到底有多深？

墓碑科技

360,920 Aufrufe • vor 7 Monaten

Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈（一） 今天的嘉宾其实无需过多介绍。我记得大约25年前第一次见到Eric，那时他作为Novell的首席执行官来访斯坦福商学院。从那时起，他做了很多事情，他在Google（大概是从2001年开始）和Schmidt Futures（从2017年开始）做了很多事情，还有很多其他的事情你们可以查询了解。但他只能待到下午5点15分，所以我想我们直接进入问题环节。我知道你们也有一些问题。我这里有一些我写下的问题，但我们在楼上刚刚谈论的内容更有趣。所以我想从那开始，Eric，如果你不介意的话。 AI 的未来发展 主持人：那就是，你预见AI在短期内，我认为你定义的是未来一两年，会有怎样的发展？ Eric：事情变化得如此之快，我感觉我每六个月都需要做一次新的演讲，讲述即将发生的事情。 主持人：在座的有没有人，一群计算机科学家在这里，有没有人可以解释一下什么是百万token的上下文窗口，为其他同学解释一下？ 学生：在这里。基本上，它允许你用百万个token或者百万个词进行提示。所以你可以提出一个上百万词的问题。我了解到，这是当前通识教育关注的一个重要方向。 Eric：不，他们的目标是10个一百万。 学生：对，一千万？没错。 Eric：接着，Anthropic现在是20万，他们的目标是100万，以此类推。你可以设想OpenAI也有类似的目标。 主持人：谁能给出AI智能体的技术定义？ Jared：AI智能体基本上是执行某种活动的实体。这可能涉及在网上，代表你处理一些事情，可能是许多不同的事项，类似这些。所以，一个智能体就是执行某种任务的实体。另一个定义是，它是一个大语言模型，具有状态和记忆功能。 主持人：再来一次，计算机科学家，你们中有谁能解释什么是"将文本转化为行动"？ 学生：就是把文本转变成行动。而不是把文本转化成更多的文本。 Eric：另一个定义是，将语言转化为Python代码。这是我一直不想看到的编程语言。然而，目前所有的AI工作都是在使用Python进行的。有一种新的语言叫Mojo，刚刚出现，看起来他们终于解决了AI编程的问题。但我们还要看，这是否能在Python的主导地位下生存下来。 技术和市场的动态 主持人：再来一个技术问题。为什么NVIDIA的价值和地位如此之高，而其他公司却在挣扎呢？ Eric：我认为，这主要是因为，大量的代码需要在CUDA优化下运行，而这是只有NVIDIA的GPU才支持的，所以，其他公司可以制造他们想要的任何东西，但是如果他们没有10年的软件开发经验，就不可能有机器学习优化。我个人喜欢把CUDA想象成GPU的C语言，对吗？这就是我喜欢的看法。它成立于2008年。我一直觉得它是一种糟糕的编程语言，然而，它却成为了市场主导。还有一点值得注意。有一套开源库，它们针对CUDA进行了高度优化，而对其他平台的优化却很少。每个构建所有这些堆栈的人——这在任何讨论中都被完全忽视了。这在技术上被称为VLLM以及其他一大堆类似的库。它们都是专门为CUDA而优化的，对于竞争对手来说，很难复制这个。 主持人：那么，这些观点对我们来说有何影响或意义呢？ Eric：在接下来的一年里，我们将看到非常大的上下文窗口、智能体和"文本转行动"等新技术的兴起，当它们能够大规模应用时将对世界产生的影响将超出我们目前的理解范围。这种影响将远超过社交媒体所带来的影响，我个人是这样认为的。以下是我的原因。在一个上下文窗口中，你基本上可以将其作为短期记忆。我对上下文窗口能达到如此之长感到惊讶。这主要由于它的计算和处理难度很高。短期记忆的有趣之处在于，当你输入信息，比如你问一个问题，"读了20本书，你输入这些书的文本作为查询，然后你说，'告诉我它们说了什么。'"它会忘记中间的部分，这与人类大脑的工作方式相似。对吗？这就是我们现在的状况。 主持人：关于智能体呢？ Eric：关于智能体，现在有人正在开发基于大语言模型的智能体，他们的做法是阅读一些像化学一样的学科，发现其内在原理，然后进行测试。然后他们将这些知识融入到他们的理解中。这是非常强大的。我提到的第三个要点是"文本转行动"。那么，我来举个例子，政府正在尝试禁止TikTok，我们拭目以待看结果如何。如果TikTok被禁，我建议你们每个人都这样做，告诉你的大语言模型，接下去的操作。复制一份TikTok。获取所有用户信息。获取所有音乐资源。加入我的个性化设置。在接下来的30秒内编制这个程序。然后发布出去。如果一小时内它没有迅速传播开来，那就沿着同样的思路尝试另一种方式。这就是命令。一步接一步，就这样。明白了吗？你知道这有多强大吗？如果你能从任意自然语言转换为任意数字命令，这在这个情况下就相当于Python，试想一下，如果地球上的每个人都有属于自己的程序员，他们会真正按照你的要求去做事，而不是像我手下的那些程序员那样并不总是按照我说的去做。明白了吗？在场的程序员都明白我在说什么。所以，想象一下，有一位既不自大，又会真正按照你的要求去做事的程序员，你甚至不需要付他一大笔工资。而且这样的程序无穷无尽。 主持人：这一切都将在未来一两年内实现？ Eric：马上就要到来。这三件事，我深信只有结合这三件事，下一波浪潮才会到来。那么，你问的是接下来会发生什么。我的观点每六个月会有所改变，这就像一个周期性的摆动。比如说，现在，那些前沿模型（只有三个，我待会会详细介绍）与其他所有人之间的差距，我感觉正在变大。六个月前，我坚信这个差距正在缩小。于是我在一些小公司投入了大量的资金。但现在，我对此已不再那么确定了。我现在正在和大公司们交谈，他们告诉我他们需要投入100亿、200亿、500亿甚至1000亿。比如说，Stargate的投入就达到了1000亿，对吧？这确实非常困难。 AI的投资与国家安全 Eric：Sam Altman是我的密友。他认为这可能需要投入高达3000亿，甚至更多。我向他指出，我已经计算出了这需要的能源量。然后，在完全公开的精神下，我上周五去了白宫，告诉他们我们需要与加拿大建立最紧密的关系。因为加拿大有非常好的人，参与了人工智能的发明，还有大量的水力发电资源。因为我们国家没有足够的能源来完成这件事。另一个选择就是让阿拉伯人来资助。我个人非常喜欢阿拉伯人。我在那里待过很久，对吧？但他们不会遵守我们的国家安全规则，而加拿大和美国是共同遵守安全规则的三方联盟（或三国集团）的一部分。因此，对于这些价值3000亿美元的数据中心来说，电力开始变得稀缺。顺便说一下，如果你沿着这个逻辑走下去，我为什么要讨论CUDA和NVIDIA呢？如果有3000亿美元都要流向NVIDIA，你应该知道在股市里应该怎么做。这不是股票推荐，我并不是许可证发放者。（观众笑）部分原因是，我们需要更多的芯片，但英特尔正在从美国政府和AMD那里得到大笔资金，他们正准备在韩国建造半导体工厂。 主持人：有谁的计算设备里有英特尔的电脑或者芯片呢，请举手。 Eric：看来，垄断不再是什么大问题了。 主持人：这正是我想说的。 Eric：他们曾经垄断过。 主持人：没错。 Eric：而现在Nvidia有垄断。 主持人：那些对进入的障碍呢？例如CUDA，还有其他的，就像我前几天和Percy Lanny聊天时提到的。他根据训练模型所能获得的设备，会在TPUs和NVIDIA芯片之间做选择。 Eric：那是因为他别无选择。如果我有无限的资金，我会今天选择NVIDIA的B200架构，因为它运行更快。我并不在这里提倡什么，我只是想说有竞争是好事。我和AMD的Lisa Su有过长时间的交谈。他们正在开发一种能将你描述的这种CUDA架构转换为他们自己的架构，即RockM。目前它还不能完全运行，他们正在努力改进。 谷歌、OpenAI与企业文化 主持人：你在谷歌工作了很长时间，他们是Transformer架构的发明者。 Eric：是彼得，都是彼得的错。 主持人：那里有像彼得和杰夫·迪恩这样的出色人才。但现在，他们似乎已经失去了对OpenAI的主动权。我看到的最新排行榜上，Anthropic's Claude是榜首。我问过Sundar这方面的问题，他并没有给我一个明确的答案。或许你能给出一个更明确或更客观的解释。 Eric：我现在已经不再是谷歌的员工了。确实如此。我要坦白的说，谷歌认为工作与生活的平衡，早点下班、以及在家工作比赢得比赛更重要。（笑）创业公司之所以能够成功，是因为员工拼命工作。很抱歉如此直言不讳，但事实是，如果你们离开大学去创办公司，你不会允许员工在家办公，而且每周只来公司一天，如果想要与其他创业公司竞争的话。 主持人：Google创业初期，Microsoft就是这样。 Eric：对的。 主持人：但现在似乎—— Eric：在我们这个行业里有很多公司，以真正创造性的方式赢得市场并在某一领域取得主导地位，但却未能完成下一次转型。这种现象很常见，并且有很多文献记录。我认为，创始人是特殊的，他们需要掌控一切，与他们共事可能会很艰难，他们会给员工施加很大的压力。我们可能并不喜欢马斯克的个人行为，但你看看他是如何推动员工的。我曾和他共进晚餐，当时他在蒙大拿州，而那天晚上10点他要飞往另一个地方，凌晨12点与 主持人：我曾去过台湾，有着完全不同的文化，他们（台积电）让我印象深刻的一点是，他们有一条规定：这些刚入职的优秀物理学博士需要在地下一层的工厂工作。你能想象让美国的物理博士去做那样的事吗？几乎不可能。他们的工作态度和我们有所不同。 Eric：而问题在于，我之所以对工作要求这么严格，是因为这些系统具有网络效应，时间是非常关键的。在大部分业务中，时间其实不那么重要。你有充足的时间。可口可乐和百事可乐会一直存在，他们之间的竞争也会持续，这一切都在慢慢发展。我和电信公司打交道时，一般的电信交易要花费18个月才能完成。实际上，没有任何事情需要花费18个月去完成。要迅速行动。 主持人：我们现在处于最大的发展期，最大的进步期。这也需要一些疯狂的想法。比如当微软与OpenAI达成交易时，我认为那是我所听过的最愚蠢的想法。将AI的主导地位让渡给OpenAI，包括Sam和他的团队，这简直太疯狂了。在微软或其他任何地方，都没有人会这么做。然而现在，他们正在朝着成为最有价值的公司的目标前进。他们和苹果公司的竞争激烈。苹果公司并没有一个好的AI解决方案，而微软看起来已经成功了。
13:14

Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈（一） 今天的嘉宾其实无需过多介绍。我记得大约25年前第一次见到Eric，那时他作为Novell的首席执行官来访斯坦福商学院。从那时起，他做了很多事情，他在Google（大概是从2001年开始）和Schmidt Futures（从2017年开始）做了很多事情，还有很多其他的事情你们可以查询了解。但他只能待到下午5点15分，所以我想我们直接进入问题环节。我知道你们也有一些问题。我这里有一些我写下的问题，但我们在楼上刚刚谈论的内容更有趣。所以我想从那开始，Eric，如果你不介意的话。 AI 的未来发展 主持人：那就是，你预见AI在短期内，我认为你定义的是未来一两年，会有怎样的发展？ Eric：事情变化得如此之快，我感觉我每六个月都需要做一次新的演讲，讲述即将发生的事情。 主持人：在座的有没有人，一群计算机科学家在这里，有没有人可以解释一下什么是百万token的上下文窗口，为其他同学解释一下？ 学生：在这里。基本上，它允许你用百万个token或者百万个词进行提示。所以你可以提出一个上百万词的问题。我了解到，这是当前通识教育关注的一个重要方向。 Eric：不，他们的目标是10个一百万。 学生：对，一千万？没错。 Eric：接着，Anthropic现在是20万，他们的目标是100万，以此类推。你可以设想OpenAI也有类似的目标。 主持人：谁能给出AI智能体的技术定义？ Jared：AI智能体基本上是执行某种活动的实体。这可能涉及在网上，代表你处理一些事情，可能是许多不同的事项，类似这些。所以，一个智能体就是执行某种任务的实体。另一个定义是，它是一个大语言模型，具有状态和记忆功能。 主持人：再来一次，计算机科学家，你们中有谁能解释什么是"将文本转化为行动"？ 学生：就是把文本转变成行动。而不是把文本转化成更多的文本。 Eric：另一个定义是，将语言转化为Python代码。这是我一直不想看到的编程语言。然而，目前所有的AI工作都是在使用Python进行的。有一种新的语言叫Mojo，刚刚出现，看起来他们终于解决了AI编程的问题。但我们还要看，这是否能在Python的主导地位下生存下来。 技术和市场的动态 主持人：再来一个技术问题。为什么NVIDIA的价值和地位如此之高，而其他公司却在挣扎呢？ Eric：我认为，这主要是因为，大量的代码需要在CUDA优化下运行，而这是只有NVIDIA的GPU才支持的，所以，其他公司可以制造他们想要的任何东西，但是如果他们没有10年的软件开发经验，就不可能有机器学习优化。我个人喜欢把CUDA想象成GPU的C语言，对吗？这就是我喜欢的看法。它成立于2008年。我一直觉得它是一种糟糕的编程语言，然而，它却成为了市场主导。还有一点值得注意。有一套开源库，它们针对CUDA进行了高度优化，而对其他平台的优化却很少。每个构建所有这些堆栈的人——这在任何讨论中都被完全忽视了。这在技术上被称为VLLM以及其他一大堆类似的库。它们都是专门为CUDA而优化的，对于竞争对手来说，很难复制这个。 主持人：那么，这些观点对我们来说有何影响或意义呢？ Eric：在接下来的一年里，我们将看到非常大的上下文窗口、智能体和"文本转行动"等新技术的兴起，当它们能够大规模应用时将对世界产生的影响将超出我们目前的理解范围。这种影响将远超过社交媒体所带来的影响，我个人是这样认为的。以下是我的原因。在一个上下文窗口中，你基本上可以将其作为短期记忆。我对上下文窗口能达到如此之长感到惊讶。这主要由于它的计算和处理难度很高。短期记忆的有趣之处在于，当你输入信息，比如你问一个问题，"读了20本书，你输入这些书的文本作为查询，然后你说，'告诉我它们说了什么。'"它会忘记中间的部分，这与人类大脑的工作方式相似。对吗？这就是我们现在的状况。 主持人：关于智能体呢？ Eric：关于智能体，现在有人正在开发基于大语言模型的智能体，他们的做法是阅读一些像化学一样的学科，发现其内在原理，然后进行测试。然后他们将这些知识融入到他们的理解中。这是非常强大的。我提到的第三个要点是"文本转行动"。那么，我来举个例子，政府正在尝试禁止TikTok，我们拭目以待看结果如何。如果TikTok被禁，我建议你们每个人都这样做，告诉你的大语言模型，接下去的操作。复制一份TikTok。获取所有用户信息。获取所有音乐资源。加入我的个性化设置。在接下来的30秒内编制这个程序。然后发布出去。如果一小时内它没有迅速传播开来，那就沿着同样的思路尝试另一种方式。这就是命令。一步接一步，就这样。明白了吗？你知道这有多强大吗？如果你能从任意自然语言转换为任意数字命令，这在这个情况下就相当于Python，试想一下，如果地球上的每个人都有属于自己的程序员，他们会真正按照你的要求去做事，而不是像我手下的那些程序员那样并不总是按照我说的去做。明白了吗？在场的程序员都明白我在说什么。所以，想象一下，有一位既不自大，又会真正按照你的要求去做事的程序员，你甚至不需要付他一大笔工资。而且这样的程序无穷无尽。 主持人：这一切都将在未来一两年内实现？ Eric：马上就要到来。这三件事，我深信只有结合这三件事，下一波浪潮才会到来。那么，你问的是接下来会发生什么。我的观点每六个月会有所改变，这就像一个周期性的摆动。比如说，现在，那些前沿模型（只有三个，我待会会详细介绍）与其他所有人之间的差距，我感觉正在变大。六个月前，我坚信这个差距正在缩小。于是我在一些小公司投入了大量的资金。但现在，我对此已不再那么确定了。我现在正在和大公司们交谈，他们告诉我他们需要投入100亿、200亿、500亿甚至1000亿。比如说，Stargate的投入就达到了1000亿，对吧？这确实非常困难。 AI的投资与国家安全 Eric：Sam Altman是我的密友。他认为这可能需要投入高达3000亿，甚至更多。我向他指出，我已经计算出了这需要的能源量。然后，在完全公开的精神下，我上周五去了白宫，告诉他们我们需要与加拿大建立最紧密的关系。因为加拿大有非常好的人，参与了人工智能的发明，还有大量的水力发电资源。因为我们国家没有足够的能源来完成这件事。另一个选择就是让阿拉伯人来资助。我个人非常喜欢阿拉伯人。我在那里待过很久，对吧？但他们不会遵守我们的国家安全规则，而加拿大和美国是共同遵守安全规则的三方联盟（或三国集团）的一部分。因此，对于这些价值3000亿美元的数据中心来说，电力开始变得稀缺。顺便说一下，如果你沿着这个逻辑走下去，我为什么要讨论CUDA和NVIDIA呢？如果有3000亿美元都要流向NVIDIA，你应该知道在股市里应该怎么做。这不是股票推荐，我并不是许可证发放者。（观众笑）部分原因是，我们需要更多的芯片，但英特尔正在从美国政府和AMD那里得到大笔资金，他们正准备在韩国建造半导体工厂。 主持人：有谁的计算设备里有英特尔的电脑或者芯片呢，请举手。 Eric：看来，垄断不再是什么大问题了。 主持人：这正是我想说的。 Eric：他们曾经垄断过。 主持人：没错。 Eric：而现在Nvidia有垄断。 主持人：那些对进入的障碍呢？例如CUDA，还有其他的，就像我前几天和Percy Lanny聊天时提到的。他根据训练模型所能获得的设备，会在TPUs和NVIDIA芯片之间做选择。 Eric：那是因为他别无选择。如果我有无限的资金，我会今天选择NVIDIA的B200架构，因为它运行更快。我并不在这里提倡什么，我只是想说有竞争是好事。我和AMD的Lisa Su有过长时间的交谈。他们正在开发一种能将你描述的这种CUDA架构转换为他们自己的架构，即RockM。目前它还不能完全运行，他们正在努力改进。 谷歌、OpenAI与企业文化 主持人：你在谷歌工作了很长时间，他们是Transformer架构的发明者。 Eric：是彼得，都是彼得的错。 主持人：那里有像彼得和杰夫·迪恩这样的出色人才。但现在，他们似乎已经失去了对OpenAI的主动权。我看到的最新排行榜上，Anthropic's Claude是榜首。我问过Sundar这方面的问题，他并没有给我一个明确的答案。或许你能给出一个更明确或更客观的解释。 Eric：我现在已经不再是谷歌的员工了。确实如此。我要坦白的说，谷歌认为工作与生活的平衡，早点下班、以及在家工作比赢得比赛更重要。（笑）创业公司之所以能够成功，是因为员工拼命工作。很抱歉如此直言不讳，但事实是，如果你们离开大学去创办公司，你不会允许员工在家办公，而且每周只来公司一天，如果想要与其他创业公司竞争的话。 主持人：Google创业初期，Microsoft就是这样。 Eric：对的。 主持人：但现在似乎—— Eric：在我们这个行业里有很多公司，以真正创造性的方式赢得市场并在某一领域取得主导地位，但却未能完成下一次转型。这种现象很常见，并且有很多文献记录。我认为，创始人是特殊的，他们需要掌控一切，与他们共事可能会很艰难，他们会给员工施加很大的压力。我们可能并不喜欢马斯克的个人行为，但你看看他是如何推动员工的。我曾和他共进晚餐，当时他在蒙大拿州，而那天晚上10点他要飞往另一个地方，凌晨12点与 主持人：我曾去过台湾，有着完全不同的文化，他们（台积电）让我印象深刻的一点是，他们有一条规定：这些刚入职的优秀物理学博士需要在地下一层的工厂工作。你能想象让美国的物理博士去做那样的事吗？几乎不可能。他们的工作态度和我们有所不同。 Eric：而问题在于，我之所以对工作要求这么严格，是因为这些系统具有网络效应，时间是非常关键的。在大部分业务中，时间其实不那么重要。你有充足的时间。可口可乐和百事可乐会一直存在，他们之间的竞争也会持续，这一切都在慢慢发展。我和电信公司打交道时，一般的电信交易要花费18个月才能完成。实际上，没有任何事情需要花费18个月去完成。要迅速行动。 主持人：我们现在处于最大的发展期，最大的进步期。这也需要一些疯狂的想法。比如当微软与OpenAI达成交易时，我认为那是我所听过的最愚蠢的想法。将AI的主导地位让渡给OpenAI，包括Sam和他的团队，这简直太疯狂了。在微软或其他任何地方，都没有人会这么做。然而现在，他们正在朝着成为最有价值的公司的目标前进。他们和苹果公司的竞争激烈。苹果公司并没有一个好的AI解决方案，而微软看起来已经成功了。

宝玉

273,511 Aufrufe • vor 2 Jahren

🔥文贵先生最新预言： 人类在未来16个月将解开生命密码！ 而早在2022年就震撼预言： #量子电脑 的背后就是 #生物电脑， 生物电脑就跟 #神 同级别的， 严格讲就找到了神的密码。 DNA这个电脑就找到了储存方式， 就找到了与神沟通的方式。 人不是猴变的，人是有主人的。 正文： 我告诉你，量子电脑的背后就是生物电脑，还有DNA电脑，都在同步进行。这是人类上从来没有过啊。 就是我这是一种方式探索文明，它是一种发现了这个宇宙星河系。这只是一个所谓的太空发展，它只是一种叫地球之外的探索。 然后在之前是地球变成了圆的，然后有了航海，它都是一种方式。这可不是一种电脑方式。 在人类走向太空宇宙的时候，探索宇宙大爆炸是真的是假的时候，人到底是不是啊猴变的时候？人当然不是猴变的，扯蛋。是不是当时说猴变的人啊？是什么爱因斯坦是吧？包括写书的人，还有那个叫什么本杰明吧，是叫什么的，都最后都去信，还都是信了神了吧？对吧，所有的科学家。 那么这些人的背后，到最后都追求了信仰。今天的科学家在探索宇宙和外太空的时候，人类同时探索的两个技术：人类现在的互联网，和走向太空、和探索宇宙的能量——量子和DNA、生物电脑。 千万记住，生物电脑和量子电脑又不是一个级别的。 我们人的主观意识、潜意识，和人的整个身体语言和大脑的储存信息和信息的呃处理，以及人拥有灵魂的这一种灵性的动物的特质。所以我说，人是有灵性的动物，他跟动物绝对不一样，高于动物。 而且一个这么脆弱的人，这个动物却能统掌全地球啊，说明人是有主人的，说明人是有神的。 那么这个生物电脑就跟神同级别的，严格讲就找到了神的密码。DNA这个电脑就找到了储存方式，就找到了与神沟通的方式。 而量子电脑是把这两样东西加速前进的，它不是最终极的。量子电脑是让你找到所有的DNA的储存方式，和未来的生物电脑的最好的工具。 一个这个工具的发现，就足以让整个网络界彻底改变了。 我们新中国联邦未来兄弟姐妹们，就是要做这些世界上最先进的、走在人类文明最前沿的啊。
2:37

🔥文贵先生最新预言： 人类在未来16个月将解开生命密码！ 而早在2022年就震撼预言： #量子电脑 的背后就是 #生物电脑， 生物电脑就跟 #神 同级别的， 严格讲就找到了神的密码。 DNA这个电脑就找到了储存方式， 就找到了与神沟通的方式。 人不是猴变的，人是有主人的。 正文： 我告诉你，量子电脑的背后就是生物电脑，还有DNA电脑，都在同步进行。这是人类上从来没有过啊。 就是我这是一种方式探索文明，它是一种发现了这个宇宙星河系。这只是一个所谓的太空发展，它只是一种叫地球之外的探索。 然后在之前是地球变成了圆的，然后有了航海，它都是一种方式。这可不是一种电脑方式。 在人类走向太空宇宙的时候，探索宇宙大爆炸是真的是假的时候，人到底是不是啊猴变的时候？人当然不是猴变的，扯蛋。是不是当时说猴变的人啊？是什么爱因斯坦是吧？包括写书的人，还有那个叫什么本杰明吧，是叫什么的，都最后都去信，还都是信了神了吧？对吧，所有的科学家。 那么这些人的背后，到最后都追求了信仰。今天的科学家在探索宇宙和外太空的时候，人类同时探索的两个技术：人类现在的互联网，和走向太空、和探索宇宙的能量——量子和DNA、生物电脑。 千万记住，生物电脑和量子电脑又不是一个级别的。 我们人的主观意识、潜意识，和人的整个身体语言和大脑的储存信息和信息的呃处理，以及人拥有灵魂的这一种灵性的动物的特质。所以我说，人是有灵性的动物，他跟动物绝对不一样，高于动物。 而且一个这么脆弱的人，这个动物却能统掌全地球啊，说明人是有主人的，说明人是有神的。 那么这个生物电脑就跟神同级别的，严格讲就找到了神的密码。DNA这个电脑就找到了储存方式，就找到了与神沟通的方式。 而量子电脑是把这两样东西加速前进的，它不是最终极的。量子电脑是让你找到所有的DNA的储存方式，和未来的生物电脑的最好的工具。 一个这个工具的发现，就足以让整个网络界彻底改变了。 我们新中国联邦未来兄弟姐妹们，就是要做这些世界上最先进的、走在人类文明最前沿的啊。

喜马拉雅日本勇者村

16,553 Aufrufe • vor 7 Monaten