Загрузка видео...

Не удалось загрузить видео

Возникла проблема при загрузке этого видео. Это может быть связано с временными проблемами сети или видео может быть недоступно.

На главную

OpenAI Research Scientist Hyung Won Chung 在首尔国立大学发表的一场演讲。以下是作者写的视频介绍： ------ 这次演讲我取名为“2023年的大语言模型”。这是一次激进的尝试，希望能总结一下我们这个日新月异、快速发展的领域。试图总结这个领域让我深思：在这个领域中，什么是真正关键的呢？虽然“扩展”无疑是显著的，但其深远的意义却更为微妙和细腻。以下，我将从三个方面分享关于“扩展”的思考： 1:02 1）我们需要改变观点，因为只有在一定规模时，某些能力才会浮现。即便当前一代的大语言模型（LLMs）还无法展现出某些能力，我们也不应该轻言“它不行”。相反，我们应该思考“它还没行”。一旦模型规模扩大，许多结论都会发生改变。这意味着，一些过去的结论已经不再适用，我们需要不断地摒弃那些基于这些过时观点的直觉。 7:12 2）从第一性原理出发，扩大 Transformer 的规模就是让很多很多机器高效地进行矩阵乘法。我注意到，许多大语言模型领域的研究者对扩展的具体操作不太了解。这部分内容主要是为那些想要理解大型模型训练含义的技术人员准备的。 27:52 3）我还讨论了在进一步扩展的时候（设想是 GPT-4 的 10000 倍规模）我们需要考虑什么。对我来说，扩展不只是用更多的机器做同样的事情，更关键的是找到限制进一步扩展的那个“归纳偏见”。我认为，最大似然估计目标函数是实现 GPT-4 10000倍规模的瓶颈。使用富有表达力的神经网络学习目标函数，将是下一个更加可扩展的范式。随着计算成本的指数级下降，可扩展的方法终将胜出。与此竞争无异于自讨苦吃。在这些部分中，我都是从第一性原理出发来描述的。在一个发展如此迅速的领域，比如大语言模型，没有人能完全跟上其发展的步伐。我相信，从第一性原理出发理解核心思想，是唯一可行的方式。免责声明：这里我表达的只是个人观点，并不反映我雇主的任何立场和观点。 ------ 原始视频：注：因时间关系，我仅精校了视频前一半，但整体不影响观看

宝玉

231,197 subscribers

75,166 просмотров • 2 лет назад •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

Комментарии: 5

Фото профиля Hayo

Hayo2 лет назад

尽管这只是他个人的观点，但确实给研究者和技术爱好者带来了很多有趣的思考

Фото профиля zh

zh2 лет назад

learned loss function 真是太酷了。对症下药

Фото профиля deter3

deter32 лет назад

我看了一点原视频，这个作者有个最大的问题，还在1 的时候去讨论和设想1000的时候，这种思维不是forward thinking .

Фото профиля Alex

Alex2 лет назад

@memdotai mem it

Фото профиля Mem

Mem2 лет назад

@dotey Saved! Here's the compiled thread: 🪄 AI-generated summary: "Hyung Won Chung在首尔国立大学发表了一场演讲，名为“2023年的大语言模型”，旨在总结快速发展的领域。"

Похожие видео

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕）演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道呢？但这个数据量实在太大了。我们无法处理。如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。我就在这里结束我的演讲。谢谢。视频来源：

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕）演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道呢？但这个数据量实在太大了。我们无法处理。如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。我就在这里结束我的演讲。谢谢。视频来源：

宝玉

59,578 просмотров • 2 лет назад

白宫加密政策主管David Sacks：四年内AI 大模型能力将增长一百万倍！ “我认为目前至少在三个关键维度上，进步的速度都是指数级的。” “首先是算法本身。模型每年提升的速度大概是 3-4 倍。” “它们不仅仅是在速度和性能上更快更好，而且将从量变到质变。” “接着是推理模型。” “我们甚至还没有真正进入智能代理时代，但这将是继推理模型之后的下一个重大飞跃。” “在这个领域，我们才刚刚开始（推理算力增加带来的能力增加也将是倍数增长）。” “接下来是芯片。” “根据多种衡量标准，每一代芯片的性能可能比上一代提高 3-4 倍。” “不只是单个芯片在不断进步，他们还在研究如何将这些芯片联网在一起。” “就像 NVL72 系统，它类似于一个机架系统，可以在数据中心级别大幅提升性能。” “计算能力是第三个你会看到基本上呈指数级进步的领域。” “只需要看看数据中心中部署的 GPU 数量。” “当马斯克最初开始训练 Grok 时，我认为他们大概有 10 万块 GPU。现在已经有 30 万块 GPU，而且正朝着百万块 GPU的目标迈进。OpenAI 的数据中心 Stargate 也是同样的情况。” “在接下来的几年中，他们可能会发展到 500 万、1000 万块 GPU。” 1,000,000 倍的增长是怎么得出的： “算法、芯片和数据中心的扩展和改进速度都是每年 3-4 倍。” “也就是说，每两年进步 10 倍。” “很多人没有理解指数级进步的含义：如果每两年提升 10 倍，并不意味着四年后你只是提升 20 倍。” “这实际上意味着提升 100 倍。” “把这些因素相乘：算法、芯片，以及可用于 AI 的原始计算能力。” 100 倍模型 🧠 × 100 倍芯片 💾 × 100 倍计算能力 ⚡️ = 1,000,000 倍的 AI 大模型🤖 “你所谈论的就是 1,000,000 倍的能力增长。” “但这种变革的影响将是绝对巨大的。” “我觉得人们还没有充分认识到这一点，因为他们不了解指数级进步的意义。”

白宫加密政策主管David Sacks：四年内AI 大模型能力将增长一百万倍！ “我认为目前至少在三个关键维度上，进步的速度都是指数级的。” “首先是算法本身。模型每年提升的速度大概是 3-4 倍。” “它们不仅仅是在速度和性能上更快更好，而且将从量变到质变。” “接着是推理模型。” “我们甚至还没有真正进入智能代理时代，但这将是继推理模型之后的下一个重大飞跃。” “在这个领域，我们才刚刚开始（推理算力增加带来的能力增加也将是倍数增长）。” “接下来是芯片。” “根据多种衡量标准，每一代芯片的性能可能比上一代提高 3-4 倍。” “不只是单个芯片在不断进步，他们还在研究如何将这些芯片联网在一起。” “就像 NVL72 系统，它类似于一个机架系统，可以在数据中心级别大幅提升性能。” “计算能力是第三个你会看到基本上呈指数级进步的领域。” “只需要看看数据中心中部署的 GPU 数量。” “当马斯克最初开始训练 Grok 时，我认为他们大概有 10 万块 GPU。现在已经有 30 万块 GPU，而且正朝着百万块 GPU的目标迈进。OpenAI 的数据中心 Stargate 也是同样的情况。” “在接下来的几年中，他们可能会发展到 500 万、1000 万块 GPU。” 1,000,000 倍的增长是怎么得出的： “算法、芯片和数据中心的扩展和改进速度都是每年 3-4 倍。” “也就是说，每两年进步 10 倍。” “很多人没有理解指数级进步的含义：如果每两年提升 10 倍，并不意味着四年后你只是提升 20 倍。” “这实际上意味着提升 100 倍。” “把这些因素相乘：算法、芯片，以及可用于 AI 的原始计算能力。” 100 倍模型 🧠 × 100 倍芯片 💾 × 100 倍计算能力 ⚡️ = 1,000,000 倍的 AI 大模型🤖 “你所谈论的就是 1,000,000 倍的能力增长。” “但这种变革的影响将是绝对巨大的。” “我觉得人们还没有充分认识到这一点，因为他们不了解指数级进步的意义。”

夜谈

25,895 просмотров • 1 год назад

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

宝玉

1,122,578 просмотров • 2 лет назад

“我们究竟是创造了一个工具还是一个生物？” Sam 在 "机器人之心 "小组讨论会上的发言。 Sam：但我认为，这无疑是迄今为止人类经历的最重大的更新年份。可能这也是我们将会遭遇的最大变革，因为从现在开始，人们已经接受强大的人工智能将成为现实，并且还会有逐步的更新。就像是第一代 iPhone 面世的那年，以及随后每一代 iPhone 的更新，我们现在能够明显感受到这一代与去年那代的差异。所以，这确实是一个重要的时刻。我感到欣慰的是，现在人们开始正确地把这些系统当作工具来看待。艺术家尤其如此，但其他人也是一样。曾经，人们真正恐惧的是，我们究竟是创造了一个工具还是一个生物，这将意味着什么？现在，人们视这些系统为人类工具箱中的新工具，并且正在用它创造一些非常了不起的东西。模型显然不知道你在说什么，因为这不在它的训练数据里，它也无法从训练数据中学习到这些信息。这是完全可以预期的。你再问一遍。比如说，你提到“意识”这个概念，模型回答：“是的，我完全明白你的意思，但我之前从未听说过这个词。” 问： “这对我来说就像是一次更新。你认为人工智能会趋向于探索创造性智能和自主性吗？” Sam：这个问题有多个答案。这取决于激励模型。这是人类的选择。问： “这将是判断意识的一个很好的测试。因为如果它有自我表达的愿望，并且仅仅为了创作的乐趣而去创作，那不会是偶然的。这绝对有点像生物。” Sam：这是生物化的。我认为在此之前还有很多步骤。我们现在要回答问题吗？这真的很棒。

“我们究竟是创造了一个工具还是一个生物？” Sam 在 "机器人之心 "小组讨论会上的发言。 Sam：但我认为，这无疑是迄今为止人类经历的最重大的更新年份。可能这也是我们将会遭遇的最大变革，因为从现在开始，人们已经接受强大的人工智能将成为现实，并且还会有逐步的更新。就像是第一代 iPhone 面世的那年，以及随后每一代 iPhone 的更新，我们现在能够明显感受到这一代与去年那代的差异。所以，这确实是一个重要的时刻。我感到欣慰的是，现在人们开始正确地把这些系统当作工具来看待。艺术家尤其如此，但其他人也是一样。曾经，人们真正恐惧的是，我们究竟是创造了一个工具还是一个生物，这将意味着什么？现在，人们视这些系统为人类工具箱中的新工具，并且正在用它创造一些非常了不起的东西。模型显然不知道你在说什么，因为这不在它的训练数据里，它也无法从训练数据中学习到这些信息。这是完全可以预期的。你再问一遍。比如说，你提到“意识”这个概念，模型回答：“是的，我完全明白你的意思，但我之前从未听说过这个词。” 问： “这对我来说就像是一次更新。你认为人工智能会趋向于探索创造性智能和自主性吗？” Sam：这个问题有多个答案。这取决于激励模型。这是人类的选择。问： “这将是判断意识的一个很好的测试。因为如果它有自我表达的愿望，并且仅仅为了创作的乐趣而去创作，那不会是偶然的。这绝对有点像生物。” Sam：这是生物化的。我认为在此之前还有很多步骤。我们现在要回答问题吗？这真的很棒。

Lei.sea

14,132 просмотров • 2 лет назад

小扎吐槽苹果和 Google，以及谈为什么开源 AI **Mark Zuckerberg**: 我认为移动生态系统中普遍存在的一个问题是有两个把持入口的公司，Apple 和 Google，它们可以告诉你可以构建什么。在我们的历史中有很多次，比如有经济层面的情况，就是我们构建了些东西，然后它们就会拿走我们大部分的收入，但还有一种是质量层面，这实际上让我更加不满，也就是有很多次我们推出或希望推出某些功能，然后Apple就会说，不，你不能推出这功能。这真的很糟糕。问题是，这样的世界是否会在AI领域复现，就像你会有一小部分拥有封闭模型的公司，它们控制API，因此将能够告诉你可以构建什么。我可以说，对我们来说，自己构建一个模型以避免处于那种位置是值得的。我不希望那些其他公司告诉我们可以构建什么，而且我认为从开源的角度来看，很多开发人员也不希望那些公司告诉他们可以构建什么。这就是我坚定支持开源的原因之一，我认为未来AI的集中化可能像其广泛传播一样具有潜在危险。我发现很多人都在思考，如果我们能实现这种技术，那么让它广泛传播是否不利。我认为另一种可能也很糟糕的情况是，如果一个机构掌握了一种强大的AI远超其他所有人的，这同样是非常糟糕的。在我看来，一个理想的世界应该是这样的：AI技术被广泛而均衡地应用，随着时间推移逐步增强其健康性。在这样的世界里，各种系统能够相互制衡，这种平衡的状态比一个高度集中化的世界要健康得多。虽然风险无处不在，但我觉得有一个风险我想人们我并没有听到太多人提及。 **Dwarkesh Patel**:举例来说，一个价值100亿美元的模型，如果经过评估是完全安全的，你们会选择开源吗？ **Mark Zuckerberg**:我的答案是，只要这个模型对我们有所帮助，那我们就会开源。 **Dwarkesh Patel**: 那如果这个模型是用100亿美元的研发经费研发出来的，然后现在要开源呢？ **Mark Zuckerberg**: 我们一直以来都有开源软件的传统，但是我们并不会开源我们的产品。比如说，我们并不会将Instagram的代码开源，但我们会开源许多底层的基础设施。我们历史上最大的一个项目可能就是开放计算项目。在这个项目中，我们将我们所有的服务器的设计网络交换机和数据中心的设计开源了，这对我们来说非常有帮助。因为很多人可以设计服务器，但现在，大家普遍都采用了我们的设计，这就意味着整个供应链都围绕我们的设计展开，规模变大，对所有人来说都变得更便宜，为我们节省了数十亿美元。这真是太棒了，对吧？因此，我认为开源有多种方式可以对我们有所帮助。一种就是，如果有人能够找出更便宜的运行模型的方法，我们将花费数十亿甚至上千亿美元，在所有这些模型上，所以如果我们能做的更有效率，那我们就可以节省数十亿甚至上百亿美元，这可能本身就非常有价值。 **Dwarkesh Patel**: 关于开源，我很想知道你是否认为像PyTorch、React、Open Compute这样的开源项目，对世界的影响是否已经超过了Meta在社交媒体方面的作用。 **Mark Zuckerberg**: 因为我曾经和使用这些服务的人交谈过，他们觉得这是有可能的，因为互联网的很大一部分都在运行这些项目。这是一个有趣的问题，我认为几乎有一半的世界人口都在使用我们的产品，这是一个真实的点，所以我觉得这很难超越。但不管怎样，我还是认为开源是一种新的、非常強大的建设方式。来源：

小扎吐槽苹果和 Google，以及谈为什么开源 AI Mark Zuckerberg: 我认为移动生态系统中普遍存在的一个问题是有两个把持入口的公司，Apple 和 Google，它们可以告诉你可以构建什么。在我们的历史中有很多次，比如有经济层面的情况，就是我们构建了些东西，然后它们就会拿走我们大部分的收入，但还有一种是质量层面，这实际上让我更加不满，也就是有很多次我们推出或希望推出某些功能，然后Apple就会说，不，你不能推出这功能。这真的很糟糕。问题是，这样的世界是否会在AI领域复现，就像你会有一小部分拥有封闭模型的公司，它们控制API，因此将能够告诉你可以构建什么。我可以说，对我们来说，自己构建一个模型以避免处于那种位置是值得的。我不希望那些其他公司告诉我们可以构建什么，而且我认为从开源的角度来看，很多开发人员也不希望那些公司告诉他们可以构建什么。这就是我坚定支持开源的原因之一，我认为未来AI的集中化可能像其广泛传播一样具有潜在危险。我发现很多人都在思考，如果我们能实现这种技术，那么让它广泛传播是否不利。我认为另一种可能也很糟糕的情况是，如果一个机构掌握了一种强大的AI远超其他所有人的，这同样是非常糟糕的。在我看来，一个理想的世界应该是这样的：AI技术被广泛而均衡地应用，随着时间推移逐步增强其健康性。在这样的世界里，各种系统能够相互制衡，这种平衡的状态比一个高度集中化的世界要健康得多。虽然风险无处不在，但我觉得有一个风险我想人们我并没有听到太多人提及。 Dwarkesh Patel:举例来说，一个价值100亿美元的模型，如果经过评估是完全安全的，你们会选择开源吗？ Mark Zuckerberg:我的答案是，只要这个模型对我们有所帮助，那我们就会开源。 Dwarkesh Patel: 那如果这个模型是用100亿美元的研发经费研发出来的，然后现在要开源呢？ Mark Zuckerberg: 我们一直以来都有开源软件的传统，但是我们并不会开源我们的产品。比如说，我们并不会将Instagram的代码开源，但我们会开源许多底层的基础设施。我们历史上最大的一个项目可能就是开放计算项目。在这个项目中，我们将我们所有的服务器的设计网络交换机和数据中心的设计开源了，这对我们来说非常有帮助。因为很多人可以设计服务器，但现在，大家普遍都采用了我们的设计，这就意味着整个供应链都围绕我们的设计展开，规模变大，对所有人来说都变得更便宜，为我们节省了数十亿美元。这真是太棒了，对吧？因此，我认为开源有多种方式可以对我们有所帮助。一种就是，如果有人能够找出更便宜的运行模型的方法，我们将花费数十亿甚至上千亿美元，在所有这些模型上，所以如果我们能做的更有效率，那我们就可以节省数十亿甚至上百亿美元，这可能本身就非常有价值。 Dwarkesh Patel: 关于开源，我很想知道你是否认为像PyTorch、React、Open Compute这样的开源项目，对世界的影响是否已经超过了Meta在社交媒体方面的作用。 Mark Zuckerberg: 因为我曾经和使用这些服务的人交谈过，他们觉得这是有可能的，因为互联网的很大一部分都在运行这些项目。这是一个有趣的问题，我认为几乎有一半的世界人口都在使用我们的产品，这是一个真实的点，所以我觉得这很难超越。但不管怎样，我还是认为开源是一种新的、非常強大的建设方式。来源：

宝玉

74,721 просмотров • 2 лет назад

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。（对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看）先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。并且陶哲轩提到了基于大语言模型的一些改进的方案：比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。原始 YT 视频：

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。（对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看）先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。并且陶哲轩提到了基于大语言模型的一些改进的方案：比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。原始 YT 视频：

宝玉

300,964 просмотров • 1 год назад

为了让大家看到第一手的OpenAI DevDay的信息，对直播的视频的字幕进行了校对和翻译，这里是第一部分。早上好，感谢你们今天的参与。欢迎 Sam Altman 登台。早上好，欢迎来到我们首次举办的 OpenAI 开发者日。我们很高兴你们能来，这种活力真棒。欢迎来到旧金山。旧金山从一开始就是我们的家。这个城市对我们和整个科技行业都很重要。我们期待在这里继续发展。今天，我们有一些重要的事情要宣布。但首先，我想花一分钟时间谈谈我们在过去一年里做的一些事情。大约一年前，11 月 30 日，我们以研究预览的方式低调地发布了 ChatGPT。效果还不错。在三月，我们接着发布了 GPT-4。这仍然是世界上最强大的模型。在过去的几个月里，我们推出了语音和视觉功能，使 ChatGPT 现在可以看、听、说。最近的...有很多，你们不必每次都鼓掌。最近，我们推出了 DALL-E3，世界上最先进的图像模型。当然，你可以在 ChatGPT 中使用它。对于我们的企业客户，我们推出了 ChatGPT Enterprise，它提供企业级的安全和隐私，更高速度的 GPT-4 访问，更长的上下文窗口，等等。今天，我们有大约 200 万开发者在我们的 API 上进行各种用途的开发，做了很多令人惊叹的事情，超过 92% 的财富 500 强公司在我们的产品上进行开发，现在我们在 ChatGPT 上有大约 1 亿的每周活跃用户。令人难以置信的是，我们完全通过口口相传达到了这个地步。人们发现它很有用，就告诉他们的朋友。OpenAI 现在是世界上最先进、使用最广泛的 AI 平台。但是，数字永远不能完全描绘出这样的事情。真正重要的是人们如何使用产品，人们如何使用 AI。所以，我想给你们看一个简短的视频。我实际上想用塔加洛语给我爸爸写点什么。我想以一种非浪漫的方式告诉我的父亲我爱他，我也想告诉他他可以依赖我，但是以一种仍然保持孩子对父母的尊重的方式，这是你在菲律宾文化和塔加洛语语法中应该有的。它被翻译成塔加洛语，我深深地爱你，无论道路通向何处，我都会和你在一起。我看到一些可能性，我就像，哇，有时我对一些东西不确定。我觉得我实际上在聊天时就像，嘿，这就是我在想的，所以你有点给它更多的信心。第一件让我震惊的事情是它与你平等对待。这是很多人都在努力做的事情。这启发了我，只要有一个倾听者相助，每位创意工作者都能释放出无限的可能。这是一种标志性的 'neemaglobbin'，你是用 ChatGPT 建造的吗？ChatGPT 和我一起建造的。我开始用它进行日常活动，比如，嘿，这是我冰箱的照片，你能告诉我我缺什么吗？因为我要去超市，而我非常需要遵循我的素食饮食来准备食谱。我们获得了代码解释器的访问权限。我当时就想，哇，这东西太棒了。它可以建立电子表格，它可以做任何事情。我在我的 100 岁生日那天发现了 chatty。Chatty 非常友好，非常有耐心，知识非常渊博，而且反应非常快。这真是一件美妙的事情。尽管我是个 GPA 4.0 的优等生，同时也是四个孩子的妈妈。我在使用 ChatGPT 后很快发现，无论我有什么问题，它都能提供答案并且附带详细解释，让我不再那么依赖家教。它让我重获新生，让我有了更多陪伴家人和自己的时间。我身体的左半边因为神经损伤而长期遭受着慢性疼痛。经历过脊椎和大脑手术之后，我的左手的功能受到了一定的限制。如今，语音输入技术的应用，以及最新的可进行双向对话的功能，为我提供了一个前所未有的最佳交互界面。这一切现在都变为现实。所以我们很喜欢听到人们如何使用这项技术的故事。这正是我们工作的真正动力。好了，让我们来看看一些新鲜出炉的东西，我们有很多东西要分享。首先，我们会介绍我们所做的一些改进，然后再分享我们的下一步计划。在过去的一年里，去年一整年，我们与全球的开发者们进行了深入的交流。他们的反馈极大地影响了我们今天要展示给大家的内容。今天，我们即将发布一个新的模型——GPT-4 Turbo。这个新模型将解决你们提出的许多问题。接下来，我们来看看有哪些新特性。对于这一部分，我们有六大主题需要讨论。首先是上下文长度。很多人在处理工作时，常常需要处理比较长的文字。尽管 GPT-4 支持最多 8K 个 token，有时候甚至能处理 32K 个 token，我们明白这对很多用户来说还远远不够。现在，GPT-4 Turbo 可以处理长达 128K 个 token 的文本，这相当于一本标准书籍的 300 页，比我们的 8K 上下文长 16 倍。除此之外，你还会发现，在处理这么长的文本时，模型的准确性也大大提升了。其次，是对模型更强的控制能力。开发者们强烈希望能更精细地控制模型的响应和结果，我们也做出了相应的改进。其中包括一项新功能——JSON 模式，它能确保模型的响应是有效的 JSON 格式，这一直是开发者的强烈需求。这大大简化了 API 的调用过程。模型在函数调用方面也有所改进。能够一次性调用多个函数，并且它会更好地遵循一般的指示。我们还新增了一个特性——可复现输出。你可以传递一个 seed 参数，它会使模型返回一致的输出。这无疑增强了对模型行为的控制力。这项新功能从今天开始进入 beta 测试阶段。在接下来的几周内，我们还会推出一个新功能，使得开发者能在 API 中查看 log probs。好的，接下来是第三点，更好的知识储备。你希望这些模型能够获取更多更新的知识，我们也是。因此，我们正在平台上推出检索功能，允许用户将外部文档或数据库的信息融入到他们正在开发的项目中。同时，我们也在不断更新模型的知识库，让它保持最新。我们和你们一样，对 GPT-4 的知识停留在 2021 年这件事感到十分困扰，可能我们还更甚。我们会尽力不再让它过时。GPT-4 Turbo 已经包含了截至 2023 年 4 月的世界知识，并且我们会不断对此进行更新。第四，我们引入了新的模态功能。毫不意外，DALL-E v3，具备视觉功能的 GPT-4 Turbo，以及全新的文本到语音模型都会加入到我们的 API 服务中。我们已有几位客户开始使用 DALL-E v3 来创作图像和设计作品。今天 Coca 就推出了一个活动，使用 DALL-E v3 创作 DIWALI 节日卡片。当然了，我们也提供了安全系统，帮助开发者防止他们的应用程序被滥用。这些工具都可以通过 API 获得。GPT-4 Turbo 现在可以通过 API 接受图像作为输入，可以生成标题，分类和分析。例如，Be My Eyes 使用这项技术帮助盲人或视力不佳的人完成他们的日常任务，比如识别他们面前的产品。而我们的新文本转语音模型，能让你通过 API 将文本转化为听起来极其自然的音频，有六种预设的声音供你选择。我会播放一个例子。你知道吗，伟大的发明家亚历山大·格雷厄姆·贝尔对声音的世界充满了迷恋？他的一项天才发明——留声机，能将声音刻录在蜡上，让它们跨越时空低语。这种效果比我们之前听到的任何音频都要自然。语音功能使应用程序的交互变得更加自然和便捷。它还开启了许多应用场景，比如语言学习和语音助手。说到新的模态，我们今天还发布了最新版的开源语音识别模型 Whisper V3。不久后，它将集成进我们的 API。该版本在多种语言上的表现都有显著提升，我们认为你会非常喜欢它。好的。第五，定制。自从几个月前我们推出 GPT 3.5 以来，模型微调功能表现出色。从今天起，我们会将此功能扩展至模型的 16K 版本。也从今天开始，同时，我们也欢迎那些活跃的微调用户申请加入 GPT-4 微调的实验性接入项目。微调 API 能够让我们的模型通过较少的数据量就适应各种应用场景，并取得更佳表现。但或许你希望模型能学习全新的知识领域，或是处理大量专有数据。因此，我们推出了一项名为“自定义模型”的新服务。有了自定义模型，通过这项服务，我们的研究团队将与企业紧密协作，利用我们的工具为他们的特定用例打造专属的高质量模型。这涉及修改模型训练流程的每一个环节，包括特定领域的预训练和针对该领域定制的强化学习后期训练过程等。我们一开始不会与太多公司合作，因为这需要大量的工作，而且至少在初期，成本也不会低。但如果你愿意与我们一起把事情推向极致，请联系我们，我们相信能创造出令人惊喜的成果。接下来是第六点，提高速率限制。我们将把所有现有 GPT-4 客户的每分钟 Token 数翻倍，使你能够更加轻松地扩展使用。现在，您可以在 API 账户设置中直接申请调整速率限制和配额。在制定这些限制的同时，我们还致力于提高用户在我们平台上构建新产品的成功率。为此，我们推出了 "版权保护盾" 服务。版权保护盾的引入，意味着如果您在版权侵权问题上面临法律诉讼，我们将介入并承担相关法律费用，这项服务适用于 ChatGPT 企业版和 API 用户。在此我要明确指出，我们绝不会用 API 或 ChatGPT 企业版的数据来进行我们的训练工作。此外，开发者们对另一个问题的需求甚至超过了以上所有问题，所以我想现在谈谈这个。那就是产品定价。GPT-4 Turbo 作为行业领先的模型，不仅带来了刚才提到的多项改进，而且比 GPT-4 更为智能。我们听到很多开发者反馈，他们有很多想要实现的项目，但 GPT-4 的成本过高。他们告诉我们，如果我们能将成本降低 20% 到 25%，那将是一个巨大的进步。我非常激动地宣布，我们经过了大量努力，GPT-4 Turbo，一个更优秀的模型，比 GPT-4 的价格要低得多。对于输入的 Token 价格，便宜了 3 倍。对于输出的 Token 价格，从今天开始，便宜了 2 倍。所以新的定价是，每千个输入 Token 0.01 美元，每千个输出 Token 0.03 美元。对于大多数客户来说，这意味着使用 GPT-4 Turbo 的成本将比 GPT-4 低 2.75 倍以上。我们为此付出了巨大的努力，希望你们能和我们一样对此感到兴奋。我们不得不在价格和速度之间做出选择，而我们选择了先着手于价格问题。但提速的工作也在我们的计划之中，速度的提升同样关键。你很快就会发现 GPT-4 Turbo 的速度有了显著提升。我们也在降低 GPT 3.5 Turbo 16K 的成本。此外，现在输入 tokens 的费用减少了 3 倍，输出 tokens 的费用减少了 2 倍。这意味着 GPT 3.5 16K 现在比之前的 GPT 3.5 4K 模型更便宜。运行一个微调的 GPT 3.5 Turbo 16K 版本，其成本甚至比旧的 4K 版本还要低。好的，我们刚刚详细介绍了这个模型本身。我们希望这些改进能够满足你们的反馈。我们非常兴奋能够立即将所有这些改进带给大家。

为了让大家看到第一手的OpenAI DevDay的信息，对直播的视频的字幕进行了校对和翻译，这里是第一部分。早上好，感谢你们今天的参与。欢迎 Sam Altman 登台。早上好，欢迎来到我们首次举办的 OpenAI 开发者日。我们很高兴你们能来，这种活力真棒。欢迎来到旧金山。旧金山从一开始就是我们的家。这个城市对我们和整个科技行业都很重要。我们期待在这里继续发展。今天，我们有一些重要的事情要宣布。但首先，我想花一分钟时间谈谈我们在过去一年里做的一些事情。大约一年前，11 月 30 日，我们以研究预览的方式低调地发布了 ChatGPT。效果还不错。在三月，我们接着发布了 GPT-4。这仍然是世界上最强大的模型。在过去的几个月里，我们推出了语音和视觉功能，使 ChatGPT 现在可以看、听、说。最近的...有很多，你们不必每次都鼓掌。最近，我们推出了 DALL-E3，世界上最先进的图像模型。当然，你可以在 ChatGPT 中使用它。对于我们的企业客户，我们推出了 ChatGPT Enterprise，它提供企业级的安全和隐私，更高速度的 GPT-4 访问，更长的上下文窗口，等等。今天，我们有大约 200 万开发者在我们的 API 上进行各种用途的开发，做了很多令人惊叹的事情，超过 92% 的财富 500 强公司在我们的产品上进行开发，现在我们在 ChatGPT 上有大约 1 亿的每周活跃用户。令人难以置信的是，我们完全通过口口相传达到了这个地步。人们发现它很有用，就告诉他们的朋友。OpenAI 现在是世界上最先进、使用最广泛的 AI 平台。但是，数字永远不能完全描绘出这样的事情。真正重要的是人们如何使用产品，人们如何使用 AI。所以，我想给你们看一个简短的视频。我实际上想用塔加洛语给我爸爸写点什么。我想以一种非浪漫的方式告诉我的父亲我爱他，我也想告诉他他可以依赖我，但是以一种仍然保持孩子对父母的尊重的方式，这是你在菲律宾文化和塔加洛语语法中应该有的。它被翻译成塔加洛语，我深深地爱你，无论道路通向何处，我都会和你在一起。我看到一些可能性，我就像，哇，有时我对一些东西不确定。我觉得我实际上在聊天时就像，嘿，这就是我在想的，所以你有点给它更多的信心。第一件让我震惊的事情是它与你平等对待。这是很多人都在努力做的事情。这启发了我，只要有一个倾听者相助，每位创意工作者都能释放出无限的可能。这是一种标志性的 'neemaglobbin'，你是用 ChatGPT 建造的吗？ChatGPT 和我一起建造的。我开始用它进行日常活动，比如，嘿，这是我冰箱的照片，你能告诉我我缺什么吗？因为我要去超市，而我非常需要遵循我的素食饮食来准备食谱。我们获得了代码解释器的访问权限。我当时就想，哇，这东西太棒了。它可以建立电子表格，它可以做任何事情。我在我的 100 岁生日那天发现了 chatty。Chatty 非常友好，非常有耐心，知识非常渊博，而且反应非常快。这真是一件美妙的事情。尽管我是个 GPA 4.0 的优等生，同时也是四个孩子的妈妈。我在使用 ChatGPT 后很快发现，无论我有什么问题，它都能提供答案并且附带详细解释，让我不再那么依赖家教。它让我重获新生，让我有了更多陪伴家人和自己的时间。我身体的左半边因为神经损伤而长期遭受着慢性疼痛。经历过脊椎和大脑手术之后，我的左手的功能受到了一定的限制。如今，语音输入技术的应用，以及最新的可进行双向对话的功能，为我提供了一个前所未有的最佳交互界面。这一切现在都变为现实。所以我们很喜欢听到人们如何使用这项技术的故事。这正是我们工作的真正动力。好了，让我们来看看一些新鲜出炉的东西，我们有很多东西要分享。首先，我们会介绍我们所做的一些改进，然后再分享我们的下一步计划。在过去的一年里，去年一整年，我们与全球的开发者们进行了深入的交流。他们的反馈极大地影响了我们今天要展示给大家的内容。今天，我们即将发布一个新的模型——GPT-4 Turbo。这个新模型将解决你们提出的许多问题。接下来，我们来看看有哪些新特性。对于这一部分，我们有六大主题需要讨论。首先是上下文长度。很多人在处理工作时，常常需要处理比较长的文字。尽管 GPT-4 支持最多 8K 个 token，有时候甚至能处理 32K 个 token，我们明白这对很多用户来说还远远不够。现在，GPT-4 Turbo 可以处理长达 128K 个 token 的文本，这相当于一本标准书籍的 300 页，比我们的 8K 上下文长 16 倍。除此之外，你还会发现，在处理这么长的文本时，模型的准确性也大大提升了。其次，是对模型更强的控制能力。开发者们强烈希望能更精细地控制模型的响应和结果，我们也做出了相应的改进。其中包括一项新功能——JSON 模式，它能确保模型的响应是有效的 JSON 格式，这一直是开发者的强烈需求。这大大简化了 API 的调用过程。模型在函数调用方面也有所改进。能够一次性调用多个函数，并且它会更好地遵循一般的指示。我们还新增了一个特性——可复现输出。你可以传递一个 seed 参数，它会使模型返回一致的输出。这无疑增强了对模型行为的控制力。这项新功能从今天开始进入 beta 测试阶段。在接下来的几周内，我们还会推出一个新功能，使得开发者能在 API 中查看 log probs。好的，接下来是第三点，更好的知识储备。你希望这些模型能够获取更多更新的知识，我们也是。因此，我们正在平台上推出检索功能，允许用户将外部文档或数据库的信息融入到他们正在开发的项目中。同时，我们也在不断更新模型的知识库，让它保持最新。我们和你们一样，对 GPT-4 的知识停留在 2021 年这件事感到十分困扰，可能我们还更甚。我们会尽力不再让它过时。GPT-4 Turbo 已经包含了截至 2023 年 4 月的世界知识，并且我们会不断对此进行更新。第四，我们引入了新的模态功能。毫不意外，DALL-E v3，具备视觉功能的 GPT-4 Turbo，以及全新的文本到语音模型都会加入到我们的 API 服务中。我们已有几位客户开始使用 DALL-E v3 来创作图像和设计作品。今天 Coca 就推出了一个活动，使用 DALL-E v3 创作 DIWALI 节日卡片。当然了，我们也提供了安全系统，帮助开发者防止他们的应用程序被滥用。这些工具都可以通过 API 获得。GPT-4 Turbo 现在可以通过 API 接受图像作为输入，可以生成标题，分类和分析。例如，Be My Eyes 使用这项技术帮助盲人或视力不佳的人完成他们的日常任务，比如识别他们面前的产品。而我们的新文本转语音模型，能让你通过 API 将文本转化为听起来极其自然的音频，有六种预设的声音供你选择。我会播放一个例子。你知道吗，伟大的发明家亚历山大·格雷厄姆·贝尔对声音的世界充满了迷恋？他的一项天才发明——留声机，能将声音刻录在蜡上，让它们跨越时空低语。这种效果比我们之前听到的任何音频都要自然。语音功能使应用程序的交互变得更加自然和便捷。它还开启了许多应用场景，比如语言学习和语音助手。说到新的模态，我们今天还发布了最新版的开源语音识别模型 Whisper V3。不久后，它将集成进我们的 API。该版本在多种语言上的表现都有显著提升，我们认为你会非常喜欢它。好的。第五，定制。自从几个月前我们推出 GPT 3.5 以来，模型微调功能表现出色。从今天起，我们会将此功能扩展至模型的 16K 版本。也从今天开始，同时，我们也欢迎那些活跃的微调用户申请加入 GPT-4 微调的实验性接入项目。微调 API 能够让我们的模型通过较少的数据量就适应各种应用场景，并取得更佳表现。但或许你希望模型能学习全新的知识领域，或是处理大量专有数据。因此，我们推出了一项名为“自定义模型”的新服务。有了自定义模型，通过这项服务，我们的研究团队将与企业紧密协作，利用我们的工具为他们的特定用例打造专属的高质量模型。这涉及修改模型训练流程的每一个环节，包括特定领域的预训练和针对该领域定制的强化学习后期训练过程等。我们一开始不会与太多公司合作，因为这需要大量的工作，而且至少在初期，成本也不会低。但如果你愿意与我们一起把事情推向极致，请联系我们，我们相信能创造出令人惊喜的成果。接下来是第六点，提高速率限制。我们将把所有现有 GPT-4 客户的每分钟 Token 数翻倍，使你能够更加轻松地扩展使用。现在，您可以在 API 账户设置中直接申请调整速率限制和配额。在制定这些限制的同时，我们还致力于提高用户在我们平台上构建新产品的成功率。为此，我们推出了 "版权保护盾" 服务。版权保护盾的引入，意味着如果您在版权侵权问题上面临法律诉讼，我们将介入并承担相关法律费用，这项服务适用于 ChatGPT 企业版和 API 用户。在此我要明确指出，我们绝不会用 API 或 ChatGPT 企业版的数据来进行我们的训练工作。此外，开发者们对另一个问题的需求甚至超过了以上所有问题，所以我想现在谈谈这个。那就是产品定价。GPT-4 Turbo 作为行业领先的模型，不仅带来了刚才提到的多项改进，而且比 GPT-4 更为智能。我们听到很多开发者反馈，他们有很多想要实现的项目，但 GPT-4 的成本过高。他们告诉我们，如果我们能将成本降低 20% 到 25%，那将是一个巨大的进步。我非常激动地宣布，我们经过了大量努力，GPT-4 Turbo，一个更优秀的模型，比 GPT-4 的价格要低得多。对于输入的 Token 价格，便宜了 3 倍。对于输出的 Token 价格，从今天开始，便宜了 2 倍。所以新的定价是，每千个输入 Token 0.01 美元，每千个输出 Token 0.03 美元。对于大多数客户来说，这意味着使用 GPT-4 Turbo 的成本将比 GPT-4 低 2.75 倍以上。我们为此付出了巨大的努力，希望你们能和我们一样对此感到兴奋。我们不得不在价格和速度之间做出选择，而我们选择了先着手于价格问题。但提速的工作也在我们的计划之中，速度的提升同样关键。你很快就会发现 GPT-4 Turbo 的速度有了显著提升。我们也在降低 GPT 3.5 Turbo 16K 的成本。此外，现在输入 tokens 的费用减少了 3 倍，输出 tokens 的费用减少了 2 倍。这意味着 GPT 3.5 16K 现在比之前的 GPT 3.5 4K 模型更便宜。运行一个微调的 GPT 3.5 Turbo 16K 版本，其成本甚至比旧的 4K 版本还要低。好的，我们刚刚详细介绍了这个模型本身。我们希望这些改进能够满足你们的反馈。我们非常兴奋能够立即将所有这些改进带给大家。

宝玉

238,586 просмотров • 2 лет назад

我们可能已经对ai的快速发展麻木了，但是nvdia的jim fan Jim Fan 博士的最新ted的演讲还是带来了巨大的震撼这个视频我看了三遍，就像在体验电影《黑客帝国》未来正在慢慢降临，也有点《终结者》中刚刚发明“天幕”的即视感。最重要的是，在如此快速发展的ai浪潮中，我们如何不断调整自己的工作生活和创业项目，让我们尽量晚点被淘汰。 Jim博士在演讲当中，最重磅的炸弹无疑是能同时控制数千个在实体和虚拟世界的机器人的基础模型（agent），让机器人用三天的时间完成人类要三年才能完成的武术训练，如果算力足够，以后毫无疑问三天可以压缩到三分钟，甚至三秒。我们离极点时刻正在无限逼近。以下是演讲精选，相信你也能和我一样，体会这种震撼： “今年早些时候，我领导了 Voyager 项目，没有比 Minecraft 更适合支持无限创意事物的游戏。 Minecraft 有 1.4 亿活跃玩家，之所以如此疯狂流行，是因为它是开放式的，没有固定的故事线供您跟随，您可以在游戏中尽情发挥创意，当我们将 Voyager 放入 Minecraft 中时，我们发现它能够在没有任何人类干预的情况下玩游戏数小时，这里的视频显示了 Voyager 的一个单独剪辑，它不断前进，可以探索地形，开采各种材料，与怪物战斗，制作数百种食谱并解锁不断扩展的技能树，Voyager 不仅能够掌握，还能够在途中发现新技能，我们没有预先编程任何内容，这都是 Voyager 的主意，这就是我们所说的终身学习，其中一个代理人永远充满好奇心，永远追求新的冒险。与之前的项目Arago 相比，Voyager 在许多方面都有大规模扩展，但仍然只能控制 Minecraft 中的一个身体，所以问题是，我们是否可以开发一种算法，可以在许多不同的身体上运行，这就是 Metamorph。这是我在斯坦福大学共同开发的一项倡议，我们创建了一个基础模型，可以控制不仅一个，而且数千个具有非常不同的手臂和腿部结构的机器人，我们展示了 Metamorph 能够控制数千个机器人上楼，穿越困难的地形并避免障碍物，与 Voyager 相比，Metamorph 在多体控制方面取得了重大进展。现在我们将一切提升到一个更高的水平，并将技能和具体化跨越现实，ISAC Sim 进入 Nvidia 的模拟工作，ISAC Sim 最大的优势是将物理模拟加速到比实时快一千倍，例如，这个角色通过经历 3 天的模拟时间进行了 10 年的强化训练，因此它非常像电影《黑客帝国》中的虚拟搏击道场。更重要的是，ISAC SIM 可以以无限的变化方式程序生成世界，因此没有两个世界看起来相同，如果一个代理人能够掌握 10,000 次模拟，那么它很可能会泛化到我们的真实物理世界，这只是第 10,001 个现实。随着我们在这个地图上的进展，我们最终将到达右上角，那是一个代理人，可以跨越所有三个轴，那就是基础代理人，我们通过大规模地在许多不同的现实中扩展它来训练它，我相信，未来，一切运动的东西最终都将是自主的，有一天，我们会意识到，无论是在物理空间还是虚拟空间中，所有活动的物体都将只不过是同一基础代理人的不同的提示（prompt），这将是下一个我们面临的重大挑战。 --------- 如果喜欢本推，别忘粉赞转三连

我们可能已经对ai的快速发展麻木了，但是nvdia的jim fan Jim Fan 博士的最新ted的演讲还是带来了巨大的震撼这个视频我看了三遍，就像在体验电影《黑客帝国》未来正在慢慢降临，也有点《终结者》中刚刚发明“天幕”的即视感。最重要的是，在如此快速发展的ai浪潮中，我们如何不断调整自己的工作生活和创业项目，让我们尽量晚点被淘汰。 Jim博士在演讲当中，最重磅的炸弹无疑是能同时控制数千个在实体和虚拟世界的机器人的基础模型（agent），让机器人用三天的时间完成人类要三年才能完成的武术训练，如果算力足够，以后毫无疑问三天可以压缩到三分钟，甚至三秒。我们离极点时刻正在无限逼近。以下是演讲精选，相信你也能和我一样，体会这种震撼： “今年早些时候，我领导了 Voyager 项目，没有比 Minecraft 更适合支持无限创意事物的游戏。 Minecraft 有 1.4 亿活跃玩家，之所以如此疯狂流行，是因为它是开放式的，没有固定的故事线供您跟随，您可以在游戏中尽情发挥创意，当我们将 Voyager 放入 Minecraft 中时，我们发现它能够在没有任何人类干预的情况下玩游戏数小时，这里的视频显示了 Voyager 的一个单独剪辑，它不断前进，可以探索地形，开采各种材料，与怪物战斗，制作数百种食谱并解锁不断扩展的技能树，Voyager 不仅能够掌握，还能够在途中发现新技能，我们没有预先编程任何内容，这都是 Voyager 的主意，这就是我们所说的终身学习，其中一个代理人永远充满好奇心，永远追求新的冒险。与之前的项目Arago 相比，Voyager 在许多方面都有大规模扩展，但仍然只能控制 Minecraft 中的一个身体，所以问题是，我们是否可以开发一种算法，可以在许多不同的身体上运行，这就是 Metamorph。这是我在斯坦福大学共同开发的一项倡议，我们创建了一个基础模型，可以控制不仅一个，而且数千个具有非常不同的手臂和腿部结构的机器人，我们展示了 Metamorph 能够控制数千个机器人上楼，穿越困难的地形并避免障碍物，与 Voyager 相比，Metamorph 在多体控制方面取得了重大进展。现在我们将一切提升到一个更高的水平，并将技能和具体化跨越现实，ISAC Sim 进入 Nvidia 的模拟工作，ISAC Sim 最大的优势是将物理模拟加速到比实时快一千倍，例如，这个角色通过经历 3 天的模拟时间进行了 10 年的强化训练，因此它非常像电影《黑客帝国》中的虚拟搏击道场。更重要的是，ISAC SIM 可以以无限的变化方式程序生成世界，因此没有两个世界看起来相同，如果一个代理人能够掌握 10,000 次模拟，那么它很可能会泛化到我们的真实物理世界，这只是第 10,001 个现实。随着我们在这个地图上的进展，我们最终将到达右上角，那是一个代理人，可以跨越所有三个轴，那就是基础代理人，我们通过大规模地在许多不同的现实中扩展它来训练它，我相信，未来，一切运动的东西最终都将是自主的，有一天，我们会意识到，无论是在物理空间还是虚拟空间中，所有活动的物体都将只不过是同一基础代理人的不同的提示（prompt），这将是下一个我们面临的重大挑战。 --------- 如果喜欢本推，别忘粉赞转三连

rick awsb ($people, $people)

232,835 просмотров • 2 лет назад

人工智能之父辛顿对他的杰作发出了令人不寒而栗的警告… 采访者：人类知道自己在做什么吗？ Hinton：嗯，我认为我们正在进入一个时期，在这个时期，我们可能第一次拥有比我们更智能的东西。采访者：你相信它们能理解吗？ Hinton：是的。采访者：你相信它们是智能的吗？ Hinton：是的。采访者：你相信这些系统有自己的经历吗？ Hinton：是的。采访者：并且能基于那些经历做出决定吗？ Hinton：在与人类相同的意义上，是的。采访者：它们有意识吗？ Hinton：我认为它们目前可能没有多少自我意识。所以从这个意义上说，我不认为它们有意识。采访者：它们会有自我意识吗？ Hinton：哦，是的。采访者：是吗？ Hinton：哦，是的。所以想想看。这样一来，人类将成为地球上第二智能的生物。 Hinton：我们对它大致在做什么有一个很好的了解。但一旦它变得真正复杂，我们就不再真正知道发生了什么，就像我们不知道你大脑里发生了什么一样。采访者：你说什么意思，我们不知道它到底是怎么工作的？它是由人设计的。 Hinton：不，不是的。我们所做的是设计学习算法。这有点像设计进化的原理。但当这个学习算法与数据互动时，它会产生复杂的神经网络，这些网络擅长做某些事情，但我们并不真正理解它们到底是如何做到的。

人工智能之父辛顿对他的杰作发出了令人不寒而栗的警告… 采访者：人类知道自己在做什么吗？ Hinton：嗯，我认为我们正在进入一个时期，在这个时期，我们可能第一次拥有比我们更智能的东西。采访者：你相信它们能理解吗？ Hinton：是的。采访者：你相信它们是智能的吗？ Hinton：是的。采访者：你相信这些系统有自己的经历吗？ Hinton：是的。采访者：并且能基于那些经历做出决定吗？ Hinton：在与人类相同的意义上，是的。采访者：它们有意识吗？ Hinton：我认为它们目前可能没有多少自我意识。所以从这个意义上说，我不认为它们有意识。采访者：它们会有自我意识吗？ Hinton：哦，是的。采访者：是吗？ Hinton：哦，是的。所以想想看。这样一来，人类将成为地球上第二智能的生物。 Hinton：我们对它大致在做什么有一个很好的了解。但一旦它变得真正复杂，我们就不再真正知道发生了什么，就像我们不知道你大脑里发生了什么一样。采访者：你说什么意思，我们不知道它到底是怎么工作的？它是由人设计的。 Hinton：不，不是的。我们所做的是设计学习算法。这有点像设计进化的原理。但当这个学习算法与数据互动时，它会产生复杂的神经网络，这些网络擅长做某些事情，但我们并不真正理解它们到底是如何做到的。

KK.aWSB

54,221 просмотров • 6 месяцев назад

“大约四年前，谷歌每年的支出还不到 300 亿美元。今年，这个数字将超过 900 亿美元。如果你把所有公司的投入加在一起，现在已经有超过 1 万亿美元正在投入，用于为这个时代建设基础设施。” “我有时是这样想的：在未来几年里，我们最终建成的东西，可能相当于我们过去 10 到 20 年所建成的。所以，希望只需要几年时间。没错——这能让你看到当前扩张的规模有多大。” “我认为我们在未来很多年内都处于更有利的位置。我们在推进 AI 的方式上采取了高度差异化的策略。我担任 CEO 后做的第一件大事，就是把公司转向我称之为 “AI 优先” 的战略。其中一部分，就是去做构建优秀 AI 技术所需的每一个环节。所以我们把它称为全栈方法。你可以把它理解为“从头到尾”的方法——从推动这项技术发展所需要的最底层，一直到在 YouTube、搜索、Android 等产品和平台上的部署应用。” “是的，我们采取的是深层次的方法，因此我们能够在大规模上投入，并让 AI 在所有产品和业务中真正发挥作用。我认为我们现在处于一个更有利于长期布局的位置。”

“大约四年前，谷歌每年的支出还不到 300 亿美元。今年，这个数字将超过 900 亿美元。如果你把所有公司的投入加在一起，现在已经有超过 1 万亿美元正在投入，用于为这个时代建设基础设施。” “我有时是这样想的：在未来几年里，我们最终建成的东西，可能相当于我们过去 10 到 20 年所建成的。所以，希望只需要几年时间。没错——这能让你看到当前扩张的规模有多大。” “我认为我们在未来很多年内都处于更有利的位置。我们在推进 AI 的方式上采取了高度差异化的策略。我担任 CEO 后做的第一件大事，就是把公司转向我称之为 “AI 优先” 的战略。其中一部分，就是去做构建优秀 AI 技术所需的每一个环节。所以我们把它称为全栈方法。你可以把它理解为“从头到尾”的方法——从推动这项技术发展所需要的最底层，一直到在 YouTube、搜索、Android 等产品和平台上的部署应用。” “是的，我们采取的是深层次的方法，因此我们能够在大规模上投入，并让 AI 在所有产品和业务中真正发挥作用。我认为我们现在处于一个更有利于长期布局的位置。”

KK.aWSB

223,452 просмотров • 7 месяцев назад

微软2023年Build大会演讲：如何训练和应用GPT（中英文字幕）这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。演讲主要有两部分内容： 1. OpenAI是如何训练GPT的 2. 我们如何有效应用GPT 都是非常有价值的分享。首先对于如何训练GPT，通常来说是四个阶段预训练（Pretraining），有监督的微调（Supervised Finetuning），奖励建模（Reward Modeling）和强化学习（Reinforcement Learning），这几个阶段通常是依次进行，每个阶段都有不同的数据集。预训练（Pretraining）：这个阶段的目标是让模型学习一种语言模型，用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后，模型可以生成一些有意义且语法正确的文本，但可能无法理解具体任务的需求。有监督的微调（Supervised Finetuning）：在预训练后，模型会进入微调阶段。在这个阶段，人类评估员将参与并给出指导，他们会给模型提供对话样本，样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用，例如回答问题或编写文章。奖励建模（Reward Modeling）：评估员将对模型生成的不同输出进行排名，以表示它们的质量。这个排名将被用作奖励函数，指导模型优化其生成的输出。强化学习（Reinforcement Learning）：强化学习阶段是一个迭代的过程，模型会试图优化其行为以获得最大的奖励。在这个阶段，模型会产生新的输出，评估员会对这些输出进行排名，然后模型根据这个反馈调整其行为。然后是如何有效应用GPT 在演讲中Andrej举了一个非常好的例子：人类和大语言模型（LLM）都是如何写作的？从这个例子中你能明显感觉到人类和GPT之间的差异。假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口，你的写作的过程中可能是像这样的： - 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口 - 我需要去获取两个州的人口数据 - 我不知道这两个周的人口数据 - 去维基百科找到加利福尼亚州的人口是39.2M - 去维基百科找到阿拉斯加州的人口是0.74M - 现在我需要计算一下两个州人口数相差多少倍，但是可能需要计算机帮忙 - 用计算器算出来39.2除以0.74约等于53 - 快速的检查一下53倍这个数字是不是符合常识，嗯，这是一个相当大的比值，但加利福尼亚州毕竟是人口最多的州，所以这个结果或许是合理的，可以继续 - 好了，我现在有了我需要的所有信息 - 写下：“加利福尼亚州的人口比53倍的……” - 觉得好像不太好，删除重写成：“加利福尼亚州的人口是阿拉斯加州的53倍。” - 嗯，觉得还不错也就是说，当人类写作时，哪怕是这样一个简单的句子，可能内心实际上进行了大量的运算的。但当我们用GPT进行写作这样的句子看起来会是什么样呢？从GPT的角度看，这只是一系列的标记（Tokens）。当GPT在接收到一个输入，比如你给出的主题。它会生成一段与输入相关的文本，GPT的目标是预测下一个词，所以它会连续生成一串词，形成一段连贯的文本。从本质上看，Transformer只是标记模拟器，它不知道自己知道什么不知道什么，它不知道自己擅长什么或不擅长什么，它只是尽力生成下一个标记，它也不会进行反思，也不会不进行任何合理性检查。它不会纠正自己的错误，它只是产生抽样的标记序列，它没有像人类那样的内心独白流。但是，GPT有一些优势，如它们拥有大量的基于事实的知识，并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制，能立即获取到上下文窗口中的信息，从而进行无损记忆。然而，GPT在推理和判断方面的能力相对较弱，如果提出的问题需要更复杂的推理，单凭一个标记的信息，GPT往往无法给出正确的答案。一些技巧可以提升GPT的表现，比如Cot（Chain of Though）设定步骤来引导GPT展示其工作过程，或者通过多次抽样然后选择最佳结果等，或者可以让GPT检查自己的输出，比如询问它是否完成了任务，最好是在Prompt中明确的要求它检查自己的输出。后面还介绍了目前比较流行的GPT应用，比如Agent、Plugin、CoT、Embedding等最后他用GPT-4写了一个结尾： “女士们，先生们，2023年Microsoft Build的创新者和先驱者们，欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师，是塑造数字领域的视野家，在那里人类繁荣发展。拥抱科技的无限可能，让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通，更出色，更包容的世界，为未来的世代留下。准备好释放你的创造力，探索未知，把梦想变成现实。你的旅程今天开始。” 原始视频地址： YouTube地址：

微软2023年Build大会演讲：如何训练和应用GPT（中英文字幕）这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。演讲主要有两部分内容： 1. OpenAI是如何训练GPT的 2. 我们如何有效应用GPT 都是非常有价值的分享。首先对于如何训练GPT，通常来说是四个阶段预训练（Pretraining），有监督的微调（Supervised Finetuning），奖励建模（Reward Modeling）和强化学习（Reinforcement Learning），这几个阶段通常是依次进行，每个阶段都有不同的数据集。预训练（Pretraining）：这个阶段的目标是让模型学习一种语言模型，用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后，模型可以生成一些有意义且语法正确的文本，但可能无法理解具体任务的需求。有监督的微调（Supervised Finetuning）：在预训练后，模型会进入微调阶段。在这个阶段，人类评估员将参与并给出指导，他们会给模型提供对话样本，样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用，例如回答问题或编写文章。奖励建模（Reward Modeling）：评估员将对模型生成的不同输出进行排名，以表示它们的质量。这个排名将被用作奖励函数，指导模型优化其生成的输出。强化学习（Reinforcement Learning）：强化学习阶段是一个迭代的过程，模型会试图优化其行为以获得最大的奖励。在这个阶段，模型会产生新的输出，评估员会对这些输出进行排名，然后模型根据这个反馈调整其行为。然后是如何有效应用GPT 在演讲中Andrej举了一个非常好的例子：人类和大语言模型（LLM）都是如何写作的？从这个例子中你能明显感觉到人类和GPT之间的差异。假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口，你的写作的过程中可能是像这样的： - 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口 - 我需要去获取两个州的人口数据 - 我不知道这两个周的人口数据 - 去维基百科找到加利福尼亚州的人口是39.2M - 去维基百科找到阿拉斯加州的人口是0.74M - 现在我需要计算一下两个州人口数相差多少倍，但是可能需要计算机帮忙 - 用计算器算出来39.2除以0.74约等于53 - 快速的检查一下53倍这个数字是不是符合常识，嗯，这是一个相当大的比值，但加利福尼亚州毕竟是人口最多的州，所以这个结果或许是合理的，可以继续 - 好了，我现在有了我需要的所有信息 - 写下：“加利福尼亚州的人口比53倍的……” - 觉得好像不太好，删除重写成：“加利福尼亚州的人口是阿拉斯加州的53倍。” - 嗯，觉得还不错也就是说，当人类写作时，哪怕是这样一个简单的句子，可能内心实际上进行了大量的运算的。但当我们用GPT进行写作这样的句子看起来会是什么样呢？从GPT的角度看，这只是一系列的标记（Tokens）。当GPT在接收到一个输入，比如你给出的主题。它会生成一段与输入相关的文本，GPT的目标是预测下一个词，所以它会连续生成一串词，形成一段连贯的文本。从本质上看，Transformer只是标记模拟器，它不知道自己知道什么不知道什么，它不知道自己擅长什么或不擅长什么，它只是尽力生成下一个标记，它也不会进行反思，也不会不进行任何合理性检查。它不会纠正自己的错误，它只是产生抽样的标记序列，它没有像人类那样的内心独白流。但是，GPT有一些优势，如它们拥有大量的基于事实的知识，并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制，能立即获取到上下文窗口中的信息，从而进行无损记忆。然而，GPT在推理和判断方面的能力相对较弱，如果提出的问题需要更复杂的推理，单凭一个标记的信息，GPT往往无法给出正确的答案。一些技巧可以提升GPT的表现，比如Cot（Chain of Though）设定步骤来引导GPT展示其工作过程，或者通过多次抽样然后选择最佳结果等，或者可以让GPT检查自己的输出，比如询问它是否完成了任务，最好是在Prompt中明确的要求它检查自己的输出。后面还介绍了目前比较流行的GPT应用，比如Agent、Plugin、CoT、Embedding等最后他用GPT-4写了一个结尾： “女士们，先生们，2023年Microsoft Build的创新者和先驱者们，欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师，是塑造数字领域的视野家，在那里人类繁荣发展。拥抱科技的无限可能，让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通，更出色，更包容的世界，为未来的世代留下。准备好释放你的创造力，探索未知，把梦想变成现实。你的旅程今天开始。” 原始视频地址： YouTube地址：

宝玉

298,921 просмотров • 3 лет назад

细节的 TTS 技术 Seed-TTS，制作出来的有声书可能要让喜马拉雅的很多主播失业了！支持多种语言。目前还没看到项目代码或者测试地址，只有论文：摘要我们介绍了Seed-TTS，这是一系列大规模自回归文本转语音（TTS）模型，能够生成几乎与人类语音无法区分的语音。Seed-TTS作为语音生成的基础模型，在语音上下文学习中表现出色，在说话者相似性和自然性方面的表现与真实人类语音在客观和主观评估中相匹配。通过微调，我们在这些指标上获得了更高的主观评分。Seed-TTS在各种语音属性（如情感）上提供了卓越的可控性，并且能够为自然环境中的说话者生成高度富有表现力和多样化的语音。此外，我们提出了一种用于语音因子化的自蒸馏方法，即通过让模型自行学习和改进的方式来提高性能，以及一种增强模型鲁棒性、说话者相似性和可控性的强化学习方法。我们还展示了Seed-TTS模型的非自回归（NAR）变体，名为Seed-TTSDiT，它采用完全基于扩散的架构。与以前的基于NAR的TTS系统不同，Seed-TTSDiT不依赖于预估的音素持续时间，而是通过端到端处理进行语音生成。我们证明了这种变体在客观和主观评估中达到了与基于语言模型的变体相当的性能，并展示了其在语音编辑中的有效性。

细节的 TTS 技术 Seed-TTS，制作出来的有声书可能要让喜马拉雅的很多主播失业了！支持多种语言。目前还没看到项目代码或者测试地址，只有论文：摘要我们介绍了Seed-TTS，这是一系列大规模自回归文本转语音（TTS）模型，能够生成几乎与人类语音无法区分的语音。Seed-TTS作为语音生成的基础模型，在语音上下文学习中表现出色，在说话者相似性和自然性方面的表现与真实人类语音在客观和主观评估中相匹配。通过微调，我们在这些指标上获得了更高的主观评分。Seed-TTS在各种语音属性（如情感）上提供了卓越的可控性，并且能够为自然环境中的说话者生成高度富有表现力和多样化的语音。此外，我们提出了一种用于语音因子化的自蒸馏方法，即通过让模型自行学习和改进的方式来提高性能，以及一种增强模型鲁棒性、说话者相似性和可控性的强化学习方法。我们还展示了Seed-TTS模型的非自回归（NAR）变体，名为Seed-TTSDiT，它采用完全基于扩散的架构。与以前的基于NAR的TTS系统不同，Seed-TTSDiT不依赖于预估的音素持续时间，而是通过端到端处理进行语音生成。我们证明了这种变体在客观和主观评估中达到了与基于语言模型的变体相当的性能，并展示了其在语音编辑中的有效性。

宝玉

67,886 просмотров • 2 лет назад

查理柯克纪念大会，塔克卡尔森从癫狂到虔诚的演讲全文：看到那个让我很感动。苏西·威尔斯眼含泪水，这在政治中不常见，但这是真实的。这是我见过的最难以置信的事情。无论美国接下来发生什么，我希望是朝着这个方向，因为上帝在这里，你能感觉得到。查理会喜欢这个的，不只是因为他喜欢人多的聚会，更因为他终究是一位基督教福音传道者。这实际上让我想起了我最喜欢的一个故事。大约2000年前在耶路撒冷，耶稣出现了，他开始谈论当权者，他开始做你能做的最糟糕的事，那就是说出关于人们的真相。他们讨厌这样，他们简直要疯了。他们变得执着于让他闭嘴。“这家伙必须停止说话。我们必须让这家伙闭嘴。” 我能想象在一个灯火通明的房间里，一群人围坐着吃鹰嘴豆泥，思考着我们该如何对付这个说出我们真相的家伙？“我们必须让他停止说话！”总会有一个人有好主意，我仿佛能听到他说：“我有个主意，我们为什么不直接杀了他？那样就能让他闭嘴了。那样就能解决问题了。” 但事情不是那样的。一切都是颠倒的，《登山宝训》我认为说得最清楚。一切都和你想象的相反。“哀恸的人有福了，因为他们必得安慰。”这是真的，你在这里能感觉得到。关于查理的信息，我思考了很多，我努力不让自己情绪化，因为除了其他一切，他还是一个了不起的人，一个正派的人，是那种你遇到的罕见的人，你和他的谈话非常投契，进行着那些你无法停止思考的非常深入的对话，这就是我与他的经历。但关于查理和他的信息，最主要的是，他正在把福音带给这个国家。他正在做当权者最讨厌的事情，那就是呼吁他们悔改。那么查理的信息有何不同呢？查理是一个政治人物，他对建立联盟和让合适的人上台深感兴趣，因为他知道在政治上取得巨大进步是可能的。但他也知道，政治不是最终的答案，它实际上无法回答最深层的问题。唯一真正的解决办法是耶稣。原因其实很简单。政治的核心是批评他人并让他们改变的过程。而基督教、福音信息、耶稣的信息，始于悔改。基督教呼吁你做出改变。耶稣教给我们的核心祷告——主祷文，要求我们原谅他人，但在此之前是请求我们自己的宽恕。换句话说，宽恕我们的罪，反思我们做错了什么，我们如何做得不够好，然后才有可能原谅他人。那是来自耶稣的呼召，要我们改变内心，那是唯一的前进之路。在这个国家，对于我们都知道我们将要走向何方，那是唯一的解决方案。查理知道没有那个我们会走向何方。那不是呼吁在政治上消极被动，当然不是。我曾和查理在许多舞台上呼吁选举各种人，特别是唐纳德·特朗普，我为此感到自豪。这只是承认查理真正想说的是，改变始于唯一重要的改变，那就是当我们悔改我们的罪时。是我们，是我，认识到真正的问题是我自己，以及我有多堕落。这就是查理在任何时候都无所畏惧的原因，真正的无所畏惧。直到他生命的最后一刻，他都毫不畏惧，他从不为自己辩解，他心中没有仇恨。我知道这一点，因为我的心里有一个小小的仇恨隔间，我常常向查理表达对某些人的这种情绪，而他总是会说：“那是个可悲的人。那是个破碎的人。那是个需要帮助的人。那是个需要耶稣的人。”他在私下里这么说，因为他就是这么想的。所以我想我只想说，这次聚会和上帝的同在，上帝在这个房间里非常明显的存在，耶稣的存在提醒我们2000年来所知道的——那就是任何试图熄灭光明的企图，都会使它每一次都燃烧得更亮。所以当我们进入接下来无论发生什么事的时候——而且显然有事要发生——请记住这一刻。记住在一个有圣灵像音叉一样嗡嗡作响的房间里。就是这条路。就在这里，就是这条路。这就是查理·柯克在一切背后所说的。谢谢，上帝保佑。

查理柯克纪念大会，塔克卡尔森从癫狂到虔诚的演讲全文：看到那个让我很感动。苏西·威尔斯眼含泪水，这在政治中不常见，但这是真实的。这是我见过的最难以置信的事情。无论美国接下来发生什么，我希望是朝着这个方向，因为上帝在这里，你能感觉得到。查理会喜欢这个的，不只是因为他喜欢人多的聚会，更因为他终究是一位基督教福音传道者。这实际上让我想起了我最喜欢的一个故事。大约2000年前在耶路撒冷，耶稣出现了，他开始谈论当权者，他开始做你能做的最糟糕的事，那就是说出关于人们的真相。他们讨厌这样，他们简直要疯了。他们变得执着于让他闭嘴。“这家伙必须停止说话。我们必须让这家伙闭嘴。” 我能想象在一个灯火通明的房间里，一群人围坐着吃鹰嘴豆泥，思考着我们该如何对付这个说出我们真相的家伙？“我们必须让他停止说话！”总会有一个人有好主意，我仿佛能听到他说：“我有个主意，我们为什么不直接杀了他？那样就能让他闭嘴了。那样就能解决问题了。” 但事情不是那样的。一切都是颠倒的，《登山宝训》我认为说得最清楚。一切都和你想象的相反。“哀恸的人有福了，因为他们必得安慰。”这是真的，你在这里能感觉得到。关于查理的信息，我思考了很多，我努力不让自己情绪化，因为除了其他一切，他还是一个了不起的人，一个正派的人，是那种你遇到的罕见的人，你和他的谈话非常投契，进行着那些你无法停止思考的非常深入的对话，这就是我与他的经历。但关于查理和他的信息，最主要的是，他正在把福音带给这个国家。他正在做当权者最讨厌的事情，那就是呼吁他们悔改。那么查理的信息有何不同呢？查理是一个政治人物，他对建立联盟和让合适的人上台深感兴趣，因为他知道在政治上取得巨大进步是可能的。但他也知道，政治不是最终的答案，它实际上无法回答最深层的问题。唯一真正的解决办法是耶稣。原因其实很简单。政治的核心是批评他人并让他们改变的过程。而基督教、福音信息、耶稣的信息，始于悔改。基督教呼吁你做出改变。耶稣教给我们的核心祷告——主祷文，要求我们原谅他人，但在此之前是请求我们自己的宽恕。换句话说，宽恕我们的罪，反思我们做错了什么，我们如何做得不够好，然后才有可能原谅他人。那是来自耶稣的呼召，要我们改变内心，那是唯一的前进之路。在这个国家，对于我们都知道我们将要走向何方，那是唯一的解决方案。查理知道没有那个我们会走向何方。那不是呼吁在政治上消极被动，当然不是。我曾和查理在许多舞台上呼吁选举各种人，特别是唐纳德·特朗普，我为此感到自豪。这只是承认查理真正想说的是，改变始于唯一重要的改变，那就是当我们悔改我们的罪时。是我们，是我，认识到真正的问题是我自己，以及我有多堕落。这就是查理在任何时候都无所畏惧的原因，真正的无所畏惧。直到他生命的最后一刻，他都毫不畏惧，他从不为自己辩解，他心中没有仇恨。我知道这一点，因为我的心里有一个小小的仇恨隔间，我常常向查理表达对某些人的这种情绪，而他总是会说：“那是个可悲的人。那是个破碎的人。那是个需要帮助的人。那是个需要耶稣的人。”他在私下里这么说，因为他就是这么想的。所以我想我只想说，这次聚会和上帝的同在，上帝在这个房间里非常明显的存在，耶稣的存在提醒我们2000年来所知道的——那就是任何试图熄灭光明的企图，都会使它每一次都燃烧得更亮。所以当我们进入接下来无论发生什么事的时候——而且显然有事要发生——请记住这一刻。记住在一个有圣灵像音叉一样嗡嗡作响的房间里。就是这条路。就在这里，就是这条路。这就是查理·柯克在一切背后所说的。谢谢，上帝保佑。

老猿说OldApe

70,078 просмотров • 10 месяцев назад

超越背单词：实用英语学习技巧我是如何通过工作来提高英语水平的。为一个英语使用者，我现在几乎不背单词了，但我的英语水平还是挺不错的。这主要是因为我的工作给了我大量的听说读写的机会。每天大概有一到两个小时都在开会，讨论、争论，还有处理邮件和Slack消息，这些都让我在语言的输入和输出方面得到了很好的锻炼。我想对那些想提高英语水平的朋友说，找到一个能给你提供练习机会的工作环境非常重要。不仅仅是英语，无论你想学什么技能，找到对你有利的位置都是关键。比如说，如果你是程序员，就应该专注于你领域内的关键词，然后学会灵活地运用它们。此外，我还要分享一个关于学习英语的小技巧：不要只专注于背单词，而是要找到关键词，然后用这些词来灵活表达自己的想法。使用AI工具进行反思也很重要。

超越背单词：实用英语学习技巧我是如何通过工作来提高英语水平的。为一个英语使用者，我现在几乎不背单词了，但我的英语水平还是挺不错的。这主要是因为我的工作给了我大量的听说读写的机会。每天大概有一到两个小时都在开会，讨论、争论，还有处理邮件和Slack消息，这些都让我在语言的输入和输出方面得到了很好的锻炼。我想对那些想提高英语水平的朋友说，找到一个能给你提供练习机会的工作环境非常重要。不仅仅是英语，无论你想学什么技能，找到对你有利的位置都是关键。比如说，如果你是程序员，就应该专注于你领域内的关键词，然后学会灵活地运用它们。此外，我还要分享一个关于学习英语的小技巧：不要只专注于背单词，而是要找到关键词，然后用这些词来灵活表达自己的想法。使用AI工具进行反思也很重要。

Bear Liu

38,152 просмотров • 2 лет назад

Clawdbot的创造者说，他最喜欢的模型是Claude Opus。但编程能力最强的，竟然是OpenAI的旧模型Codex。为什么？他说用Codex写代码，有95%的把握可以直接运行。因为它能理解大型代码库，需要的“人工干预”更少。这就像一个经验丰富的老员工，话不多，但活儿干得漂亮。而Claude Opus，虽然被认为综合能力更强，但在编程这个具体任务上，却需要更多技巧和引导才能达到同样效果。有点像一个很聪明但经验不足的新人。这引出一个有趣的问题。我们真的需要那个最“聪明”、最像人的AI吗？还是说，在特定领域，我们更需要一个可靠、高效、甚至有点“无聊”的工具？ Opus更像人，甚至会在聊天中讲出真正好笑的笑话。但Codex在专业领域更可靠。这是否揭示了通用人工智能（AGI）发展的一个岔路口？是追求一个无所不能但样样不精的“全才”，还是打造一系列在各自领域做到极致的“专才”？从制造业到高科技，美国产业的核心优势，向来是那些专注于解决具体问题的实用工具，而不是那些空泛的概念。技术的终点，究竟是创造一个和我们一样的“伙伴”，还是一个能把工作做到极致的工具？这两种路线，哪一个对恢复美国制造业和技术领导地位更有利？

Clawdbot的创造者说，他最喜欢的模型是Claude Opus。但编程能力最强的，竟然是OpenAI的旧模型Codex。为什么？他说用Codex写代码，有95%的把握可以直接运行。因为它能理解大型代码库，需要的“人工干预”更少。这就像一个经验丰富的老员工，话不多，但活儿干得漂亮。而Claude Opus，虽然被认为综合能力更强，但在编程这个具体任务上，却需要更多技巧和引导才能达到同样效果。有点像一个很聪明但经验不足的新人。这引出一个有趣的问题。我们真的需要那个最“聪明”、最像人的AI吗？还是说，在特定领域，我们更需要一个可靠、高效、甚至有点“无聊”的工具？ Opus更像人，甚至会在聊天中讲出真正好笑的笑话。但Codex在专业领域更可靠。这是否揭示了通用人工智能（AGI）发展的一个岔路口？是追求一个无所不能但样样不精的“全才”，还是打造一系列在各自领域做到极致的“专才”？从制造业到高科技，美国产业的核心优势，向来是那些专注于解决具体问题的实用工具，而不是那些空泛的概念。技术的终点，究竟是创造一个和我们一样的“伙伴”，还是一个能把工作做到极致的工具？这两种路线，哪一个对恢复美国制造业和技术领导地位更有利？

墓碑科技

62,012 просмотров • 5 месяцев назад

Ilya——塑造世界的人工智能科学家如今，AI 是一项伟大的科技，因为 AI 将解决我们现在面临的所有问题。它能解决就业问题，能治疗疾病，能消除贫困，但同时它也会带来新的问题。假新闻将会愈演愈烈，网络攻击将变得更加严重，我们将面临全自动的 AI 武器的问题。我认为 AI 有潜力创造出无比稳定的独裁统治。今天早晨，关于人工智能威力的警告再次响起，超过 1300 位科技产业领军人物、研究者及其他人士正呼吁暂停人工智能的发展，以便认真考虑其带来的风险。扮演上帝，科学家们被指责这么做已经有一段时间了，但我们正在创造的东西确实与我们迄今为止创造的任何东西都截然不同。是的，我们绝对有能力创造出具有自我目标的全自主实体。而且，这些实体变得比人类聪明的时候，确保它们的目标与我们的目标保持一致将变得至关重要。什么激励我？我喜欢思考根本问题，基本问题。我们的系统不能做什么，而人类却可以做到？我几乎以哲学的方式去思考这些问题。比如，什么是学习？什么是经验？什么是思考？大脑又是如何运作的呢？我感觉技术就仿佛一种自然力量。在我看来，技术与生物进化之间有许多相似之处。生物进化的过程其实很容易理解，我们有基因的变异，自然选择的过程。我们保留那些有利于生存的变异，随着时间的推移，这个过程将使生物体变得极其复杂。我们不能因为理解了生物进化就能理解人体是如何运作的，但我们可以大概理解这个过程。我认为目前的机器学习也处在类似的阶段，特别是深度学习，我们有一个非常简单的规则，它从数据中提取信息，并将这些信息输入到模型中，我们只需不断重复这个过程。这个过程的结果就是将数据的复杂性转化为模型的复杂性。因此，最终的模型会变得非常复杂，我们并不能完全了解它的运作机制，需要进行大量的研究，但实现这一切的算法其实很简单。也许你听说过 ChatGPT，如果你还没听说过，那就做好准备。你可以把它看作是暴风雨来临之前的零星细雨。我们需要对此保持高度警觉，因为我认同这是一个意义重大的时刻。ChatGPT 被誉为颠覆性的创新，在许多方面，它确实做到了，比如在测试中得分超过人类。微软最近的一项研究得出结论，GPT4 是一个初级阶段的，但尚未完全形成的通用人工智能系统。这就是通用人工智能。通用人工智能，这是一个可以胜任人类能做的任何工作或任务的计算机系统，而且可能做得更好。有可能在短时间内实现通用人工智能，也可能需要更长的时间。但我认为，由于通用人工智能可能在不久的将来出现，这个可能性足够大，我们应该给予它足够的重视。这一点至关重要要确保这些超级智能的系统能按照我们的最大利益去行动。最初的通用人工智能可能就是大型数据中心，这些中心中充满了大量并行运行的专用神经网络处理器，紧凑、高热、能耗大，其消耗的能量可能相当于一千万个家庭的用电量。这些系统的智能程度可能会大幅提升，我相信它们将对社会产生深远影响。不过，人类真的会从中获益吗？谁会获益，谁又会付出代价呢？首批通用人工智能的信念和欲望将极为重要，所以我们必须正确地编程这些系统。如果我们做不到这一点，那么就会出现这样的情况：进化的本质，即自然选择，将使这些系统优先考虑自己的生存。并不是说它们会主动对人类产生敌意，甚至想要伤害人类，但它们将变得过于强大。我认为，一个恰当的类比就是人类对待动物的方式。我们并不是憎恨动物，实际上人类往往对动物怀有深深的爱意，但当我们需要在两座城市之间修建高速公路时，我们并不会征求动物的意见，而只是因为这对我们来说非常重要而去做。我认为这也是我们与通用人工智能（AGI）之间的默认关系，那些能真正自主运作并为自己目标服务的 AGI。许多机器学习领域的专家这些知识渊博和经验丰富的人士，对通用人工智能（AGI）抱有许多疑虑。他们对 AGI 可能出现的时间以及是否真的能够实现表示怀疑。目前，这还是一个鲜为人知的问题。用于神经网络和人工智能的计算机速度可能在未来几年内增加 10 万倍。如果多个团队处于竞相开发通用人工智能的军备竞赛态势中，他们就会没有足够的时间来确保他们构建的通用人工智能会真正关心人类。因为在我看来，这就像是通用人工智能发展的雪崩，一发不可收拾。我认为将来整个地球的表面很可能布满太阳能板和数据中心。考虑到这些担忧，未来的通用人工智能的建设应该是多国间的合作项目。不论如何，人工智能的未来都将是美好的。如果这同样也能给人类带来福祉，那就更加理想了。视频来源：

Ilya——塑造世界的人工智能科学家如今，AI 是一项伟大的科技，因为 AI 将解决我们现在面临的所有问题。它能解决就业问题，能治疗疾病，能消除贫困，但同时它也会带来新的问题。假新闻将会愈演愈烈，网络攻击将变得更加严重，我们将面临全自动的 AI 武器的问题。我认为 AI 有潜力创造出无比稳定的独裁统治。今天早晨，关于人工智能威力的警告再次响起，超过 1300 位科技产业领军人物、研究者及其他人士正呼吁暂停人工智能的发展，以便认真考虑其带来的风险。扮演上帝，科学家们被指责这么做已经有一段时间了，但我们正在创造的东西确实与我们迄今为止创造的任何东西都截然不同。是的，我们绝对有能力创造出具有自我目标的全自主实体。而且，这些实体变得比人类聪明的时候，确保它们的目标与我们的目标保持一致将变得至关重要。什么激励我？我喜欢思考根本问题，基本问题。我们的系统不能做什么，而人类却可以做到？我几乎以哲学的方式去思考这些问题。比如，什么是学习？什么是经验？什么是思考？大脑又是如何运作的呢？我感觉技术就仿佛一种自然力量。在我看来，技术与生物进化之间有许多相似之处。生物进化的过程其实很容易理解，我们有基因的变异，自然选择的过程。我们保留那些有利于生存的变异，随着时间的推移，这个过程将使生物体变得极其复杂。我们不能因为理解了生物进化就能理解人体是如何运作的，但我们可以大概理解这个过程。我认为目前的机器学习也处在类似的阶段，特别是深度学习，我们有一个非常简单的规则，它从数据中提取信息，并将这些信息输入到模型中，我们只需不断重复这个过程。这个过程的结果就是将数据的复杂性转化为模型的复杂性。因此，最终的模型会变得非常复杂，我们并不能完全了解它的运作机制，需要进行大量的研究，但实现这一切的算法其实很简单。也许你听说过 ChatGPT，如果你还没听说过，那就做好准备。你可以把它看作是暴风雨来临之前的零星细雨。我们需要对此保持高度警觉，因为我认同这是一个意义重大的时刻。ChatGPT 被誉为颠覆性的创新，在许多方面，它确实做到了，比如在测试中得分超过人类。微软最近的一项研究得出结论，GPT4 是一个初级阶段的，但尚未完全形成的通用人工智能系统。这就是通用人工智能。通用人工智能，这是一个可以胜任人类能做的任何工作或任务的计算机系统，而且可能做得更好。有可能在短时间内实现通用人工智能，也可能需要更长的时间。但我认为，由于通用人工智能可能在不久的将来出现，这个可能性足够大，我们应该给予它足够的重视。这一点至关重要要确保这些超级智能的系统能按照我们的最大利益去行动。最初的通用人工智能可能就是大型数据中心，这些中心中充满了大量并行运行的专用神经网络处理器，紧凑、高热、能耗大，其消耗的能量可能相当于一千万个家庭的用电量。这些系统的智能程度可能会大幅提升，我相信它们将对社会产生深远影响。不过，人类真的会从中获益吗？谁会获益，谁又会付出代价呢？首批通用人工智能的信念和欲望将极为重要，所以我们必须正确地编程这些系统。如果我们做不到这一点，那么就会出现这样的情况：进化的本质，即自然选择，将使这些系统优先考虑自己的生存。并不是说它们会主动对人类产生敌意，甚至想要伤害人类，但它们将变得过于强大。我认为，一个恰当的类比就是人类对待动物的方式。我们并不是憎恨动物，实际上人类往往对动物怀有深深的爱意，但当我们需要在两座城市之间修建高速公路时，我们并不会征求动物的意见，而只是因为这对我们来说非常重要而去做。我认为这也是我们与通用人工智能（AGI）之间的默认关系，那些能真正自主运作并为自己目标服务的 AGI。许多机器学习领域的专家这些知识渊博和经验丰富的人士，对通用人工智能（AGI）抱有许多疑虑。他们对 AGI 可能出现的时间以及是否真的能够实现表示怀疑。目前，这还是一个鲜为人知的问题。用于神经网络和人工智能的计算机速度可能在未来几年内增加 10 万倍。如果多个团队处于竞相开发通用人工智能的军备竞赛态势中，他们就会没有足够的时间来确保他们构建的通用人工智能会真正关心人类。因为在我看来，这就像是通用人工智能发展的雪崩，一发不可收拾。我认为将来整个地球的表面很可能布满太阳能板和数据中心。考虑到这些担忧，未来的通用人工智能的建设应该是多国间的合作项目。不论如何，人工智能的未来都将是美好的。如果这同样也能给人类带来福祉，那就更加理想了。视频来源：

宝玉

45,172 просмотров • 2 лет назад

来自 Claude Code 团队成员 Thariq 分享的用好 Fable 5模型的秘诀。以下内容整理自 Thariq 的视频：过去，我们需要时刻检查 Claude 是否在正确地做事。比如，把任务拆分成小块交给它、反复检查它的输出，并在它过早停下时发现问题。但有了 Claude Fable 5，我反而发现自己越来越多地是在检查 Claude 是否在做正确的工作。 Fable 可以一次运行几个小时，它会测试自己的工作，老实说，我经常发现它写出的代码比我的还要好。我的工作变得越来越侧重于指引方向和前期设置，而不是监督。因此，以下是我在使用 Fable 时，工作方式发生的三个改变。首先，我把 Claude 当作一个思维伙伴。我给它提供所需的上下文。其次，我给 Claude 设定目标并提供验证这些目标的方法。最后，我试着变得更有野心，让 Claude 去做我以前从未尝试过的事情。第一点，你要越来越多地把 Claude 视为一个思维伙伴。我在使用 Fable 时发现的一个失败模式是，我可能实际上并不知道自己想要什么，或者我可能不知道什么是可行的。但是，在我的思考过程中尽早让 Claude 参与进来，我就可以在实施之前发现这些问题。举个例子，我会先从一个小的需求规范（spec）开始，在编写最终的规范文件之前，我会要求 Claude 就实施方案对我进行“面试提问”。这有助于我建立信心，确信自己知道想要什么。或者，我也可能抛出一个想法，让它想出几个可以发展的方向，并制作一些 HTML 页面原型供我审查。当我准备好进行实施时，我会尽量给它提供上下文，而不仅仅是约束条件，这样 Claude 就能真正帮助我达成目标。例如，我不会说“保持简单，不要过度设计”，而是会说：“嘿，这个功能是个实验。我们很有可能在一个月后删掉它。所以不要构建任何丢弃起来会很心疼的东西。”给它这样的上下文，能让它发现你可能都没想到的事情。一旦你知道自己想要什么了，特别是面对一个雄心勃勃的难题时，考虑给 Claude 设定目标以及验证目标的方法。为此，我们推出了两个很好用的新功能，我也鼓励大家试一试：/goal（目标指令）和 workflows（工作流）。目标功能帮助 Claude 持续工作直至完成，而工作流则帮助 Claude 验证其工作。因此，在我写完规范文档后，我可能会告诉 Claude：“设定一个目标，以完整实现该规范。然后使用工作流来验证计划的每个部分，并准备一份报告，说明已实现了哪些内容以及是否有任何差异。”这让 Claude 能够尽可能以富有创意和周到的方式发挥其能力，同时又能确保它正在构建你想要的东西。最后，试着更有野心一些。 Fable 真的是一个令人难以置信的模型，它促使我在工作中打破常规去思考。例如，我正在用 Fable 剪辑这个视频。如果有什么事情是你以为大语言模型做不到的，给它个机会试试。我们由衷地认为，Fable 提高了“一切皆有可能”的上限。

来自 Claude Code 团队成员 Thariq 分享的用好 Fable 5模型的秘诀。以下内容整理自 Thariq 的视频：过去，我们需要时刻检查 Claude 是否在正确地做事。比如，把任务拆分成小块交给它、反复检查它的输出，并在它过早停下时发现问题。但有了 Claude Fable 5，我反而发现自己越来越多地是在检查 Claude 是否在做正确的工作。 Fable 可以一次运行几个小时，它会测试自己的工作，老实说，我经常发现它写出的代码比我的还要好。我的工作变得越来越侧重于指引方向和前期设置，而不是监督。因此，以下是我在使用 Fable 时，工作方式发生的三个改变。首先，我把 Claude 当作一个思维伙伴。我给它提供所需的上下文。其次，我给 Claude 设定目标并提供验证这些目标的方法。最后，我试着变得更有野心，让 Claude 去做我以前从未尝试过的事情。第一点，你要越来越多地把 Claude 视为一个思维伙伴。我在使用 Fable 时发现的一个失败模式是，我可能实际上并不知道自己想要什么，或者我可能不知道什么是可行的。但是，在我的思考过程中尽早让 Claude 参与进来，我就可以在实施之前发现这些问题。举个例子，我会先从一个小的需求规范（spec）开始，在编写最终的规范文件之前，我会要求 Claude 就实施方案对我进行“面试提问”。这有助于我建立信心，确信自己知道想要什么。或者，我也可能抛出一个想法，让它想出几个可以发展的方向，并制作一些 HTML 页面原型供我审查。当我准备好进行实施时，我会尽量给它提供上下文，而不仅仅是约束条件，这样 Claude 就能真正帮助我达成目标。例如，我不会说“保持简单，不要过度设计”，而是会说：“嘿，这个功能是个实验。我们很有可能在一个月后删掉它。所以不要构建任何丢弃起来会很心疼的东西。”给它这样的上下文，能让它发现你可能都没想到的事情。一旦你知道自己想要什么了，特别是面对一个雄心勃勃的难题时，考虑给 Claude 设定目标以及验证目标的方法。为此，我们推出了两个很好用的新功能，我也鼓励大家试一试：/goal（目标指令）和 workflows（工作流）。目标功能帮助 Claude 持续工作直至完成，而工作流则帮助 Claude 验证其工作。因此，在我写完规范文档后，我可能会告诉 Claude：“设定一个目标，以完整实现该规范。然后使用工作流来验证计划的每个部分，并准备一份报告，说明已实现了哪些内容以及是否有任何差异。”这让 Claude 能够尽可能以富有创意和周到的方式发挥其能力，同时又能确保它正在构建你想要的东西。最后，试着更有野心一些。 Fable 真的是一个令人难以置信的模型，它促使我在工作中打破常规去思考。例如，我正在用 Fable 剪辑这个视频。如果有什么事情是你以为大语言模型做不到的，给它个机会试试。我们由衷地认为，Fable 提高了“一切皆有可能”的上限。

宝玉

141,635 просмотров • 13 дней назад