正在加载视频...

视频加载失败

加载此视频时出现问题。这可能是由于临时网络问题，或视频可能不可用。

这是斯坦福2023年公开课CS25第一课：《Introduction to Transformers》（中英文字幕）讲师: Andrej Karpathy 自2017年首次亮相以来，Transformer已经彻底改变了自然语言处理（NLP）的领域。现在，Transformer在深度学习的各个领域都找到了应用，无论是计算机视觉（CV），强化学习（RL），生成对抗网络（GANs），语音甚至生物学。在其他诸多领域，Transformer帮助实现了强大的语言模型如GPT-3，并在DeepMind最近的AlphaFold2中发挥了关键作用，该模型处理蛋白质折叠问题。在这个讲座系列中，将详细探讨Transformer是如何工作的，并深入研究各种不同类型的Transformer以及它们在不同领域中的应用。斯坦福大学通过邀请在不同领域的Transformer研究的前沿人物进行客座讲座来实现这一目标。相关教材： Attention Is All You Need： The Illustrated Transformer： The Annotated Transformer：关于这个课程的更多信息可以在这里找到：

宝玉

251,418 subscribers

219,852 次观看 • 3 年前 •via X (Twitter)

教育新闻政治科学技术

Anya Rossi• Live Now

Private livecam show

10 条评论

宝玉的头像

宝玉3 年前

原始视频：中英文字幕高清版本：

Playful6809 的头像

Playful68093 年前

@readwise save thread

pp 的头像

pp3 年前

@readwise save thread

1984 的头像

19843 年前

真的多看幾堂就覺得腦容量快爆了要休息好幾周消化

tom 的头像

tom3 年前

有没有小白使用的教程

🐴 的头像

🐴3 年前

@SaveToNotion #tweet

阿西莫的头像

阿西莫3 年前

@SaveToNotion #tweetfleet

🐱🐱 的头像

🐱🐱3 年前

@SaveToNotion #tweet

yanlwang 的头像

yanlwang3 年前

mark

huazai 的头像

huazai3 年前

@SaveToNotion #thread #transformer

相关视频

生成式 AI 入门教程 2 - 什么是生成式 AI - 原理和指南欢迎来到我们的课程，今天我们将深入了解生成式人工智能（AI）的奥秘。生成式 AI 是当前 AI 领域中最为重要的工具之一，它展示了令人惊叹的文本生成能力，如 ChatGPT 和 Bard 等系统。本视频将向你介绍生成式 AI 的工作原理，并告诉你在哪些情况下最好谨慎使用它。我们还将对比监督学习和生成式 AI，帮助你更好地理解这一领域。在人工智能的各个领域中，监督学习和生成式 AI 是最为重要的工具。我们将通过实例解释监督学习的概念，并展示它在广告、自动驾驶汽车、医疗和语音识别等领域的应用。随后，我们将介绍大规模监督学习在过去十年中的发展，以及它如何为生成式 AI 的崛起打下基础。 🚀 课程亮点：详细介绍生成式人工智能及其工作原理。对比监督学习和生成式 AI，展示它们在实际应用中的不同。提供实际例子，帮助你更好地理解和应用这些概念。 🔥 你将学到：生成式人工智能的定义和应用监督学习和生成式 AI 的区别和联系如何在实际情境中应用这些工具 🌐 课程内容：生成式 AI 和监督学习的基本原理大规模监督学习的发展历程生成式 AI 在文本生成中的应用 📚 学习建议：关注课程中提到的实际应用例子，以更好地理解理论知识。在学习过程中不断提问和实践，以加深理解。整理课程中的关键点，并尝试将其应用到你自己的项目中。 🔗 相关链接：课程地址：油管播放列表： B站播放列表：

生成式 AI 入门教程 2 - 什么是生成式 AI - 原理和指南欢迎来到我们的课程，今天我们将深入了解生成式人工智能（AI）的奥秘。生成式 AI 是当前 AI 领域中最为重要的工具之一，它展示了令人惊叹的文本生成能力，如 ChatGPT 和 Bard 等系统。本视频将向你介绍生成式 AI 的工作原理，并告诉你在哪些情况下最好谨慎使用它。我们还将对比监督学习和生成式 AI，帮助你更好地理解这一领域。在人工智能的各个领域中，监督学习和生成式 AI 是最为重要的工具。我们将通过实例解释监督学习的概念，并展示它在广告、自动驾驶汽车、医疗和语音识别等领域的应用。随后，我们将介绍大规模监督学习在过去十年中的发展，以及它如何为生成式 AI 的崛起打下基础。 🚀 课程亮点：详细介绍生成式人工智能及其工作原理。对比监督学习和生成式 AI，展示它们在实际应用中的不同。提供实际例子，帮助你更好地理解和应用这些概念。 🔥 你将学到：生成式人工智能的定义和应用监督学习和生成式 AI 的区别和联系如何在实际情境中应用这些工具 🌐 课程内容：生成式 AI 和监督学习的基本原理大规模监督学习的发展历程生成式 AI 在文本生成中的应用 📚 学习建议：关注课程中提到的实际应用例子，以更好地理解理论知识。在学习过程中不断提问和实践，以加深理解。整理课程中的关键点，并尝试将其应用到你自己的项目中。 🔗 相关链接：课程地址：油管播放列表： B站播放列表：

宝玉

80,746 次观看 • 2 年前

GTC 2024：黄仁勋与七位 Transformer 论文作者圆桌会谈中英文字幕在今年的GTC大会上，英伟达的黄仁勋以一种充满仪式感的方式邀请了Transformer的七位作者（Niki Parmar因故临时未能出席）参与圆桌论坛的讨论，这是七位作者首次在公开场合集体亮相。他们在对话中也表达了一些令人印象深刻的观点： 1. 计算成本的降低和加速计算的兴起在个人电脑革命的 20 年里，计算成本降低了 10000 倍，这是一个史无前例的成就。然而，计算成本的急剧下降在某个时刻停止了。为了继续推动计算能力的发展，加速计算应运而生。加速计算虽然具有挑战性，但通过加速那占据 99% 运行时间的 1% 代码，许多看似不可能的事情将变为可能。 2. 人工智能技术的突破和生成式 AI 的潜力 AlexNet 的出现标志着人工智能与 GPU 加速计算的首次结合，引发了人们对 AI 领域的广泛关注。随后，生成式 AI 的出现让人们看到了 AI 技术的巨大潜力。生成式 AI 不仅可以识别图像，还可以根据文本描述生成相应的图像，这种对数据的理解和生成能力，预示着一场新的工业革命的开始。这场革命将诞生前所未有的产品和服务，并对各行各业产生深远的影响。 3. Transformer 的诞生与自然语言处理的变革 Transformer 的发明者们分享了他们的研究动机和创新历程。最初，他们希望建立一个能够处理海量自然语言数据的高效模型。Transformer 独特的自注意力机制和并行处理能力，使其能够在各种自然语言任务上取得突破性的进展。同时，Transformer 的通用性也让研究者们意识到，它不仅适用于语言，还可以扩展到图像、音频等多个领域，这为人工智能的发展开辟了新的道路。 4. AI 创业公司的使命和愿景随着人工智能技术的不断进步，许多 Transformer 的发明者选择离开大公司，创立了自己的 AI 公司。他们的目标是将这项变革性的技术带给更多人，让 AI 惠及各行各业。有的公司致力于创建通用的 AI 平台，有的专注于特定领域，如生物医学或金融。但他们的共同愿景是，通过人工智能来解决现实世界的问题，改善人类的生活。这些 AI 创业公司的努力，将加速人工智能技术的发展和应用。 5. 人工智能未来的发展方向对话中，专家们对人工智能未来的发展方向进行了展望。他们认为，未来的重点将是提高模型的推理能力和常识理解。同时，高质量的数据和人机交互也至关重要。研究者们期望通过构建更高效、更通用的模型，让 AI 能够从更少的数据中学习，并具备类似人类的思考和问题解决能力。此外，将 AI 与其他领域如生物学、金融等结合，将释放出更大的潜力。

GTC 2024：黄仁勋与七位 Transformer 论文作者圆桌会谈中英文字幕在今年的GTC大会上，英伟达的黄仁勋以一种充满仪式感的方式邀请了Transformer的七位作者（Niki Parmar因故临时未能出席）参与圆桌论坛的讨论，这是七位作者首次在公开场合集体亮相。他们在对话中也表达了一些令人印象深刻的观点： 1. 计算成本的降低和加速计算的兴起在个人电脑革命的 20 年里，计算成本降低了 10000 倍，这是一个史无前例的成就。然而，计算成本的急剧下降在某个时刻停止了。为了继续推动计算能力的发展，加速计算应运而生。加速计算虽然具有挑战性，但通过加速那占据 99% 运行时间的 1% 代码，许多看似不可能的事情将变为可能。 2. 人工智能技术的突破和生成式 AI 的潜力 AlexNet 的出现标志着人工智能与 GPU 加速计算的首次结合，引发了人们对 AI 领域的广泛关注。随后，生成式 AI 的出现让人们看到了 AI 技术的巨大潜力。生成式 AI 不仅可以识别图像，还可以根据文本描述生成相应的图像，这种对数据的理解和生成能力，预示着一场新的工业革命的开始。这场革命将诞生前所未有的产品和服务，并对各行各业产生深远的影响。 3. Transformer 的诞生与自然语言处理的变革 Transformer 的发明者们分享了他们的研究动机和创新历程。最初，他们希望建立一个能够处理海量自然语言数据的高效模型。Transformer 独特的自注意力机制和并行处理能力，使其能够在各种自然语言任务上取得突破性的进展。同时，Transformer 的通用性也让研究者们意识到，它不仅适用于语言，还可以扩展到图像、音频等多个领域，这为人工智能的发展开辟了新的道路。 4. AI 创业公司的使命和愿景随着人工智能技术的不断进步，许多 Transformer 的发明者选择离开大公司，创立了自己的 AI 公司。他们的目标是将这项变革性的技术带给更多人，让 AI 惠及各行各业。有的公司致力于创建通用的 AI 平台，有的专注于特定领域，如生物医学或金融。但他们的共同愿景是，通过人工智能来解决现实世界的问题，改善人类的生活。这些 AI 创业公司的努力，将加速人工智能技术的发展和应用。 5. 人工智能未来的发展方向对话中，专家们对人工智能未来的发展方向进行了展望。他们认为，未来的重点将是提高模型的推理能力和常识理解。同时，高质量的数据和人机交互也至关重要。研究者们期望通过构建更高效、更通用的模型，让 AI 能够从更少的数据中学习，并具备类似人类的思考和问题解决能力。此外，将 AI 与其他领域如生物学、金融等结合，将释放出更大的潜力。

宝玉

54,522 次观看 • 2 年前

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

宝玉

114,798 次观看 • 3 年前

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。词嵌入(Word Embedding)的概念和作用词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。深度学习模型的基本结构和特点深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。生成模型预测下一个词的过程当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。模型训练中的"Temperature"超参数在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。词嵌入(Word Embedding)的概念和作用词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。深度学习模型的基本结构和特点深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。生成模型预测下一个词的过程当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。模型训练中的"Temperature"超参数在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

歸藏(guizang.ai)

52,216 次观看 • 2 年前

OpenAI Research Scientist Hyung Won Chung 在首尔国立大学发表的一场演讲。以下是作者写的视频介绍： ------ 这次演讲我取名为“2023年的大语言模型”。这是一次激进的尝试，希望能总结一下我们这个日新月异、快速发展的领域。试图总结这个领域让我深思：在这个领域中，什么是真正关键的呢？虽然“扩展”无疑是显著的，但其深远的意义却更为微妙和细腻。以下，我将从三个方面分享关于“扩展”的思考： 1:02 1）我们需要改变观点，因为只有在一定规模时，某些能力才会浮现。即便当前一代的大语言模型（LLMs）还无法展现出某些能力，我们也不应该轻言“它不行”。相反，我们应该思考“它还没行”。一旦模型规模扩大，许多结论都会发生改变。这意味着，一些过去的结论已经不再适用，我们需要不断地摒弃那些基于这些过时观点的直觉。 7:12 2）从第一性原理出发，扩大 Transformer 的规模就是让很多很多机器高效地进行矩阵乘法。我注意到，许多大语言模型领域的研究者对扩展的具体操作不太了解。这部分内容主要是为那些想要理解大型模型训练含义的技术人员准备的。 27:52 3）我还讨论了在进一步扩展的时候（设想是 GPT-4 的 10000 倍规模）我们需要考虑什么。对我来说，扩展不只是用更多的机器做同样的事情，更关键的是找到限制进一步扩展的那个“归纳偏见”。我认为，最大似然估计目标函数是实现 GPT-4 10000倍规模的瓶颈。使用富有表达力的神经网络学习目标函数，将是下一个更加可扩展的范式。随着计算成本的指数级下降，可扩展的方法终将胜出。与此竞争无异于自讨苦吃。在这些部分中，我都是从第一性原理出发来描述的。在一个发展如此迅速的领域，比如大语言模型，没有人能完全跟上其发展的步伐。我相信，从第一性原理出发理解核心思想，是唯一可行的方式。免责声明：这里我表达的只是个人观点，并不反映我雇主的任何立场和观点。 ------ 原始视频：注：因时间关系，我仅精校了视频前一半，但整体不影响观看

OpenAI Research Scientist Hyung Won Chung 在首尔国立大学发表的一场演讲。以下是作者写的视频介绍： ------ 这次演讲我取名为“2023年的大语言模型”。这是一次激进的尝试，希望能总结一下我们这个日新月异、快速发展的领域。试图总结这个领域让我深思：在这个领域中，什么是真正关键的呢？虽然“扩展”无疑是显著的，但其深远的意义却更为微妙和细腻。以下，我将从三个方面分享关于“扩展”的思考： 1:02 1）我们需要改变观点，因为只有在一定规模时，某些能力才会浮现。即便当前一代的大语言模型（LLMs）还无法展现出某些能力，我们也不应该轻言“它不行”。相反，我们应该思考“它还没行”。一旦模型规模扩大，许多结论都会发生改变。这意味着，一些过去的结论已经不再适用，我们需要不断地摒弃那些基于这些过时观点的直觉。 7:12 2）从第一性原理出发，扩大 Transformer 的规模就是让很多很多机器高效地进行矩阵乘法。我注意到，许多大语言模型领域的研究者对扩展的具体操作不太了解。这部分内容主要是为那些想要理解大型模型训练含义的技术人员准备的。 27:52 3）我还讨论了在进一步扩展的时候（设想是 GPT-4 的 10000 倍规模）我们需要考虑什么。对我来说，扩展不只是用更多的机器做同样的事情，更关键的是找到限制进一步扩展的那个“归纳偏见”。我认为，最大似然估计目标函数是实现 GPT-4 10000倍规模的瓶颈。使用富有表达力的神经网络学习目标函数，将是下一个更加可扩展的范式。随着计算成本的指数级下降，可扩展的方法终将胜出。与此竞争无异于自讨苦吃。在这些部分中，我都是从第一性原理出发来描述的。在一个发展如此迅速的领域，比如大语言模型，没有人能完全跟上其发展的步伐。我相信，从第一性原理出发理解核心思想，是唯一可行的方式。免责声明：这里我表达的只是个人观点，并不反映我雇主的任何立场和观点。 ------ 原始视频：注：因时间关系，我仅精校了视频前一半，但整体不影响观看

宝玉

75,169 次观看 • 3 年前

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

宝玉

1,125,078 次观看 • 2 年前

今天给大家翻译的是最近吴恩达采访李飞飞的一期视频“Andrew Ng and Fei-Fei Li Discuss Human-Centered Artificial Intelligence - Stanford Online”，都是AI领域的重量级人物。李飞飞现在是斯坦福大学的计算机科学教授，还是HAI（以人为本的人工智能研究所）的联席主任。李飞飞还是吴恩达邀请去的斯坦福，最开始还担心李飞飞不去，而李飞飞则说，谁能抵挡斯坦福的诱惑😄 第一个话题是为什么李飞飞从物理专业转到了人工智能领域。李飞飞分享了她的经历，她一直对物理和STEM充满热情，后来在普林斯顿大学主修物理并在神经科学实验室实习。然而，通过阅读了一些伟大物理学家的著作例如薛定谔的《生命是什么？》罗杰·彭罗斯的《皇帝的新脑》，她对智能产生了极大的好奇心，这促使她在研究生阶段转向了人工智能。她对智能的基本计算原理有极大的兴趣，期待有一天能找到一组简单的原理或方程，可以定义智能的过程，无论是动物智能还是机器智能。李飞飞认为AI还处于初级阶段，就像牛顿之前的物理学，曾经有过伟大的物理学，伟大的物理学家，很多现象学，很多关于天体如何运动的研究。但是是牛顿开始写出非常简单的定律。我们仍在经历那个非常令人兴奋的AI基础科学成长时期，就像当年的物理学还处于牛顿之前的阶段。第二个话题是李飞飞早年的移民经历。李飞飞在15岁时移民到美国，她的父母不会说英语，经营一家干洗店可能是她们家最好的选择，因为洗衣店主要是周末营业，这样她作为学生也可以参与运营。尽管生活充满挑战，李飞飞坚持下来，并成功进入普林斯顿大学。干洗店的经营帮助她接触到了机器，也使得她对STEM（科学、技术、工程和数学）领域产生了兴趣。吴恩达也分享了他的早年经历，他在高中时曾在办公室工作，经常复印文件，为人们泡咖啡。这些经历启发他思考如何用机器人完成这些工作，这可能也种下了他对AI的兴趣的种子。希望他们高中的故事能够激励更多的人，无论我们起点如何，都有机会成功。第三个话题是关于李飞飞如何开始ImageNet项目和创建的Caltech 101数据库的。李飞飞是最早将机器学习应用于计算机视觉的学生之一，这在当时是一个具有争议的想法。在计算机视觉和人类智能理解的研究中，她利用机器学习方法进行真实世界对象的识别，尽管她很快就发现这个领域的一个主要挑战是模型的泛化能力不足。为了解决这个问题，李飞飞和她的导师开始探索大规模数据项目，创建了Caltech 101数据库。李飞飞开始做这事时非常早，那时候数码相机还非常昂贵，最初的数据是李飞飞和她妈还有几个本科生一起做的。这个数据库对许多研究者产生了积极影响。之后，李飞飞进一步扩展了数据库，创建了更大的ImageNet数据库，尽管这个想法在最初的时候遭到了很多质疑。但最终，这个庞大的数据库为全球无数研究者解锁了大量价值。由于最开始受到了很多质疑和困难，但最终项目还是取得了巨大的成功。就这个话题李飞飞分享了一点人生经验，就是设置北极星目标（即长期大目标）的重要性，并建议研究生们不应该只是为了发表论文而进行研究，而应该有一个长远的目标去驱动他们的工作。吴恩达对这个观点也很赞同，他也提醒大家即使项目刚开始规模比较小，也可以作为实现更大目标的基础。另外很重要的就是去追求自己真正感兴趣的研究领域，李飞飞会问她的学生：”是什么北极星在驱使你？“ 这段对话很精彩，我直接原文转发一下： ”吴恩达：当我想起那个故事时，它看起来像是一个有时候人们觉得他们应该只从事项目的例子，而不是一开始就做大事。但我觉得对于从事机器学习的人来说，如果你的第一个项目是一个稍微小一点的，那完全没问题。祝你取得好成绩。利用所学知识为实现更大的目标打下基础，然后有时候你会得到像ImageNet那样的巨大成功。李飞飞：但与此同时，我认为追求一个大胆的目标也很重要。你可以根据问题的规模或项目的规模设定局部里程碑，沿着这条道路前进，但我也关注我们现在的一些学生。他们受到如此大的同伴压力，在这个不断出版的气候中。这变得更多的是为了只是为了出版而进入一篇文章。我个人总是推动我的学生去问这个问题，是什么北极星在驱使你？吴恩达：是的，这是真的。这些年来，当我做研究时，我总是充满激情地去做我感兴趣的事情，在那里，我想尝试推动观点向前发展。不必听别人的意见。要听别人的意见，让他们影响你的看法。但最后，我认为最好的研究者让世界影响他们的观点，但最后，还是要根据自己的观点来推动事物。李飞飞：完全同意，是的。这是你自己内心的火焰。“ 第四个话题是李飞飞如何将计算机视觉和神经科学应用到多个领域，尤其是医疗保健的李飞飞认为她在计算机视觉领域的研究进化也遵循动物视觉智能的进化。有两个话题真正让她兴奋： 1. 一个是什么是真正有影响力的应用领域，能够帮助改善人类生活？这就是医疗保健工作。 2. 另一个是视觉在最终究竟是关于什么的？这让她试图在感知和机器人学习之间封闭回路。李飞飞引用了一组数字：每年约有25万美国人死于医疗错误，这大大超过了因车祸导致的死亡人数，医院感染导致的死亡人数超过95,000，这比车祸死亡人数多2.5倍。李飞飞和她的合作伙伴阿尼·米尔斯坦博士开始了一个项目，名为环境智能研究议程，目的是在医院或养老院安装智能传感器，以提高病人的安全性。但她指出，应用AI时，除了机器学习问题，还需要处理诸如隐私等人类问题。第五个话题是关于人工智能（AI）在公共政策中的重要性四年前，李飞飞和斯坦福大学的一些教职工意识到斯坦福需要在AI领域发挥更重要的角色，为此他们创建了人类中心AI研究所（HAI）。这个研究所旨在以人为本，研究下一代的人工智能教育、研究和政策。李飞飞提到，AI快速地影响着人们的生活，法律和政策必须要跟上。她认为专家需要和政策制定者更深入地交流，以利用AI更好地造福人民。这不仅涉及公平和隐私，还涉及到人才流向产业、数据和计算机的集中等问题。李飞飞参与推动的一项政策工作就是《全国人工智能研究云任务组法案》（现为国家人工智能研究资源，NAIRR），这个法案要求成立一个任务小组，为美国公共部门和研究部门提供更好的获取AI计算和数据资源的途径，以重振美国在AI创新和研究方面的生态系统。这是一项更多的激励政策，旨在建设和振兴生态系统。吴恩达问了李飞飞一个很有代表性的问题：”你对于刚开始学习机器学习的人有什么建议？“ 李飞飞的建议是： 1. 现在的AI和ML学习资源比以往任何时候都要丰富，从Coursera到YouTube、TikTok和Github，使得全球范围内的学习者都能够获取到这些知识。 2. 对非技术背景的人来说，AI也提供了丰富的机会，无论是应用、创造力、政策、社会问题，还是经济、伦理、政治科学等方面。 3. 人工智能可能带来的挑战和问题，如定义数字时代的经济，机器人和软件在工作流程中的影响，以及生成性AI对创造力和艺术创作者的影响等。吴恩达也基于李飞飞的建议提出了自己的建议，他的建议是现在人工智能的技术很通用，无论你的个人兴趣是什么领域，都很容易可以将你的兴趣和AI结合起来。现在AI还是很新的领域，基于兴趣可以开创自己的道路，去做一些令人兴奋的工作。最后一个话题是关于李飞飞开展的AI4ALL项目。 AI4ALL项目旨在引导年轻的学生，特别是来自代表性不足的群体，接触并学习AI。李飞飞在自己作为斯坦福人工智能实验室唯一的女性教师时，意识到了代表性不足的问题。 AI4ALL最初被称为SAILORS，这个项目于2015年开始，由李飞飞与她的学生宇川佐科夫斯基和教育专家瑞克·萨默一起启动。它最初是一个暑期项目，邀请年轻女性高中生学习AI。在得到詹森·黄、洛瑞·黄和梅琳达·盖茨等人的支持后，该项目于2017年扩展为全国性的非营利组织，现已在全国超过15所大学开设夏令营和暑期项目，同时提供在线课程并通过实习和导师计划提供持续的支持。最后引用AI4ALL的口号来结尾：“AI将改变世界，谁将改变AI？”，希望我们每个人都能参与其中！原始视频：

今天给大家翻译的是最近吴恩达采访李飞飞的一期视频“Andrew Ng and Fei-Fei Li Discuss Human-Centered Artificial Intelligence - Stanford Online”，都是AI领域的重量级人物。李飞飞现在是斯坦福大学的计算机科学教授，还是HAI（以人为本的人工智能研究所）的联席主任。李飞飞还是吴恩达邀请去的斯坦福，最开始还担心李飞飞不去，而李飞飞则说，谁能抵挡斯坦福的诱惑😄 第一个话题是为什么李飞飞从物理专业转到了人工智能领域。李飞飞分享了她的经历，她一直对物理和STEM充满热情，后来在普林斯顿大学主修物理并在神经科学实验室实习。然而，通过阅读了一些伟大物理学家的著作例如薛定谔的《生命是什么？》罗杰·彭罗斯的《皇帝的新脑》，她对智能产生了极大的好奇心，这促使她在研究生阶段转向了人工智能。她对智能的基本计算原理有极大的兴趣，期待有一天能找到一组简单的原理或方程，可以定义智能的过程，无论是动物智能还是机器智能。李飞飞认为AI还处于初级阶段，就像牛顿之前的物理学，曾经有过伟大的物理学，伟大的物理学家，很多现象学，很多关于天体如何运动的研究。但是是牛顿开始写出非常简单的定律。我们仍在经历那个非常令人兴奋的AI基础科学成长时期，就像当年的物理学还处于牛顿之前的阶段。第二个话题是李飞飞早年的移民经历。李飞飞在15岁时移民到美国，她的父母不会说英语，经营一家干洗店可能是她们家最好的选择，因为洗衣店主要是周末营业，这样她作为学生也可以参与运营。尽管生活充满挑战，李飞飞坚持下来，并成功进入普林斯顿大学。干洗店的经营帮助她接触到了机器，也使得她对STEM（科学、技术、工程和数学）领域产生了兴趣。吴恩达也分享了他的早年经历，他在高中时曾在办公室工作，经常复印文件，为人们泡咖啡。这些经历启发他思考如何用机器人完成这些工作，这可能也种下了他对AI的兴趣的种子。希望他们高中的故事能够激励更多的人，无论我们起点如何，都有机会成功。第三个话题是关于李飞飞如何开始ImageNet项目和创建的Caltech 101数据库的。李飞飞是最早将机器学习应用于计算机视觉的学生之一，这在当时是一个具有争议的想法。在计算机视觉和人类智能理解的研究中，她利用机器学习方法进行真实世界对象的识别，尽管她很快就发现这个领域的一个主要挑战是模型的泛化能力不足。为了解决这个问题，李飞飞和她的导师开始探索大规模数据项目，创建了Caltech 101数据库。李飞飞开始做这事时非常早，那时候数码相机还非常昂贵，最初的数据是李飞飞和她妈还有几个本科生一起做的。这个数据库对许多研究者产生了积极影响。之后，李飞飞进一步扩展了数据库，创建了更大的ImageNet数据库，尽管这个想法在最初的时候遭到了很多质疑。但最终，这个庞大的数据库为全球无数研究者解锁了大量价值。由于最开始受到了很多质疑和困难，但最终项目还是取得了巨大的成功。就这个话题李飞飞分享了一点人生经验，就是设置北极星目标（即长期大目标）的重要性，并建议研究生们不应该只是为了发表论文而进行研究，而应该有一个长远的目标去驱动他们的工作。吴恩达对这个观点也很赞同，他也提醒大家即使项目刚开始规模比较小，也可以作为实现更大目标的基础。另外很重要的就是去追求自己真正感兴趣的研究领域，李飞飞会问她的学生：”是什么北极星在驱使你？“ 这段对话很精彩，我直接原文转发一下： ”吴恩达：当我想起那个故事时，它看起来像是一个有时候人们觉得他们应该只从事项目的例子，而不是一开始就做大事。但我觉得对于从事机器学习的人来说，如果你的第一个项目是一个稍微小一点的，那完全没问题。祝你取得好成绩。利用所学知识为实现更大的目标打下基础，然后有时候你会得到像ImageNet那样的巨大成功。李飞飞：但与此同时，我认为追求一个大胆的目标也很重要。你可以根据问题的规模或项目的规模设定局部里程碑，沿着这条道路前进，但我也关注我们现在的一些学生。他们受到如此大的同伴压力，在这个不断出版的气候中。这变得更多的是为了只是为了出版而进入一篇文章。我个人总是推动我的学生去问这个问题，是什么北极星在驱使你？吴恩达：是的，这是真的。这些年来，当我做研究时，我总是充满激情地去做我感兴趣的事情，在那里，我想尝试推动观点向前发展。不必听别人的意见。要听别人的意见，让他们影响你的看法。但最后，我认为最好的研究者让世界影响他们的观点，但最后，还是要根据自己的观点来推动事物。李飞飞：完全同意，是的。这是你自己内心的火焰。“ 第四个话题是李飞飞如何将计算机视觉和神经科学应用到多个领域，尤其是医疗保健的李飞飞认为她在计算机视觉领域的研究进化也遵循动物视觉智能的进化。有两个话题真正让她兴奋： 1. 一个是什么是真正有影响力的应用领域，能够帮助改善人类生活？这就是医疗保健工作。 2. 另一个是视觉在最终究竟是关于什么的？这让她试图在感知和机器人学习之间封闭回路。李飞飞引用了一组数字：每年约有25万美国人死于医疗错误，这大大超过了因车祸导致的死亡人数，医院感染导致的死亡人数超过95,000，这比车祸死亡人数多2.5倍。李飞飞和她的合作伙伴阿尼·米尔斯坦博士开始了一个项目，名为环境智能研究议程，目的是在医院或养老院安装智能传感器，以提高病人的安全性。但她指出，应用AI时，除了机器学习问题，还需要处理诸如隐私等人类问题。第五个话题是关于人工智能（AI）在公共政策中的重要性四年前，李飞飞和斯坦福大学的一些教职工意识到斯坦福需要在AI领域发挥更重要的角色，为此他们创建了人类中心AI研究所（HAI）。这个研究所旨在以人为本，研究下一代的人工智能教育、研究和政策。李飞飞提到，AI快速地影响着人们的生活，法律和政策必须要跟上。她认为专家需要和政策制定者更深入地交流，以利用AI更好地造福人民。这不仅涉及公平和隐私，还涉及到人才流向产业、数据和计算机的集中等问题。李飞飞参与推动的一项政策工作就是《全国人工智能研究云任务组法案》（现为国家人工智能研究资源，NAIRR），这个法案要求成立一个任务小组，为美国公共部门和研究部门提供更好的获取AI计算和数据资源的途径，以重振美国在AI创新和研究方面的生态系统。这是一项更多的激励政策，旨在建设和振兴生态系统。吴恩达问了李飞飞一个很有代表性的问题：”你对于刚开始学习机器学习的人有什么建议？“ 李飞飞的建议是： 1. 现在的AI和ML学习资源比以往任何时候都要丰富，从Coursera到YouTube、TikTok和Github，使得全球范围内的学习者都能够获取到这些知识。 2. 对非技术背景的人来说，AI也提供了丰富的机会，无论是应用、创造力、政策、社会问题，还是经济、伦理、政治科学等方面。 3. 人工智能可能带来的挑战和问题，如定义数字时代的经济，机器人和软件在工作流程中的影响，以及生成性AI对创造力和艺术创作者的影响等。吴恩达也基于李飞飞的建议提出了自己的建议，他的建议是现在人工智能的技术很通用，无论你的个人兴趣是什么领域，都很容易可以将你的兴趣和AI结合起来。现在AI还是很新的领域，基于兴趣可以开创自己的道路，去做一些令人兴奋的工作。最后一个话题是关于李飞飞开展的AI4ALL项目。 AI4ALL项目旨在引导年轻的学生，特别是来自代表性不足的群体，接触并学习AI。李飞飞在自己作为斯坦福人工智能实验室唯一的女性教师时，意识到了代表性不足的问题。 AI4ALL最初被称为SAILORS，这个项目于2015年开始，由李飞飞与她的学生宇川佐科夫斯基和教育专家瑞克·萨默一起启动。它最初是一个暑期项目，邀请年轻女性高中生学习AI。在得到詹森·黄、洛瑞·黄和梅琳达·盖茨等人的支持后，该项目于2017年扩展为全国性的非营利组织，现已在全国超过15所大学开设夏令营和暑期项目，同时提供在线课程并通过实习和导师计划提供持续的支持。最后引用AI4ALL的口号来结尾：“AI将改变世界，谁将改变AI？”，希望我们每个人都能参与其中！原始视频：

宝玉

210,036 次观看 • 3 年前

Google教学视频：《解析 Transformers：理解 GPT，BERT 和 T5 模型背后的原理》（中英文字幕）过去五年中，Transformers，一种神经网络架构，完全改变了自然语言处理的最先进技术。想要使用机器学习来翻译文本吗？好奇一个机器学习模型如何能够写出诗歌或专栏文章吗？Transformers 可以做到所有这些。在这一集的“ML 制造”中，Dale Markowitz 解释了什么是 transformers，它们如何工作，以及它们为何具有如此大的影响力。观看此视频，了解你如何开始在你的应用中使用 transformers！章节： 0:00 - 引言 0:51 - 什么是 transformers？ 3:18 - transformers 是如何工作的？ 7:41 - transformers 是如何被使用的？ 8:35 - 如何开始使用 transformers 原始视频：

Google教学视频：《解析 Transformers：理解 GPT，BERT 和 T5 模型背后的原理》（中英文字幕）过去五年中，Transformers，一种神经网络架构，完全改变了自然语言处理的最先进技术。想要使用机器学习来翻译文本吗？好奇一个机器学习模型如何能够写出诗歌或专栏文章吗？Transformers 可以做到所有这些。在这一集的“ML 制造”中，Dale Markowitz 解释了什么是 transformers，它们如何工作，以及它们为何具有如此大的影响力。观看此视频，了解你如何开始在你的应用中使用 transformers！章节： 0:00 - 引言 0:51 - 什么是 transformers？ 3:18 - transformers 是如何工作的？ 7:41 - transformers 是如何被使用的？ 8:35 - 如何开始使用 transformers 原始视频：

宝玉

78,216 次观看 • 3 年前

TED演讲必看：超3千万次的播放量❗️ 🎤《如何在六个月内掌握一门外语》帮助许多人实现了语言大关的突破，克利斯•伦戴尔用这样的方法，在6个月内能够实现流利地说中文，要知道对于外国人来说，学习汉语的难度是很高的，这也说明了这个方法的有效性。同样适用于学英语，纸质书⬇️

TED演讲必看：超3千万次的播放量❗️ 🎤《如何在六个月内掌握一门外语》帮助许多人实现了语言大关的突破，克利斯•伦戴尔用这样的方法，在6个月内能够实现流利地说中文，要知道对于外国人来说，学习汉语的难度是很高的，这也说明了这个方法的有效性。同样适用于学英语，纸质书⬇️

分享好东西

142,961 次观看 • 1 年前

细节的 TTS 技术 Seed-TTS，制作出来的有声书可能要让喜马拉雅的很多主播失业了！支持多种语言。目前还没看到项目代码或者测试地址，只有论文：摘要我们介绍了Seed-TTS，这是一系列大规模自回归文本转语音（TTS）模型，能够生成几乎与人类语音无法区分的语音。Seed-TTS作为语音生成的基础模型，在语音上下文学习中表现出色，在说话者相似性和自然性方面的表现与真实人类语音在客观和主观评估中相匹配。通过微调，我们在这些指标上获得了更高的主观评分。Seed-TTS在各种语音属性（如情感）上提供了卓越的可控性，并且能够为自然环境中的说话者生成高度富有表现力和多样化的语音。此外，我们提出了一种用于语音因子化的自蒸馏方法，即通过让模型自行学习和改进的方式来提高性能，以及一种增强模型鲁棒性、说话者相似性和可控性的强化学习方法。我们还展示了Seed-TTS模型的非自回归（NAR）变体，名为Seed-TTSDiT，它采用完全基于扩散的架构。与以前的基于NAR的TTS系统不同，Seed-TTSDiT不依赖于预估的音素持续时间，而是通过端到端处理进行语音生成。我们证明了这种变体在客观和主观评估中达到了与基于语言模型的变体相当的性能，并展示了其在语音编辑中的有效性。

细节的 TTS 技术 Seed-TTS，制作出来的有声书可能要让喜马拉雅的很多主播失业了！支持多种语言。目前还没看到项目代码或者测试地址，只有论文：摘要我们介绍了Seed-TTS，这是一系列大规模自回归文本转语音（TTS）模型，能够生成几乎与人类语音无法区分的语音。Seed-TTS作为语音生成的基础模型，在语音上下文学习中表现出色，在说话者相似性和自然性方面的表现与真实人类语音在客观和主观评估中相匹配。通过微调，我们在这些指标上获得了更高的主观评分。Seed-TTS在各种语音属性（如情感）上提供了卓越的可控性，并且能够为自然环境中的说话者生成高度富有表现力和多样化的语音。此外，我们提出了一种用于语音因子化的自蒸馏方法，即通过让模型自行学习和改进的方式来提高性能，以及一种增强模型鲁棒性、说话者相似性和可控性的强化学习方法。我们还展示了Seed-TTS模型的非自回归（NAR）变体，名为Seed-TTSDiT，它采用完全基于扩散的架构。与以前的基于NAR的TTS系统不同，Seed-TTSDiT不依赖于预估的音素持续时间，而是通过端到端处理进行语音生成。我们证明了这种变体在客观和主观评估中达到了与基于语言模型的变体相当的性能，并展示了其在语音编辑中的有效性。

宝玉

67,886 次观看 • 2 年前

Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈（四/完结）关于大语言模型对经济的影响以及学术界的选择学生：大语言模型的经济影响，比如劳动力市场的影响，比你最初预期的要慢。Chegg（在线教育技术公司）和一些服务人员受到了影响。你认为学术界应该获得AI方面的补贴，还是应该选择与业界的大公司合作？ Eric：我非常努力地推动为大学建立数据中心。如果我是这里的计算机科学系教师，我会非常失望，因为无法与研究生一起构建能够进行博士研究的算法。我被迫和这些公司合作。我认为这些公司在这方面并没有表现出足够的慷慨。我与许多你们认识的教师交谈，他们花费大量时间等待Google Cloud的配额。这是非常糟糕的情况。这个领域正在快速发展。我们希望美国能胜出，我们希望美国的大学——出于多种原因，我认为正确的做法是把资源提供给他们。我在这方面做了很多努力。至于劳动力市场的影响，我将这个问题交给这里的真正专家。作为Eric教导的业余经济学家，我坚信那些接受过大学教育、从事高技能工作的人将会适应，因为人们将会与这些系统一起工作。我认为这些系统与以往的技术浪潮没有区别。那些危险的工作和不需要太多人为判断的工作将被取代。关于计算机科学教育的未来学生：我对“文本到行动”及其对计算机科学教育的影响非常感兴趣。你认为计算机科学教育应该如何变革以适应新时代？ Eric：我认为计算机科学专业的本科生群体将始终有一位编程搭档。因此，当你学习你的第一个for循环时，你会有一个工具作为你的伙伴。这就是未来的教学方式，教授会讲解概念，但你会通过这种方式参与其中。这是我的猜测。关于非Transformer架构与数学创新学生：你提到了一些让你兴奋的非Transformer架构。我想其中一个被提到的是状态模型，但现在还有一种是更长上下文的模型。我更好奇的是你在这方面看到的情况。 Eric：我对数学的理解还不够深入，但我非常高兴我们为数学家们提供了工作机会，因为这里的数学太复杂了。但基本上，他们是在采用不同的方法来进行梯度下降和矩阵乘法，使其更快更好。Transformer架构是一种能够同时进行乘法运算的系统化方式，这是我理解的方式。它和其他的很像，但数学部分不同。我们将继续关注这些新的数学进展。关于中美关系与国家安全学生：你在关于国家安全的论文中提到，中美两国在现代架构的帮助下处于关键地位。接下来的10个国家，以及稍后的一组国家，都是美国的盟友，或者与美国盟友关系密切。我很好奇你对这些国家，尤其是那些中间地带但并非正式盟友的国家有什么看法。它们有多大可能愿意加入我们的安全阵营？是什么因素可能会阻碍它们加入？ Eric：最值得关注的国家是印度，因为顶尖的AI人才从印度来到美国，我们应该让印度保留一部分顶尖人才。他们没有我们这里如此丰富的培训设施和项目。在我看来，印度是这一领域的重要摇摆国家。中国已经没有机会了，不会再回来。日本和韩国显然站在我们这一边。台湾在硬件方面很出色，但他们的软件开发较弱。在全球范围内，其他大国的选择并不多。欧洲因为欧盟的政策和管理机制陷入困境，这并不是什么新鲜事。我与他们斗争了10年，但他们仍然有许多限制，导致我们在欧洲开展研究非常困难。法国还有一些机会，但我不太看好德国。其余的国家都不够有影响力。关于编程与AI 学生：我是编译器工程师。考虑到你设想这些模型将具备的能力，我们还需要花时间学习编程吗？ Eric：是的，这是一个老生常谈的问题，为什么你已经会说英语还要学习英语呢？是为了让你的英语更好。你确实需要理解这些系统的工作原理，我对此非常坚定。关于分布式计算与大语言模型的训练学生：你是否探索过分布式环境？虽然构建大型集群很困难，但MacBooks的性能很强大。你认为类似“Folding@home”的想法适合训练吗？ Eric：是的，我们对此进行了深入研究。算法的工作方式是你有一个非常大的矩阵，基本上是一个乘法函数。系统的速度完全受限于内存到CPU或GPU的传输速度。Nvidia的下一代芯片已经将所有这些功能整合到了一块芯片中，如今的芯片已经足够大到需要将它们都粘合在一起。短时间内，分布式计算在训练大语言模型方面的进展可能有限。关于数据隐私与版权学生：在ChatGPT发布后，OpenAI因使用他们的作品进行训练而被《纽约时报》起诉。你觉得这种情况会如何发展？这对数据隐私有何影响？ Eric：我曾经从事过大量的音乐版权工作。我了解到在60年代，有一系列诉讼最终达成了一项协议：每次播放你的歌曲，你都能获得一定的版权费。我猜AI领域可能会有类似的情况。可能会有很多诉讼，最后可能会达成一种协议，要求你必须支付你的一部分收入，以便使用类似ASCAP BMI的版权管理机构。关于AI领域的垄断与反垄断法规学生：现在看起来几个主要玩家在AI领域占据主导地位，他们会继续维持这个地位。这些公司似乎与那些受到反垄断法规关注的大公司有所交叉。你对这两种趋势有何看法？像是监管部门会否对这些公司进行分拆？这将会对现状产生怎样的影响？ Eric：在我的职业生涯中，我曾帮助微软避免被拆分，结果它确实没有被拆分。我也曾努力阻止谷歌被分拆，目前来看，谷歌还未被分拆。因此，从我的观察来看，这些公司被分拆的趋势并不明显。只要这些公司避免成为像约翰·D·洛克菲勒那样的企业巨头，政府可能不会采取行动。这些公司占据主导地位的原因是他们有足够的资本来建设数据中心。关于技术差距对全球的影响学生：这一切将会把那些不参与前沿模型开发和无法获取计算资源的国家带向何方？富国越来越富，穷国尽力而为。 Eric：事实上，这就是富国的游戏，对吧？巨大的资本，众多技术过硬的人才，强有力的政府支持。有些国家，比如印度，将会成为这一领域的重要参与者。其他国家可能需要找到合作伙伴或与其他国家联合。对年轻人的建议主持人：最后一个问题，Eric。你花了很多时间帮助年轻人，他们正在创造大量财富，你对在座的各位有什么建议吗？他们正在为这门课写商业计划书或撰写政策提案、研究提案，未来职业发展方面你有什么建议？ Eric：我在商学院教过一门关于这个主题的课程。快速制作原型的能力真的非常重要，成为创业者的一个难点在于一切都发生得非常快。现在，如果你不能在一天之内利用这些工具构建你的原型，那你就需要考虑一下了，因为你的竞争对手正在这么做。所以我的建议是，尽快使用这些工具把你的想法制作成原型。这是关键，因为在其他公司、其他大学，或你从未去过的地方，一定有人正在做和你一样的事情。

Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈（四/完结）关于大语言模型对经济的影响以及学术界的选择学生：大语言模型的经济影响，比如劳动力市场的影响，比你最初预期的要慢。Chegg（在线教育技术公司）和一些服务人员受到了影响。你认为学术界应该获得AI方面的补贴，还是应该选择与业界的大公司合作？ Eric：我非常努力地推动为大学建立数据中心。如果我是这里的计算机科学系教师，我会非常失望，因为无法与研究生一起构建能够进行博士研究的算法。我被迫和这些公司合作。我认为这些公司在这方面并没有表现出足够的慷慨。我与许多你们认识的教师交谈，他们花费大量时间等待Google Cloud的配额。这是非常糟糕的情况。这个领域正在快速发展。我们希望美国能胜出，我们希望美国的大学——出于多种原因，我认为正确的做法是把资源提供给他们。我在这方面做了很多努力。至于劳动力市场的影响，我将这个问题交给这里的真正专家。作为Eric教导的业余经济学家，我坚信那些接受过大学教育、从事高技能工作的人将会适应，因为人们将会与这些系统一起工作。我认为这些系统与以往的技术浪潮没有区别。那些危险的工作和不需要太多人为判断的工作将被取代。关于计算机科学教育的未来学生：我对“文本到行动”及其对计算机科学教育的影响非常感兴趣。你认为计算机科学教育应该如何变革以适应新时代？ Eric：我认为计算机科学专业的本科生群体将始终有一位编程搭档。因此，当你学习你的第一个for循环时，你会有一个工具作为你的伙伴。这就是未来的教学方式，教授会讲解概念，但你会通过这种方式参与其中。这是我的猜测。关于非Transformer架构与数学创新学生：你提到了一些让你兴奋的非Transformer架构。我想其中一个被提到的是状态模型，但现在还有一种是更长上下文的模型。我更好奇的是你在这方面看到的情况。 Eric：我对数学的理解还不够深入，但我非常高兴我们为数学家们提供了工作机会，因为这里的数学太复杂了。但基本上，他们是在采用不同的方法来进行梯度下降和矩阵乘法，使其更快更好。Transformer架构是一种能够同时进行乘法运算的系统化方式，这是我理解的方式。它和其他的很像，但数学部分不同。我们将继续关注这些新的数学进展。关于中美关系与国家安全学生：你在关于国家安全的论文中提到，中美两国在现代架构的帮助下处于关键地位。接下来的10个国家，以及稍后的一组国家，都是美国的盟友，或者与美国盟友关系密切。我很好奇你对这些国家，尤其是那些中间地带但并非正式盟友的国家有什么看法。它们有多大可能愿意加入我们的安全阵营？是什么因素可能会阻碍它们加入？ Eric：最值得关注的国家是印度，因为顶尖的AI人才从印度来到美国，我们应该让印度保留一部分顶尖人才。他们没有我们这里如此丰富的培训设施和项目。在我看来，印度是这一领域的重要摇摆国家。中国已经没有机会了，不会再回来。日本和韩国显然站在我们这一边。台湾在硬件方面很出色，但他们的软件开发较弱。在全球范围内，其他大国的选择并不多。欧洲因为欧盟的政策和管理机制陷入困境，这并不是什么新鲜事。我与他们斗争了10年，但他们仍然有许多限制，导致我们在欧洲开展研究非常困难。法国还有一些机会，但我不太看好德国。其余的国家都不够有影响力。关于编程与AI 学生：我是编译器工程师。考虑到你设想这些模型将具备的能力，我们还需要花时间学习编程吗？ Eric：是的，这是一个老生常谈的问题，为什么你已经会说英语还要学习英语呢？是为了让你的英语更好。你确实需要理解这些系统的工作原理，我对此非常坚定。关于分布式计算与大语言模型的训练学生：你是否探索过分布式环境？虽然构建大型集群很困难，但MacBooks的性能很强大。你认为类似“Folding@home”的想法适合训练吗？ Eric：是的，我们对此进行了深入研究。算法的工作方式是你有一个非常大的矩阵，基本上是一个乘法函数。系统的速度完全受限于内存到CPU或GPU的传输速度。Nvidia的下一代芯片已经将所有这些功能整合到了一块芯片中，如今的芯片已经足够大到需要将它们都粘合在一起。短时间内，分布式计算在训练大语言模型方面的进展可能有限。关于数据隐私与版权学生：在ChatGPT发布后，OpenAI因使用他们的作品进行训练而被《纽约时报》起诉。你觉得这种情况会如何发展？这对数据隐私有何影响？ Eric：我曾经从事过大量的音乐版权工作。我了解到在60年代，有一系列诉讼最终达成了一项协议：每次播放你的歌曲，你都能获得一定的版权费。我猜AI领域可能会有类似的情况。可能会有很多诉讼，最后可能会达成一种协议，要求你必须支付你的一部分收入，以便使用类似ASCAP BMI的版权管理机构。关于AI领域的垄断与反垄断法规学生：现在看起来几个主要玩家在AI领域占据主导地位，他们会继续维持这个地位。这些公司似乎与那些受到反垄断法规关注的大公司有所交叉。你对这两种趋势有何看法？像是监管部门会否对这些公司进行分拆？这将会对现状产生怎样的影响？ Eric：在我的职业生涯中，我曾帮助微软避免被拆分，结果它确实没有被拆分。我也曾努力阻止谷歌被分拆，目前来看，谷歌还未被分拆。因此，从我的观察来看，这些公司被分拆的趋势并不明显。只要这些公司避免成为像约翰·D·洛克菲勒那样的企业巨头，政府可能不会采取行动。这些公司占据主导地位的原因是他们有足够的资本来建设数据中心。关于技术差距对全球的影响学生：这一切将会把那些不参与前沿模型开发和无法获取计算资源的国家带向何方？富国越来越富，穷国尽力而为。 Eric：事实上，这就是富国的游戏，对吧？巨大的资本，众多技术过硬的人才，强有力的政府支持。有些国家，比如印度，将会成为这一领域的重要参与者。其他国家可能需要找到合作伙伴或与其他国家联合。对年轻人的建议主持人：最后一个问题，Eric。你花了很多时间帮助年轻人，他们正在创造大量财富，你对在座的各位有什么建议吗？他们正在为这门课写商业计划书或撰写政策提案、研究提案，未来职业发展方面你有什么建议？ Eric：我在商学院教过一门关于这个主题的课程。快速制作原型的能力真的非常重要，成为创业者的一个难点在于一切都发生得非常快。现在，如果你不能在一天之内利用这些工具构建你的原型，那你就需要考虑一下了，因为你的竞争对手正在这么做。所以我的建议是，尽快使用这些工具把你的想法制作成原型。这是关键，因为在其他公司、其他大学，或你从未去过的地方，一定有人正在做和你一样的事情。

宝玉

14,213 次观看 • 2 年前

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。（对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看）先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。并且陶哲轩提到了基于大语言模型的一些改进的方案：比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。原始 YT 视频：

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。（对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看）先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。并且陶哲轩提到了基于大语言模型的一些改进的方案：比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。原始 YT 视频：

宝玉

304,710 次观看 • 2 年前

非常值得一看的视频，OpenAI 联合创始人 Andrej Karpathy 在2024年加州大学伯克利分校人工智能黑客马拉松颁奖典礼上的主题演讲。 OpenAI 联合创始人 Andrej Karpathy 解释了新的计算范式： “我们正在进入一个新的计算范式，大语言模型就像CPU一样，使用Token而不是字节，并且有一个上下文窗口而不是RAM。这就是大语言模型操作系统（Large Language Model OS, LMOS）。” Andrej在演讲中分享了他对黑客马拉松的热情，强调这种活动带来的巨大能量和创造力，尤其是年轻人们在其中展现出的创新精神。他指出，人工智能领域在过去15年中经历了巨大的发展，从最初的学术研讨到现在的广泛应用，这种变化令人瞩目。尤其是大语言模型的兴起，彻底改变了计算的范式，使得计算不仅仅是处理字节，而是处理语言和上下文，这为人工智能的应用打开了新的大门。他回顾了自己在OpenAI的经历，描述了公司从八个人在公寓里工作到如今成为市值近千亿美元的行业巨头的历程。通过一个个小项目的积累和发展，OpenAI最终实现了巨大的突破。Andrej特别强调了项目经验的重要性，指出很多看似不起眼的小项目最终可能会带来意想不到的巨大影响。他还提到“一万小时”定律，强调成功源于反复的实践和大量的付出，只有通过持续不断地努力和项目驱动学习，才能在某个领域内获得真正的专业技能。他鼓励大家多做项目，通过项目来推动自己的学习和进步，并通过分享和发布项目来获取成就感和动力。最后，Andrej展望了未来人工智能和技术的发展，指出我们正处在一个独特的时代，人工智能将进一步融入我们的生活，带来更多的可能性和挑战。他希望大家能够从小项目开始，不断积累经验，最终对世界产生积极的影响，共同塑造一个美好的未来。完整文稿：

非常值得一看的视频，OpenAI 联合创始人 Andrej Karpathy 在2024年加州大学伯克利分校人工智能黑客马拉松颁奖典礼上的主题演讲。 OpenAI 联合创始人 Andrej Karpathy 解释了新的计算范式： “我们正在进入一个新的计算范式，大语言模型就像CPU一样，使用Token而不是字节，并且有一个上下文窗口而不是RAM。这就是大语言模型操作系统（Large Language Model OS, LMOS）。” Andrej在演讲中分享了他对黑客马拉松的热情，强调这种活动带来的巨大能量和创造力，尤其是年轻人们在其中展现出的创新精神。他指出，人工智能领域在过去15年中经历了巨大的发展，从最初的学术研讨到现在的广泛应用，这种变化令人瞩目。尤其是大语言模型的兴起，彻底改变了计算的范式，使得计算不仅仅是处理字节，而是处理语言和上下文，这为人工智能的应用打开了新的大门。他回顾了自己在OpenAI的经历，描述了公司从八个人在公寓里工作到如今成为市值近千亿美元的行业巨头的历程。通过一个个小项目的积累和发展，OpenAI最终实现了巨大的突破。Andrej特别强调了项目经验的重要性，指出很多看似不起眼的小项目最终可能会带来意想不到的巨大影响。他还提到“一万小时”定律，强调成功源于反复的实践和大量的付出，只有通过持续不断地努力和项目驱动学习，才能在某个领域内获得真正的专业技能。他鼓励大家多做项目，通过项目来推动自己的学习和进步，并通过分享和发布项目来获取成就感和动力。最后，Andrej展望了未来人工智能和技术的发展，指出我们正处在一个独特的时代，人工智能将进一步融入我们的生活，带来更多的可能性和挑战。他希望大家能够从小项目开始，不断积累经验，最终对世界产生积极的影响，共同塑造一个美好的未来。完整文稿：

宝玉

124,026 次观看 • 2 年前

哈佛CS50课程节选：如何构建基于GPT-4的应用上一节介绍了什么是GPT-4，这一节则是基于GPT-4可以构建什么样的应用，以及如何构建。这部分课程介绍了GPT-4可以构建的各种类型的应用，包括不限于： - 助手应用：GPT可以用于创建AI助手，帮助完成写作、编程或回答问题等任务。通过结合专业领域知识和用户的喜好，还可以对这些助手可以进一步定制。 - 文档问答系统：GPT可以用于构建基于上下文、对文档的问答系统。 - 实用功能：GPT可用于自动化需要基本语言理解的任务，如生成单元测试、查找文档、重写功能或检查品牌一致性。 - 创意创作：GPT可以用于在各个领域生成想法、可能性或建议，包括写作、营销和研究。通过将GPT的生成能力与专业领域的知识相结合，用户可以创建更有针对性和相关性的输出。 - Baby AGI或多步计划机器人：GPT可以放入一个循环中，与自己对话并指导自己的行动，从而创建一个基于一组工具和目标的自主执行任务或生成结果的自主代理。通过这个教程，可以大概了解GPT能做一些什么事情，以及背后的原理是什么。上一节什么是GPT-4：完整课程视频地址： edX:

哈佛CS50课程节选：如何构建基于GPT-4的应用上一节介绍了什么是GPT-4，这一节则是基于GPT-4可以构建什么样的应用，以及如何构建。这部分课程介绍了GPT-4可以构建的各种类型的应用，包括不限于： - 助手应用：GPT可以用于创建AI助手，帮助完成写作、编程或回答问题等任务。通过结合专业领域知识和用户的喜好，还可以对这些助手可以进一步定制。 - 文档问答系统：GPT可以用于构建基于上下文、对文档的问答系统。 - 实用功能：GPT可用于自动化需要基本语言理解的任务，如生成单元测试、查找文档、重写功能或检查品牌一致性。 - 创意创作：GPT可以用于在各个领域生成想法、可能性或建议，包括写作、营销和研究。通过将GPT的生成能力与专业领域的知识相结合，用户可以创建更有针对性和相关性的输出。 - Baby AGI或多步计划机器人：GPT可以放入一个循环中，与自己对话并指导自己的行动，从而创建一个基于一组工具和目标的自主执行任务或生成结果的自主代理。通过这个教程，可以大概了解GPT能做一些什么事情，以及背后的原理是什么。上一节什么是GPT-4：完整课程视频地址： edX:

宝玉

172,789 次观看 • 3 年前

斯坦福2023年公开课CS25 - 大语言模型与人类对齐（中英文字幕）这是斯坦福2023年公开课CS25的第二课：《Language and Human Alignment》，讲师是OpenAI的Jan，他目前领导OpenAI的对齐（Alignment）团队，并曾在DeepMind担任研究员。他拥有强化学习理论博士学位，并且在过去的10年里一直在思考对齐问题。这节课的主要内容是探讨AI的对齐问题，也就是如何让AI系统符合人类的意图和偏好，以及如何构建能遵循人类意图的AI系统？遵循人类意图意味着：对于明确的意图，能遵循指令，成为一个可靠的助手；对于不明确的意图，需要通过后续问题明确，不要编造，不要做有害的事情。现在使用的主要技术是强化学习反馈，这是用来训练InstructGPT和ChatGPT的技术。首先需要训练一个奖励模型，然后要用人类标注员去标注数据，来告诉模型哪些结果更是人类想要的。虽然每个人类标注员都有自己的偏好，甚至可能有不一致的地方，但模型会多结果进行平均。从成本上来说，人类反馈的成本要远低于预训练的成本，不到预训练计算量的2%。基于人类反馈的强化学习(RLHF)可以让模型做任何它想做的事情，它可以自己找出最好的方法来做事情，你只需要对它的结果进行评估就好了。 “评估比生成容易” 很多任务虽然人类不擅长，但是可以很容易的给出评估。 RLHF也有一些限制，比如当人工智能进化到一定程度，其可以完成的任务难度也会提升，但是人类评估任务的水平却无法提高，这时候人类将无法再给AI有效的反馈。所以未来我们需要AI来辅助人类进行评估，让AI帮助指出结果中的问题，人类对AI评估的结果进行评估。课程页面：参考材料： - ChatGPT： - InstructGPT： - Language Models are Few-Shot Learners (GPT-3)：

斯坦福2023年公开课CS25 - 大语言模型与人类对齐（中英文字幕）这是斯坦福2023年公开课CS25的第二课：《Language and Human Alignment》，讲师是OpenAI的Jan，他目前领导OpenAI的对齐（Alignment）团队，并曾在DeepMind担任研究员。他拥有强化学习理论博士学位，并且在过去的10年里一直在思考对齐问题。这节课的主要内容是探讨AI的对齐问题，也就是如何让AI系统符合人类的意图和偏好，以及如何构建能遵循人类意图的AI系统？遵循人类意图意味着：对于明确的意图，能遵循指令，成为一个可靠的助手；对于不明确的意图，需要通过后续问题明确，不要编造，不要做有害的事情。现在使用的主要技术是强化学习反馈，这是用来训练InstructGPT和ChatGPT的技术。首先需要训练一个奖励模型，然后要用人类标注员去标注数据，来告诉模型哪些结果更是人类想要的。虽然每个人类标注员都有自己的偏好，甚至可能有不一致的地方，但模型会多结果进行平均。从成本上来说，人类反馈的成本要远低于预训练的成本，不到预训练计算量的2%。基于人类反馈的强化学习(RLHF)可以让模型做任何它想做的事情，它可以自己找出最好的方法来做事情，你只需要对它的结果进行评估就好了。 “评估比生成容易” 很多任务虽然人类不擅长，但是可以很容易的给出评估。 RLHF也有一些限制，比如当人工智能进化到一定程度，其可以完成的任务难度也会提升，但是人类评估任务的水平却无法提高，这时候人类将无法再给AI有效的反馈。所以未来我们需要AI来辅助人类进行评估，让AI帮助指出结果中的问题，人类对AI评估的结果进行评估。课程页面：参考材料： - ChatGPT： - InstructGPT： - Language Models are Few-Shot Learners (GPT-3)：

宝玉

149,159 次观看 • 3 年前

一位物理学家，花了整整30年，得出一个惊人的结论。数学，是意识的产物。所以，用数学来解释意识，此路不通。主流物理学家们怎么看这个世界？他们认为，所有存在的，就是所有你能测量的。凡是无法测量的，就没有“内部”，也就不存在。这套逻辑真的无懈可击吗？那量子计算机怎么解释？它的实际运算，并不发生在时空里。它发生在希尔伯特空间。一个纯粹的数学抽象概念。问题来了。你怎么能在一个抽象的数学空间里，进行真实的物理运算？这难道不矛盾吗？这种根本性的不连贯，为什么没人愿意深思？是我们的教育出了问题吗？只教人怎么解方程，怎么套公式。却从不教人如何去思考，去质疑前提。是不是整个体系，从根上就希望我们停止思考这些本质问题？这位物理学家说，他也被如此教导。现在他必须掉过头来，重新审视一切。当一个领域的顶尖人物开始质疑他所在领域的根基时，这通常不是个小事。这背后，究竟意味着什么？

一位物理学家，花了整整30年，得出一个惊人的结论。数学，是意识的产物。所以，用数学来解释意识，此路不通。主流物理学家们怎么看这个世界？他们认为，所有存在的，就是所有你能测量的。凡是无法测量的，就没有“内部”，也就不存在。这套逻辑真的无懈可击吗？那量子计算机怎么解释？它的实际运算，并不发生在时空里。它发生在希尔伯特空间。一个纯粹的数学抽象概念。问题来了。你怎么能在一个抽象的数学空间里，进行真实的物理运算？这难道不矛盾吗？这种根本性的不连贯，为什么没人愿意深思？是我们的教育出了问题吗？只教人怎么解方程，怎么套公式。却从不教人如何去思考，去质疑前提。是不是整个体系，从根上就希望我们停止思考这些本质问题？这位物理学家说，他也被如此教导。现在他必须掉过头来，重新审视一切。当一个领域的顶尖人物开始质疑他所在领域的根基时，这通常不是个小事。这背后，究竟意味着什么？

墓碑科技

52,034 次观看 • 8 个月前

微软2023年Build大会演讲：如何训练和应用GPT（中英文字幕）这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。演讲主要有两部分内容： 1. OpenAI是如何训练GPT的 2. 我们如何有效应用GPT 都是非常有价值的分享。首先对于如何训练GPT，通常来说是四个阶段预训练（Pretraining），有监督的微调（Supervised Finetuning），奖励建模（Reward Modeling）和强化学习（Reinforcement Learning），这几个阶段通常是依次进行，每个阶段都有不同的数据集。预训练（Pretraining）：这个阶段的目标是让模型学习一种语言模型，用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后，模型可以生成一些有意义且语法正确的文本，但可能无法理解具体任务的需求。有监督的微调（Supervised Finetuning）：在预训练后，模型会进入微调阶段。在这个阶段，人类评估员将参与并给出指导，他们会给模型提供对话样本，样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用，例如回答问题或编写文章。奖励建模（Reward Modeling）：评估员将对模型生成的不同输出进行排名，以表示它们的质量。这个排名将被用作奖励函数，指导模型优化其生成的输出。强化学习（Reinforcement Learning）：强化学习阶段是一个迭代的过程，模型会试图优化其行为以获得最大的奖励。在这个阶段，模型会产生新的输出，评估员会对这些输出进行排名，然后模型根据这个反馈调整其行为。然后是如何有效应用GPT 在演讲中Andrej举了一个非常好的例子：人类和大语言模型（LLM）都是如何写作的？从这个例子中你能明显感觉到人类和GPT之间的差异。假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口，你的写作的过程中可能是像这样的： - 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口 - 我需要去获取两个州的人口数据 - 我不知道这两个周的人口数据 - 去维基百科找到加利福尼亚州的人口是39.2M - 去维基百科找到阿拉斯加州的人口是0.74M - 现在我需要计算一下两个州人口数相差多少倍，但是可能需要计算机帮忙 - 用计算器算出来39.2除以0.74约等于53 - 快速的检查一下53倍这个数字是不是符合常识，嗯，这是一个相当大的比值，但加利福尼亚州毕竟是人口最多的州，所以这个结果或许是合理的，可以继续 - 好了，我现在有了我需要的所有信息 - 写下：“加利福尼亚州的人口比53倍的……” - 觉得好像不太好，删除重写成：“加利福尼亚州的人口是阿拉斯加州的53倍。” - 嗯，觉得还不错也就是说，当人类写作时，哪怕是这样一个简单的句子，可能内心实际上进行了大量的运算的。但当我们用GPT进行写作这样的句子看起来会是什么样呢？从GPT的角度看，这只是一系列的标记（Tokens）。当GPT在接收到一个输入，比如你给出的主题。它会生成一段与输入相关的文本，GPT的目标是预测下一个词，所以它会连续生成一串词，形成一段连贯的文本。从本质上看，Transformer只是标记模拟器，它不知道自己知道什么不知道什么，它不知道自己擅长什么或不擅长什么，它只是尽力生成下一个标记，它也不会进行反思，也不会不进行任何合理性检查。它不会纠正自己的错误，它只是产生抽样的标记序列，它没有像人类那样的内心独白流。但是，GPT有一些优势，如它们拥有大量的基于事实的知识，并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制，能立即获取到上下文窗口中的信息，从而进行无损记忆。然而，GPT在推理和判断方面的能力相对较弱，如果提出的问题需要更复杂的推理，单凭一个标记的信息，GPT往往无法给出正确的答案。一些技巧可以提升GPT的表现，比如Cot（Chain of Though）设定步骤来引导GPT展示其工作过程，或者通过多次抽样然后选择最佳结果等，或者可以让GPT检查自己的输出，比如询问它是否完成了任务，最好是在Prompt中明确的要求它检查自己的输出。后面还介绍了目前比较流行的GPT应用，比如Agent、Plugin、CoT、Embedding等最后他用GPT-4写了一个结尾： “女士们，先生们，2023年Microsoft Build的创新者和先驱者们，欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师，是塑造数字领域的视野家，在那里人类繁荣发展。拥抱科技的无限可能，让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通，更出色，更包容的世界，为未来的世代留下。准备好释放你的创造力，探索未知，把梦想变成现实。你的旅程今天开始。” 原始视频地址： YouTube地址：

微软2023年Build大会演讲：如何训练和应用GPT（中英文字幕）这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。演讲主要有两部分内容： 1. OpenAI是如何训练GPT的 2. 我们如何有效应用GPT 都是非常有价值的分享。首先对于如何训练GPT，通常来说是四个阶段预训练（Pretraining），有监督的微调（Supervised Finetuning），奖励建模（Reward Modeling）和强化学习（Reinforcement Learning），这几个阶段通常是依次进行，每个阶段都有不同的数据集。预训练（Pretraining）：这个阶段的目标是让模型学习一种语言模型，用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后，模型可以生成一些有意义且语法正确的文本，但可能无法理解具体任务的需求。有监督的微调（Supervised Finetuning）：在预训练后，模型会进入微调阶段。在这个阶段，人类评估员将参与并给出指导，他们会给模型提供对话样本，样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用，例如回答问题或编写文章。奖励建模（Reward Modeling）：评估员将对模型生成的不同输出进行排名，以表示它们的质量。这个排名将被用作奖励函数，指导模型优化其生成的输出。强化学习（Reinforcement Learning）：强化学习阶段是一个迭代的过程，模型会试图优化其行为以获得最大的奖励。在这个阶段，模型会产生新的输出，评估员会对这些输出进行排名，然后模型根据这个反馈调整其行为。然后是如何有效应用GPT 在演讲中Andrej举了一个非常好的例子：人类和大语言模型（LLM）都是如何写作的？从这个例子中你能明显感觉到人类和GPT之间的差异。假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口，你的写作的过程中可能是像这样的： - 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口 - 我需要去获取两个州的人口数据 - 我不知道这两个周的人口数据 - 去维基百科找到加利福尼亚州的人口是39.2M - 去维基百科找到阿拉斯加州的人口是0.74M - 现在我需要计算一下两个州人口数相差多少倍，但是可能需要计算机帮忙 - 用计算器算出来39.2除以0.74约等于53 - 快速的检查一下53倍这个数字是不是符合常识，嗯，这是一个相当大的比值，但加利福尼亚州毕竟是人口最多的州，所以这个结果或许是合理的，可以继续 - 好了，我现在有了我需要的所有信息 - 写下：“加利福尼亚州的人口比53倍的……” - 觉得好像不太好，删除重写成：“加利福尼亚州的人口是阿拉斯加州的53倍。” - 嗯，觉得还不错也就是说，当人类写作时，哪怕是这样一个简单的句子，可能内心实际上进行了大量的运算的。但当我们用GPT进行写作这样的句子看起来会是什么样呢？从GPT的角度看，这只是一系列的标记（Tokens）。当GPT在接收到一个输入，比如你给出的主题。它会生成一段与输入相关的文本，GPT的目标是预测下一个词，所以它会连续生成一串词，形成一段连贯的文本。从本质上看，Transformer只是标记模拟器，它不知道自己知道什么不知道什么，它不知道自己擅长什么或不擅长什么，它只是尽力生成下一个标记，它也不会进行反思，也不会不进行任何合理性检查。它不会纠正自己的错误，它只是产生抽样的标记序列，它没有像人类那样的内心独白流。但是，GPT有一些优势，如它们拥有大量的基于事实的知识，并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制，能立即获取到上下文窗口中的信息，从而进行无损记忆。然而，GPT在推理和判断方面的能力相对较弱，如果提出的问题需要更复杂的推理，单凭一个标记的信息，GPT往往无法给出正确的答案。一些技巧可以提升GPT的表现，比如Cot（Chain of Though）设定步骤来引导GPT展示其工作过程，或者通过多次抽样然后选择最佳结果等，或者可以让GPT检查自己的输出，比如询问它是否完成了任务，最好是在Prompt中明确的要求它检查自己的输出。后面还介绍了目前比较流行的GPT应用，比如Agent、Plugin、CoT、Embedding等最后他用GPT-4写了一个结尾： “女士们，先生们，2023年Microsoft Build的创新者和先驱者们，欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师，是塑造数字领域的视野家，在那里人类繁荣发展。拥抱科技的无限可能，让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通，更出色，更包容的世界，为未来的世代留下。准备好释放你的创造力，探索未知，把梦想变成现实。你的旅程今天开始。” 原始视频地址： YouTube地址：

宝玉

299,692 次观看 • 3 年前