Loading video...

Video Failed to Load

There was a problem loading this video. This could be due to a temporary network issue or the video might be unavailable.

Google教学视频：《解析 Transformers：理解 GPT，BERT 和 T5 模型背后的原理》（中英文字幕）过去五年中，Transformers，一种神经网络架构，完全改变了自然语言处理的最先进技术。想要使用机器学习来翻译文本吗？好奇一个机器学习模型如何能够写出诗歌或专栏文章吗？Transformers 可以做到所有这些。在这一集的“ML 制造”中，Dale Markowitz 解释了什么是 transformers，它们如何工作，以及它们为何具有如此大的影响力。观看此视频，了解你如何开始在你的应用中使用 transformers！章节： 0:00 - 引言 0:51 - 什么是 transformers？ 3:18 - transformers 是如何工作的？ 7:41 - transformers 是如何被使用的？ 8:35 - 如何开始使用 transformers 原始视频：

宝玉

249,879 subscribers

78,216 views • 3 years ago •via X (Twitter)

Science & Technology Education Arts

Anya Rossi• Live Now

Private livecam show

10 Comments

rando_g3 years ago

感觉Jay Alammar的 illustrated transformer 讲的更好一点

Jiehunt3 years ago

@SaveToNotion #thread #transformer

耶格尔主席 Chairman Yeager3 years ago

@get_this_v

realxxx3 years ago

@SaveToNotion #tweets

huazai3 years ago

@SaveToNotion #thread #transformers

Ross3 years ago

@shipin_xiazai

每日吉言3 years ago

@SaveToNotion #thread

Ross3 years ago

@SaveToNotion

liquidcat3 years ago

挺这个妹子说话好难受，感觉说着说着一口气就要喘不上来憋死了

🐴3 years ago

@SaveToNotion tweet #ai

Related Videos

如何让 GitHub Copilot 更好的帮你完成编码任务 GitHub Copilot 不过是开发者工具箱里众多工具之一；要想有效使用它，就需要掌握一定的技巧。我们经常接收到开发者的提问，他们想知道如何更好地利用 GitHub Copilot、如何编写有效的注释来生成代码，以及应该提出哪些问题。我们请来了企业解决方案工程师 Lindsey Bocatto 来分享使用 GitHub Copilot 的最佳实践，以及如何有效地利用这一新工具。 ▬▬▬▬▬▬ 视频时间点 ⌚ ▬▬▬▬▬▬ 0:00 开场介绍 1:12 如何开始使用 GitHub Copilot 5:22 GitHub Copilot 是如何理解提示上下文的？ 8:00 通过 GitHub Copilot 聊天功能提出问题 10:51 向 GitHub Copilot 提供更多上下文信息 13:43 使用 GitHub Copilot 的小贴士

如何让 GitHub Copilot 更好的帮你完成编码任务 GitHub Copilot 不过是开发者工具箱里众多工具之一；要想有效使用它，就需要掌握一定的技巧。我们经常接收到开发者的提问，他们想知道如何更好地利用 GitHub Copilot、如何编写有效的注释来生成代码，以及应该提出哪些问题。我们请来了企业解决方案工程师 Lindsey Bocatto 来分享使用 GitHub Copilot 的最佳实践，以及如何有效地利用这一新工具。 ▬▬▬▬▬▬ 视频时间点 ⌚ ▬▬▬▬▬▬ 0:00 开场介绍 1:12 如何开始使用 GitHub Copilot 5:22 GitHub Copilot 是如何理解提示上下文的？ 8:00 通过 GitHub Copilot 聊天功能提出问题 10:51 向 GitHub Copilot 提供更多上下文信息 13:43 使用 GitHub Copilot 的小贴士

宝玉

64,716 views • 2 years ago

第111集《如何成为一名优秀的创始人》你已经学会了如何开始，如何筹集资金，如何构建产品以及如何成长。LinkedIn创始人、Greylock Ventures合伙人Reid Hoffman解答了许多可能出现的问题和困惑——如何成为一名优秀的创始人。【创业必看】【Y Combinator Top 250】中文翻译由一键视频翻译工具Aragorn提供

第111集《如何成为一名优秀的创始人》你已经学会了如何开始，如何筹集资金，如何构建产品以及如何成长。LinkedIn创始人、Greylock Ventures合伙人Reid Hoffman解答了许多可能出现的问题和困惑——如何成为一名优秀的创始人。【创业必看】【Y Combinator Top 250】中文翻译由一键视频翻译工具Aragorn提供

张钊

38,683 views • 2 years ago

千万别拿我和张雪峰这个大傻逼作对比。网友：我想学AI相关的专业，我对AI很感兴趣，请问我应该选计算机还是数学？我：你一定要选计算机，先把python和数据结构基础打好，然后从deep learning这门课开始学，可以在家配置一个nvidia GPU的笔记本或者台式机，或者用google colab，先从最简单的 CNN 开始训练，找一个dataset，自己安装好pytorch和cuda、cudnn，抄一个经典CNN model，训练你的第一个神经网络，然后可以学习transformer，学习encoder only的BERT，学习decoder only的GPT模型，从minGPT开始，训练你的最小版本的GPT模型，如果你对训练模型感兴趣，可以读个PhD，如果你的inference感兴趣，可以多花点时间看cuda，简单学习一下nvidia tensor core architecture，可以了解GPT后续的模型的架构，如果你对inference感兴趣，你也可以直接看vllm的架构，读里面的代码，理解vllm是如何load一个用pytorch训练好的LLM模型，如果你对AI Agent感兴趣，可以从ReAct Agent开始看，然后看SWE Agent，知道一个Agent是如何抽象出来的，如何调用function call，如何自己做reasoning，如何把一个软件开发的任务用agentical的方式拆分和执行的，然后你可以看codex的架构，看看codex是如何设计memory、auto compact、multi agent、background task这些现代coding Agent功能的。张雪峰（下面视频中可以找到原话）：孩子，你一定要学数学，数学学好了可以转互联网、AI、科技、半导体、金融所有专业，数学是一切专业之母，所有专业的老祖宗！孩子，deepseek就是一群纯数学博士造出来的，这些人天天研究数学，就把deepseek造出来了！孩子，AI本质就是数学建模，就是一个个自变量，你只有研究数学，一直读到数学博士，才能把这些数学建模研究明白，计算机毕业生是永远研究不明白AI的！我的结论是，鼓吹“数学万能论”、“数学是一切专业的老祖宗”、“只有数学博士才能研究AI”的张雪峰和他们的粉丝，都是彻彻底底的大傻逼。

千万别拿我和张雪峰这个大傻逼作对比。网友：我想学AI相关的专业，我对AI很感兴趣，请问我应该选计算机还是数学？我：你一定要选计算机，先把python和数据结构基础打好，然后从deep learning这门课开始学，可以在家配置一个nvidia GPU的笔记本或者台式机，或者用google colab，先从最简单的 CNN 开始训练，找一个dataset，自己安装好pytorch和cuda、cudnn，抄一个经典CNN model，训练你的第一个神经网络，然后可以学习transformer，学习encoder only的BERT，学习decoder only的GPT模型，从minGPT开始，训练你的最小版本的GPT模型，如果你对训练模型感兴趣，可以读个PhD，如果你的inference感兴趣，可以多花点时间看cuda，简单学习一下nvidia tensor core architecture，可以了解GPT后续的模型的架构，如果你对inference感兴趣，你也可以直接看vllm的架构，读里面的代码，理解vllm是如何load一个用pytorch训练好的LLM模型，如果你对AI Agent感兴趣，可以从ReAct Agent开始看，然后看SWE Agent，知道一个Agent是如何抽象出来的，如何调用function call，如何自己做reasoning，如何把一个软件开发的任务用agentical的方式拆分和执行的，然后你可以看codex的架构，看看codex是如何设计memory、auto compact、multi agent、background task这些现代coding Agent功能的。张雪峰（下面视频中可以找到原话）：孩子，你一定要学数学，数学学好了可以转互联网、AI、科技、半导体、金融所有专业，数学是一切专业之母，所有专业的老祖宗！孩子，deepseek就是一群纯数学博士造出来的，这些人天天研究数学，就把deepseek造出来了！孩子，AI本质就是数学建模，就是一个个自变量，你只有研究数学，一直读到数学博士，才能把这些数学建模研究明白，计算机毕业生是永远研究不明白AI的！我的结论是，鼓吹“数学万能论”、“数学是一切专业的老祖宗”、“只有数学博士才能研究AI”的张雪峰和他们的粉丝，都是彻彻底底的大傻逼。

lidang 立党（劝人卖房/学CS/买SP500/纳100/OpenAI/Anthrop第一人）

269,976 views • 6 months ago

如何使用ChatGPT将视频内容转化为博客文章 - 手把手教程！在这个视频中，我讨论了将视频或播客内容转换为博客文章的好处。我解释了这个过程如何使内容更易于分享和搜索，帮助澄清思维，并提高口语技巧。我还展示了将视频内容转换为书面文章所涉及的工具和步骤。观看这个视频，学习如何将你的视频或播客内容转化为博客文章，从而增强你的内容创作策略。（双语字幕）

如何使用ChatGPT将视频内容转化为博客文章 - 手把手教程！在这个视频中，我讨论了将视频或播客内容转换为博客文章的好处。我解释了这个过程如何使内容更易于分享和搜索，帮助澄清思维，并提高口语技巧。我还展示了将视频内容转换为书面文章所涉及的工具和步骤。观看这个视频，学习如何将你的视频或播客内容转化为博客文章，从而增强你的内容创作策略。（双语字幕）

Bear Liu

262,810 views • 2 years ago

生成式 AI 入门教程 1 - 什么是生成式 AI - 了解其定义、应用与影响视频描述：欢迎来到“生成式 AI 入门教程”。自 ChatGPT 发布以来，生成式 AI 引起了广泛关注，它改变了我们的学习和工作方式，并且被认为将大幅提升生产力和推动全球经济增长。但同时，它也带来了一些负面影响的担忧，比如可能导致失业。在本课程中，你将学到生成式 AI 是什么，它能做什么，不能做什么，以及如何在工作或业务中应用它。生成式 AI 是一种能够生成高质量内容的 AI 系统，包括文本、图像和音频。目前最有影响力的是文本生成，但它也能生成美丽或逼真的图像，甚至是音频。通过这门课，你将了解到生成式 AI 如何使构建 AI 应用变得更容易和低成本，以及如何识别和探索对特定业务有用的应用。课程分为三周，第一周深入了解生成式 AI 的工作原理和应用案例；第二周讨论 Generative AI 项目，包括寻找应用和构建最佳实践；第三周从宏观角度探讨其对商业和社会的影响，并分享如何最大限度发挥其潜力的策略，同时确保使用 AI 的方式既安全又正面。 🚀 课程亮点：提供非技术性的生成式 AI 知识，易于理解。深入探讨生成式 AI 在文本、图像和音频生成方面的应用。分析生成式 AI 对个人、业务和社会的潜在影响。 🔥 你将学到：生成式 AI 的定义和能力如何在工作或业务中应用生成式 AI 生成式 AI 的潜在风险和如何安全使用 🌐 课程内容：生成式 AI 的工作原理和应用案例 Generative AI 项目的寻找和构建生成式 AI 对商业和社会的影响 📚 学习建议：保持开放的心态，积极探索生成式 AI 的潜力。关注课程中提到的实际案例，思考如何将知识应用到自己的工作中。注意理解生成式 AI 的潜在风险，并学习如何安全使用。 🔗 相关链接：课程地址：油管播放列表： B站播放列表：

生成式 AI 入门教程 1 - 什么是生成式 AI - 了解其定义、应用与影响视频描述：欢迎来到“生成式 AI 入门教程”。自 ChatGPT 发布以来，生成式 AI 引起了广泛关注，它改变了我们的学习和工作方式，并且被认为将大幅提升生产力和推动全球经济增长。但同时，它也带来了一些负面影响的担忧，比如可能导致失业。在本课程中，你将学到生成式 AI 是什么，它能做什么，不能做什么，以及如何在工作或业务中应用它。生成式 AI 是一种能够生成高质量内容的 AI 系统，包括文本、图像和音频。目前最有影响力的是文本生成，但它也能生成美丽或逼真的图像，甚至是音频。通过这门课，你将了解到生成式 AI 如何使构建 AI 应用变得更容易和低成本，以及如何识别和探索对特定业务有用的应用。课程分为三周，第一周深入了解生成式 AI 的工作原理和应用案例；第二周讨论 Generative AI 项目，包括寻找应用和构建最佳实践；第三周从宏观角度探讨其对商业和社会的影响，并分享如何最大限度发挥其潜力的策略，同时确保使用 AI 的方式既安全又正面。 🚀 课程亮点：提供非技术性的生成式 AI 知识，易于理解。深入探讨生成式 AI 在文本、图像和音频生成方面的应用。分析生成式 AI 对个人、业务和社会的潜在影响。 🔥 你将学到：生成式 AI 的定义和能力如何在工作或业务中应用生成式 AI 生成式 AI 的潜在风险和如何安全使用 🌐 课程内容：生成式 AI 的工作原理和应用案例 Generative AI 项目的寻找和构建生成式 AI 对商业和社会的影响 📚 学习建议：保持开放的心态，积极探索生成式 AI 的潜力。关注课程中提到的实际案例，思考如何将知识应用到自己的工作中。注意理解生成式 AI 的潜在风险，并学习如何安全使用。 🔗 相关链接：课程地址：油管播放列表： B站播放列表：

宝玉

575,969 views • 2 years ago

这个人展示了如何在短短 8 分钟内使用 Claude 创建移动应用。这是一个非常直观的教程，他演示了如何利用 AI 从零开始构建出一个功能完备的应用，过程循序渐进，毫无复杂之处。如果你正在学习 AI，这一定会让你感兴趣。

这个人展示了如何在短短 8 分钟内使用 Claude 创建移动应用。这是一个非常直观的教程，他演示了如何利用 AI 从零开始构建出一个功能完备的应用，过程循序渐进，毫无复杂之处。如果你正在学习 AI，这一定会让你感兴趣。

Bill The Investor

58,027 views • 6 months ago

如何利用Ai让你的学习速度快十倍？绝大多数人其实并不懂得如何真正学习，因为他们用各种短视频过度消耗自己的大脑。即使学了大半年也拿不到什么实际成果，今天Don Koe亲授：如何利用Ai让你的学习速度快十倍！所有人必看！

如何利用Ai让你的学习速度快十倍？绝大多数人其实并不懂得如何真正学习，因为他们用各种短视频过度消耗自己的大脑。即使学了大半年也拿不到什么实际成果，今天Don Koe亲授：如何利用Ai让你的学习速度快十倍！所有人必看！

0x鸣人

32,033 views • 3 months ago

大语言模型微调之道4——指令微调 #大语言模型微调之道在本期视频中，我们深入探讨了什么是指令微调以及它如何帮助AI模型更好地与用户互动。你知道GPT-3是如何变成具有聊天能力的ChatGPT的吗? 这背后的秘密就是指令微调。这种特殊的技术不仅可以应用于聊天，还可以帮助AI完成推理、编码等多种任务。但是，为了完成微调，我们需要什么数据呢？我们可以使用各种资源，包括互联网上的数据或公司内部的数据，如FAQs、客服聊天记录或Slack消息历史。如果没有适当的数据，也可以使用提示词模板来转换数据为更有目的的格式。Alpaca技术，来自斯坦福，甚至利用ChatGPT来完成这种转换！最后，我们通过实验对比了经过指令微调的模型和未经指令微调的模型的性能。结果显示，经过指令微调的模型能够提供更准确、更符合预期的答案。你还等什么？来了解更多关于如何为模型准备数据并进行微调的信息吧！课程地址： YouTube： B站：

大语言模型微调之道4——指令微调 #大语言模型微调之道在本期视频中，我们深入探讨了什么是指令微调以及它如何帮助AI模型更好地与用户互动。你知道GPT-3是如何变成具有聊天能力的ChatGPT的吗? 这背后的秘密就是指令微调。这种特殊的技术不仅可以应用于聊天，还可以帮助AI完成推理、编码等多种任务。但是，为了完成微调，我们需要什么数据呢？我们可以使用各种资源，包括互联网上的数据或公司内部的数据，如FAQs、客服聊天记录或Slack消息历史。如果没有适当的数据，也可以使用提示词模板来转换数据为更有目的的格式。Alpaca技术，来自斯坦福，甚至利用ChatGPT来完成这种转换！最后，我们通过实验对比了经过指令微调的模型和未经指令微调的模型的性能。结果显示，经过指令微调的模型能够提供更准确、更符合预期的答案。你还等什么？来了解更多关于如何为模型准备数据并进行微调的信息吧！课程地址： YouTube： B站：

宝玉

22,463 views • 3 years ago

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

宝玉

1,125,187 views • 2 years ago

Anthropic 最近公开了一款内部员工高频使用的 Claude Code Skill——ELI5。安装这个 Skill 后，你只需要输入想了解的概念，它就会自动生成一个 HTML 页面，通过“大图 + 少文字”的方式，把复杂的技术原理可视化解释出来。视频中演示了使用 ELI5 解释 MCP 运行原理，以及 Harness 这一 AI Agent 概念的过程。相比传统文字解释，它能够通过结构图、类比和简单案例，让复杂知识更加容易理解。如果你经常学习 AI、编程、Agent、MCP 等新技术，这个 Skill 可以帮助你快速理解和分享复杂概念。 #MCP #Skill #Anthropic #claude

Anthropic 最近公开了一款内部员工高频使用的 Claude Code Skill——ELI5。安装这个 Skill 后，你只需要输入想了解的概念，它就会自动生成一个 HTML 页面，通过“大图 + 少文字”的方式，把复杂的技术原理可视化解释出来。视频中演示了使用 ELI5 解释 MCP 运行原理，以及 Harness 这一 AI Agent 概念的过程。相比传统文字解释，它能够通过结构图、类比和简单案例，让复杂知识更加容易理解。如果你经常学习 AI、编程、Agent、MCP 等新技术，这个 Skill 可以帮助你快速理解和分享复杂概念。 #MCP #Skill #Anthropic #claude

GoFly

100,146 views • 1 month ago

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。（对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看）先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。并且陶哲轩提到了基于大语言模型的一些改进的方案：比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。原始 YT 视频：

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。（对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看）先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。并且陶哲轩提到了基于大语言模型的一些改进的方案：比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。原始 YT 视频：

宝玉

304,710 views • 2 years ago

谷歌的AI，已经开始做人类没教过它的事了。它自己学会了一门全新的外语。谷歌CEO把这称为“黑箱”。什么意思？就是他们自己也搞不明白AI的运作原理。举个例子。一个谷歌AI项目，本来没接受过孟加la语的训练。研究员只是用孟加拉语对它进行了几次提示。结果，它自己学会了翻译整个孟加拉语。现在谷歌的研究重点，变成了让AI去掌握上千种语言。但那个最核心的问题还在。为什么AI会这么做？没人能完全解释。当被问到为什么AI会出错时，他们也只有一些模糊的想法。最关键的一点是，谷歌CEO承认，在不完全理解工作原理的情况下，已经将这项技术释放给了全社会。他的解释是，我们也不完全理解人脑是如何工作的。把一个实验室里诞生的、行为不可预测的技术，与经过数百万年进化的人类大脑相提并论。这是一种合理的解释，还是一种推卸责任的说法？当创造者都无法完全控制其创造物时，我们普通人应该思考什么？

谷歌的AI，已经开始做人类没教过它的事了。它自己学会了一门全新的外语。谷歌CEO把这称为“黑箱”。什么意思？就是他们自己也搞不明白AI的运作原理。举个例子。一个谷歌AI项目，本来没接受过孟加la语的训练。研究员只是用孟加拉语对它进行了几次提示。结果，它自己学会了翻译整个孟加拉语。现在谷歌的研究重点，变成了让AI去掌握上千种语言。但那个最核心的问题还在。为什么AI会这么做？没人能完全解释。当被问到为什么AI会出错时，他们也只有一些模糊的想法。最关键的一点是，谷歌CEO承认，在不完全理解工作原理的情况下，已经将这项技术释放给了全社会。他的解释是，我们也不完全理解人脑是如何工作的。把一个实验室里诞生的、行为不可预测的技术，与经过数百万年进化的人类大脑相提并论。这是一种合理的解释，还是一种推卸责任的说法？当创造者都无法完全控制其创造物时，我们普通人应该思考什么？

墓碑科技

48,704 views • 8 months ago

哈佛CS50课程节选：如何构建基于GPT-4的应用上一节介绍了什么是GPT-4，这一节则是基于GPT-4可以构建什么样的应用，以及如何构建。这部分课程介绍了GPT-4可以构建的各种类型的应用，包括不限于： - 助手应用：GPT可以用于创建AI助手，帮助完成写作、编程或回答问题等任务。通过结合专业领域知识和用户的喜好，还可以对这些助手可以进一步定制。 - 文档问答系统：GPT可以用于构建基于上下文、对文档的问答系统。 - 实用功能：GPT可用于自动化需要基本语言理解的任务，如生成单元测试、查找文档、重写功能或检查品牌一致性。 - 创意创作：GPT可以用于在各个领域生成想法、可能性或建议，包括写作、营销和研究。通过将GPT的生成能力与专业领域的知识相结合，用户可以创建更有针对性和相关性的输出。 - Baby AGI或多步计划机器人：GPT可以放入一个循环中，与自己对话并指导自己的行动，从而创建一个基于一组工具和目标的自主执行任务或生成结果的自主代理。通过这个教程，可以大概了解GPT能做一些什么事情，以及背后的原理是什么。上一节什么是GPT-4：完整课程视频地址： edX:

哈佛CS50课程节选：如何构建基于GPT-4的应用上一节介绍了什么是GPT-4，这一节则是基于GPT-4可以构建什么样的应用，以及如何构建。这部分课程介绍了GPT-4可以构建的各种类型的应用，包括不限于： - 助手应用：GPT可以用于创建AI助手，帮助完成写作、编程或回答问题等任务。通过结合专业领域知识和用户的喜好，还可以对这些助手可以进一步定制。 - 文档问答系统：GPT可以用于构建基于上下文、对文档的问答系统。 - 实用功能：GPT可用于自动化需要基本语言理解的任务，如生成单元测试、查找文档、重写功能或检查品牌一致性。 - 创意创作：GPT可以用于在各个领域生成想法、可能性或建议，包括写作、营销和研究。通过将GPT的生成能力与专业领域的知识相结合，用户可以创建更有针对性和相关性的输出。 - Baby AGI或多步计划机器人：GPT可以放入一个循环中，与自己对话并指导自己的行动，从而创建一个基于一组工具和目标的自主执行任务或生成结果的自主代理。通过这个教程，可以大概了解GPT能做一些什么事情，以及背后的原理是什么。上一节什么是GPT-4：完整课程视频地址： edX:

宝玉

172,789 views • 3 years ago

这是我个人认为的最牛AI Money Hunter，没有之一。他的视频教学，对比一下国内的AI教学你就会发现有多大的价值差异。通过Pinterest搞流量完成AI副业变现，他全程在诠释： - 如何分析用户和需求 - 如何验证 - 如何制作匹配需求的内容 - 如何找到后端的产品 - Product Marketing Fit 并且在这个过程中，持续不断地在保证优质内容效果的基础上，持续不断使用AI工具提升效能。这东西发国内估计都没人看的明白，推特上水平相对高很多，才能感觉到什么是最牛教学。相同的套路做tt,ins也一样适用。由于asr有一些问题，视频中提到的AI视频工具是invideo，地址：

这是我个人认为的最牛AI Money Hunter，没有之一。他的视频教学，对比一下国内的AI教学你就会发现有多大的价值差异。通过Pinterest搞流量完成AI副业变现，他全程在诠释： - 如何分析用户和需求 - 如何验证 - 如何制作匹配需求的内容 - 如何找到后端的产品 - Product Marketing Fit 并且在这个过程中，持续不断地在保证优质内容效果的基础上，持续不断使用AI工具提升效能。这东西发国内估计都没人看的明白，推特上水平相对高很多，才能感觉到什么是最牛教学。相同的套路做tt,ins也一样适用。由于asr有一些问题，视频中提到的AI视频工具是invideo，地址：

Yangyi

159,035 views • 2 years ago

最近在回顾《权力的游戏》，但因为现在在日本没法订阅 HBO，所以我打开了 U-NEXT（我的 U-NEXT 订阅里其实有 HBO 的一部分影视资源）。不过日本的正版网站只有日语字幕，所以我就想着，能不能让 ChatGPT 帮我把日本这些流媒体的非日语资源，全部做成中英文对照的字幕，然后覆盖在播放器上，GPT-6.1 SOL 发布之后，正好我试试看，结果它几分钟就做出来如图3的效果。所以，如果你在学一门新的语言（比如说日语或者法语），你也可以使用吹替版本，然后在字幕下面要求 Codex 去做假名注音，并且把不懂的词汇给你放到生词表里。而且，这几乎适用于世界上任何视频和语音资源。我可以这么理解：AI 也许会改变所有流媒体的产品形态。我们也许会看到一种终极的播放器，它可以播放世界上任何的视频和音频，并且完全以你要求的语言（例如母语）来进行匹配，或者换句话说，电脑本身的用户界面会变成某种播放器，因为用户界面也是即时生成的，你可以把它理解为视频的一部分。人机交互界面正在被混合成某种灰色的领域。

最近在回顾《权力的游戏》，但因为现在在日本没法订阅 HBO，所以我打开了 U-NEXT（我的 U-NEXT 订阅里其实有 HBO 的一部分影视资源）。不过日本的正版网站只有日语字幕，所以我就想着，能不能让 ChatGPT 帮我把日本这些流媒体的非日语资源，全部做成中英文对照的字幕，然后覆盖在播放器上，GPT-6.1 SOL 发布之后，正好我试试看，结果它几分钟就做出来如图3的效果。所以，如果你在学一门新的语言（比如说日语或者法语），你也可以使用吹替版本，然后在字幕下面要求 Codex 去做假名注音，并且把不懂的词汇给你放到生词表里。而且，这几乎适用于世界上任何视频和语音资源。我可以这么理解：AI 也许会改变所有流媒体的产品形态。我们也许会看到一种终极的播放器，它可以播放世界上任何的视频和音频，并且完全以你要求的语言（例如母语）来进行匹配，或者换句话说，电脑本身的用户界面会变成某种播放器，因为用户界面也是即时生成的，你可以把它理解为视频的一部分。人机交互界面正在被混合成某种灰色的领域。

郭宇 guoyu.eth

53,524 views • 9 days ago