Open AI传奇研究员Andrej Karpathy的新课，教你理解和构建GPT Tokenizer。 他可以把相当复杂的LLM概念用非常好理解的方式讲出来。希望了解LLM的强烈建议听一下他的课，包括一些历史课程。 用GPT-4翻译了一下这节课，感兴趣可以听一下。字幕文件下载和历史课程会放在下面⬇️

补充一下视频介绍： 分词器是大语言模型（LLM）处理流程中一个独立且关键的环节。它们有专属的训练数据集、采用特定的训练算法——字节对编码（Byte Pair Encoding），训练完成后，分词器能够执行两个核心功能：encode() 函数将普通文本字符串转换为词元，而 decode() 函数则能将词元还原为原始文本字符串。在这场讲座中，我们将一步步揭开 OpenAI GPT 系列分词器的构建过程。 我们将发现，许多大语言模型(LLM)表现出的异常行为和问题，其实都源于标记化(tokenization)这一环节。我们会针对这些问题进行详细讨论，探究标记化为何成为问题的关键所在，以及为什么最理想的情况是有人能够找到办法，完全去除这一处理阶段。

两个月前他的另一节课《大语言模型简介》非常浅显易懂。 解释了大语言模型的训练过程以及什么是多模态，最后最重要的是LLM的发展方向以及发展路径。 如果你不是专业的机器学习出身又想了解LLM的话这节课是讲的最好的，希望看看。 我人工校对的视频也在后面网盘链接里。

🎬视频文件和字幕下载在这里：

AK 自己写的文字版本的教程在这里：

在国内，永远是“只剩最后一个名额了”

我会好好听的

みんなも AI についてもっと学ぶようにしなければなりません

视频里用到的google colab 地址

@SaveToNotion AP LLM tokenizer 讲解

其实我还是很喜欢BERT的word piece，还做过一些interpret的工作，可惜已经成为时代的眼泪了……