Dobby's banner
Dobby's profile picture

Dobby

@lesliedqbb • 5,172 subscribers

热爱研究AI 和 相关的产业投资 | Learn & Earn in Public 🚀 #bnb 终身返佣:https://t.co/ycRyVbYtky #ibkr 免费1000💲股票:https://t.co/ztsjYXE2qC

Videos

lesliedqbb's profile picture

最近看到一堂斯坦福公开课,用大约两小时,系统梳理了大语言模型从文本输入到训练、推理和生成结果的完整链路。 它不会让你两小时造出一个 Claude 或 ChatGPT,但能帮你建立一张非常重要的“大模型知识地图”。 课程重点: 00:00|LLM分词机制 文本进入模型前,为什么必须先被拆成 token?不同分词方式又会怎样影响训练效率与模型表现? 25:44|模型如何解码提示词 大模型并不是一次“理解”完整句话,而是根据上下文计算概率,逐个预测接下来最可能出现的 token。 35:40|大模型训练流程 从训练数据、预训练到参数更新,了解模型能力究竟是怎样一步步形成的。 1:16:47|从零理解LLM架构 拆解嵌入层、注意力机制、Transformer 模块和输出层,看清语言模型内部的数据流动方式。 我最大的感受是: 很多人每天都在研究提示词和新工具,却没有真正理解模型底层是怎样工作的。 当你理解了 token、注意力、训练和推理之后,很多原本模糊的概念都会连起来: 为什么上下文长度有限? 为什么模型会产生幻觉? 为什么推理速度如此重要? 为什么训练一个大模型这么昂贵? 建议先完整看一遍建立框架,再根据时间点回看不懂的部分。两小时不能让你成为大模型工程师,但足以帮你判断下一步应该学什么。

Dobby

115,572 views • 10 days ago