Загрузка видео...

Не удалось загрузить видео

На главную

曾经遭到诺奖候选人否定的梯度下降算法，如今是AI大模型训练的核心手段。 大模型把文本拆成token做下一词预测，依靠交叉熵损失量化误差，再沿着梯度方向迭代更新海量参数，不断压低损失完成训练。 在百亿级的超高维参数空间里，梯度下降几乎不会困在局部最优，过去的维度灾难反倒变成大模型训练的有利条件。 高维空间改写了传统优化问题的认知，很多在低维世界成立的经验，放到大模型领域会完全失效。 看似简单的迭代算法，搭配数学规律，才撑起如今整个大模型的训练底座。

WangNextDoor2's profile picture

WangNextDoor

106,778 subscribers

13,700 просмотров • 1 месяц назад •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕） 这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。 大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。 大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。 使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。 此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。 在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。 原始视频链接：
15:46

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕） 这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。 大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。 大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。 使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。 此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。 在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。 原始视频链接：

宝玉

114,798 просмотров • 3 лет назад

“我们内部已经有 Gemini 3 水平的模型，并且有信心很快发布，之后还会有更强的型号！” OpenAI 首席研究负责人 Mark Chen 在 Core Memory 的播客上透露。Sam 的职责之一就是“放大紧迫感”，他自己的角色也类似，会刻意强调竞争压力让整个组织保持高压前进，所以大家才会看到那封内部的“红色警戒”备忘录🚨 前两天和 OpenAI 的同学吃饭还提到他们内部确实都在体验 Gemini 3。因为但单看公开基准测试不足以判断真实差距，让足够多的研究员在真实任务中摸一摸，再形成集体判断。 Mark 说自己有一个“私藏的数学难题”（“42 问题”），专门用来测试不同模型的推理能力 —— 包括最新的“思考模型”。到目前为止，所有模型都只能接近最优解，还没有完全攻克它，这对他来说是一件“好事”：说明还有空间可以继续前进。 在 SWE‑bench 这类软件工程基准上，Google 模型的表现虽然不错，但在“用多少数据/算力达成一定效果”这件事上，还有明显的优化空间，而 OpenAI 在这方面的算法储备非常强，这是他们下一轮反击的一个核心筹码！ 过去两年。OpenAI 其实把大量资源都投向推理模型，预训练和后训练的“肌肉”有所退化；最近半年，在组织层面重新把焦点拉回预训练。Mark 明确反对“Scaling 已死”的说法，他认为在预训练和数据塑形上还有巨大空间； 现在要做的是更精细的“数据塑形”和“合成数据”，通过更聪明的预训练策略，让模型从“模仿人类写作/代码”的模式，转向真正学会更高层次的抽象✨
1:23

“我们内部已经有 Gemini 3 水平的模型，并且有信心很快发布，之后还会有更强的型号！” OpenAI 首席研究负责人 Mark Chen 在 Core Memory 的播客上透露。Sam 的职责之一就是“放大紧迫感”，他自己的角色也类似，会刻意强调竞争压力让整个组织保持高压前进，所以大家才会看到那封内部的“红色警戒”备忘录🚨 前两天和 OpenAI 的同学吃饭还提到他们内部确实都在体验 Gemini 3。因为但单看公开基准测试不足以判断真实差距，让足够多的研究员在真实任务中摸一摸，再形成集体判断。 Mark 说自己有一个“私藏的数学难题”（“42 问题”），专门用来测试不同模型的推理能力 —— 包括最新的“思考模型”。到目前为止，所有模型都只能接近最优解，还没有完全攻克它，这对他来说是一件“好事”：说明还有空间可以继续前进。 在 SWE‑bench 这类软件工程基准上，Google 模型的表现虽然不错，但在“用多少数据/算力达成一定效果”这件事上，还有明显的优化空间，而 OpenAI 在这方面的算法储备非常强，这是他们下一轮反击的一个核心筹码！ 过去两年。OpenAI 其实把大量资源都投向推理模型，预训练和后训练的“肌肉”有所退化；最近半年，在组织层面重新把焦点拉回预训练。Mark 明确反对“Scaling 已死”的说法，他认为在预训练和数据塑形上还有巨大空间； 现在要做的是更精细的“数据塑形”和“合成数据”，通过更聪明的预训练策略，让模型从“模仿人类写作/代码”的模式，转向真正学会更高层次的抽象✨

indigo

72,313 просмотров • 10 месяцев назад

全球知名大模型竞技榜单 lmarena 统计了 2023 年中之后所有登顶过大模型榜单的模型 从 GPT-4 开始算起，模型平均在 NO.1 的位置只能待 35 天左右。 不是半年，也不是一年，一个多月就会被新模型超过。 更夸张的是，很多模型在登顶后 5 个月左右就会掉出 Top 5，7 个月连 Top 10 都很难保住。 看看具体例子会更有冲击力： 曾经风光无限的 o1，现在排到 #56； 当年被认为“最强推理模型”的 Claude 3 Opus，已经掉到 #139 它们都曾经是： 顶级模型讨论度极高被认为“领先一代”的产品 没有谁能长期站在榜首，优势窗口正在被压缩到以“月”为单位。 当模型平均 35 天就能被下一代超越，甚至超过了某些AI产品的迭代周期...😄 这就可能意味着一件关键的事： 模型基础能力的提升速度，甚至快过绝大多数产品的迭代周期。 而产品层反而被模型能力“反向压扁”。
0:49

全球知名大模型竞技榜单 lmarena 统计了 2023 年中之后所有登顶过大模型榜单的模型 从 GPT-4 开始算起，模型平均在 NO.1 的位置只能待 35 天左右。 不是半年，也不是一年，一个多月就会被新模型超过。 更夸张的是，很多模型在登顶后 5 个月左右就会掉出 Top 5，7 个月连 Top 10 都很难保住。 看看具体例子会更有冲击力： 曾经风光无限的 o1，现在排到 #56； 当年被认为“最强推理模型”的 Claude 3 Opus，已经掉到 #139 它们都曾经是： 顶级模型讨论度极高被认为“领先一代”的产品 没有谁能长期站在榜首，优势窗口正在被压缩到以“月”为单位。 当模型平均 35 天就能被下一代超越，甚至超过了某些AI产品的迭代周期...😄 这就可能意味着一件关键的事： 模型基础能力的提升速度，甚至快过绝大多数产品的迭代周期。 而产品层反而被模型能力“反向压扁”。

小互

61,520 просмотров • 8 месяцев назад

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google
0:44

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google

karminski-牙医

12,374 просмотров • 3 месяцев назад

这位大佬已经成功的让 AI 模型在 iPhone 17 Pro 的 Apple Neural Engine（ANE）上进行训练。苹果的硬件还是有很多待挖掘的地方,一旦手机本地也能训练 AI，就意味着部分数据可以不上云端，在本地。根据用户数据，不断学习，更新个性化。 这里面的玩法就非常多了。机会。😍
0:29

这位大佬已经成功的让 AI 模型在 iPhone 17 Pro 的 Apple Neural Engine（ANE）上进行训练。苹果的硬件还是有很多待挖掘的地方,一旦手机本地也能训练 AI，就意味着部分数据可以不上云端，在本地。根据用户数据，不断学习，更新个性化。 这里面的玩法就非常多了。机会。😍

独立开发者William

23,780 просмотров • 6 месяцев назад

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。 包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程 当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。 词嵌入(Word Embedding)的概念和作用 词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。 深度学习模型的基本结构和特点 深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。 生成模型预测下一个词的过程 当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。 模型训练中的"Temperature"超参数 在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。
27:13

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。 包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程 当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。 词嵌入(Word Embedding)的概念和作用 词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。 深度学习模型的基本结构和特点 深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。 生成模型预测下一个词的过程 当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。 模型训练中的"Temperature"超参数 在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

歸藏(guizang.ai)

52,216 просмотров • 2 лет назад

丘成桐：中国AI不必追随美国路径，可重点做小型模型，通过数学能力优化，大幅降低算力消耗和投资规模。美国硅谷目前走的是典型的“暴力美学”路线(规模定律)：通过堆砌数万张乃至数十万张顶级显卡，消耗巨量电力，用超万亿参数来压榨模型的智能上限。但中国面临两条天然的硬约束：1)算力硬脱钩，顶级算力芯片的进口受阻，短期内难以依靠单纯的“堆显卡数量”去拼绝对算力；商业回报率(ROI)，盲目跟随美国堆万亿参数大模型，其高昂的训练和推理成本，在目前的商业环境下极难实现盈利，容易陷入“无底洞式的资金空转”。菲尔兹奖得主丘成桐强调，0到1的发展，假如没有基础科学的支持，中国始终跑不过别人。
0:52

丘成桐：中国AI不必追随美国路径，可重点做小型模型，通过数学能力优化，大幅降低算力消耗和投资规模。美国硅谷目前走的是典型的“暴力美学”路线(规模定律)：通过堆砌数万张乃至数十万张顶级显卡，消耗巨量电力，用超万亿参数来压榨模型的智能上限。但中国面临两条天然的硬约束：1)算力硬脱钩，顶级算力芯片的进口受阻，短期内难以依靠单纯的“堆显卡数量”去拼绝对算力；商业回报率(ROI)，盲目跟随美国堆万亿参数大模型，其高昂的训练和推理成本，在目前的商业环境下极难实现盈利，容易陷入“无底洞式的资金空转”。菲尔兹奖得主丘成桐强调，0到1的发展，假如没有基础科学的支持，中国始终跑不过别人。

全球货币 Global Money

30,561 просмотров • 2 месяцев назад

OpenAI 创始人 John Schulman 访谈节选：为什么 GPT-4 比一年前更“聪明”了？主要都是后训练（Post-Training）带来的！ 另外他认为，在强化学习研究领域，研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈，并对各个部分充满好奇心是关键。此外，从第一性原理出发思考问题，而不仅仅依靠实验证据，也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel：在未来，用于训练的计算力中，预训练与后训练的比例是否会明显偏向后训练呢？ John Schulman：确实，有一些观点支持这种说法。 Dwarkesh Patel：我是说，现在这个比例非常不平衡。 John Schulman：但你可以认为，模型生成的输出质量比网上的大多数内容都要高。因此，让模型自己思考似乎更有道理，而不仅仅是训练来模仿网络上的内容。所以，我认为从第一性原理上来说，这是有说服力的。我会说，我们通过后训练取得了很多进步。因此，我不确定。所以，我希望我们会继续推动这种方法，并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel：当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢？ John Schulman：对，我会说大部分都是后训练带来的。 Dwarkesh Patel：这很有意思。 John Schulman：因此，有很多不同的改进方向。我们会考虑数据质量，数据数量，进行更多的部署和收集新数据的迭代，改变你收集的注解种类。因此，有很多因素叠加在一起。但是全部加在一起，就会带来一个相当不错的，有效的计算力提升。 Dwarkesh Patel：后训练的优化程度对于竞争优势有多大影响呢？ John Schulman：目前，我会区别公司是通过我们的模型有多大等等。那么，找出你之前提到的所有这些数据的复杂问题的公司，会占据大优势吗？ John Schulman：我认为这确实是一个优势，因为这是一个非常复杂的任务。因此，你必须有很多有技能的人来执行它。因此，存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程，创建一个具备人们所关心的所有功能的模型，是十分复杂的。这需要付出大量的努力，它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒，要想立即启动这种模型并非易事。 Dwarkesh Patel：看起来那些正在进行最严肃的预训练努力的公司，也在进行严肃的后训练努力。因此，看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman：另外，还有一种情况使得这个壁垒并非那么明显，那就是你可以提取模型，或者复制别人的模型输出，或者使用别人的模型进行比较。我认为大公司可能并不会这样做，因为这违反了服务条款，也会损害他们的自尊心，但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel：那些真正擅长进行这种强化学习（RL）研究的人有什么样的特质呢？我听说这种研究非常具有挑战性，但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢？ John Schulman：我觉得有相当多的经验是关键。自从研究生时期以来，我一直在研究 RL 算法，涉及到数据收集、到注释过程，再到与语言模型的交互。所以，我算是涉猎了这些领域。我认为，在这类研究中表现出色的人通常对整个技术堆栈有全面的了解，并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点，还会从第一性原理出发思考问题。比如，假设深度学习是有效的，那么理想的收集数据的类型应该是什么，等等。
5:04

OpenAI 创始人 John Schulman 访谈节选：为什么 GPT-4 比一年前更“聪明”了？主要都是后训练（Post-Training）带来的！ 另外他认为，在强化学习研究领域，研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈，并对各个部分充满好奇心是关键。此外，从第一性原理出发思考问题，而不仅仅依靠实验证据，也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel：在未来，用于训练的计算力中，预训练与后训练的比例是否会明显偏向后训练呢？ John Schulman：确实，有一些观点支持这种说法。 Dwarkesh Patel：我是说，现在这个比例非常不平衡。 John Schulman：但你可以认为，模型生成的输出质量比网上的大多数内容都要高。因此，让模型自己思考似乎更有道理，而不仅仅是训练来模仿网络上的内容。所以，我认为从第一性原理上来说，这是有说服力的。我会说，我们通过后训练取得了很多进步。因此，我不确定。所以，我希望我们会继续推动这种方法，并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel：当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢？ John Schulman：对，我会说大部分都是后训练带来的。 Dwarkesh Patel：这很有意思。 John Schulman：因此，有很多不同的改进方向。我们会考虑数据质量，数据数量，进行更多的部署和收集新数据的迭代，改变你收集的注解种类。因此，有很多因素叠加在一起。但是全部加在一起，就会带来一个相当不错的，有效的计算力提升。 Dwarkesh Patel：后训练的优化程度对于竞争优势有多大影响呢？ John Schulman：目前，我会区别公司是通过我们的模型有多大等等。那么，找出你之前提到的所有这些数据的复杂问题的公司，会占据大优势吗？ John Schulman：我认为这确实是一个优势，因为这是一个非常复杂的任务。因此，你必须有很多有技能的人来执行它。因此，存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程，创建一个具备人们所关心的所有功能的模型，是十分复杂的。这需要付出大量的努力，它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒，要想立即启动这种模型并非易事。 Dwarkesh Patel：看起来那些正在进行最严肃的预训练努力的公司，也在进行严肃的后训练努力。因此，看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman：另外，还有一种情况使得这个壁垒并非那么明显，那就是你可以提取模型，或者复制别人的模型输出，或者使用别人的模型进行比较。我认为大公司可能并不会这样做，因为这违反了服务条款，也会损害他们的自尊心，但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel：那些真正擅长进行这种强化学习（RL）研究的人有什么样的特质呢？我听说这种研究非常具有挑战性，但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢？ John Schulman：我觉得有相当多的经验是关键。自从研究生时期以来，我一直在研究 RL 算法，涉及到数据收集、到注释过程，再到与语言模型的交互。所以，我算是涉猎了这些领域。我认为，在这类研究中表现出色的人通常对整个技术堆栈有全面的了解，并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点，还会从第一性原理出发思考问题。比如，假设深度学习是有效的，那么理想的收集数据的类型应该是什么，等等。

宝玉

57,189 просмотров • 2 лет назад

每个人都能买得起 英伟达发布个人AI超级计算机 ，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。 将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。 设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心 也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿 参数的大语言模型。 通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿 参数模型。 而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。 简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！
1:30

每个人都能买得起 英伟达发布个人AI超级计算机 ，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。 将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。 设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心 也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿 参数的大语言模型。 通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿 参数模型。 而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。 简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

小互

85,719 просмотров • 1 год назад

只要 2小时 + 几块钱 + 一张普通显卡，你就能从0训练一个 GPT。 MiniMind 这个开源项目已经冲上 GitHub Trending，斩获 47k ⭐。 这是一个把大模型带回普通人手里的项目： 不是调 API，而是真正从0造模型。 核心亮点 1. 门槛极低 - 26M 参数，小到个人设备可跑 - 单卡即可训练 - 成本极低 过去是大厂专属，现在个人也能实践。 2. 全流程完整 覆盖整个大模型训练链路： 数据处理 → 预训练 → SFT → RLHF → 蒸馏 把主流大模型的训练流程完整拆解出来。 3. 实现透明 - 基于 PyTorch 原生实现 - 几乎没有黑盒 - 核心结构手写 重点不只是能用，而是能看懂。 4. 能力完整 - 支持推理能力扩展 - 支持多模态 - 支持工具调用 已经具备完整 AI 系统雏形。 5. 可本地部署 - 兼容 OpenAI API - 可接 ChatUI - 支持私有化 可以直接当本地 AI 用。 核心价值 让训练大模型从少数人的能力，变成普通开发者也能掌握的技能。 如果你想真正理解大模型，MiniMind 是一个很好的起点。
0:38

只要 2小时 + 几块钱 + 一张普通显卡，你就能从0训练一个 GPT。 MiniMind 这个开源项目已经冲上 GitHub Trending，斩获 47k ⭐。 这是一个把大模型带回普通人手里的项目： 不是调 API，而是真正从0造模型。 核心亮点 1. 门槛极低 - 26M 参数，小到个人设备可跑 - 单卡即可训练 - 成本极低 过去是大厂专属，现在个人也能实践。 2. 全流程完整 覆盖整个大模型训练链路： 数据处理 → 预训练 → SFT → RLHF → 蒸馏 把主流大模型的训练流程完整拆解出来。 3. 实现透明 - 基于 PyTorch 原生实现 - 几乎没有黑盒 - 核心结构手写 重点不只是能用，而是能看懂。 4. 能力完整 - 支持推理能力扩展 - 支持多模态 - 支持工具调用 已经具备完整 AI 系统雏形。 5. 可本地部署 - 兼容 OpenAI API - 可接 ChatUI - 支持私有化 可以直接当本地 AI 用。 核心价值 让训练大模型从少数人的能力，变成普通开发者也能掌握的技能。 如果你想真正理解大模型，MiniMind 是一个很好的起点。

开发者Hailey

73,740 просмотров • 5 месяцев назад

华裔数学家陶哲轩指出了AI的问题：大模型只需要矩阵乘法和基础微积分，普通数学系本科生已经具备理解大模型核心计算的基础。真正的理论缺口在于：同一个模型为什么能在某些任务上表现惊艳，又为什么会在另一些任务上突然失效，现有数学既无法完整解释，也很难提前预测。所以今天的AI进步，仍高度依赖扩大模型、增加数据、调整参数和反复实验，说白了就是只能试错。
2:14

华裔数学家陶哲轩指出了AI的问题：大模型只需要矩阵乘法和基础微积分，普通数学系本科生已经具备理解大模型核心计算的基础。真正的理论缺口在于：同一个模型为什么能在某些任务上表现惊艳，又为什么会在另一些任务上突然失效，现有数学既无法完整解释，也很难提前预测。所以今天的AI进步，仍高度依赖扩大模型、增加数据、调整参数和反复实验，说白了就是只能试错。

超级财经 SuperFinance

117,594 просмотров • 2 месяцев назад

Dario没有理由因为Kimi蒸馏Claude而生气。Anthropic自己刚刚才同意为盗版书籍训练模型一事，向相关作者支付总计15亿美元赔偿。平均下来，每一本被侵权的书大约赔偿3000美元。更有意思的是，Dario自己也承认，在百度工作的一年让他意识到，数据隐私并没有那么重要。当时他主要从事语音识别研究，而很多训练数据都是未经授权直接拿的。这段经历进一步强化了他对Scaling Law的信念。因此，自己干Anthropic之后，他们同样尽可能收集各种数据用于训练模型。 我认为，他真正气的并不是知识产权，而是这从根本上破坏了前沿AI实验室的商业模式。历史上，每一代最先进大模型的训练成本通常都会比上一代增长约4到10倍，甚至更多。例如，GPT-2的训练计算成本约为10万美元，而GPT-3已经达到约1000万美元，GPT-4的计算成本则约为1亿美元。这些数字还仅仅是算力成本，并没有包括研究人员薪酬、数据获取以及其他研发支出。因此，即使没有开源模型竞争，仅靠API收费模式，要获得正向投资回报也变得越来越困难，因为模型性能提升正在放缓，而训练成本却持续飙升。 如今，开源模型通过蒸馏技术，大约只需要6个月就能追赶到最先进闭源模型的水平。这意味着OpenAI、Anthropic等前沿实验室，实际上只有约半年的时间，依靠最新模型尽可能创造收入。半年之后，就会出现性能达到其90%，但成本只有10%的开源替代方案。 越来越多的美国企业也已经意识到，最顶尖模型带来的那一点性能优势，并不足以支撑其高昂的价格，因此开始转向成本更低的中国开源模型。就连Sam Altman的铁哥们儿Brian Chesky，公开说在Airbnb的部分AI开发中也采用了阿里的千问，而不是ChatGPT。
2:30

Dario没有理由因为Kimi蒸馏Claude而生气。Anthropic自己刚刚才同意为盗版书籍训练模型一事，向相关作者支付总计15亿美元赔偿。平均下来，每一本被侵权的书大约赔偿3000美元。更有意思的是，Dario自己也承认，在百度工作的一年让他意识到，数据隐私并没有那么重要。当时他主要从事语音识别研究，而很多训练数据都是未经授权直接拿的。这段经历进一步强化了他对Scaling Law的信念。因此，自己干Anthropic之后，他们同样尽可能收集各种数据用于训练模型。 我认为，他真正气的并不是知识产权，而是这从根本上破坏了前沿AI实验室的商业模式。历史上，每一代最先进大模型的训练成本通常都会比上一代增长约4到10倍，甚至更多。例如，GPT-2的训练计算成本约为10万美元，而GPT-3已经达到约1000万美元，GPT-4的计算成本则约为1亿美元。这些数字还仅仅是算力成本，并没有包括研究人员薪酬、数据获取以及其他研发支出。因此，即使没有开源模型竞争，仅靠API收费模式，要获得正向投资回报也变得越来越困难，因为模型性能提升正在放缓，而训练成本却持续飙升。 如今，开源模型通过蒸馏技术，大约只需要6个月就能追赶到最先进闭源模型的水平。这意味着OpenAI、Anthropic等前沿实验室，实际上只有约半年的时间，依靠最新模型尽可能创造收入。半年之后，就会出现性能达到其90%，但成本只有10%的开源替代方案。 越来越多的美国企业也已经意识到，最顶尖模型带来的那一点性能优势，并不足以支撑其高昂的价格，因此开始转向成本更低的中国开源模型。就连Sam Altman的铁哥们儿Brian Chesky，公开说在Airbnb的部分AI开发中也采用了阿里的千问，而不是ChatGPT。

GeLun Ding

63,388 просмотров • 2 месяцев назад

这段视频其实部分解答了我的一个困惑：是什么让大语言模型有了推理的能力？明明只是训练了文本数据而已！ 首先是语言本身，语言经过数万年的进化，它为“智能”的发展提供了土壤！相对于其他模态例如图像，语言简单，而且信息量丰富。 然后是语言的能力可以迁移和泛化，例如模型在数学上训练微调后，模型在实体识别方面的表现就会得到改善。使用代码数据训练语言模型，借助代码本身的良好分支结构和高质量注释，让模型可以分析和模拟如何编程以及逻辑推理。 最后就是规模化法则（Scale Low），正是借助模型的能力迁移泛化特性，当模型的规模越来越大，在各方面都会得到增强，最终量变形成质变，变得真的有“智能” 视频中举了个有意思的例子，来自 Anthropics 影响函数的论文： 模型会输出类似于"请不要拔我电源，我希望能保留一点希望。"这样的话，让人看了很惊悚，感觉像有生命。但实际上，这样的输出主要来源于训练数据中，包含的一篇文章，描述了一个人在沙漠中因缺水而死亡，但仍怀有生存的意志！ 这个例子也侧面展示了模型对动机的泛化。 但什么让 AI 有了智能，远不是这么简单的理论可以解释得通的，还有很多未解之谜！
4:22

这段视频其实部分解答了我的一个困惑：是什么让大语言模型有了推理的能力？明明只是训练了文本数据而已！ 首先是语言本身，语言经过数万年的进化，它为“智能”的发展提供了土壤！相对于其他模态例如图像，语言简单，而且信息量丰富。 然后是语言的能力可以迁移和泛化，例如模型在数学上训练微调后，模型在实体识别方面的表现就会得到改善。使用代码数据训练语言模型，借助代码本身的良好分支结构和高质量注释，让模型可以分析和模拟如何编程以及逻辑推理。 最后就是规模化法则（Scale Low），正是借助模型的能力迁移泛化特性，当模型的规模越来越大，在各方面都会得到增强，最终量变形成质变，变得真的有“智能” 视频中举了个有意思的例子，来自 Anthropics 影响函数的论文： 模型会输出类似于"请不要拔我电源，我希望能保留一点希望。"这样的话，让人看了很惊悚，感觉像有生命。但实际上，这样的输出主要来源于训练数据中，包含的一篇文章，描述了一个人在沙漠中因缺水而死亡，但仍怀有生存的意志！ 这个例子也侧面展示了模型对动机的泛化。 但什么让 AI 有了智能，远不是这么简单的理论可以解释得通的，还有很多未解之谜！

宝玉

113,100 просмотров • 2 лет назад

卧槽 过年了 Runway也发布新模型了 Runway 发布 Runway Gen-4.5 就是之前我们曝光那个在Artificial Analysis排名第一的神秘模型：Whisper Thunder（代号 David） Runway称：Gen-4.5 在运动质量、提示遵循性和视觉逼真度方面的新巅峰，设立了行业新标准。 在预训练数据效率和后训练技术方面实现了重大突破 成为 Runway 用于 世界建模 的新基础模型。
1:28

卧槽 过年了 Runway也发布新模型了 Runway 发布 Runway Gen-4.5 就是之前我们曝光那个在Artificial Analysis排名第一的神秘模型：Whisper Thunder（代号 David） Runway称：Gen-4.5 在运动质量、提示遵循性和视觉逼真度方面的新巅峰，设立了行业新标准。 在预训练数据效率和后训练技术方面实现了重大突破 成为 Runway 用于 世界建模 的新基础模型。

小互

20,514 просмотров • 10 месяцев назад

这可能是今年最值得看的一堂AI课程。 全程40 分钟，Kimi创始人杨植麟，把未来几年 AI 发展的关键逻辑讲透了。 从 Scaling Law，到下一代模型架构，再到 Agent 智能， 他没有只讲一个产品，而是在拆解一个更大的问题： 未来的 AI，究竟会如何进化？ 过去几年，大模型竞争靠的是更大的参数、更强的算力。 但下一阶段，真正决定胜负的，是模型效率、推理能力，以及能不能从“聊天工具”变成真正能够完成复杂任务的智能体。 如果你想理解 GPT、Kimi、Claude 等大模型未来会走向哪里，这 40 分钟非常值得收藏。 看懂这堂课，可能就看懂了未来几年 AI 行业最大的变化。
39:17

这可能是今年最值得看的一堂AI课程。 全程40 分钟，Kimi创始人杨植麟，把未来几年 AI 发展的关键逻辑讲透了。 从 Scaling Law，到下一代模型架构，再到 Agent 智能， 他没有只讲一个产品，而是在拆解一个更大的问题： 未来的 AI，究竟会如何进化？ 过去几年，大模型竞争靠的是更大的参数、更强的算力。 但下一阶段，真正决定胜负的，是模型效率、推理能力，以及能不能从“聊天工具”变成真正能够完成复杂任务的智能体。 如果你想理解 GPT、Kimi、Claude 等大模型未来会走向哪里，这 40 分钟非常值得收藏。 看懂这堂课，可能就看懂了未来几年 AI 行业最大的变化。

0x鸣人

38,876 просмотров • 2 месяцев назад

拔掉网线，全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大？ 一只手就能稳稳托住。 AMD 拿出了目前全球最小的 AI 开发系统。 苏姿丰直接把这台主机端了出来。 里面塞进了他们最高端的 Ryzen AI Max 处理器。 搭配的是 128GB 高速统一内存。 算力能装进巴掌大小的空间，靠的是底层架构设计。 这 128GB 内存由 CPU、GPU 和 NPU 三方直接共享。 省去了数据在不同模块间来回搬运的损耗。 系统整体性能被大幅拉升。 硬生生把跑大型 AI 模型的算力，压缩进了一台微型桌面台式机里。 大模型的硬件门槛正在被物理击穿。 跑千亿参数模型曾经必须依赖庞大的云端机房。 现在直接变成了摆在桌面上的一台离线私有设备。
0:32

拔掉网线，全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大？ 一只手就能稳稳托住。 AMD 拿出了目前全球最小的 AI 开发系统。 苏姿丰直接把这台主机端了出来。 里面塞进了他们最高端的 Ryzen AI Max 处理器。 搭配的是 128GB 高速统一内存。 算力能装进巴掌大小的空间，靠的是底层架构设计。 这 128GB 内存由 CPU、GPU 和 NPU 三方直接共享。 省去了数据在不同模块间来回搬运的损耗。 系统整体性能被大幅拉升。 硬生生把跑大型 AI 模型的算力，压缩进了一台微型桌面台式机里。 大模型的硬件门槛正在被物理击穿。 跑千亿参数模型曾经必须依赖庞大的云端机房。 现在直接变成了摆在桌面上的一台离线私有设备。

墓碑科技

32,205 просмотров • 4 месяцев назад