Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

只要 2小时 + 几块钱 + 一张普通显卡，你就能从0训练一个 GPT。 MiniMind 这个开源项目已经冲上 GitHub Trending，斩获 47k ⭐。这是一个把大模型带回普通人手里的项目：不是调 API，而是真正从0造模型。核心亮点 1. 门槛极低 - 26M 参数，小到个人设备可跑 - 单卡即可训练 - 成本极低过去是大厂专属，现在个人也能实践。 2. 全流程完整覆盖整个大模型训练链路：数据处理 → 预训练 → SFT → RLHF → 蒸馏把主流大模型的训练流程完整拆解出来。 3. 实现透明 - 基于 PyTorch 原生实现 - 几乎没有黑盒 -... 核心结构手写重点不只是能用，而是能看懂。 4. 能力完整 - 支持推理能力扩展 - 支持多模态 - 支持工具调用已经具备完整 AI 系统雏形。 5. 可本地部署 - 兼容 OpenAI API - 可接 ChatUI - 支持私有化可以直接当本地 AI 用。核心价值让训练大模型从少数人的能力，变成普通开发者也能掌握的技能。如果你想真正理解大模型，MiniMind 是一个很好的起点。show more

开发者Hailey

22,051 subscribers

73,648 Aufrufe • vor 4 Monaten •via X (Twitter)

Kunst Bildung Wissenschaft & Technologie

Anya Rossi• Live Now

Private livecam show

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

这可能是今年最值得看的一堂AI课程。全程40 分钟，Kimi创始人杨植麟，把未来几年 AI 发展的关键逻辑讲透了。从 Scaling Law，到下一代模型架构，再到 Agent 智能，他没有只讲一个产品，而是在拆解一个更大的问题：未来的 AI，究竟会如何进化？过去几年，大模型竞争靠的是更大的参数、更强的算力。但下一阶段，真正决定胜负的，是模型效率、推理能力，以及能不能从“聊天工具”变成真正能够完成复杂任务的智能体。如果你想理解 GPT、Kimi、Claude 等大模型未来会走向哪里，这 40 分钟非常值得收藏。看懂这堂课，可能就看懂了未来几年 AI 行业最大的变化。

这可能是今年最值得看的一堂AI课程。全程40 分钟，Kimi创始人杨植麟，把未来几年 AI 发展的关键逻辑讲透了。从 Scaling Law，到下一代模型架构，再到 Agent 智能，他没有只讲一个产品，而是在拆解一个更大的问题：未来的 AI，究竟会如何进化？过去几年，大模型竞争靠的是更大的参数、更强的算力。但下一阶段，真正决定胜负的，是模型效率、推理能力，以及能不能从“聊天工具”变成真正能够完成复杂任务的智能体。如果你想理解 GPT、Kimi、Claude 等大模型未来会走向哪里，这 40 分钟非常值得收藏。看懂这堂课，可能就看懂了未来几年 AI 行业最大的变化。

0x鸣人

38,481 Aufrufe • vor 21 Tagen

每个人都能买得起英伟达发布个人AI超级计算机，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿参数的大语言模型。通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿参数模型。而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

每个人都能买得起英伟达发布个人AI超级计算机，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿参数的大语言模型。通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿参数模型。而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

小互

85,713 Aufrufe • vor 1 Jahr

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

Gorden Sun

55,078 Aufrufe • vor 6 Monaten

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,074 Aufrufe • vor 3 Monaten

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

宝玉

114,646 Aufrufe • vor 3 Jahren

在今天的百度世界大会上，沉寂许久的百度发布其文心5.0（EB5）模型似乎是憋了个大招根据公布的信息,这代模型直接从训练伊始就融合文本、图像、音频、视频训练数据是一个原生的全模态模型... - 参数规模高达 2.4 万亿 - MoE架构激活参数比例< 3% 测试了下视频分析能力，感觉是有点东西... 真的能看懂视频，不只是台词，画面分析的也很可以...

在今天的百度世界大会上，沉寂许久的百度发布其文心5.0（EB5）模型似乎是憋了个大招根据公布的信息,这代模型直接从训练伊始就融合文本、图像、音频、视频训练数据是一个原生的全模态模型... - 参数规模高达 2.4 万亿 - MoE架构激活参数比例< 3% 测试了下视频分析能力，感觉是有点东西... 真的能看懂视频，不只是台词，画面分析的也很可以...

小互

38,838 Aufrufe • vor 9 Monaten

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

小互

37,051 Aufrufe • vor 1 Jahr

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。其实 HuggingChat 也不错的你可以在这里体验所有的开源大语言模型

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。其实 HuggingChat 也不错的你可以在这里体验所有的开源大语言模型

indigo

183,914 Aufrufe • vor 2 Jahren

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 Aufrufe • vor 2 Jahren

俺上电视啦! 聊聊 kimi-k3 这么猛为什么还要开源上周有幸接受了深圳卫视-科创最前沿栏目的采访, 主要聊了聊 Kimi-K3 这次取得如此牛的成绩背后的意义. 以及SOTA级别的模型就这样开放权重了, 不怕别人抄吗? 在我来看是真不怕的, 想象一下一个武林高手, 把自己的秘籍写成书, 免费送. 那是不是就意味着这些武林秘籍不是谁都练的. 大模型的情况也是这样的, 虽然权重也开源了, 训练技术也开源了, 但是, 最重要的, 训练使用的数据和经验, 这个是没开源的. 举个最典型的例子, 现在个人拿到kimi-k3的模型权重, 然后自己租算力微调, 大概率是会把模型越调越拉跨的. 就是因为既没有优质的后训练数据, 也没有优秀的后训练能力. 而现在大模型训练的数据其实大部分都是AI合成的了. 护城河已经从“静态的代码和模型权重”转移到了“持续的进化能力和数据飞轮”了. 所以即使全面复刻了 kimi-k3 的技术架构, 但是没有高质量合成数据流和持续的后训练体系, 也是没有办法竞争的. 但是 kimi-k3 开源获得的收益却是事实存在的, 不但能获得超高的曝光, 而且还能提升自己的社区影响力, 并且还能收获社区的正向反馈. 开源出来的训练工具链, 社区优秀的工程师在使用中也会不断的帮助反馈和提升. 形成整个生态的进步. 得道者多助这个道理是不会变的. #kimik3 #深圳卫视 #科创最前沿

俺上电视啦! 聊聊 kimi-k3 这么猛为什么还要开源上周有幸接受了深圳卫视-科创最前沿栏目的采访, 主要聊了聊 Kimi-K3 这次取得如此牛的成绩背后的意义. 以及SOTA级别的模型就这样开放权重了, 不怕别人抄吗? 在我来看是真不怕的, 想象一下一个武林高手, 把自己的秘籍写成书, 免费送. 那是不是就意味着这些武林秘籍不是谁都练的. 大模型的情况也是这样的, 虽然权重也开源了, 训练技术也开源了, 但是, 最重要的, 训练使用的数据和经验, 这个是没开源的. 举个最典型的例子, 现在个人拿到kimi-k3的模型权重, 然后自己租算力微调, 大概率是会把模型越调越拉跨的. 就是因为既没有优质的后训练数据, 也没有优秀的后训练能力. 而现在大模型训练的数据其实大部分都是AI合成的了. 护城河已经从“静态的代码和模型权重”转移到了“持续的进化能力和数据飞轮”了. 所以即使全面复刻了 kimi-k3 的技术架构, 但是没有高质量合成数据流和持续的后训练体系, 也是没有办法竞争的. 但是 kimi-k3 开源获得的收益却是事实存在的, 不但能获得超高的曝光, 而且还能提升自己的社区影响力, 并且还能收获社区的正向反馈. 开源出来的训练工具链, 社区优秀的工程师在使用中也会不断的帮助反馈和提升. 形成整个生态的进步. 得道者多助这个道理是不会变的. #kimik3 #深圳卫视 #科创最前沿

karminski-牙医

17,354 Aufrufe • vor 12 Tagen

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

Berryxia.AI

37,282 Aufrufe • vor 3 Monaten

Dario没有理由因为Kimi蒸馏Claude而生气。Anthropic自己刚刚才同意为盗版书籍训练模型一事，向相关作者支付总计15亿美元赔偿。平均下来，每一本被侵权的书大约赔偿3000美元。更有意思的是，Dario自己也承认，在百度工作的一年让他意识到，数据隐私并没有那么重要。当时他主要从事语音识别研究，而很多训练数据都是未经授权直接拿的。这段经历进一步强化了他对Scaling Law的信念。因此，自己干Anthropic之后，他们同样尽可能收集各种数据用于训练模型。我认为，他真正气的并不是知识产权，而是这从根本上破坏了前沿AI实验室的商业模式。历史上，每一代最先进大模型的训练成本通常都会比上一代增长约4到10倍，甚至更多。例如，GPT-2的训练计算成本约为10万美元，而GPT-3已经达到约1000万美元，GPT-4的计算成本则约为1亿美元。这些数字还仅仅是算力成本，并没有包括研究人员薪酬、数据获取以及其他研发支出。因此，即使没有开源模型竞争，仅靠API收费模式，要获得正向投资回报也变得越来越困难，因为模型性能提升正在放缓，而训练成本却持续飙升。如今，开源模型通过蒸馏技术，大约只需要6个月就能追赶到最先进闭源模型的水平。这意味着OpenAI、Anthropic等前沿实验室，实际上只有约半年的时间，依靠最新模型尽可能创造收入。半年之后，就会出现性能达到其90%，但成本只有10%的开源替代方案。越来越多的美国企业也已经意识到，最顶尖模型带来的那一点性能优势，并不足以支撑其高昂的价格，因此开始转向成本更低的中国开源模型。就连Sam Altman的铁哥们儿Brian Chesky，公开说在Airbnb的部分AI开发中也采用了阿里的千问，而不是ChatGPT。

Dario没有理由因为Kimi蒸馏Claude而生气。Anthropic自己刚刚才同意为盗版书籍训练模型一事，向相关作者支付总计15亿美元赔偿。平均下来，每一本被侵权的书大约赔偿3000美元。更有意思的是，Dario自己也承认，在百度工作的一年让他意识到，数据隐私并没有那么重要。当时他主要从事语音识别研究，而很多训练数据都是未经授权直接拿的。这段经历进一步强化了他对Scaling Law的信念。因此，自己干Anthropic之后，他们同样尽可能收集各种数据用于训练模型。我认为，他真正气的并不是知识产权，而是这从根本上破坏了前沿AI实验室的商业模式。历史上，每一代最先进大模型的训练成本通常都会比上一代增长约4到10倍，甚至更多。例如，GPT-2的训练计算成本约为10万美元，而GPT-3已经达到约1000万美元，GPT-4的计算成本则约为1亿美元。这些数字还仅仅是算力成本，并没有包括研究人员薪酬、数据获取以及其他研发支出。因此，即使没有开源模型竞争，仅靠API收费模式，要获得正向投资回报也变得越来越困难，因为模型性能提升正在放缓，而训练成本却持续飙升。如今，开源模型通过蒸馏技术，大约只需要6个月就能追赶到最先进闭源模型的水平。这意味着OpenAI、Anthropic等前沿实验室，实际上只有约半年的时间，依靠最新模型尽可能创造收入。半年之后，就会出现性能达到其90%，但成本只有10%的开源替代方案。越来越多的美国企业也已经意识到，最顶尖模型带来的那一点性能优势，并不足以支撑其高昂的价格，因此开始转向成本更低的中国开源模型。就连Sam Altman的铁哥们儿Brian Chesky，公开说在Airbnb的部分AI开发中也采用了阿里的千问，而不是ChatGPT。

GeLun Ding

63,272 Aufrufe • vor 25 Tagen

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google

karminski-牙医

12,374 Aufrufe • vor 2 Monaten

阿里刚刚放出了其首个千问具身智能体通用模型：Qwen-Robot ，也开始搞具身智能了！ Qwen-Robot由三个模型组成机器人的手+脚+大脑，三个模型可以独立用，也可以组合用比如，用它可以组成一个既能动手端盘子，又能走路送餐，还能预判端着热汤拐弯儿会不会洒的服务机器人 Qwen-RobotManip：其采用80维统一动作表征，把不同机器人的动作翻译成同一种通用语言，并基于摄像头画面的相对位置操作，不再依赖繁琐的绝对坐标计算，解决了换个机械臂、换个场景数据不通用的情况 Qwen-RobotNav：核心思路是把视觉分配策略本身参数化，而非固定，具体解法是把记多少、怎么记变成可调参数，根据任务类型自动配置，不同任务按需配置，比如目标追踪只关注最近几帧省算力，指令跟随保留长程上下文不迷路因为记忆策略参数化了，一套权重即统一五类导航任务在双层智能体系统（上层规划器+Qwen-RobotNav）中，EXPRESS-Bench提升15.4%，导航步数减少了77% 通用接口设计，其他上层AI可以直接调用它的导航能力，无需再为每个任务单独训练一个导航模型，原生支持多种智能体框架 Qwen-RobotWorld：相当于机器人的想象力基于对物理规律的理解，可推理和模拟下一时间点的合理动作和状态；能生成视频数据用于训练，缓解训练数据不足问题；可以在执行前推演未来动作轨迹，使操作更精准 Qwen-Robot相当于是一套模块化的具身智能系统，把导航、操作、世界预测三个专业的能力解耦又协同，让通用模型像调用软件工具一样，调用物理世界的行动能力 #QwenRobot #robot #具身智能

阿里刚刚放出了其首个千问具身智能体通用模型：Qwen-Robot ，也开始搞具身智能了！ Qwen-Robot由三个模型组成机器人的手+脚+大脑，三个模型可以独立用，也可以组合用比如，用它可以组成一个既能动手端盘子，又能走路送餐，还能预判端着热汤拐弯儿会不会洒的服务机器人 Qwen-RobotManip：其采用80维统一动作表征，把不同机器人的动作翻译成同一种通用语言，并基于摄像头画面的相对位置操作，不再依赖繁琐的绝对坐标计算，解决了换个机械臂、换个场景数据不通用的情况 Qwen-RobotNav：核心思路是把视觉分配策略本身参数化，而非固定，具体解法是把记多少、怎么记变成可调参数，根据任务类型自动配置，不同任务按需配置，比如目标追踪只关注最近几帧省算力，指令跟随保留长程上下文不迷路因为记忆策略参数化了，一套权重即统一五类导航任务在双层智能体系统（上层规划器+Qwen-RobotNav）中，EXPRESS-Bench提升15.4%，导航步数减少了77% 通用接口设计，其他上层AI可以直接调用它的导航能力，无需再为每个任务单独训练一个导航模型，原生支持多种智能体框架 Qwen-RobotWorld：相当于机器人的想象力基于对物理规律的理解，可推理和模拟下一时间点的合理动作和状态；能生成视频数据用于训练，缓解训练数据不足问题；可以在执行前推演未来动作轨迹，使操作更精准 Qwen-Robot相当于是一套模块化的具身智能系统，把导航、操作、世界预测三个专业的能力解耦又协同，让通用模型像调用软件工具一样，调用物理世界的行动能力 #QwenRobot #robot #具身智能

AIGCLINK

11,106 Aufrufe • vor 2 Monaten

游戏代打也要失业了? 来看 NVIDIA NitroGen NVIDIA 刚刚又发了个新模型 NitroGen，这是个只有 1B 大小却可以玩游戏的大模型，它接受视频帧输入，然后输出手柄操作。所以非常适合用来玩手柄可以操作的动作类游戏。这个模型最大的特点是，它是基于游戏视频本身学习的，以往互联网上虽然有很多游戏视频，但是游戏操作并没有记录下来，而 NitroGen 它利用了合成动作标签技术。研究团队通过大规模的逆动力学模型，从公开的互联网游戏视频中“反推”出当时玩家可能按下的键，从而人工合成了海量的训练数据，通过上万小时的纯视频数据进行预训练，打破了数据瓶颈。而且最重要的是，这个模型支持后训练。这意味着面对一款它从未见过的全新游戏不需要从头训练，只需少量的微调或适配即可上手游玩。

游戏代打也要失业了? 来看 NVIDIA NitroGen NVIDIA 刚刚又发了个新模型 NitroGen，这是个只有 1B 大小却可以玩游戏的大模型，它接受视频帧输入，然后输出手柄操作。所以非常适合用来玩手柄可以操作的动作类游戏。这个模型最大的特点是，它是基于游戏视频本身学习的，以往互联网上虽然有很多游戏视频，但是游戏操作并没有记录下来，而 NitroGen 它利用了合成动作标签技术。研究团队通过大规模的逆动力学模型，从公开的互联网游戏视频中“反推”出当时玩家可能按下的键，从而人工合成了海量的训练数据，通过上万小时的纯视频数据进行预训练，打破了数据瓶颈。而且最重要的是，这个模型支持后训练。这意味着面对一款它从未见过的全新游戏不需要从头训练，只需少量的微调或适配即可上手游玩。

karminski-牙医

103,426 Aufrufe • vor 7 Monaten

这段蔡崇信的采访，真正有意思的不是阿里又说自己 All in AI。而是他说了一个很现实的问题：欧洲最担心的，可能不是模型够不够强，而是“开关在谁手里”。美国闭源 API 模式解决了能力问题，但也把数据、成本和控制权交了出去。 Qwen 开源这条路，打的其实是“主权牌”。以后 AI 竞争，可能不只是看谁模型更强，而是看谁能让别人放心把底座建在你上面。

这段蔡崇信的采访，真正有意思的不是阿里又说自己 All in AI。而是他说了一个很现实的问题：欧洲最担心的，可能不是模型够不够强，而是“开关在谁手里”。美国闭源 API 模式解决了能力问题，但也把数据、成本和控制权交了出去。 Qwen 开源这条路，打的其实是“主权牌”。以后 AI 竞争，可能不只是看谁模型更强，而是看谁能让别人放心把底座建在你上面。

Vincent

47,325 Aufrufe • vor 1 Monat

平时分析数据，从清洗、探索到建模、可视化，再到撰写报告，整个流程非常耗时，当要面对多个不同格式的数据文件时更是头疼。恰巧，找到了 DeepAnalyze 这个开源项目，它能让 AI 自主完成整个数据科学流程，真正做到无需人工干预。基于 DeepSeek-R1 和课程学习训练方法开发，支持数据准备、分析、建模、可视化到报告生成的全流程。可以处理数据库、CSV、Excel、JSON、XML 等各种格式数据，最终直接生成专业级的研究报告给我们。 GitHub：同时提供 50 万条训练数据集，完全开源模型和代码，方便我们二次开发。只需克隆代码到本地并下载模型后，通过 vLLM 部署即可使用。

平时分析数据，从清洗、探索到建模、可视化，再到撰写报告，整个流程非常耗时，当要面对多个不同格式的数据文件时更是头疼。恰巧，找到了 DeepAnalyze 这个开源项目，它能让 AI 自主完成整个数据科学流程，真正做到无需人工干预。基于 DeepSeek-R1 和课程学习训练方法开发，支持数据准备、分析、建模、可视化到报告生成的全流程。可以处理数据库、CSV、Excel、JSON、XML 等各种格式数据，最终直接生成专业级的研究报告给我们。 GitHub：同时提供 50 万条训练数据集，完全开源模型和代码，方便我们二次开发。只需克隆代码到本地并下载模型后，通过 vLLM 部署即可使用。

GitHubDaily

22,027 Aufrufe • vor 9 Monaten

如果 Ilya 判断是对的，那过去几年 AI 行业最坚固的三个共识，可能都错了： Scaling 不再是万能答案。 Benchmark 高分不等于真正智能。 RL 甚至可能在把模型越训越“笨”。这场被称为“Ilya 消失前最后一次采访”的对话里，他把当前大模型形容成竞赛编程选手：题能做得很难，遇到真实项目却会修一个 Bug、再造两个 Bug，反复循环。问题可能不是模型不够大，而是奖励机制让它过度追求正确答案，逐渐丢掉常识、直觉和学习能力。他更激进的判断是：预训练红利见顶，RL 红利也快耗尽，AI 已经从 Scaling 时代重新退回“研究时代”。真正的超智能不会是一个下载完毕、什么都知道的成品，而更像一个十五岁的天才：拥有极强的学习能力，然后在现实世界中不断成长。如果这个方向成立，下一轮 AI 竞争的关键就不再是谁堆的数据和 GPU 更多，而是谁先破解人类为什么只看几个例子，就能学会一件新事。 Ilya 很少说废话，这次却聊了四十多分钟。值得完整看完。最颠覆你认知的是哪一段？

如果 Ilya 判断是对的，那过去几年 AI 行业最坚固的三个共识，可能都错了： Scaling 不再是万能答案。 Benchmark 高分不等于真正智能。 RL 甚至可能在把模型越训越“笨”。这场被称为“Ilya 消失前最后一次采访”的对话里，他把当前大模型形容成竞赛编程选手：题能做得很难，遇到真实项目却会修一个 Bug、再造两个 Bug，反复循环。问题可能不是模型不够大，而是奖励机制让它过度追求正确答案，逐渐丢掉常识、直觉和学习能力。他更激进的判断是：预训练红利见顶，RL 红利也快耗尽，AI 已经从 Scaling 时代重新退回“研究时代”。真正的超智能不会是一个下载完毕、什么都知道的成品，而更像一个十五岁的天才：拥有极强的学习能力，然后在现实世界中不断成长。如果这个方向成立，下一轮 AI 竞争的关键就不再是谁堆的数据和 GPU 更多，而是谁先破解人类为什么只看几个例子，就能学会一件新事。 Ilya 很少说废话，这次却聊了四十多分钟。值得完整看完。最颠覆你认知的是哪一段？

Vincent

40,108 Aufrufe • vor 1 Monat