正在加载视频...

视频加载失败

加载此视频时出现问题。这可能是由于临时网络问题，或视频可能不可用。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

163,350 subscribers

47,021 次观看 • 2 个月前 •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

0 条评论

暂无评论

原始帖子的评论将显示在这里

相关视频

一个全平台的本地 LLM 聊天软件Jan，支持自动下载模型以及非常详细的设置。懒得配置 Ollama 的可以试试。除了支持本地模型以外，在线的模型可以使用 API 接入，All in one 的模型管理。交互和 UI 也都很合理。同时支持在系统的任何可以输入的地方调取模型能力。

一个全平台的本地 LLM 聊天软件Jan，支持自动下载模型以及非常详细的设置。懒得配置 Ollama 的可以试试。除了支持本地模型以外，在线的模型可以使用 API 接入，All in one 的模型管理。交互和 UI 也都很合理。同时支持在系统的任何可以输入的地方调取模型能力。

歸藏(guizang.ai)

47,533 次观看 • 2 年前

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

AIGCLINK

52,304 次观看 • 1 年前

空间智能赛道刚刚又出了新模型：Moonlake，能生成3D世界，还能同时处理物理、声音、逻辑规则等多种模态与李飞飞的World Labs不同的是，World Labs偏场景生成，Moonlake更重交互，更像是在构建一个可交互、物理正确、逻辑完整、视听一体的“活世界” 给定一句“在街机室里做一个赛博朋克风格的保龄球游戏”需求它能自动拆解成生成3D模型、加物理、摆位置、写规则等10个阶段，自主完成从零到一的开发过程输出一个实时可玩的虚拟保龄球馆，能交互，拿球、投掷、有声音、有分数变化，所有东西都按物理规律运作的核心机制是所有模态绑定在同一个实体上，一次事件，比如球击中瓶子时，位置、物理状态、分数、音效等全模态同步更新对于做游戏的，原来要用一个团队干的活，现在可能一个人就能完成对于老师，几句话生成学生能实时交互的物理实验场景 #世界模型生成 #Moonlake #WorldLabs #空间智能

空间智能赛道刚刚又出了新模型：Moonlake，能生成3D世界，还能同时处理物理、声音、逻辑规则等多种模态与李飞飞的World Labs不同的是，World Labs偏场景生成，Moonlake更重交互，更像是在构建一个可交互、物理正确、逻辑完整、视听一体的“活世界” 给定一句“在街机室里做一个赛博朋克风格的保龄球游戏”需求它能自动拆解成生成3D模型、加物理、摆位置、写规则等10个阶段，自主完成从零到一的开发过程输出一个实时可玩的虚拟保龄球馆，能交互，拿球、投掷、有声音、有分数变化，所有东西都按物理规律运作的核心机制是所有模态绑定在同一个实体上，一次事件，比如球击中瓶子时，位置、物理状态、分数、音效等全模态同步更新对于做游戏的，原来要用一个团队干的活，现在可能一个人就能完成对于老师，几句话生成学生能实时交互的物理实验场景 #世界模型生成 #Moonlake #WorldLabs #空间智能

AIGCLINK

10,987 次观看 • 5 个月前

【黄仁勋演示Agent概念视频】前沿模型API调用+本地模型处理私密信息+能识别意图的模型选择器+小型机器人多模态交互（Reachy mini）= 私人智能助手。可以看看原视频，感受下未来和Agent一起工作和生活的一天是什么样吧。

【黄仁勋演示Agent概念视频】前沿模型API调用+本地模型处理私密信息+能识别意图的模型选择器+小型机器人多模态交互（Reachy mini）= 私人智能助手。可以看看原视频，感受下未来和Agent一起工作和生活的一天是什么样吧。

傅盛

113,538 次观看 • 6 个月前

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,710 次观看 • 2 年前

Hermes Agent 刚发布 Mixture of Agents 2.0，把多个前沿模型混合成一个虚拟模型使用原理很直接：GPT-5.5、DeepSeek V4、Sonnet 4.6 作为参考模型同时处理同一个问题，Opus 4.8 作为聚合器综合最终答案跑分结果比单独用 Opus 4.8 高 8%，比 GPT-5.5 高 11% 最关键的是在 Hermes 里就像普通模型一样调用，/model 命令切换就行，不需要自己搭框架单个模型都有盲区，混着用反而能互补，开源社区找到了一条弯道超车路线你觉得 MoA 这种「模型组合拳」会成为主流用法吗？

Hermes Agent 刚发布 Mixture of Agents 2.0，把多个前沿模型混合成一个虚拟模型使用原理很直接：GPT-5.5、DeepSeek V4、Sonnet 4.6 作为参考模型同时处理同一个问题，Opus 4.8 作为聚合器综合最终答案跑分结果比单独用 Opus 4.8 高 8%，比 GPT-5.5 高 11% 最关键的是在 Hermes 里就像普通模型一样调用，/model 命令切换就行，不需要自己搭框架单个模型都有盲区，混着用反而能互补，开源社区找到了一条弯道超车路线你觉得 MoA 这种「模型组合拳」会成为主流用法吗？

Jason Zhu

16,473 次观看 • 28 天前

Cursor 推出炼蛊模式！一口气能开8个代理！给大家带来 Cursor 2.0 更新内容！这个分量的确够得上一个大版本更新。首先，推出了炼蛊模式，你最多可以开8个 Agent 并行运行同一个任务，然后矬子里面拔大个，选你觉得AI生成的最好的结果。其次，cursor 早就传出内部在炼大模型，终于推出了！目前宣传点是生成速度，这个我一会儿会单独放出这个模型的评测视频！然后！可以在Cursor里面直接打开浏览器了！这叫一个真套娃了，本身就是 Electron，又套个 chromium。跑题了，这个最大的作用其实是为大模型进行视觉设计或debug铺平道路。是个非常不错的功能。就是不知道大家内存抗不扛得住。还有！现在支持语音输入了，终于可以真的当老板了用嘴命令它干活了。剩下就是一些小改进了，包括可以在一个chat里面看多个文件的修改啦，其实跟github的合并pr的模式差不多。命令可以运行在安全沙箱，再也不用担心输入了个波浪线，大模型灭门事件了。团队配置集中管理啦，可以在后代运行多个 plan mode，玩田忌赛马等等等等。总之，请确保你的订阅套餐够烧

Cursor 推出炼蛊模式！一口气能开8个代理！给大家带来 Cursor 2.0 更新内容！这个分量的确够得上一个大版本更新。首先，推出了炼蛊模式，你最多可以开8个 Agent 并行运行同一个任务，然后矬子里面拔大个，选你觉得AI生成的最好的结果。其次，cursor 早就传出内部在炼大模型，终于推出了！目前宣传点是生成速度，这个我一会儿会单独放出这个模型的评测视频！然后！可以在Cursor里面直接打开浏览器了！这叫一个真套娃了，本身就是 Electron，又套个 chromium。跑题了，这个最大的作用其实是为大模型进行视觉设计或debug铺平道路。是个非常不错的功能。就是不知道大家内存抗不扛得住。还有！现在支持语音输入了，终于可以真的当老板了用嘴命令它干活了。剩下就是一些小改进了，包括可以在一个chat里面看多个文件的修改啦，其实跟github的合并pr的模式差不多。命令可以运行在安全沙箱，再也不用担心输入了个波浪线，大模型灭门事件了。团队配置集中管理啦，可以在后代运行多个 plan mode，玩田忌赛马等等等等。总之，请确保你的订阅套餐够烧

karminski-牙医

21,725 次观看 • 9 个月前

国产最新的多模态模型来了！！前两周我刚体验过国产的阶跃星辰大模型，没想到这么快他们的新模型 Step 3.7 Flash 就出了。现在大模型一发布必卷 benchmark 分数，但真正做 Agent 的人都清楚：跑分高 ≠ 能把活干完。所以这次阶跃星辰的新模型 Step 3.7 Flash 它再不追求单点最聪明、也不只是单次最快，而是主打“生产任务端到端执行效率”。一个真实的 Agent 任务从来不是一次问答，而是规划 → 搜索 → 工具调用 → 代码生成 → 多模态理解 → 反复校验的完整闭环，Step 3.7 Flash 这次升级的重点是整条链路的效率，而不是某个孤立指标。提几个我觉得挺务实的点： 1. 原生多模态模型：它可以直接处理 UI 截图、图表、仪表盘、文档，原生读懂并转成结构化输出和可执行步骤，不需要像一些模型那样外挂视觉理解 MCP，而且现在多模态是顶级模型的标配。 2. 推理加入搜索和视觉检索：网页搜索、图像搜索、视觉验证、多源信息比对，让 Agent 在开放任务里边查边验证边行动，而不是事后再接个外部工具。 3. 198B MoE、约 11B 激活参数，最高 400 TPS：稀疏激活 + 这个速度，意味着高频交互、多步工作流、反复工具调用的场景下，单位任务的成本和延迟都压得很低——快和省是一起来的。 4. 开源、可部署：生产环境要的不只是 API，还有透明度、可控性和部署灵活性。如果你在做 AI Agent、coding 工作流、搜索类应用或多模态系统，值得用 StepFun 试试这款新模型的能力。想看更进阶的平台能力，可以了解 Step Plan。海外平台：国内平台：

国产最新的多模态模型来了！！前两周我刚体验过国产的阶跃星辰大模型，没想到这么快他们的新模型 Step 3.7 Flash 就出了。现在大模型一发布必卷 benchmark 分数，但真正做 Agent 的人都清楚：跑分高 ≠ 能把活干完。所以这次阶跃星辰的新模型 Step 3.7 Flash 它再不追求单点最聪明、也不只是单次最快，而是主打“生产任务端到端执行效率”。一个真实的 Agent 任务从来不是一次问答，而是规划 → 搜索 → 工具调用 → 代码生成 → 多模态理解 → 反复校验的完整闭环，Step 3.7 Flash 这次升级的重点是整条链路的效率，而不是某个孤立指标。提几个我觉得挺务实的点： 1. 原生多模态模型：它可以直接处理 UI 截图、图表、仪表盘、文档，原生读懂并转成结构化输出和可执行步骤，不需要像一些模型那样外挂视觉理解 MCP，而且现在多模态是顶级模型的标配。 2. 推理加入搜索和视觉检索：网页搜索、图像搜索、视觉验证、多源信息比对，让 Agent 在开放任务里边查边验证边行动，而不是事后再接个外部工具。 3. 198B MoE、约 11B 激活参数，最高 400 TPS：稀疏激活 + 这个速度，意味着高频交互、多步工作流、反复工具调用的场景下，单位任务的成本和延迟都压得很低——快和省是一起来的。 4. 开源、可部署：生产环境要的不只是 API，还有透明度、可控性和部署灵活性。如果你在做 AI Agent、coding 工作流、搜索类应用或多模态系统，值得用 StepFun 试试这款新模型的能力。想看更进阶的平台能力，可以了解 Step Plan。海外平台：国内平台：

耳朵

12,197 次观看 • 1 个月前

Flux3真的很强！终于看到有模型可以有机会挑战Seedance2.0了 FLUX 3 = 更强的多模态生成模型，核心是把图像、视频、音频放进同一个世界模型里主打图像、视频、音频和动作预测的统一架构。它的早期能力重点放在视频生成上，支持最长 20 秒、带原生音频的生成，并且还在推进图像生成与编辑能力开源模型，假以时日优化优化，可以无限接近和挑战Seedance2.0这种商业模型了

Flux3真的很强！终于看到有模型可以有机会挑战Seedance2.0了 FLUX 3 = 更强的多模态生成模型，核心是把图像、视频、音频放进同一个世界模型里主打图像、视频、音频和动作预测的统一架构。它的早期能力重点放在视频生成上，支持最长 20 秒、带原生音频的生成，并且还在推进图像生成与编辑能力开源模型，假以时日优化优化，可以无限接近和挑战Seedance2.0这种商业模型了

huangserva

26,115 次观看 • 3 天前

去年九月 ChatGPT 还没推出之前 Reid Hoffman 与 Sam Altman 的一场对话，这一段是 Sam 对 AI 下一个发展阶段的描述：大型语言模型的进化将超出大家想象，会出现不同模态相互转换的多模态模型，一些 AI 应用还可令科学家如虎添翼，AI 将是一个可以孵化出无数工具，推动各行各业前进的基础平台🧵

去年九月 ChatGPT 还没推出之前 Reid Hoffman 与 Sam Altman 的一场对话，这一段是 Sam 对 AI 下一个发展阶段的描述：大型语言模型的进化将超出大家想象，会出现不同模态相互转换的多模态模型，一些 AI 应用还可令科学家如虎添翼，AI 将是一个可以孵化出无数工具，推动各行各业前进的基础平台🧵

indigo

27,533 次观看 • 3 年前

预测真实世界下一秒北京智源研究院推出全新的多模态世界模型：Emu3.5 很多传统图像生成模型的主要问题是：它们“不懂世界”运行的规律，无法理解真实世界的物理规则和因果关系。 Emu3.5在传统图像生成的基础上，进一步让AI具备：理解真实世界的空间关系推理物体随时间变化的规律预测“世界下一秒”会是什么样不同于以往为图像、文字、视频分开设计模型，Emu3.5 将它们全部“统一”在一个系统中：首先把多模态信息包括图文视频都统一成了token；模型通过“预测下一个 token”来学习不同模态间的关系；任务统一为 NSP：预测下一个世界状态（包括视觉和语言）。 Emu3.5 不再只关注“文本之间的逻辑”，而是让模型学习“世界是如何变化的”。意思就是它不再区分：这是一张图这是一句话这是视频的一帧在它眼里，它们都是同一套“世界积木”。然后模型只做一件事：预测下一块积木是什么如果下一块积木是一行字 → 它补全文字如果是下一帧画面 → 它补全动作如果是下一步结果 → 它推演世界变化所以：预测下一 Token = 预测“世界下一秒”会是什么样

预测真实世界下一秒北京智源研究院推出全新的多模态世界模型：Emu3.5 很多传统图像生成模型的主要问题是：它们“不懂世界”运行的规律，无法理解真实世界的物理规则和因果关系。 Emu3.5在传统图像生成的基础上，进一步让AI具备：理解真实世界的空间关系推理物体随时间变化的规律预测“世界下一秒”会是什么样不同于以往为图像、文字、视频分开设计模型，Emu3.5 将它们全部“统一”在一个系统中：首先把多模态信息包括图文视频都统一成了token；模型通过“预测下一个 token”来学习不同模态间的关系；任务统一为 NSP：预测下一个世界状态（包括视觉和语言）。 Emu3.5 不再只关注“文本之间的逻辑”，而是让模型学习“世界是如何变化的”。意思就是它不再区分：这是一张图这是一句话这是视频的一帧在它眼里，它们都是同一套“世界积木”。然后模型只做一件事：预测下一块积木是什么如果下一块积木是一行字 → 它补全文字如果是下一帧画面 → 它补全动作如果是下一步结果 → 它推演世界变化所以：预测下一 Token = 预测“世界下一秒”会是什么样

小互

14,775 次观看 • 7 个月前

兄弟们炸裂了这个语音专文本TTS模型应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。专为对话任务优化，能够支持多种说话人语音，中英文混合等。模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub：详细介绍：

兄弟们炸裂了这个语音专文本TTS模型应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。专为对话任务优化，能够支持多种说话人语音，中英文混合等。模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub：详细介绍：

小互

296,607 次观看 • 2 年前

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

宝玉

114,632 次观看 • 3 年前

太酷了，阿里通义实验室给出了一套完整的可实时交互的数字人系统！先是一款单图秒级3D数字人生成模型：LAM，支持实时动画和交互功能支持跨平台、低延迟、实时渲染另外还开源了两个配套工具，形成了一个完整的可实时交互的数字人系统 1、Audio2Expression，一个音频驱动的表情动画模型，用于驱动LAM生成的数字人头像，根据音频做出相应的嘴型和表情 2、OpenAvatarChat，数字人实时对话系统，核心是多模态低延迟，平均回答延迟在2.2秒左右 #AI数字人 #虚拟主播

太酷了，阿里通义实验室给出了一套完整的可实时交互的数字人系统！先是一款单图秒级3D数字人生成模型：LAM，支持实时动画和交互功能支持跨平台、低延迟、实时渲染另外还开源了两个配套工具，形成了一个完整的可实时交互的数字人系统 1、Audio2Expression，一个音频驱动的表情动画模型，用于驱动LAM生成的数字人头像，根据音频做出相应的嘴型和表情 2、OpenAvatarChat，数字人实时对话系统，核心是多模态低延迟，平均回答延迟在2.2秒左右 #AI数字人 #虚拟主播

AIGCLINK

47,683 次观看 • 1 年前

一个模型搞定视频+音频+口型! 你看到的这个就是 LTX 刚刚发布的 LTX-2 开放权重大模型, 这个模型可以文生视频或者图生视频, 这个模型最大的特点是在保证了画质和一致性的同时, 可以生成音频! 而且音频和口型完全适配! 并且说话人神态也非常棒! 模型大小是 19B, 相当可用! 演示视频是我用 HuggingFace Zero GPU 生成的 demo, 10秒视频大概需要5分钟左右生成时间. 我测试目前来看最大的优点就是口型和声音生成得非常好, 并且一致性很高. 指定人物使用什么样的银色就能稳定生成. 当然模型也有不足之处, 主要是还是偶尔能看到模型生成人物皮肤的那种油腻感. 当然官方的 pro 版本在这点上处理的更好, 并且 pro 版本支持4K分辨率输出, 当然 pro 版本是没有开源的.

一个模型搞定视频+音频+口型! 你看到的这个就是 LTX 刚刚发布的 LTX-2 开放权重大模型, 这个模型可以文生视频或者图生视频, 这个模型最大的特点是在保证了画质和一致性的同时, 可以生成音频! 而且音频和口型完全适配! 并且说话人神态也非常棒! 模型大小是 19B, 相当可用! 演示视频是我用 HuggingFace Zero GPU 生成的 demo, 10秒视频大概需要5分钟左右生成时间. 我测试目前来看最大的优点就是口型和声音生成得非常好, 并且一致性很高. 指定人物使用什么样的银色就能稳定生成. 当然模型也有不足之处, 主要是还是偶尔能看到模型生成人物皮肤的那种油腻感. 当然官方的 pro 版本在这点上处理的更好, 并且 pro 版本支持4K分辨率输出, 当然 pro 版本是没有开源的.

karminski-牙医

19,832 次观看 • 6 个月前

【肖弘谈Manus的护城河】当所有人都卷大模型时，Manus创始人肖弘在采访中给出了不一样的解法。 💡核心观点： 1. 合作意识：在底层技术未被垄断前，合作重于竞争。 2. 护城河的两个维度：一是对用户的深刻理解；二是运用Agent能力的深度。 3. 模型选择：肖弘直言，如果模型谁都能用，反而意味着你的选择权更大。真正的核心不在于自研模型，而在于当模型能力迭代时，你是否有能力及时接住并转化为用户价值。

【肖弘谈Manus的护城河】当所有人都卷大模型时，Manus创始人肖弘在采访中给出了不一样的解法。 💡核心观点： 1. 合作意识：在底层技术未被垄断前，合作重于竞争。 2. 护城河的两个维度：一是对用户的深刻理解；二是运用Agent能力的深度。 3. 模型选择：肖弘直言，如果模型谁都能用，反而意味着你的选择权更大。真正的核心不在于自研模型，而在于当模型能力迭代时，你是否有能力及时接住并转化为用户价值。

傅盛

58,874 次观看 • 6 个月前

Pixverse 发布 R1 实时视频世界模型藏师傅也试了一下前几天测试的 Pixverse R1 终于发布了，这是一个可以实时生成并且可以随时通过提示词介入修改后续内容的世界模型。极限情况下可以实时生成 1080P 的高清视频，感觉成本再下来一点以后 AI 游戏和交互式的影视内容有戏了啊。 ------ 简单介绍一下使用体验，目前他们在一个单独的平台测试需要邀请码。你可以选择预制的的三个主题进行体验，三个主题分别是巨龙巢穴、二战主题、海底世界，正式版本会增加到 6 个。也可以创建自己的主题，选择画面比例、风格输入主题相关提示词就可以了。生成之后主要的互动就是在他播放的过程中输入提示词来改变当前视频生成的剧情走向。而且这里生成的视频居然还是带音乐、音效混合旁白的，比以前所谓的实时生成的模型强了不少。 ------ 算法和架构上主要的优化有：这是个原生的多模态模型支持将文本、图像、视频、音频统一为连续的 Token 流，接受任何模态的输入。 PixVerse-R1 改成了非扩散的自回归架构，用来实现无限连续的生成，还使用了增加注意力机制，确保长时间生成的内容一致性。为了适配实时视频生成的性能，他们将原来的迭代降噪逻辑进行了多项优化，他们叫瞬时响应引擎 (IRE)，主要包括三个优化： Temporal Trajectory Folding：传统模型从噪点到清晰图像需要迭代几十步，他们直接暴力压缩到仅需 1–4 步。 Guidance Rectification：直接将传统的 CFG 逻辑蒸馏到了模型参数内部，节省了时间。 Adaptive Sparse Attention：生成高分辨率的视频的时候让模型学会学会“抓大放小”，自动识别重要区域进行精细计算，大幅降低计算负载。 ------- 目前由于成本问题需要邀请码才能测试，生成的分辨率是 480P，过几天会提高到 720P。

Pixverse 发布 R1 实时视频世界模型藏师傅也试了一下前几天测试的 Pixverse R1 终于发布了，这是一个可以实时生成并且可以随时通过提示词介入修改后续内容的世界模型。极限情况下可以实时生成 1080P 的高清视频，感觉成本再下来一点以后 AI 游戏和交互式的影视内容有戏了啊。 ------ 简单介绍一下使用体验，目前他们在一个单独的平台测试需要邀请码。你可以选择预制的的三个主题进行体验，三个主题分别是巨龙巢穴、二战主题、海底世界，正式版本会增加到 6 个。也可以创建自己的主题，选择画面比例、风格输入主题相关提示词就可以了。生成之后主要的互动就是在他播放的过程中输入提示词来改变当前视频生成的剧情走向。而且这里生成的视频居然还是带音乐、音效混合旁白的，比以前所谓的实时生成的模型强了不少。 ------ 算法和架构上主要的优化有：这是个原生的多模态模型支持将文本、图像、视频、音频统一为连续的 Token 流，接受任何模态的输入。 PixVerse-R1 改成了非扩散的自回归架构，用来实现无限连续的生成，还使用了增加注意力机制，确保长时间生成的内容一致性。为了适配实时视频生成的性能，他们将原来的迭代降噪逻辑进行了多项优化，他们叫瞬时响应引擎 (IRE)，主要包括三个优化： Temporal Trajectory Folding：传统模型从噪点到清晰图像需要迭代几十步，他们直接暴力压缩到仅需 1–4 步。 Guidance Rectification：直接将传统的 CFG 逻辑蒸馏到了模型参数内部，节省了时间。 Adaptive Sparse Attention：生成高分辨率的视频的时候让模型学会学会“抓大放小”，自动识别重要区域进行精细计算，大幅降低计算负载。 ------- 目前由于成本问题需要邀请码才能测试，生成的分辨率是 480P，过几天会提高到 720P。

歸藏(guizang.ai)

16,373 次观看 • 6 个月前

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。它更像是让你和 AI 打一通“实时视频电话”：你说话，它看着你听。你打断，它能接住。你表情变了，它也能反应。半秒内接话，几乎没有冷场。真正的重点是：以前虚拟人是拼流水线：语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。一个 Transformer 直接处理实时音视频交互。模型端响应约 0.2 秒，整体延迟约 0.55 秒。这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。它更像是让你和 AI 打一通“实时视频电话”：你说话，它看着你听。你打断，它能接住。你表情变了，它也能反应。半秒内接话，几乎没有冷场。真正的重点是：以前虚拟人是拼流水线：语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。一个 Transformer 直接处理实时音视频交互。模型端响应约 0.2 秒，整体延迟约 0.55 秒。这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。

Vincent

12,627 次观看 • 1 个月前