Загрузка видео...

Не удалось загрузить видео

Возникла проблема при загрузке этого видео. Это может быть связано с временными проблемами сети или видео может быть недоступно.

На главную

🔥神秘模型 Ox Alpha视觉效果超乎想象！牛来！！ Ox Alpha的视频理解力炸裂到我直接跪了！拆解实测亮点: 🔹3D空间感知：随便丢个造物场景，模型秒懂透视、深度、材质，描述得像亲临现场，#3D造物直接拉满！ 🔹多模态联动：图片+视频混合输入，推理连贯到离谱，复杂视觉任务一气呵成，完全不像“匿名测试版”。 🔹真实感爆棚：色彩、纹理、动态模糊处理细腻到让人怀疑是不是偷偷开挂了……视觉冲击力太强！猜测是GLM多模态版还是MiMo呢？赶紧去OpenRouter/OpenCode薅！ #OxAlpha #神秘模型 #AI视觉 #大模型实测 #多模态 #牛来

SuSu_酥酥👅

10,290 subscribers

41,520 просмотров • 2 дней назад •via X (Twitter)

Искусство Наука и технологии #3D造物直接拉满

Anya Rossi• Live Now

Private livecam show

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

预测真实世界下一秒北京智源研究院推出全新的多模态世界模型：Emu3.5 很多传统图像生成模型的主要问题是：它们“不懂世界”运行的规律，无法理解真实世界的物理规则和因果关系。 Emu3.5在传统图像生成的基础上，进一步让AI具备：理解真实世界的空间关系推理物体随时间变化的规律预测“世界下一秒”会是什么样不同于以往为图像、文字、视频分开设计模型，Emu3.5 将它们全部“统一”在一个系统中：首先把多模态信息包括图文视频都统一成了token；模型通过“预测下一个 token”来学习不同模态间的关系；任务统一为 NSP：预测下一个世界状态（包括视觉和语言）。 Emu3.5 不再只关注“文本之间的逻辑”，而是让模型学习“世界是如何变化的”。意思就是它不再区分：这是一张图这是一句话这是视频的一帧在它眼里，它们都是同一套“世界积木”。然后模型只做一件事：预测下一块积木是什么如果下一块积木是一行字 → 它补全文字如果是下一帧画面 → 它补全动作如果是下一步结果 → 它推演世界变化所以：预测下一 Token = 预测“世界下一秒”会是什么样

预测真实世界下一秒北京智源研究院推出全新的多模态世界模型：Emu3.5 很多传统图像生成模型的主要问题是：它们“不懂世界”运行的规律，无法理解真实世界的物理规则和因果关系。 Emu3.5在传统图像生成的基础上，进一步让AI具备：理解真实世界的空间关系推理物体随时间变化的规律预测“世界下一秒”会是什么样不同于以往为图像、文字、视频分开设计模型，Emu3.5 将它们全部“统一”在一个系统中：首先把多模态信息包括图文视频都统一成了token；模型通过“预测下一个 token”来学习不同模态间的关系；任务统一为 NSP：预测下一个世界状态（包括视觉和语言）。 Emu3.5 不再只关注“文本之间的逻辑”，而是让模型学习“世界是如何变化的”。意思就是它不再区分：这是一张图这是一句话这是视频的一帧在它眼里，它们都是同一套“世界积木”。然后模型只做一件事：预测下一块积木是什么如果下一块积木是一行字 → 它补全文字如果是下一帧画面 → 它补全动作如果是下一步结果 → 它推演世界变化所以：预测下一 Token = 预测“世界下一秒”会是什么样

小互

14,792 просмотров • 8 месяцев назад

一款全新的多模态RAG系统：ColQwen-Omni，可以跨模态检索视频、音频、文档任意内容它支持跨模态检索，比如说，你可以用文本查询音频片段，或者说用音频查询图像用来处理音视频检索比较实用它能理解不同的模态，直接处理原始数据，比先把音频或视频转录成文本再进行检索的方法速度更快还有一个，就是直接处理音视频可以保留音视频中的情感、语气、环境音、以及视频中的视觉细节 #全模态RAG #RAG #跨模态RAG #ColQwenOmni

一款全新的多模态RAG系统：ColQwen-Omni，可以跨模态检索视频、音频、文档任意内容它支持跨模态检索，比如说，你可以用文本查询音频片段，或者说用音频查询图像用来处理音视频检索比较实用它能理解不同的模态，直接处理原始数据，比先把音频或视频转录成文本再进行检索的方法速度更快还有一个，就是直接处理音视频可以保留音视频中的情感、语气、环境音、以及视频中的视觉细节 #全模态RAG #RAG #跨模态RAG #ColQwenOmni

AIGCLINK

10,416 просмотров • 1 год назад

大模型终于能一口气生成5分钟视频了? 来自复旦, 南京大学等几所大学的研究员发布了新的多模态可控超长视频世界模型 LongVie 2, 这个模型最大的特点是可以生成长达5分钟的视频. 该模型基于 Wan 2.1 魔改, 实现了一个个三阶段流水线, 包括多模态引导,针对输入帧的退化感知训练和历史上下文引导从而达到了输出3至5分钟的连贯视频.其核心是优先保证因果一致性，而非简单的帧预测.

大模型终于能一口气生成5分钟视频了? 来自复旦, 南京大学等几所大学的研究员发布了新的多模态可控超长视频世界模型 LongVie 2, 这个模型最大的特点是可以生成长达5分钟的视频. 该模型基于 Wan 2.1 魔改, 实现了一个个三阶段流水线, 包括多模态引导,针对输入帧的退化感知训练和历史上下文引导从而达到了输出3至5分钟的连贯视频.其核心是优先保证因果一致性，而非简单的帧预测.

karminski-牙医

24,831 просмотров • 8 месяцев назад

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

Berryxia.AI

37,282 просмотров • 3 месяцев назад

一秒生成高斯点云? Apple新模型SHARP实测! Apple 刚刚推出了新的模型和配套框架 SHARP, 这个模型可以实现单张图像生成逼真的3D场景, 尤其是模型大小只有2.8GB, 大概是1.4B? 速度足够快, 可以一秒生成高斯点云, 然后这个点云可以为图片向邻近的视角提供多角度地观察, 比如我拍了一张椅子, 那么点云化后就能渲染椅子左右20度的视角, 更多就不行了. 视频是我的实测, 目前测下来日常场景使用完全没问题, 只有在复杂的场景才会露出破绽, 比如镜面反射, 或者超长焦, 感觉这个模型如果应用到 Apple Vision Pro 上会有很不错的场景, 照片仅需要1秒, 弄3D相册不是问题. #Apple #SHARP

一秒生成高斯点云? Apple新模型SHARP实测! Apple 刚刚推出了新的模型和配套框架 SHARP, 这个模型可以实现单张图像生成逼真的3D场景, 尤其是模型大小只有2.8GB, 大概是1.4B? 速度足够快, 可以一秒生成高斯点云, 然后这个点云可以为图片向邻近的视角提供多角度地观察, 比如我拍了一张椅子, 那么点云化后就能渲染椅子左右20度的视角, 更多就不行了. 视频是我的实测, 目前测下来日常场景使用完全没问题, 只有在复杂的场景才会露出破绽, 比如镜面反射, 或者超长焦, 感觉这个模型如果应用到 Apple Vision Pro 上会有很不错的场景, 照片仅需要1秒, 弄3D相册不是问题. #Apple #SHARP

karminski-牙医

23,813 просмотров • 8 месяцев назад

兄弟们，又出来个牛P玩意阿里那个被截胡了，这个直接能用可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小case... 最牛P的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换... 其核心技术基于JST-1模型。JST-1是首个具有实际物理理解能力的视频-3D基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。核心功能： 1、可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle将根据这些指示生成视频。 2、基于物理的动画：JST-1模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3、3D角色和场景创建：Viggle不仅限于传统的2D视频制作，它还能够创建3D角色和场景。官网：可以去他们discord免费体验： ViggleAI

兄弟们，又出来个牛P玩意阿里那个被截胡了，这个直接能用可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小case... 最牛P的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换... 其核心技术基于JST-1模型。JST-1是首个具有实际物理理解能力的视频-3D基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。核心功能： 1、可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle将根据这些指示生成视频。 2、基于物理的动画：JST-1模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3、3D角色和场景创建：Viggle不仅限于传统的2D视频制作，它还能够创建3D角色和场景。官网：可以去他们discord免费体验： ViggleAI

小互

103,642 просмотров • 2 лет назад

开源分解图层大模型这么快就来了? 给大家带来阿里刚刚发布的 Qwen-Image-Layered 模型实测, 这是一个可以把图片分成不同图层的大模型, 模型是基于 Qwen-Image 微调的. 本次我的测试覆盖这个模型的擅长场景(海报), 指令遵循测试(指定抽取目标), 边缘处理(头发), 极限测试(全是贴纸, 一个贴纸一个图层的话可以抽取50多个图层). 直接说结论, 首先还是模型太大了, 因为这个模型基于 Qwen-Image 所以是个20B的模型, 我是用HuggingFace Zero GPU 测试, 每次运行大概2分钟左右, 模型的确可以做到分离图层, 而且边缘处理很不错, 不过稳定性有待优化, 在我测试中4个图层可以输出, 但是8个或者10个图层就炸了, 怀疑可能是超过了Zero GPU超时或者bug (GPU是H200, 不太可能爆显存), 输出尺寸只有 544*736, 官方也推荐640分辨力, 这点也需要提升, 以及模型还是太大了, 20B, 希望能优化下尺寸.

开源分解图层大模型这么快就来了? 给大家带来阿里刚刚发布的 Qwen-Image-Layered 模型实测, 这是一个可以把图片分成不同图层的大模型, 模型是基于 Qwen-Image 微调的. 本次我的测试覆盖这个模型的擅长场景(海报), 指令遵循测试(指定抽取目标), 边缘处理(头发), 极限测试(全是贴纸, 一个贴纸一个图层的话可以抽取50多个图层). 直接说结论, 首先还是模型太大了, 因为这个模型基于 Qwen-Image 所以是个20B的模型, 我是用HuggingFace Zero GPU 测试, 每次运行大概2分钟左右, 模型的确可以做到分离图层, 而且边缘处理很不错, 不过稳定性有待优化, 在我测试中4个图层可以输出, 但是8个或者10个图层就炸了, 怀疑可能是超过了Zero GPU超时或者bug (GPU是H200, 不太可能爆显存), 输出尺寸只有 544*736, 官方也推荐640分辨力, 这点也需要提升, 以及模型还是太大了, 20B, 希望能优化下尺寸.

karminski-牙医

14,175 просмотров • 8 месяцев назад

国产最新的多模态模型来了！！前两周我刚体验过国产的阶跃星辰大模型，没想到这么快他们的新模型 Step 3.7 Flash 就出了。现在大模型一发布必卷 benchmark 分数，但真正做 Agent 的人都清楚：跑分高 ≠ 能把活干完。所以这次阶跃星辰的新模型 Step 3.7 Flash 它再不追求单点最聪明、也不只是单次最快，而是主打“生产任务端到端执行效率”。一个真实的 Agent 任务从来不是一次问答，而是规划 → 搜索 → 工具调用 → 代码生成 → 多模态理解 → 反复校验的完整闭环，Step 3.7 Flash 这次升级的重点是整条链路的效率，而不是某个孤立指标。提几个我觉得挺务实的点： 1. 原生多模态模型：它可以直接处理 UI 截图、图表、仪表盘、文档，原生读懂并转成结构化输出和可执行步骤，不需要像一些模型那样外挂视觉理解 MCP，而且现在多模态是顶级模型的标配。 2. 推理加入搜索和视觉检索：网页搜索、图像搜索、视觉验证、多源信息比对，让 Agent 在开放任务里边查边验证边行动，而不是事后再接个外部工具。 3. 198B MoE、约 11B 激活参数，最高 400 TPS：稀疏激活 + 这个速度，意味着高频交互、多步工作流、反复工具调用的场景下，单位任务的成本和延迟都压得很低——快和省是一起来的。 4. 开源、可部署：生产环境要的不只是 API，还有透明度、可控性和部署灵活性。如果你在做 AI Agent、coding 工作流、搜索类应用或多模态系统，值得用 StepFun 试试这款新模型的能力。想看更进阶的平台能力，可以了解 Step Plan。海外平台：国内平台：

国产最新的多模态模型来了！！前两周我刚体验过国产的阶跃星辰大模型，没想到这么快他们的新模型 Step 3.7 Flash 就出了。现在大模型一发布必卷 benchmark 分数，但真正做 Agent 的人都清楚：跑分高 ≠ 能把活干完。所以这次阶跃星辰的新模型 Step 3.7 Flash 它再不追求单点最聪明、也不只是单次最快，而是主打“生产任务端到端执行效率”。一个真实的 Agent 任务从来不是一次问答，而是规划 → 搜索 → 工具调用 → 代码生成 → 多模态理解 → 反复校验的完整闭环，Step 3.7 Flash 这次升级的重点是整条链路的效率，而不是某个孤立指标。提几个我觉得挺务实的点： 1. 原生多模态模型：它可以直接处理 UI 截图、图表、仪表盘、文档，原生读懂并转成结构化输出和可执行步骤，不需要像一些模型那样外挂视觉理解 MCP，而且现在多模态是顶级模型的标配。 2. 推理加入搜索和视觉检索：网页搜索、图像搜索、视觉验证、多源信息比对，让 Agent 在开放任务里边查边验证边行动，而不是事后再接个外部工具。 3. 198B MoE、约 11B 激活参数，最高 400 TPS：稀疏激活 + 这个速度，意味着高频交互、多步工作流、反复工具调用的场景下，单位任务的成本和延迟都压得很低——快和省是一起来的。 4. 开源、可部署：生产环境要的不只是 API，还有透明度、可控性和部署灵活性。如果你在做 AI Agent、coding 工作流、搜索类应用或多模态系统，值得用 StepFun 试试这款新模型的能力。想看更进阶的平台能力，可以了解 Step Plan。海外平台：国内平台：

耳朵

12,197 просмотров • 2 месяцев назад

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,074 просмотров • 3 месяцев назад

Flux3真的很强！终于看到有模型可以有机会挑战Seedance2.0了 FLUX 3 = 更强的多模态生成模型，核心是把图像、视频、音频放进同一个世界模型里主打图像、视频、音频和动作预测的统一架构。它的早期能力重点放在视频生成上，支持最长 20 秒、带原生音频的生成，并且还在推进图像生成与编辑能力开源模型，假以时日优化优化，可以无限接近和挑战Seedance2.0这种商业模型了

Flux3真的很强！终于看到有模型可以有机会挑战Seedance2.0了 FLUX 3 = 更强的多模态生成模型，核心是把图像、视频、音频放进同一个世界模型里主打图像、视频、音频和动作预测的统一架构。它的早期能力重点放在视频生成上，支持最长 20 秒、带原生音频的生成，并且还在推进图像生成与编辑能力开源模型，假以时日优化优化，可以无限接近和挑战Seedance2.0这种商业模型了

huangserva

28,605 просмотров • 29 дней назад

在今天的百度世界大会上，沉寂许久的百度发布其文心5.0（EB5）模型似乎是憋了个大招根据公布的信息,这代模型直接从训练伊始就融合文本、图像、音频、视频训练数据是一个原生的全模态模型... - 参数规模高达 2.4 万亿 - MoE架构激活参数比例< 3% 测试了下视频分析能力，感觉是有点东西... 真的能看懂视频，不只是台词，画面分析的也很可以...

在今天的百度世界大会上，沉寂许久的百度发布其文心5.0（EB5）模型似乎是憋了个大招根据公布的信息,这代模型直接从训练伊始就融合文本、图像、音频、视频训练数据是一个原生的全模态模型... - 参数规模高达 2.4 万亿 - MoE架构激活参数比例< 3% 测试了下视频分析能力，感觉是有点东西... 真的能看懂视频，不只是台词，画面分析的也很可以...

小互

38,838 просмотров • 9 месяцев назад

兄弟们，我真觉得目前 AI 还是被低估了，模型代码能力变强，能实现的效果太多了：视觉理解、3D、动画、可交互的东西，都是代码能表达的我之前接过一个 AI + 庭院设计的需求，他们需要细节效果图和渲染图，那会我用 image-2 配合代码实现 3D 效果，但空间感很差，具体的比例等细节把控不好，很难达到生产场景这次我直接拿一张户型图让 AI 做出装修后的 3D 效果，出来的效果确实不错：第一人称漫游，切俯视图和图纸一模一样，连每扇门往哪边开都没错。而且可以非常精细化去做修改。以前这种 3D 展示外包出去又贵周期又长，现在就是几块钱 token 的事，效果还比之前好得多。这只是一个 demo，后续再往上叠生图模型、视频模型做质感，庭院设计、装修方案、样板间展示，这一整类需求的想象空间很大。视频是这次的实录效果👇：

兄弟们，我真觉得目前 AI 还是被低估了，模型代码能力变强，能实现的效果太多了：视觉理解、3D、动画、可交互的东西，都是代码能表达的我之前接过一个 AI + 庭院设计的需求，他们需要细节效果图和渲染图，那会我用 image-2 配合代码实现 3D 效果，但空间感很差，具体的比例等细节把控不好，很难达到生产场景这次我直接拿一张户型图让 AI 做出装修后的 3D 效果，出来的效果确实不错：第一人称漫游，切俯视图和图纸一模一样，连每扇门往哪边开都没错。而且可以非常精细化去做修改。以前这种 3D 展示外包出去又贵周期又长，现在就是几块钱 token 的事，效果还比之前好得多。这只是一个 demo，后续再往上叠生图模型、视频模型做质感，庭院设计、装修方案、样板间展示，这一整类需求的想象空间很大。视频是这次的实录效果👇：

余温

17,625 просмотров • 20 дней назад

把网站录下来给AI看, AI能照着做出来吗? 刚刚看到了个炫酷的灯具网站, 它有个功能是点击按钮直接能看到灯点亮的效果, 甚至网站的配色也会暗淡下来, 特别有氛围. 我突然想到, 这样的网站, 如果要让AI来做, 该怎么办? 把源代码拷给它? 用一个巨复杂的 prompt 来完成? 有没有可能, 我录个视频, 展示一下这个"关灯"的效果, 然后让AI来按照视频来写网站? 于是, 这个重任就交给了今天测试的模型, 百度刚出的文心-5.0-preview, 全模态大模型, 这个模型同时支持文本, 图片, 音频, 视频作为输入, 然后可以生成文本和图片, 所以我们这个测试可以最大化的利用它的能力. 我先录制了网站的效果, 然后写了prompt作为补充, 告诉它这个效果是怎样的, 以及准备的图片材料在哪里. 值得一提的是, 网站所展示的图片也是我用文心-5.0-preview生成的. 大家可以看视频中我生成的效果. 直接说测试结论: 目前每个模态都是可用的, 而且模态之间关联性非常好, 我测试了视频+文本, 图片+文本, 图片+语音, 都可以完成任务. 当然测试也发现了一些问题, 比如 token 输出速度不是特别快, 以及偶尔会有超时问题(已反馈给百度的同学). 我的使用建议是, 多利用它的多模态能力, 来完成之前不敢想象的任务, 它真的提升了使用场景的天花板. #文心大模型 #文心5 #百度 #文心一言 #ai教程

把网站录下来给AI看, AI能照着做出来吗? 刚刚看到了个炫酷的灯具网站, 它有个功能是点击按钮直接能看到灯点亮的效果, 甚至网站的配色也会暗淡下来, 特别有氛围. 我突然想到, 这样的网站, 如果要让AI来做, 该怎么办? 把源代码拷给它? 用一个巨复杂的 prompt 来完成? 有没有可能, 我录个视频, 展示一下这个"关灯"的效果, 然后让AI来按照视频来写网站? 于是, 这个重任就交给了今天测试的模型, 百度刚出的文心-5.0-preview, 全模态大模型, 这个模型同时支持文本, 图片, 音频, 视频作为输入, 然后可以生成文本和图片, 所以我们这个测试可以最大化的利用它的能力. 我先录制了网站的效果, 然后写了prompt作为补充, 告诉它这个效果是怎样的, 以及准备的图片材料在哪里. 值得一提的是, 网站所展示的图片也是我用文心-5.0-preview生成的. 大家可以看视频中我生成的效果. 直接说测试结论: 目前每个模态都是可用的, 而且模态之间关联性非常好, 我测试了视频+文本, 图片+文本, 图片+语音, 都可以完成任务. 当然测试也发现了一些问题, 比如 token 输出速度不是特别快, 以及偶尔会有超时问题(已反馈给百度的同学). 我的使用建议是, 多利用它的多模态能力, 来完成之前不敢想象的任务, 它真的提升了使用场景的天花板. #文心大模型 #文心5 #百度 #文心一言 #ai教程

karminski-牙医

29,929 просмотров • 9 месяцев назад

牛P了 Vidu 的 Reference-to-Video 功能支持一次性上传最多 7 张参考图片并结合一段文字提示，生成具有高度一致性、风格统一、视觉保真度高的视频内容参考图可以是人物、场景、道具等任意内容下面是我的测试介绍... 利用 Vidu Q1 模型的多模态对齐机制能实现结构保持、纹理迁移、风格还原同步完成模型还会根据参考图和 Prompt 自动进行智能镜头推演，构建“视觉叙事”结构，如推镜头、平移、场景切换等这是目前行业内首个支持多图引用、并具有角色/场景一致性的开放式视频生成工具。下面是教程

牛P了 Vidu 的 Reference-to-Video 功能支持一次性上传最多 7 张参考图片并结合一段文字提示，生成具有高度一致性、风格统一、视觉保真度高的视频内容参考图可以是人物、场景、道具等任意内容下面是我的测试介绍... 利用 Vidu Q1 模型的多模态对齐机制能实现结构保持、纹理迁移、风格还原同步完成模型还会根据参考图和 Prompt 自动进行智能镜头推演，构建“视觉叙事”结构，如推镜头、平移、场景切换等这是目前行业内首个支持多图引用、并具有角色/场景一致性的开放式视频生成工具。下面是教程

小互

44,332 просмотров • 1 год назад

一个模型搞定视频+音频+口型! 你看到的这个就是 LTX 刚刚发布的 LTX-2 开放权重大模型, 这个模型可以文生视频或者图生视频, 这个模型最大的特点是在保证了画质和一致性的同时, 可以生成音频! 而且音频和口型完全适配! 并且说话人神态也非常棒! 模型大小是 19B, 相当可用! 演示视频是我用 HuggingFace Zero GPU 生成的 demo, 10秒视频大概需要5分钟左右生成时间. 我测试目前来看最大的优点就是口型和声音生成得非常好, 并且一致性很高. 指定人物使用什么样的银色就能稳定生成. 当然模型也有不足之处, 主要是还是偶尔能看到模型生成人物皮肤的那种油腻感. 当然官方的 pro 版本在这点上处理的更好, 并且 pro 版本支持4K分辨率输出, 当然 pro 版本是没有开源的.

一个模型搞定视频+音频+口型! 你看到的这个就是 LTX 刚刚发布的 LTX-2 开放权重大模型, 这个模型可以文生视频或者图生视频, 这个模型最大的特点是在保证了画质和一致性的同时, 可以生成音频! 而且音频和口型完全适配! 并且说话人神态也非常棒! 模型大小是 19B, 相当可用! 演示视频是我用 HuggingFace Zero GPU 生成的 demo, 10秒视频大概需要5分钟左右生成时间. 我测试目前来看最大的优点就是口型和声音生成得非常好, 并且一致性很高. 指定人物使用什么样的银色就能稳定生成. 当然模型也有不足之处, 主要是还是偶尔能看到模型生成人物皮肤的那种油腻感. 当然官方的 pro 版本在这点上处理的更好, 并且 pro 版本支持4K分辨率输出, 当然 pro 版本是没有开源的.

karminski-牙医

19,836 просмотров • 7 месяцев назад

LivePortrait：只需一张静态肖像图像就能生成动态视频能够精确控制眼睛的注视方向和嘴唇的开合动作。还可以处理多个人物肖像的无缝拼接，将不同的人物特征合并到一个视频中，确保在多个动态人物之间过渡平滑，不会产生突兀的边界效果。对比实验显示，LivePortrait生成的动画质量优于现有的非扩散模型和扩散模型方法。在RTX 4090 GPU上，LivePortrait的生成速度达到了每帧12.8毫秒，显著高于现有的扩散模型方法。详细介绍：项目地址：

LivePortrait：只需一张静态肖像图像就能生成动态视频能够精确控制眼睛的注视方向和嘴唇的开合动作。还可以处理多个人物肖像的无缝拼接，将不同的人物特征合并到一个视频中，确保在多个动态人物之间过渡平滑，不会产生突兀的边界效果。对比实验显示，LivePortrait生成的动画质量优于现有的非扩散模型和扩散模型方法。在RTX 4090 GPU上，LivePortrait的生成速度达到了每帧12.8毫秒，显著高于现有的扩散模型方法。详细介绍：项目地址：

小互

59,918 просмотров • 2 лет назад

NVIDIA 刚开源的这个 LocateAnything 模型，真的有点强。🤯 以前那种视觉定位模型，生成坐标是一个数字一个数字往外蹦（像挤牙膏一样），又慢又不稳定。这个新模型用了“并行边界框解码”，直接一步预测完整坐标，速度快多了，框得也准。不管是找视频里的物体，还是识别UI界面、OCR文字，它都能搞定。最关键是模型很小，只有 3B 参数（约7.8GB），消费级显卡也能本地跑！🏠💻 做计算机视觉或者多模态的朋友，这个必须得试试。项目已开源，手慢无！👇

NVIDIA 刚开源的这个 LocateAnything 模型，真的有点强。🤯 以前那种视觉定位模型，生成坐标是一个数字一个数字往外蹦（像挤牙膏一样），又慢又不稳定。这个新模型用了“并行边界框解码”，直接一步预测完整坐标，速度快多了，框得也准。不管是找视频里的物体，还是识别UI界面、OCR文字，它都能搞定。最关键是模型很小，只有 3B 参数（约7.8GB），消费级显卡也能本地跑！🏠💻 做计算机视觉或者多模态的朋友，这个必须得试试。项目已开源，手慢无！👇

Vincent

37,352 просмотров • 2 месяцев назад

网易有道「子曰4」全模态大模型来了，权重全量开源这次「子曰4」不仅支持了多模态：图像/视频/语音全输入，27B可以本地化部署，尤其在学习场景表现优异更值得一提的是这个 TTS 引擎独立开源，3秒即可完成声音采样，克隆音色，并支持14种语言的跨语种生成，且跨语种无口音。这对于我们做音视频营销素材跨语种分发的营销人而言，绝对是个利好我尝试了一下用我自己的声音来朗读日语，感觉效果还挺好的，最重要的是生成快！大家可以看视频感受一下等github把模型全开源出来后，我准备封到牛马AI里跑视频素材跨语种合成了！ TTS试玩 TTS项目地址多模态模型

网易有道「子曰4」全模态大模型来了，权重全量开源这次「子曰4」不仅支持了多模态：图像/视频/语音全输入，27B可以本地化部署，尤其在学习场景表现优异更值得一提的是这个 TTS 引擎独立开源，3秒即可完成声音采样，克隆音色，并支持14种语言的跨语种生成，且跨语种无口音。这对于我们做音视频营销素材跨语种分发的营销人而言，绝对是个利好我尝试了一下用我自己的声音来朗读日语，感觉效果还挺好的，最重要的是生成快！大家可以看视频感受一下等github把模型全开源出来后，我准备封到牛马AI里跑视频素材跨语种合成了！ TTS试玩 TTS项目地址多模态模型

Yangyi

16,518 просмотров • 2 месяцев назад

一款名为 Quasar Alpha的神秘模型登陆了OpenRouter 上下文长度高达 100 万个 token 其的响应速度非常快，平均每秒可处理约 136 个 token 有人怀疑是 OpenAI 的开源模型，因为问它的是时候它回答是基于GPT 4 我测试了下确实很6啊...😅 Quasar Alpha 被设计为全能型模型，适用于多种任务，尤其是编码任务。官方描述和用户反馈暗示它可能具备多模态能力，Quasar Alpha 在 OpenRouter 上免费提供。根据 X 用户反馈，在 aider 多语言编码基准测试中得分约为 55%，与 DeepSeek V3 和一些 OpenAI 模型（如 o3-mini-medium）相当，优于 GPT-4o 的表现。

一款名为 Quasar Alpha的神秘模型登陆了OpenRouter 上下文长度高达 100 万个 token 其的响应速度非常快，平均每秒可处理约 136 个 token 有人怀疑是 OpenAI 的开源模型，因为问它的是时候它回答是基于GPT 4 我测试了下确实很6啊...😅 Quasar Alpha 被设计为全能型模型，适用于多种任务，尤其是编码任务。官方描述和用户反馈暗示它可能具备多模态能力，Quasar Alpha 在 OpenRouter 上免费提供。根据 X 用户反馈，在 aider 多语言编码基准测试中得分约为 55%，与 DeepSeek V3 和一些 OpenAI 模型（如 o3-mini-medium）相当，优于 GPT-4o 的表现。

小互

42,136 просмотров • 1 год назад