Загрузка видео...

Не удалось загрузить видео

На главную

Open Sora 团队发布了另一个视频生成项目 MagicTime。 只可以制作变形时光延续视频,比如花朵开放,冰块融化等,能够学习并应用现实世界的物理规律。 已经放出了代码实现。 详细介绍: 首先开发了一套名为 MagicAdapter 的技术,通过分开处理空间和时间训练,它能从变形视频中提取更多的物理知识,并使预训练的T2V模型能够生成这类视频。 接着,引入了动态帧提取策略,这个策略特别适用于变形时光延续视频,因为这类视频变化范围广泛,涵盖了物体戏剧性的变化过程,从而包含了更丰富的物理知识。 还设计了一种名为 Magic Text-Encoder 的工具,用以提升对这类变形视频提示信息的理解。 此外,还特别创建了一个名为 ChronoMagic 的时光延续视频-文本数据集,旨在提升变形视频生成的能力。

91,847 просмотров • 2 лет назад •via X (Twitter)

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

之前用 Seedance 2 做了个做酸菜鱼的视频, 生成到第10秒的时候,美女的手直接伸进滚烫的锅里搅拌。AI完全不知道那样会烫。 当时觉得好笑,后来越想越觉得,这不只是 bug这么简单,现在的 AI 根本还没到理解物理世界怎么运转这一层。 这半年做了太多AI视频了,每次满心欢喜等它生成,结果经常是人物动作接不上、物体空间瞬移、手还没碰到东西物体就动了,各种幻觉 bug,真的挺折磨。 最近看到黄碧薇教授 Biwei Huang 的 Aether AI 官宣融资,认真看了一下方向,感觉它解释了很多视觉 AI 里反复出现的问题。 Aether AI 做的是因果世界模型。这个词听起来很学术,但放到视频生成里其实很好理解。 今天的视频模型,Sora、即梦、Veo,已经能生成非常真实的画面。杯子掉落、水洒出来、机械臂抓取,看起来越来越像真的。但它们很多时候是在根据海量视频经验预测下一帧,类似画面后面通常会发生什么,就生成什么。 所以桌子高了 2cm,机械臂就可能失效。明明伸过去的角度看起来对,杯子却自己飞起来了。画质够了,数据也不少,但模型没有真正理解这个动作为什么会带来这个结果。 Aether AI想做的,就是让 AI 学到变量之间的底层规律,比如桌子高度变了会带来什么影响,物体受力之后会怎么运动,一个动作会导致什么后果。 这类东西学进去,模型才能在没见过的场景里稳定推演、举一反三。对视频生成、机器人、自动驾驶、3D 世界模拟都会很关键。 视觉 AI 下一阶段的方向,可能就是从生成看起来合理的画面,走向理解画面为什么会这样变化。 黄教授 Biwei Huang 做因果AI 超过 12 年,这次 Aether AI 融资,我觉得是一个值得关注的信号:因果世界模型正在从学术前沿走向产业。 想了解的可以戳一下官网看看:

Adam也叫吉米

72,542 просмотров • 1 месяц назад