Skip navigation
ElevenLabs 推出 Dubbing V2
0:00 / 1:52

ElevenLabs 推出 Dubbing V2

小互

@xiaohu122K followers

Visit on X
67 likesDownloadOriginal post

12,522 views

ElevenLabs 推出 Dubbing V2 端到端的AI配音模型... 最大的变化:配音不再是"先转写、再翻译、最后合成"三段式拼接,而是模型直接基于原始表演建模声音。 并将音色、情绪、演绎都跟着穿越进每一种语言 也就是说,同一个人开口讲六国语言,听上去还是他本人,连情绪和呼吸节奏都对得上 Dubbing v2 支持 90 多种语言和口音, 原理:它针对原始表演来生成,而不是针对一段转录文本,所以语气、情绪、表达方式会跨语言保留下来,声音克隆全自动,会给原说话人建一个声音模型并应用到所有目标语言,保留身份、音高和语气,不用手动设置。 另外支持音频、视频和文字三种输入 具体能力: • 音色穿越:不是模仿你的声音,是你的声音直接在另一种语言里说话 • 情绪保真:原片里你笑你叹气你激动,译版照样有 • 同步感知翻译:译文长度匹配原片口型和停顿,不会嘴动完了字幕还在跑 • 措辞本地化:不是字面直译,每种语言用自己的表达方式 • 端到端全自动:传一个视频进去出一份配音,中间没有手工拼接 视频里他们演了三个场景: MrBeast 风格的荒岛求生在 English/German/French 之间无缝切换 一段财务部门的快节奏对白试连贯性 一个童话故事试表达力

12 Comments

Comments from the original post on X (Twitter)

  • 小互's profile picture

    @xiaohu

    未来 7 天内,可以免费开始使用: 免费计划提供 1 分钟免费时长 入门计划提供 15 分钟免费时长 创作者+ 计划提供 30 分钟免费时长 详细:

    6 likes

  • 易小维's profile picture

    @easywaydata

    这厉害了,如果Youtube官方用上,岂不是和X一样,所有人听到的都是自己国家的语言了??

    1 like

  • khalil_tech's profile picture

    @wuhuaguor

    刷到这条推马上用了一下 确实牛逼啊

  • Zippy's profile picture

    @zippy257

    feels like we just unlocked “acting multilingual” without the actor actually learning any

  • Resona's profile picture

    @MeetResona

    总感觉elevenlabs像是默默放大招的感觉

  • Shara's profile picture

    @itsshara_ai

    ElevenLabs Dubbing v2 no longer three-step patchwork end-to-end model is the architecture shift

  • 狐狸狼's profile picture

    @dahulilang

    端到端语音确实是方向,这次直接跳过文本中转,能完美保留原始语气和情绪。相比单纯的翻译,这种对呼吸节奏和微小停顿的克隆,才是让配音跨越语言障碍、听起来像真人的灵魂所在。

  • Alex | WaveShift's profile picture

    @jbang20042004

    我也自己开发了一个,虽然没有11lab这么牛,但胜在便宜

  • Funny's profile picture

    @YOLO_TrustSelf

    这一步有点吓人:配音终于不再像“另一个人在翻译你”,而像你本人突然多长了几套语言神经。它解决的不是发音问题,是表演连续性问题。以后跨语言内容的门槛会低很多,但观众还能不能分清“翻译过的你”和“被重建的你”?

  • Fisher Museum of Art's profile picture

    @fisherv

    太牛逼了

  • Andy Lam's profile picture

    @AndyLam93645778

    廣東話表現好嗎?

  • Vigo Zhao's profile picture

    @VigoCreativeAI

    在视频上看,很想一个人说了六国语言,感觉在嘴部动作和呼吸和情绪基本一致