正在加载视频...

视频加载失败

加载此视频时出现问题。这可能是由于临时网络问题，或视频可能不可用。

ElevenLabs 推出 Dubbing V2 端到端的AI配音模型... 最大的变化：配音不再是"先转写、再翻译、最后合成"三段式拼接，而是模型直接基于原始表演建模声音。并将音色、情绪、演绎都跟着穿越进每一种语言也就是说，同一个人开口讲六国语言，听上去还是他本人，连情绪和呼吸节奏都对得上 Dubbing v2 支持 90 多种语言和口音，原理：它针对原始表演来生成，而不是针对一段转录文本，所以语气、情绪、表达方式会跨语言保留下来，声音克隆全自动，会给原说话人建一个声音模型并应用到所有目标语言，保留身份、音高和语气，不用手动设置。另外支持音频、视频和文字三种输入具体能力： • 音色穿越：不是模仿你的声音，是你的声音直接在另一种语言里说话 • 情绪保真：原片里你笑你叹气你激动，译版照样有 • 同步感知翻译：译文长度匹配原片口型和停顿，不会嘴动完了字幕还在跑 • 措辞本地化：不是字面直译，每种语言用自己的表达方式 • 端到端全自动：传一个视频进去出一份配音，中间没有手工拼接视频里他们演了三个场景： MrBeast 风格的荒岛求生在 English/German/French 之间无缝切换一段财务部门的快节奏对白试连贯性一个童话故事试表达力

小互

110,570 subscribers

10,520 次观看 • 1 个月前 •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

0 条评论

暂无评论

原始帖子的评论将显示在这里

相关视频

Cartesia ai的一款“变声器”模型：Voice Changer ，可以将任何音频声音转换成不同的音色，同时保留原始音频的语气、情感能保持原始表达方式，语气、情感不会失真，还可以保留叹息、惊讶等细节，支持在同一段音频中多次切换不同声音特别适合用于配音的场景，视频、动画、故事配音、有声读物等等体验地址： #AI配音 #AI声音转换

Cartesia ai的一款“变声器”模型：Voice Changer ，可以将任何音频声音转换成不同的音色，同时保留原始音频的语气、情感能保持原始表达方式，语气、情感不会失真，还可以保留叹息、惊讶等细节，支持在同一段音频中多次切换不同声音特别适合用于配音的场景，视频、动画、故事配音、有声读物等等体验地址： #AI配音 #AI声音转换

AIGCLINK

17,019 次观看 • 1 年前

推荐一个黑科技：pyvideotrans pyvideotrans这个GitHub项目用于将视频内容从一种语言翻译到另一种语言，并添加配音。目标是提供视频翻译和配音的自动化解决方案，主要包括文本到语音、语音到文本和视频转换的功能等等。 GitHub：官网：

推荐一个黑科技：pyvideotrans pyvideotrans这个GitHub项目用于将视频内容从一种语言翻译到另一种语言，并添加配音。目标是提供视频翻译和配音的自动化解决方案，主要包括文本到语音、语音到文本和视频转换的功能等等。 GitHub：官网：

知识分享官

43,531 次观看 • 2 年前

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型能保持口型同步、说话风格完美匹配只需输入音频和参考视频，即可生成同步的视觉配音不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型能保持口型同步、说话风格完美匹配只需输入音频和参考视频，即可生成同步的视觉配音不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。

小互

162,364 次观看 • 1 年前

上海交大和微软开源的一款【端到端的语音到语音翻译系统：TransVIP】，它可以保持原声特征、保持源语音和目标语音时长同步它的声音特点和说话的节奏感保持的非常不错，比较自然流畅，时长控制的也比较精确，很适合做视频配音、跨语言直播或实时语音翻译直接从源语音到目标语音，无需中间步骤，处理延迟低源语音和目标语音时长保持一致，可以避免口型不同步问题项目： github： #AI实时翻译 #TransVIP

上海交大和微软开源的一款【端到端的语音到语音翻译系统：TransVIP】，它可以保持原声特征、保持源语音和目标语音时长同步它的声音特点和说话的节奏感保持的非常不错，比较自然流畅，时长控制的也比较精确，很适合做视频配音、跨语言直播或实时语音翻译直接从源语音到目标语音，无需中间步骤，处理延迟低源语音和目标语音时长保持一致，可以避免口型不同步问题项目： github： #AI实时翻译 #TransVIP

AIGCLINK

55,985 次观看 • 1 年前

HeyGen 发布 Avatar IV 数字人模型只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。

小互

140,969 次观看 • 1 年前

语音特征保留：模型会尝试保留原始说话人的语调（intonation）、节奏（pacing）和音高（pitch）。东南亚打车平台 Grab 正在测试这个模型，用于司机和乘客在接驾时的多语言通话。演示：一个泰国司机和一个日本游客之间的电话，双方各说各的语言，模型在中间做实时双向翻译。

语音特征保留：模型会尝试保留原始说话人的语调（intonation）、节奏（pacing）和音高（pitch）。东南亚打车平台 Grab 正在测试这个模型，用于司机和乘客在接驾时的多语言通话。演示：一个泰国司机和一个日本游客之间的电话，双方各说各的语言，模型在中间做实时双向翻译。

小互

11,289 次观看 • 21 天前

OpenAI公布其语音生成模型：Voice Engine 根据文本输入和一个15秒的音频样本，就能生成接近原始说话者声音的自然听起来的语音。 Voice Engine最初于2022年底开发，并已经提供给包括Heygen在内的少数公司进行测试性使用。主要功能 1、自然听起来的语音生成：利用单个15秒的音频样本，Voice Engine能够创造出既情感丰富又真实的语音，显著提升合成语音的自然度和真实感。 2、支持多种用途：从教育援助、内容翻译、提高偏远地区服务质量，到支持非语言人士和帮助患者恢复声音，Voice Engine的应用场景广泛，跨越多个行业。 3、语言和口音的保留：在内容翻译时，Voice Engine能够保留原始发言者的本地口音，使得翻译后的语音不仅流利还能保持原声音的特色。 4、多语种支持：能够生成多种语言的语音输出，适应全球化需求，特别是对于需要将内容本地化到不同语言市场的企业和内容创作者来说，这一特点尤为重要。详细：

OpenAI公布其语音生成模型：Voice Engine 根据文本输入和一个15秒的音频样本，就能生成接近原始说话者声音的自然听起来的语音。 Voice Engine最初于2022年底开发，并已经提供给包括Heygen在内的少数公司进行测试性使用。主要功能 1、自然听起来的语音生成：利用单个15秒的音频样本，Voice Engine能够创造出既情感丰富又真实的语音，显著提升合成语音的自然度和真实感。 2、支持多种用途：从教育援助、内容翻译、提高偏远地区服务质量，到支持非语言人士和帮助患者恢复声音，Voice Engine的应用场景广泛，跨越多个行业。 3、语言和口音的保留：在内容翻译时，Voice Engine能够保留原始发言者的本地口音，使得翻译后的语音不仅流利还能保持原声音的特色。 4、多语种支持：能够生成多种语言的语音输出，适应全球化需求，特别是对于需要将内容本地化到不同语言市场的企业和内容创作者来说，这一特点尤为重要。详细：

小互

38,133 次观看 • 2 年前

阶跃星辰开源了一个130B 语音-文本的多模态模型：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。该模型通过多模态训练，使得语音理解与生成可以无缝对接。主要能力：语音克隆支持多种语言对话（中文英日）情绪控制与语调控制支持方言可控制语速及韵律风格支持RAP和哼唱等集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

阶跃星辰开源了一个130B 语音-文本的多模态模型：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。该模型通过多模态训练，使得语音理解与生成可以无缝对接。主要能力：语音克隆支持多种语言对话（中文英日）情绪控制与语调控制支持方言可控制语速及韵律风格支持RAP和哼唱等集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,755 次观看 • 1 年前

MaskGCT：一个新的零样本文本到语音（TTS）模型支持跨语言翻译配音、语音克隆、语言转换、情感控制等与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。同时模型大幅降低了推理时间，适合实时应用。

MaskGCT：一个新的零样本文本到语音（TTS）模型支持跨语言翻译配音、语音克隆、语言转换、情感控制等与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。同时模型大幅降低了推理时间，适合实时应用。

小互

49,351 次观看 • 1 年前

一款基于Gradio Web UI的语音识别、翻译和TTS的语音一体化处理工具：Voice-Pro，支持实时转录、翻译，一键安装特点： 1、提供YouTube下载器、噪音去除、字幕、翻译和TTS的集成环境 2、支持100种语言的语音识别和字幕创建，可翻译成100多种语言并通过TTS生成语音，可调整TTS语音速度、音量和音调 3、原始视频的背景音乐和音效在多语言视频中保持不变 4、支持批量处理 github： #AI视频转录 #Voice #视频翻译

一款基于Gradio Web UI的语音识别、翻译和TTS的语音一体化处理工具：Voice-Pro，支持实时转录、翻译，一键安装特点： 1、提供YouTube下载器、噪音去除、字幕、翻译和TTS的集成环境 2、支持100种语言的语音识别和字幕创建，可翻译成100多种语言并通过TTS生成语音，可调整TTS语音速度、音量和音调 3、原始视频的背景音乐和音效在多语言视频中保持不变 4、支持批量处理 github： #AI视频转录 #Voice #视频翻译

AIGCLINK

42,282 次观看 • 1 年前

ElevenLabs 推出了全新音视频编辑平台：Studio 3.0 一个界面内可进行 AI 语音合成、音频编辑、音效添加等全部工作它能做什么？ - 自动配音：输入文字，就能生成接近真人的自然语音，还能选择不同语言和音色。 - 语音转文字：把录音转成文本，适合做字幕或文稿。 - 声音克隆：模拟特定人的声音（常用于品牌或固定角色）。 - 背景音乐与音效生成：根据描述自动生成合适的配乐或音效。 - 多语言配音：上传视频或音频，自动翻译并生成对应语言的配音。 - 音频清理：去除噪音，提升录音质量。

ElevenLabs 推出了全新音视频编辑平台：Studio 3.0 一个界面内可进行 AI 语音合成、音频编辑、音效添加等全部工作它能做什么？ - 自动配音：输入文字，就能生成接近真人的自然语音，还能选择不同语言和音色。 - 语音转文字：把录音转成文本，适合做字幕或文稿。 - 声音克隆：模拟特定人的声音（常用于品牌或固定角色）。 - 背景音乐与音效生成：根据描述自动生成合适的配乐或音效。 - 多语言配音：上传视频或音频，自动翻译并生成对应语言的配音。 - 音频清理：去除噪音，提升录音质量。

小互

22,933 次观看 • 9 个月前

字节发布了一款端到端同声传译模型：Seed LiveInterpret 2.0，中英双向端到端同传，延迟为2-3秒从演示效果看，准确性、复杂场景的处理、声音情绪的表达、语音克隆音色转换的效果相对都还可以性能上，语音到语音翻译，中英互译平均翻译质量到了66.3分，接近专业真人同传水平延迟上，语音到文本输出首字平均延迟2.21秒，语音到语音输出延时2.53 秒功能上支持实时声音复刻，复刻不同说话人的音色擅长多人对话、非流利语音以及长音频场景对绕口令、诗词、美食文化等可相对自然互译 #AI同传 #SeedLiveInterpret #字节同传

字节发布了一款端到端同声传译模型：Seed LiveInterpret 2.0，中英双向端到端同传，延迟为2-3秒从演示效果看，准确性、复杂场景的处理、声音情绪的表达、语音克隆音色转换的效果相对都还可以性能上，语音到语音翻译，中英互译平均翻译质量到了66.3分，接近专业真人同传水平延迟上，语音到文本输出首字平均延迟2.21秒，语音到语音输出延时2.53 秒功能上支持实时声音复刻，复刻不同说话人的音色擅长多人对话、非流利语音以及长音频场景对绕口令、诗词、美食文化等可相对自然互译 #AI同传 #SeedLiveInterpret #字节同传

AIGCLINK

78,231 次观看 • 11 个月前

Meta 上周开源了一个端到端的语音模型 Spirit LM。这个太重要了，居然没注意到。这个模型有两个版本：基础版：适合进行一般的语音识别和生成，不包含情感变化。高表现力版：可以捕捉语音中的情感特征，能够生成包含快乐、愤怒或兴奋等情感的语音。主要特点有： Spirit LM 直接使用语音标记、音高标记和声调标记来保留语音中的表现力要素，不需要先转文本描述。能够在不需要大量数据的情况下，完成自动语音识别、文本转语音和语音分类等复杂任务。

Meta 上周开源了一个端到端的语音模型 Spirit LM。这个太重要了，居然没注意到。这个模型有两个版本：基础版：适合进行一般的语音识别和生成，不包含情感变化。高表现力版：可以捕捉语音中的情感特征，能够生成包含快乐、愤怒或兴奋等情感的语音。主要特点有： Spirit LM 直接使用语音标记、音高标记和声调标记来保留语音中的表现力要素，不需要先转文本描述。能够在不需要大量数据的情况下，完成自动语音识别、文本转语音和语音分类等复杂任务。

歸藏(guizang.ai)

28,393 次观看 • 1 年前

一站式视频多语言转换工具：Krillin AI，集音视频翻译、配音、语音克隆于一体视频输入到输出自动化，一键完成字幕提取、翻译、配音、视频合成支持B站，小红书，抖音，视频号，快手，YouTube，TikTok等多个平台输入支持中，英，日，德，土耳其语等输出支持中英俄法等56种语言翻译可本地部署，是内容创作者们比较实用的一款工具 #AI配音 #AI字幕翻译 #AI视频配音转换

一站式视频多语言转换工具：Krillin AI，集音视频翻译、配音、语音克隆于一体视频输入到输出自动化，一键完成字幕提取、翻译、配音、视频合成支持B站，小红书，抖音，视频号，快手，YouTube，TikTok等多个平台输入支持中，英，日，德，土耳其语等输出支持中英俄法等56种语言翻译可本地部署，是内容创作者们比较实用的一款工具 #AI配音 #AI字幕翻译 #AI视频配音转换

AIGCLINK

76,388 次观看 • 1 年前

兄弟们，牛P了 11Labs 推出 Eleven v3（Alpha 版）应该是目前地表最强的文本转语音模型了它不仅会说话，还能演戏支持 70 多种语言多个角色间的自然对话以及通过 [sad]、[whispers]、[laughs] 等音频标签精准控制语音情绪与非语言表达与旧版本相比，v3 拥有更强的文本理解能力，可以模拟真实对话中的中断、情感变化与语气调整。

兄弟们，牛P了 11Labs 推出 Eleven v3（Alpha 版）应该是目前地表最强的文本转语音模型了它不仅会说话，还能演戏支持 70 多种语言多个角色间的自然对话以及通过 [sad]、[whispers]、[laughs] 等音频标签精准控制语音情绪与非语言表达与旧版本相比，v3 拥有更强的文本理解能力，可以模拟真实对话中的中断、情感变化与语气调整。

小互

124,132 次观看 • 1 年前

智谱刚刚开源了情感语音模型 GLM-4.Voice，一款端到端语音模型，能情感共鸣、支持打断、多语言多方言支持能力： 1、情感表达和情感共鸣：可以模拟不同的情感和语调，高兴、悲伤、生气、害怕等情绪，会用合适的情绪语气回复 2、调节语速：可以要求TA快点说or慢点说 3、随时打断：可以根据实时的指令，调整语音输出的内容、风格和情感，支持更灵活的对话互动 4、多语言、多方言支持：目前支持中英文语音以及中国各地方言，擅长粤语、重庆话、北京话 github：目前该模型的能力已同步上线清言app

智谱刚刚开源了情感语音模型 GLM-4.Voice，一款端到端语音模型，能情感共鸣、支持打断、多语言多方言支持能力： 1、情感表达和情感共鸣：可以模拟不同的情感和语调，高兴、悲伤、生气、害怕等情绪，会用合适的情绪语气回复 2、调节语速：可以要求TA快点说or慢点说 3、随时打断：可以根据实时的指令，调整语音输出的内容、风格和情感，支持更灵活的对话互动 4、多语言、多方言支持：目前支持中英文语音以及中国各地方言，擅长粤语、重庆话、北京话 github：目前该模型的能力已同步上线清言app

AIGCLINK

18,706 次观看 • 1 年前

Google 发布 Gemma 4 12B 开源模型 16GB 笔记本跑全模态 AI Gemma 4 12B 采用了一种叫"Unified"的无编码器架构，让文字、图像、音频、视频四种输入直接进入同一个 Transformer 主干网络处理。模型可直接处理原始的图像和声音用一个类比讲清楚传统多模态模型处理图片和音频的方式，类似于一个只会中文的老板配了两个翻译：一个英文翻译（视觉编码器），一个日文翻译（音频编码器）。每次有英文或日文材料进来，必须先让翻译转成中文，老板才能看懂。翻译本身占工位（显存），翻译过程要排队等（延迟），而且老板拿到的是翻译加工过的版本，不是原文。 Gemma 4 12B 做的事情是：把两个翻译都裁了，让老板自己学会了直接看英文和日文。几个关键数字： 16GB 显存或统一内存能跑，4-bit 量化低到 8GB，目标就是在普通笔记本上本地运行 256K Token 上下文窗口，支持 140+ 种语言内置 Thinking 模式（逐步推理）和原生 Function Calling

Google 发布 Gemma 4 12B 开源模型 16GB 笔记本跑全模态 AI Gemma 4 12B 采用了一种叫"Unified"的无编码器架构，让文字、图像、音频、视频四种输入直接进入同一个 Transformer 主干网络处理。模型可直接处理原始的图像和声音用一个类比讲清楚传统多模态模型处理图片和音频的方式，类似于一个只会中文的老板配了两个翻译：一个英文翻译（视觉编码器），一个日文翻译（音频编码器）。每次有英文或日文材料进来，必须先让翻译转成中文，老板才能看懂。翻译本身占工位（显存），翻译过程要排队等（延迟），而且老板拿到的是翻译加工过的版本，不是原文。 Gemma 4 12B 做的事情是：把两个翻译都裁了，让老板自己学会了直接看英文和日文。几个关键数字： 16GB 显存或统一内存能跑，4-bit 量化低到 8GB，目标就是在普通笔记本上本地运行 256K Token 上下文窗口，支持 140+ 种语言内置 Thinking 模式（逐步推理）和原生 Function Calling

小互

57,071 次观看 • 28 天前

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github：论文： #TTS #SeedTTS #字节跳动

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github：论文： #TTS #SeedTTS #字节跳动

AIGCLINK

13,338 次观看 • 2 年前