Loading video...

Video Failed to Load

Go Home

前几天发的字节 Loopy 对口型功能在即梦上线了。 这应该是现在支持中文的效果最好的对口型服务。 支持图片、视频，输入文字生成语音或者直接上传语音。 唱歌或者情绪丰富的表演也不在话下。

op7418's profile picture

歸藏(guizang.ai)

154,907 subscribers

18,398 views • 1 year ago •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

兄弟， DomoAI 新功能 上传语音+图像直接生成会说话的数字人 嘿嘿 🫡 我测试了下，挺好玩的，而且比其他家速度快很多 中文的支持能力也不错 可以生成5秒、10秒、20秒、30秒，最长支持60秒的生成。 也支持文本转语音功能，内置6种声音，生成语音后再生成数字人，也支持上传自己的声音。还可以指定声音的情绪状态。
1:04

兄弟， DomoAI 新功能 上传语音+图像直接生成会说话的数字人 嘿嘿 🫡 我测试了下，挺好玩的，而且比其他家速度快很多 中文的支持能力也不错 可以生成5秒、10秒、20秒、30秒，最长支持60秒的生成。 也支持文本转语音功能，内置6种声音，生成语音后再生成数字人，也支持上传自己的声音。还可以指定声音的情绪状态。

小互

40,119 views • 1 year ago

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。
0:24

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。

小互

140,969 views • 1 year ago

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。
1:35

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,755 views • 1 year ago

微软新开源了这个 VibeVoice TTS模型很强 - 支持最多生成 90 分钟时长 - 最多4 个人的对谈语音，以往模型只能生成两个 - 支持中文，而且中文效果不错 - 支持生成带背景音乐的播客音频
1:15

微软新开源了这个 VibeVoice TTS模型很强 - 支持最多生成 90 分钟时长 - 最多4 个人的对谈语音，以往模型只能生成两个 - 支持中文，而且中文效果不错 - 支持生成带背景音乐的播客音频

歸藏(guizang.ai)

44,283 views • 11 months ago

最近很火的AI脱口秀视频制作全流程的教程 1. 生成脱口秀文案 ◦ 在豆包中输入指令，让其扮演脱口秀编剧，围绕指定主题（如“摸鱼”）生成5篇脱口秀对话，从中选择一篇满意的文案。 2. 制作AI配音 ◦ 使用配音工具的“声音克隆”功能，上传想要的音色音频并创建专属声音模型。 ◦ 将选好的脱口秀文案输入工具，调节情绪、语速后生成配音。 3. 生成视频画面 ◦ 在AI图像生成平台输入提示词（包含人物形象、脱口秀舞台背景等信息），生成脱口秀舞台和主角的图片。 ◦ 从生成的图片中选一张，利用“对口型”功能上传配音，生成带口型动画的视频片段。 4. 剪辑优化视频 ◦ 将生成的视频导入剪映，添加观众大笑的片段、识别字幕，并配上合适的BGM，完成最终视频制作。
2:01

最近很火的AI脱口秀视频制作全流程的教程 1. 生成脱口秀文案 ◦ 在豆包中输入指令，让其扮演脱口秀编剧，围绕指定主题（如“摸鱼”）生成5篇脱口秀对话，从中选择一篇满意的文案。 2. 制作AI配音 ◦ 使用配音工具的“声音克隆”功能，上传想要的音色音频并创建专属声音模型。 ◦ 将选好的脱口秀文案输入工具，调节情绪、语速后生成配音。 3. 生成视频画面 ◦ 在AI图像生成平台输入提示词（包含人物形象、脱口秀舞台背景等信息），生成脱口秀舞台和主角的图片。 ◦ 从生成的图片中选一张，利用“对口型”功能上传配音，生成带口型动画的视频片段。 4. 剪辑优化视频 ◦ 将生成的视频导入剪映，添加观众大笑的片段、识别字幕，并配上合适的BGM，完成最终视频制作。

蛋仔

28,593 views • 3 months ago

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动
1:12

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音 支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。 能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github： 论文： #TTS #SeedTTS #字节跳动

AIGCLINK

13,338 views • 2 years ago

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：
5:26

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：

小互

296,677 views • 2 years ago

Bilibili 训练的这个 IndexTTS2 语音模型 效果很不错，支持情感可控 + 时长可控 - 自由切换情绪（开心、生气、悲伤等），甚至能用文字告诉模型“我想让声音听起来愤怒”。 - 保持说话人音色不变，同时注入其他音频或文字里的情感。 - 生成更自然、更清晰的语音，即使在强烈情绪下也不会崩坏。 - 时长可控 ：可以“精确到毫秒”控制语音长度，也支持自然时长生成。 - 零样本能力：无需额外训练，只需一小段目标声音，就能模仿说话人音色并加上指定情绪。 - 多语种支持：训练语料 55,000小时，覆盖中英文、日文，兼顾自然度与跨语言表现。
0:42

Bilibili 训练的这个 IndexTTS2 语音模型 效果很不错，支持情感可控 + 时长可控 - 自由切换情绪（开心、生气、悲伤等），甚至能用文字告诉模型“我想让声音听起来愤怒”。 - 保持说话人音色不变，同时注入其他音频或文字里的情感。 - 生成更自然、更清晰的语音，即使在强烈情绪下也不会崩坏。 - 时长可控 ：可以“精确到毫秒”控制语音长度，也支持自然时长生成。 - 零样本能力：无需额外训练，只需一小段目标声音，就能模仿说话人音色并加上指定情绪。 - 多语种支持：训练语料 55,000小时，覆盖中英文、日文，兼顾自然度与跨语言表现。

小互

27,485 views • 10 months ago

字节发布了一款端到端同声传译模型：Seed LiveInterpret 2.0，中英双向端到端同传，延迟为2-3秒 从演示效果看，准确性、复杂场景的处理、声音情绪的表达、语音克隆音色转换的效果相对都还可以 性能上，语音到语音翻译，中英互译平均翻译质量到了66.3分，接近专业真人同传水平 延迟上，语音到文本输出首字平均延迟2.21秒，语音到语音输出延时2.53 秒 功能上支持实时声音复刻，复刻不同说话人的音色 擅长多人对话、非流利语音以及长音频场景 对绕口令、诗词、美食文化等可相对自然互译 #AI同传 #SeedLiveInterpret #字节同传
0:30

字节发布了一款端到端同声传译模型：Seed LiveInterpret 2.0，中英双向端到端同传，延迟为2-3秒 从演示效果看，准确性、复杂场景的处理、声音情绪的表达、语音克隆音色转换的效果相对都还可以 性能上，语音到语音翻译，中英互译平均翻译质量到了66.3分，接近专业真人同传水平 延迟上，语音到文本输出首字平均延迟2.21秒，语音到语音输出延时2.53 秒 功能上支持实时声音复刻，复刻不同说话人的音色 擅长多人对话、非流利语音以及长音频场景 对绕口令、诗词、美食文化等可相对自然互译 #AI同传 #SeedLiveInterpret #字节同传

AIGCLINK

78,304 views • 1 year ago

果然发布了！ Black Forest Labs 发布和开源 Flux 3 视频生成模型，功能非常强大： 1. 基础生成：支持文生视频、图生视频（可以把图片作为参考，也可以作为起始帧） 2. 视频参考生成：支持基于参考片段的视频生成（即从视频参考生成新视频） 3. 视频与音频延长：支持输入视频和音频，并对两者进行延长 4. 关键帧控制：支持基于关键帧的视频生成 5. 多语言对话与多样化排版：支持多语言对话，并支持非常多的视觉风格和宽高比 6. 智能剪辑：支持将单个片段智能串联成更多、更长的多镜头序列 7. 文字与动画：支持生成文字和生成动画设计 8. 图像输出：不仅能生成视频，也支持图像输出 模型会开源，就是 Flux 3 Dev 模型，目前还不能访问，需要申请早期访问。未来几周会开放 API 的访问，之后会开放开源的 Flux 3 版本
0:46

果然发布了！ Black Forest Labs 发布和开源 Flux 3 视频生成模型，功能非常强大： 1. 基础生成：支持文生视频、图生视频（可以把图片作为参考，也可以作为起始帧） 2. 视频参考生成：支持基于参考片段的视频生成（即从视频参考生成新视频） 3. 视频与音频延长：支持输入视频和音频，并对两者进行延长 4. 关键帧控制：支持基于关键帧的视频生成 5. 多语言对话与多样化排版：支持多语言对话，并支持非常多的视觉风格和宽高比 6. 智能剪辑：支持将单个片段智能串联成更多、更长的多镜头序列 7. 文字与动画：支持生成文字和生成动画设计 8. 图像输出：不仅能生成视频，也支持图像输出 模型会开源，就是 Flux 3 Dev 模型，目前还不能访问，需要申请早期访问。未来几周会开放 API 的访问，之后会开放开源的 Flux 3 版本

歸藏(guizang.ai)

45,896 views • 10 days ago

Memo 1.3.0 重磅更新，支持合成语音后的视频导出！ - 原视频重口音？口齿不清？直接替换媲美人声的合成音。 - 日语模型现已上线，让日语视频转写文本更准确。
0:21

Memo 1.3.0 重磅更新，支持合成语音后的视频导出！ - 原视频重口音？口齿不清？直接替换媲美人声的合成音。 - 日语模型现已上线，让日语视频转写文本更准确。

Memo AI

62,005 views • 2 years ago

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM
0:59

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM

AIGCLINK

52,304 views • 1 year ago

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型 能保持口型同步、说话风格完美匹配 只需输入音频和参考视频，即可生成同步的视觉配音 不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。 还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。 不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。
1:30

兄弟们，这个厉害了！！！ PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型 能保持口型同步、说话风格完美匹配 只需输入音频和参考视频，即可生成同步的视觉配音 不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。 还能同步说话者的风格，比如轻松、严肃或激动的语气，让配音更生动。 不仅如此，还能实现视频翻译，将视频说话者的语音翻译成其他语言。

小互

162,422 views • 1 year ago

上海交通大学开源了一个非常牛批的语音生成模型 F5-TTS。 刚好这几天AI音频和播客火爆，这下瞌睡送枕头了。 模型特点有： 零样本 (Zero-shot) 声音克隆 速度控制（基于总时长） 可以控制合成语音的情感表现 长文本合成 支持中文和英文多语言合成 在 10 万小时数据上训练 最重要的是支持商用
0:47

上海交通大学开源了一个非常牛批的语音生成模型 F5-TTS。 刚好这几天AI音频和播客火爆，这下瞌睡送枕头了。 模型特点有： 零样本 (Zero-shot) 声音克隆 速度控制（基于总时长） 可以控制合成语音的情感表现 长文本合成 支持中文和英文多语言合成 在 10 万小时数据上训练 最重要的是支持商用

歸藏(guizang.ai)

129,455 views • 1 year ago

Heygen刚刚推出逆天的视频翻译功能！兼具对口型，语音语调神似！而且免费对公众开放长达10分钟Credits！【支持中文输入】 如何高效使用Heygen最新功能生成属于你的多国语言视频？ 我们逐步拆解！以一个30秒的片段为例 Thread
0:30

Heygen刚刚推出逆天的视频翻译功能！兼具对口型，语音语调神似！而且免费对公众开放长达10分钟Credits！【支持中文输入】 如何高效使用Heygen最新功能生成属于你的多国语言视频？ 我们逐步拆解！以一个30秒的片段为例 Thread

AI Will

110,040 views • 2 years ago

GPT-Realtime-2 语音模型发布 语音首次接入 GPT-5 推理能力 OpenAI一口气发布了三个实时语音模型： GPT-Realtime-2 GPT-Realtime-Translate GPT-Realtime-Whisper 其中GPT-Realtime-2 是其中的主角，这是 OpenAI 第一次把“GPT-5 级推理”塞进语音模型，同时把上下文从 32K 扩到 128K... GPT-Realtime-2：首个具备 GPT-5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K GPT-Realtime-Translate：实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词 GPT-Realtime-Whisper：流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的
1:45

GPT-Realtime-2 语音模型发布 语音首次接入 GPT-5 推理能力 OpenAI一口气发布了三个实时语音模型： GPT-Realtime-2 GPT-Realtime-Translate GPT-Realtime-Whisper 其中GPT-Realtime-2 是其中的主角，这是 OpenAI 第一次把“GPT-5 级推理”塞进语音模型，同时把上下文从 32K 扩到 128K... GPT-Realtime-2：首个具备 GPT-5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K GPT-Realtime-Translate：实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词 GPT-Realtime-Whisper：流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的

小互

31,189 views • 2 months ago

智谱刚刚开源了情感语音模型 GLM-4.Voice，一款端到端语音模型，能情感共鸣、支持打断、多语言多方言支持 能力： 1、情感表达和情感共鸣：可以模拟不同的情感和语调，高兴、悲伤、生气、害怕等情绪，会用合适的情绪语气回复 2、调节语速：可以要求TA快点说or慢点说 3、随时打断：可以根据实时的指令，调整语音输出的内容、风格和情感，支持更灵活的对话互动 4、多语言、多方言支持：目前支持中英文语音以及中国各地方言，擅长粤语、重庆话、北京话 github： 目前该模型的能力已同步上线清言app
2:32

智谱刚刚开源了情感语音模型 GLM-4.Voice，一款端到端语音模型，能情感共鸣、支持打断、多语言多方言支持 能力： 1、情感表达和情感共鸣：可以模拟不同的情感和语调，高兴、悲伤、生气、害怕等情绪，会用合适的情绪语气回复 2、调节语速：可以要求TA快点说or慢点说 3、随时打断：可以根据实时的指令，调整语音输出的内容、风格和情感，支持更灵活的对话互动 4、多语言、多方言支持：目前支持中英文语音以及中国各地方言，擅长粤语、重庆话、北京话 github： 目前该模型的能力已同步上线清言app

AIGCLINK

18,706 views • 1 year ago

一个声音克隆工具：clone-voice 支持文字转成指定音色的语音，也可语音音色转换 带界面，支持在线录音 支持中文、英文、日语、韩语、法语、德语、意大利语等16种语言 github地址在下条 #声音克隆工具 #clonevoice
0:50

一个声音克隆工具：clone-voice 支持文字转成指定音色的语音，也可语音音色转换 带界面，支持在线录音 支持中文、英文、日语、韩语、法语、德语、意大利语等16种语言 github地址在下条 #声音克隆工具 #clonevoice

AIGCLINK

62,588 views • 1 year ago

Manga-image-Translator: 一键翻译各类图片内文字 一个开源工具，专门用于翻译漫画或图片中的文字。 利用高效的OCR和AI翻译技术，它能够自动识别和翻译任何图片中的文字，并支持多种语言。 不仅翻译文字，还可以对去除文字后的区域进行修复和上色，以及重新渲染翻译后的文本。 主要功能： 1、自动翻译图片中的文本：使用先进的OCR技术自动识别图片或漫画中的文字，并将其翻译成用户指定的语言。 2、支持多种语言：虽然最初设计是为了翻译日语文本，项目也支持中文、英文、韩文等多种语言的翻译，满足不同用户的需求。 3、文本修复与上色：在移除原始文本后，能够对相应区域进行修复和上色，保持图片的整体美观。 4、文本渲染：翻译完成的文本不仅仅是以简单文本形式呈现，还会根据原图的风格进行渲染，使翻译后的文本自然融入图片中。 5、支持命令行界面（CLI）和Web界面：用户可以通过命令行界面批量处理图片翻译任务，或者通过Web界面进行单个图片的翻译和预览。 6、一键去除漫画中的所有文字，支持多种翻译服务或模型 项目地址： 官方演示：
1:01

Manga-image-Translator: 一键翻译各类图片内文字 一个开源工具，专门用于翻译漫画或图片中的文字。 利用高效的OCR和AI翻译技术，它能够自动识别和翻译任何图片中的文字，并支持多种语言。 不仅翻译文字，还可以对去除文字后的区域进行修复和上色，以及重新渲染翻译后的文本。 主要功能： 1、自动翻译图片中的文本：使用先进的OCR技术自动识别图片或漫画中的文字，并将其翻译成用户指定的语言。 2、支持多种语言：虽然最初设计是为了翻译日语文本，项目也支持中文、英文、韩文等多种语言的翻译，满足不同用户的需求。 3、文本修复与上色：在移除原始文本后，能够对相应区域进行修复和上色，保持图片的整体美观。 4、文本渲染：翻译完成的文本不仅仅是以简单文本形式呈现，还会根据原图的风格进行渲染，使翻译后的文本自然融入图片中。 5、支持命令行界面（CLI）和Web界面：用户可以通过命令行界面批量处理图片翻译任务，或者通过Web界面进行单个图片的翻译和预览。 6、一键去除漫画中的所有文字，支持多种翻译服务或模型 项目地址： 官方演示：

小互

45,571 views • 2 years ago

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。
1:10

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。

小互

28,964 views • 1 year ago