Loading video...

Video Failed to Load

Go Home

兄弟们，阿里今天直接放了个大招——Qwen3.5-Omni 正式上线了！ 这玩意儿不是那种拼凑的多模态， 而是真正原生全模态，文本、图片、音频、视频一股脑儿全吃得下，还能实时吐出自然语音。 看一段手绘界面视频， 它居然能直接“看懂”你的需求， 瞬间生成能跑的代码和移动端效果——Audio-Visual Vibe Coding 能力自然涌现，简直像AI自己开窍了，太离谱！ 它支持超长输入： 10小时音频或1小时视频， 上下文256K，还能生成带时间戳、 场景切换、说话人映射的细粒度视频脚本。 语义打断超自然，背景噪音也不怕， 74种语言识别+29种语言生成， 音色克隆、语音控制样样行。 内置WebSearch和复杂Function Call， 真正能自主干活的Agent感拉满。 阿里给了Plus、Flash、Light三个版本， 开发者直接在阿里云上玩，成本和效率都在线。 做视频剪辑、UI原型、跨语言交互的兄弟，这波直接起飞！谁试过了？快来分享你的神操作！ #Qwen3.5Omni

hank_aibtc's profile picture

HankAI

4,210 subscribers

10,359 views • 4 months ago •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

ElevenLabs 推出了全新音视频编辑平台：Studio 3.0 一个界面内可进行 AI 语音合成、音频编辑、音效添加等全部工作 它能做什么？ - 自动配音：输入文字，就能生成接近真人的自然语音，还能选择不同语言和音色。 - 语音转文字：把录音转成文本，适合做字幕或文稿。 - 声音克隆：模拟特定人的声音（常用于品牌或固定角色）。 - 背景音乐与音效生成：根据描述自动生成合适的配乐或音效。 - 多语言配音：上传视频或音频，自动翻译并生成对应语言的配音。 - 音频清理：去除噪音，提升录音质量。
1:06

ElevenLabs 推出了全新音视频编辑平台：Studio 3.0 一个界面内可进行 AI 语音合成、音频编辑、音效添加等全部工作 它能做什么？ - 自动配音：输入文字，就能生成接近真人的自然语音，还能选择不同语言和音色。 - 语音转文字：把录音转成文本，适合做字幕或文稿。 - 声音克隆：模拟特定人的声音（常用于品牌或固定角色）。 - 背景音乐与音效生成：根据描述自动生成合适的配乐或音效。 - 多语言配音：上传视频或音频，自动翻译并生成对应语言的配音。 - 音频清理：去除噪音，提升录音质量。

小互

22,976 views • 10 months ago

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。
1:35

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,755 views • 1 year ago

京东刚开源的 AI 视频模型 JoyAI-Echo 有点猛啊！ 直接把长视频「变脸变声」这个老大难痛点干掉了，还能用自然语言指令做局部修改，根本不用重新生成整个视频！ 最离谱的是，它居然能直接生成 5 分钟 长视频，而且完全开源！ 搞 AI 视频的道友们，又有新玩具了！快冲 GitHub 去玩儿吧！
0:34

京东刚开源的 AI 视频模型 JoyAI-Echo 有点猛啊！ 直接把长视频「变脸变声」这个老大难痛点干掉了，还能用自然语言指令做局部修改，根本不用重新生成整个视频！ 最离谱的是，它居然能直接生成 5 分钟 长视频，而且完全开源！ 搞 AI 视频的道友们，又有新玩具了！快冲 GitHub 去玩儿吧！

Vincent

28,253 views • 2 months ago

在制作播客或长篇有声小说，传统免费的文本转语音工具往往只能合成几分钟语音，而且多人对话听起来很僵硬不自然，缺乏真实感。 最近微软开源了一个文本转语音模型：VibeVoice，可直接生成长达 90 分钟的自然多人对话音频。 不仅能处理超长文本，还支持最多 4 个不同说话人的自然对话，甚至能根据内容自动添加背景音乐和音效。 GitHub： 主要特性： - 可生成长达 90 分钟的连续语音内容，远超传统工具 - 支持最多 4 个说话人的自然多人对话 - 智能添加背景音乐和音效，增强沉浸感 - 跨语言合成，支持中英文混合语音生成 - 支持歌唱能力，能根据歌词自动生成旋律 - 提供 1.5B 和 7B 两个版本，满足不同性能需求， 可通过 Docker 快速部署，并提供了 Gradio 可视化操作界面，轻松上手使用。
0:34

在制作播客或长篇有声小说，传统免费的文本转语音工具往往只能合成几分钟语音，而且多人对话听起来很僵硬不自然，缺乏真实感。 最近微软开源了一个文本转语音模型：VibeVoice，可直接生成长达 90 分钟的自然多人对话音频。 不仅能处理超长文本，还支持最多 4 个不同说话人的自然对话，甚至能根据内容自动添加背景音乐和音效。 GitHub： 主要特性： - 可生成长达 90 分钟的连续语音内容，远超传统工具 - 支持最多 4 个说话人的自然多人对话 - 智能添加背景音乐和音效，增强沉浸感 - 跨语言合成，支持中英文混合语音生成 - 支持歌唱能力，能根据歌词自动生成旋律 - 提供 1.5B 和 7B 两个版本，满足不同性能需求， 可通过 Docker 快速部署，并提供了 Gradio 可视化操作界面，轻松上手使用。

GitHubDaily

44,513 views • 11 months ago

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。 它更像是让你和 AI 打一通“实时视频电话”： 你说话，它看着你听。 你打断，它能接住。 你表情变了，它也能反应。 半秒内接话，几乎没有冷场。 真正的重点是： 以前虚拟人是拼流水线： 语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成 每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。 一个 Transformer 直接处理实时音视频交互。 模型端响应约 0.2 秒，整体延迟约 0.55 秒。 这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。
0:40

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。 它更像是让你和 AI 打一通“实时视频电话”： 你说话，它看着你听。 你打断，它能接住。 你表情变了，它也能反应。 半秒内接话，几乎没有冷场。 真正的重点是： 以前虚拟人是拼流水线： 语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成 每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。 一个 Transformer 直接处理实时音视频交互。 模型端响应约 0.2 秒，整体延迟约 0.55 秒。 这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。

Vincent

12,627 views • 1 month ago

MiniCPM-o4.5：首个开源全模态、全双工模型 全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。 全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。 完全开源，9B参数，本地即可运行。OpenBMB 模型：
2:40

MiniCPM-o4.5：首个开源全模态、全双工模型 全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。 全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。 完全开源，9B参数，本地即可运行。OpenBMB 模型：

Gorden Sun

55,078 views • 6 months ago

震惊了，抖音上祁博士一天卖 50w 的数字人 agent，我2 分钟就开发完成了。 用的就是Pixelle-Video这个项目，已经22k stars。包括数字人口播、动作迁移、图生视频全支持。 支持ComfyUI，输入主题，从写脚本到加 BGM 到出片，一条龙自动跑视频。 老王部署到本地，做了个简短的视频，属于插图式的视频，如果你需要更复杂的视频，需要自己配置云端模型比如 seedance2，kling 等等。 Pixelle-Video 最厉害的地方，是它把视频生产完全做成了可配置，支持本地部署模型和云端大模型。 文案、画面、配音、剪辑，它拆成四个可替换的模块，每块后面都能换模型，可以自由切换模型，使用非常方便 >文案层：LLM 读主题，吐出带时间戳的结构化脚本，每>句对应一段画面。 >画面层：脚本每句转生图提示词，扔给 ComfyUI 或直连 DashScope 出图，图生视频和数字人口播也走这一层。 >语音层：脚本原文走 TTS 合成，多语言加音色克隆，不用自己录音。 >合成层：画面对齐语音时间轴，叠上 BGM，输出 MP4。 仓库： P.S. 想到了就能出片，懂一点 AI 编程，这个项目就能自己做成适合各行业的数字人 agent。
0:22

震惊了，抖音上祁博士一天卖 50w 的数字人 agent，我2 分钟就开发完成了。 用的就是Pixelle-Video这个项目，已经22k stars。包括数字人口播、动作迁移、图生视频全支持。 支持ComfyUI，输入主题，从写脚本到加 BGM 到出片，一条龙自动跑视频。 老王部署到本地，做了个简短的视频，属于插图式的视频，如果你需要更复杂的视频，需要自己配置云端模型比如 seedance2，kling 等等。 Pixelle-Video 最厉害的地方，是它把视频生产完全做成了可配置，支持本地部署模型和云端大模型。 文案、画面、配音、剪辑，它拆成四个可替换的模块，每块后面都能换模型，可以自由切换模型，使用非常方便 >文案层：LLM 读主题，吐出带时间戳的结构化脚本，每>句对应一段画面。 >画面层：脚本每句转生图提示词，扔给 ComfyUI 或直连 DashScope 出图，图生视频和数字人口播也走这一层。 >语音层：脚本原文走 TTS 合成，多语言加音色克隆，不用自己录音。 >合成层：画面对齐语音时间轴，叠上 BGM，输出 MP4。 仓库： P.S. 想到了就能出片，懂一点 AI 编程，这个项目就能自己做成适合各行业的数字人 agent。

产品经理老王霸

197,945 views • 1 month ago

OpenAI公布其语音生成模型：Voice Engine 根据文本输入和一个15秒的音频样本，就能生成接近原始说话者声音的自然听起来的语音。 Voice Engine最初于2022年底开发，并已经提供给包括Heygen在内的少数公司进行测试性使用。 主要功能 1、自然听起来的语音生成：利用单个15秒的音频样本，Voice Engine能够创造出既情感丰富又真实的语音，显著提升合成语音的自然度和真实感。 2、支持多种用途：从教育援助、内容翻译、提高偏远地区服务质量，到支持非语言人士和帮助患者恢复声音，Voice Engine的应用场景广泛，跨越多个行业。 3、语言和口音的保留：在内容翻译时，Voice Engine能够保留原始发言者的本地口音，使得翻译后的语音不仅流利还能保持原声音的特色。 4、多语种支持：能够生成多种语言的语音输出，适应全球化需求，特别是对于需要将内容本地化到不同语言市场的企业和内容创作者来说，这一特点尤为重要。 详细：
0:59

OpenAI公布其语音生成模型：Voice Engine 根据文本输入和一个15秒的音频样本，就能生成接近原始说话者声音的自然听起来的语音。 Voice Engine最初于2022年底开发，并已经提供给包括Heygen在内的少数公司进行测试性使用。 主要功能 1、自然听起来的语音生成：利用单个15秒的音频样本，Voice Engine能够创造出既情感丰富又真实的语音，显著提升合成语音的自然度和真实感。 2、支持多种用途：从教育援助、内容翻译、提高偏远地区服务质量，到支持非语言人士和帮助患者恢复声音，Voice Engine的应用场景广泛，跨越多个行业。 3、语言和口音的保留：在内容翻译时，Voice Engine能够保留原始发言者的本地口音，使得翻译后的语音不仅流利还能保持原声音的特色。 4、多语种支持：能够生成多种语言的语音输出，适应全球化需求，特别是对于需要将内容本地化到不同语言市场的企业和内容创作者来说，这一特点尤为重要。 详细：

小互

38,133 views • 2 years ago

网易有道「子曰4」全模态大模型来了，权重全量开源 这次「子曰4」不仅支持了多模态：图像/视频/语音全输入，27B可以本地化部署，尤其在学习场景表现优异 更值得一提的是这个 TTS 引擎独立开源，3秒即可完成声音采样，克隆音色，并支持14种语言的跨语种生成，且跨语种无口音。这对于我们做音视频营销素材跨语种分发的营销人而言，绝对是个利好 我尝试了一下用我自己的声音来朗读日语，感觉效果还挺好的，最重要的是生成快！大家可以看视频感受一下 等github把模型全开源出来后，我准备封到牛马AI里跑视频素材跨语种合成了！ TTS试玩 TTS项目地址 多模态模型
1:09

网易有道「子曰4」全模态大模型来了，权重全量开源 这次「子曰4」不仅支持了多模态：图像/视频/语音全输入，27B可以本地化部署，尤其在学习场景表现优异 更值得一提的是这个 TTS 引擎独立开源，3秒即可完成声音采样，克隆音色，并支持14种语言的跨语种生成，且跨语种无口音。这对于我们做音视频营销素材跨语种分发的营销人而言，绝对是个利好 我尝试了一下用我自己的声音来朗读日语，感觉效果还挺好的，最重要的是生成快！大家可以看视频感受一下 等github把模型全开源出来后，我准备封到牛马AI里跑视频素材跨语种合成了！ TTS试玩 TTS项目地址 多模态模型

Yangyi

16,518 views • 2 months ago

ElevenLabs 推出 Dubbing V2 端到端的AI配音模型... 最大的变化：配音不再是"先转写、再翻译、最后合成"三段式拼接，而是模型直接基于原始表演建模声音。 并将音色、情绪、演绎都跟着穿越进每一种语言 也就是说，同一个人开口讲六国语言，听上去还是他本人，连情绪和呼吸节奏都对得上 Dubbing v2 支持 90 多种语言和口音， 原理：它针对原始表演来生成，而不是针对一段转录文本，所以语气、情绪、表达方式会跨语言保留下来，声音克隆全自动，会给原说话人建一个声音模型并应用到所有目标语言，保留身份、音高和语气，不用手动设置。 另外支持音频、视频和文字三种输入 具体能力： • 音色穿越：不是模仿你的声音，是你的声音直接在另一种语言里说话 • 情绪保真：原片里你笑你叹气你激动，译版照样有 • 同步感知翻译：译文长度匹配原片口型和停顿，不会嘴动完了字幕还在跑 • 措辞本地化：不是字面直译，每种语言用自己的表达方式 • 端到端全自动：传一个视频进去出一份配音，中间没有手工拼接 视频里他们演了三个场景： MrBeast 风格的荒岛求生在 English/German/French 之间无缝切换 一段财务部门的快节奏对白试连贯性 一个童话故事试表达力
1:52

ElevenLabs 推出 Dubbing V2 端到端的AI配音模型... 最大的变化：配音不再是"先转写、再翻译、最后合成"三段式拼接，而是模型直接基于原始表演建模声音。 并将音色、情绪、演绎都跟着穿越进每一种语言 也就是说，同一个人开口讲六国语言，听上去还是他本人，连情绪和呼吸节奏都对得上 Dubbing v2 支持 90 多种语言和口音， 原理：它针对原始表演来生成，而不是针对一段转录文本，所以语气、情绪、表达方式会跨语言保留下来，声音克隆全自动，会给原说话人建一个声音模型并应用到所有目标语言，保留身份、音高和语气，不用手动设置。 另外支持音频、视频和文字三种输入 具体能力： • 音色穿越：不是模仿你的声音，是你的声音直接在另一种语言里说话 • 情绪保真：原片里你笑你叹气你激动，译版照样有 • 同步感知翻译：译文长度匹配原片口型和停顿，不会嘴动完了字幕还在跑 • 措辞本地化：不是字面直译，每种语言用自己的表达方式 • 端到端全自动：传一个视频进去出一份配音，中间没有手工拼接 视频里他们演了三个场景： MrBeast 风格的荒岛求生在 English/German/French 之间无缝切换 一段财务部门的快节奏对白试连贯性 一个童话故事试表达力

小互

11,246 views • 2 months ago

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。
1:10

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。

小互

28,964 views • 1 year ago

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM
0:59

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM

AIGCLINK

52,304 views • 1 year ago

阿里的新项目，从文本实时生成同步的说话人视频项目：OmniTalker，音视频同步和风格一致上效果比较好 端到端的统一框架，可以同时生成语音和视频内容，实现音视频同步输出，避免了不同步问题 可以从单个参考视频中捕获语音和面部风格，支持零样本场景下的风格复制 25帧/秒的推理速度，0.8B参数 支持中英文互转，支持情感表达，比如平静、快乐、悲伤、愤怒等等情绪。支持长时间视频生成 #说话人视频生成 #OmniTalker
0:35

阿里的新项目，从文本实时生成同步的说话人视频项目：OmniTalker，音视频同步和风格一致上效果比较好 端到端的统一框架，可以同时生成语音和视频内容，实现音视频同步输出，避免了不同步问题 可以从单个参考视频中捕获语音和面部风格，支持零样本场景下的风格复制 25帧/秒的推理速度，0.8B参数 支持中英文互转，支持情感表达，比如平静、快乐、悲伤、愤怒等等情绪。支持长时间视频生成 #说话人视频生成 #OmniTalker

AIGCLINK

50,300 views • 1 year ago

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。
1:55

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。

小互

49,431 views • 1 year ago

DeepMind 公布其正在开发一套创新的音频生成技术细节 也就是NotebookLM背后使用的语音技术 它能够使 AI 能够生成生成高质量、自然的单人或多人对话。 其最新的语音生成模型能够在 3 秒内生成 2 分钟的对话，速度比实时生成快 40 倍。 同时能够保持说话人之间的连贯切换，输出语音中还包括自然的停顿、口头语（如 “嗯”、“啊”）等细节，使得生成的对话更接近真实交流。 详细：
1:17

DeepMind 公布其正在开发一套创新的音频生成技术细节 也就是NotebookLM背后使用的语音技术 它能够使 AI 能够生成生成高质量、自然的单人或多人对话。 其最新的语音生成模型能够在 3 秒内生成 2 分钟的对话，速度比实时生成快 40 倍。 同时能够保持说话人之间的连贯切换，输出语音中还包括自然的停顿、口头语（如 “嗯”、“啊”）等细节，使得生成的对话更接近真实交流。 详细：

小互

13,458 views • 1 year ago

纳米搜索这个 AI 搜索简直是创作者神器！ 任何热点都能一键生成播客和视频快速分发。 搜索生成结果从文本拓展到了更多模态。 尤其是真人语音模型很自然。 下面是我用Lex的视频文稿生成的
4:41

纳米搜索这个 AI 搜索简直是创作者神器！ 任何热点都能一键生成播客和视频快速分发。 搜索生成结果从文本拓展到了更多模态。 尤其是真人语音模型很自然。 下面是我用Lex的视频文稿生成的

歸藏(guizang.ai)

47,766 views • 1 year ago

📢：好消息 Qwen3-TTS 正式开源 全能语音生成、语音克隆与音色设计模型 评测中，达到全球开源 TTS 模型的新的 SOTA 支持10种语言，而且只有97毫秒延迟 🧬克隆声音：3秒音频，就能复刻出你的音色 🎙️ 自定义音色：你说“来个温柔女声”或“做成热血旁白”，它立刻生成； 🗣️ 自然情绪控制：能听懂文字里的语气，比如“愤怒”、“悲伤”、“调皮”； 🌍 多语言支持：能说中、英、日、韩、法、德、西、俄、葡、意共10种语言； ⚡ 实时响应：输入一个字，它就开始说，延迟低至 97毫秒，几乎实时
3:12

📢：好消息 Qwen3-TTS 正式开源 全能语音生成、语音克隆与音色设计模型 评测中，达到全球开源 TTS 模型的新的 SOTA 支持10种语言，而且只有97毫秒延迟 🧬克隆声音：3秒音频，就能复刻出你的音色 🎙️ 自定义音色：你说“来个温柔女声”或“做成热血旁白”，它立刻生成； 🗣️ 自然情绪控制：能听懂文字里的语气，比如“愤怒”、“悲伤”、“调皮”； 🌍 多语言支持：能说中、英、日、韩、法、德、西、俄、葡、意共10种语言； ⚡ 实时响应：输入一个字，它就开始说，延迟低至 97毫秒，几乎实时

小互

47,338 views • 6 months ago

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。 也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。
1:32

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。 也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

小互

37,051 views • 1 year ago

兄弟， DomoAI 新功能 上传语音+图像直接生成会说话的数字人 嘿嘿 🫡 我测试了下，挺好玩的，而且比其他家速度快很多 中文的支持能力也不错 可以生成5秒、10秒、20秒、30秒，最长支持60秒的生成。 也支持文本转语音功能，内置6种声音，生成语音后再生成数字人，也支持上传自己的声音。还可以指定声音的情绪状态。
1:04

兄弟， DomoAI 新功能 上传语音+图像直接生成会说话的数字人 嘿嘿 🫡 我测试了下，挺好玩的，而且比其他家速度快很多 中文的支持能力也不错 可以生成5秒、10秒、20秒、30秒，最长支持60秒的生成。 也支持文本转语音功能，内置6种声音，生成语音后再生成数字人，也支持上传自己的声音。还可以指定声音的情绪状态。

小互

40,119 views • 1 year ago

Meta 上周开源了一个端到端的语音模型 Spirit LM。 这个太重要了，居然没注意到。 这个模型有两个版本： 基础版： 适合进行一般的语音识别和生成，不包含情感变化。 高表现力版：可以捕捉语音中的情感特征，能够生成包含快乐、愤怒或兴奋等情感的语音。 主要特点有： Spirit LM 直接使用语音标记、音高标记和声调标记 来保留语音中的表现力要素，不需要先转文本描述。 能够在不需要大量数据的情况下，完成自动语音识别、文本转语音和语音分类等复杂任务。
1:15

Meta 上周开源了一个端到端的语音模型 Spirit LM。 这个太重要了，居然没注意到。 这个模型有两个版本： 基础版： 适合进行一般的语音识别和生成，不包含情感变化。 高表现力版：可以捕捉语音中的情感特征，能够生成包含快乐、愤怒或兴奋等情感的语音。 主要特点有： Spirit LM 直接使用语音标记、音高标记和声调标记 来保留语音中的表现力要素，不需要先转文本描述。 能够在不需要大量数据的情况下，完成自动语音识别、文本转语音和语音分类等复杂任务。

歸藏(guizang.ai)

28,393 views • 1 year ago