Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

基于 Gemini 2.0 AI 模型的 Python 应用程序，实现语音对话与文本转语音功能。

Geek

112,541 subscribers

30,063 Aufrufe • vor 1 Jahr •via X (Twitter)

Bildung Musik Wissenschaft & Technologie

Anya Rossi• Live Now

Private livecam show

7 Kommentare

Profilbild von Sahar Mor

Sahar Morvor 1 Jahr

感谢您的呼声。我将在周末添加视频处理功能并完成全栈应用程序。为存储库加注星标并保持关注！

Profilbild von Geek

Geekvor 1 Jahr

👍

Profilbild von Jackos K

Jackos Kvor 1 Jahr

试了一下还不错哦

Profilbild von Jason oliver

Jason olivervor 1 Jahr

有没有ocr的

Profilbild von Datababy

Datababyvor 1 Jahr

文字转语音怎么做的哈

Profilbild von 机器狗

机器狗vor 1 Jahr

@memdotai mem it

Profilbild von 币安高返佣注册申请 (Parody)

币安高返佣注册申请 (Parody)vor 1 Jahr

很酷的项目

Ähnliche Videos

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

小互

37,051 Aufrufe • vor 1 Jahr

MaskGCT：一个新的零样本文本到语音（TTS）模型支持跨语言翻译配音、语音克隆、语言转换、情感控制等与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。同时模型大幅降低了推理时间，适合实时应用。

MaskGCT：一个新的零样本文本到语音（TTS）模型支持跨语言翻译配音、语音克隆、语言转换、情感控制等与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。同时模型大幅降低了推理时间，适合实时应用。

小互

49,351 Aufrufe • vor 1 Jahr

盲测击败了ElevenLabs的一款TTS：Chatterbox，有极强的情感控制能力，可以调整其语音表现力支持语音克隆、风格定制除了正常对话，可以用于一些戏剧化的语音场景 #TTS #Chatterbox #文本转语音 #AI语音

盲测击败了ElevenLabs的一款TTS：Chatterbox，有极强的情感控制能力，可以调整其语音表现力支持语音克隆、风格定制除了正常对话，可以用于一些戏剧化的语音场景 #TTS #Chatterbox #文本转语音 #AI语音

AIGCLINK

26,481 Aufrufe • vor 1 Jahr

阶跃星辰开源了一个130B 语音-文本的多模态模型：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。该模型通过多模态训练，使得语音理解与生成可以无缝对接。主要能力：语音克隆支持多种语言对话（中文英日）情绪控制与语调控制支持方言可控制语速及韵律风格支持RAP和哼唱等集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

阶跃星辰开源了一个130B 语音-文本的多模态模型：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。该模型通过多模态训练，使得语音理解与生成可以无缝对接。主要能力：语音克隆支持多种语言对话（中文英日）情绪控制与语调控制支持方言可控制语速及韵律风格支持RAP和哼唱等集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,755 Aufrufe • vor 1 Jahr

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

AIGCLINK

52,177 Aufrufe • vor 1 Jahr

兄弟们，牛P了 11Labs 推出 Eleven v3（Alpha 版）应该是目前地表最强的文本转语音模型了它不仅会说话，还能演戏支持 70 多种语言多个角色间的自然对话以及通过 [sad]、[whispers]、[laughs] 等音频标签精准控制语音情绪与非语言表达与旧版本相比，v3 拥有更强的文本理解能力，可以模拟真实对话中的中断、情感变化与语气调整。

兄弟们，牛P了 11Labs 推出 Eleven v3（Alpha 版）应该是目前地表最强的文本转语音模型了它不仅会说话，还能演戏支持 70 多种语言多个角色间的自然对话以及通过 [sad]、[whispers]、[laughs] 等音频标签精准控制语音情绪与非语言表达与旧版本相比，v3 拥有更强的文本理解能力，可以模拟真实对话中的中断、情感变化与语气调整。

小互

124,132 Aufrufe • vor 1 Jahr

Spark-TTS：基于Qwen2.5模型的高效文本转语音（TTS）系统 ✅ 在多个基准测试上超越现有 TTS 方法，并结合 Qwen2.5 LLM 进行端到端生成。 ✅ 支持细粒度语音控制（性别、音调、语速等），远超传统 TTS。 ✅ 零样本语音克隆，能生成高质量个性化声音。 ✅ 采用 BiCodec 编码，简化架构，提升推理效率。与 Qwen2.5 语言模型集成，使 TTS 任务可以直接由 LLM 处理，无需额外的声学模型。允许用户通过文本描述语音风格，甚至能生成全新的虚拟声音，突破传统 TTS 只能基于参考音频合成的限制。

Spark-TTS：基于Qwen2.5模型的高效文本转语音（TTS）系统 ✅ 在多个基准测试上超越现有 TTS 方法，并结合 Qwen2.5 LLM 进行端到端生成。 ✅ 支持细粒度语音控制（性别、音调、语速等），远超传统 TTS。 ✅ 零样本语音克隆，能生成高质量个性化声音。 ✅ 采用 BiCodec 编码，简化架构，提升推理效率。与 Qwen2.5 语言模型集成，使 TTS 任务可以直接由 LLM 处理，无需额外的声学模型。允许用户通过文本描述语音风格，甚至能生成全新的虚拟声音，突破传统 TTS 只能基于参考音频合成的限制。

小互

33,382 Aufrufe • vor 1 Jahr

Gemini 英语口语助手：Gemini Teacher 基于 Google Gemini AI 的英语口语练习助手能实时识别你的英语发音，提供即时反馈和纠正建议 👉

Gemini 英语口语助手：Gemini Teacher 基于 Google Gemini AI 的英语口语练习助手能实时识别你的英语发音，提供即时反馈和纠正建议 👉

ahhhhfs

81,258 Aufrufe • vor 1 Jahr

基于Gemini的一个很实用的英语口语练习工具：gemini-teacher，能实时识别英语发音，提供即时反馈和纠正建议支持实时语音识别/发音评估、语法纠正、对性发音指导、智能场景切换等代码作者Box (mainnet arc)已开源见下条 #geminiteacher #AI英语练习工具

基于Gemini的一个很实用的英语口语练习工具：gemini-teacher，能实时识别英语发音，提供即时反馈和纠正建议支持实时语音识别/发音评估、语法纠正、对性发音指导、智能场景切换等代码作者Box (mainnet arc)已开源见下条 #geminiteacher #AI英语练习工具

AIGCLINK

59,719 Aufrufe • vor 1 Jahr

AI驱动的语音听写工具：Whispo，按Ctrl键就可以开始录音，松开即可将语音转文字转录内容可以自动插入到任何支持文本输入的应用中，数据存于本地 github： #语音转录 #Whispo

AI驱动的语音听写工具：Whispo，按Ctrl键就可以开始录音，松开即可将语音转文字转录内容可以自动插入到任何支持文本输入的应用中，数据存于本地 github： #语音转录 #Whispo

AIGCLINK

27,149 Aufrufe • vor 1 Jahr

之前要挑战 GPT 4o 语音的 Kyutai 开源了他们的实时语音模型 Moshi，并公布了完整的技术报告和代码，详细介绍了其模型的工作原理和技术方法 Moshi：实时语音到语音生成 Transformer 开源模型 160毫秒低延迟支持随时打断和情感表达传统的对话系统是基于轮次的对话模式（即一个人说完后，另一个人才开始说）。Moshi 摆脱了这种限制，支持全双工通信。这意味着 Moshi 可以在用户讲话的同时生成语音回应，不受轮次约束，能够处理重叠的语音、打断和快速反馈等复杂的对话动态。与传统的语音对话系统相比，Moshi有几个显著优势： 1、实时响应：Moshi 的响应速度非常快，延迟仅为160-200毫秒，接近自然对话中的反应速度，因此可以提供更加流畅的对话体验。 2、语音到语音的处理：传统系统通常依赖语音转文字再生成语音的流程，而Moshi 可以直接处理语音输入并生成语音输出，保留了诸如语气、情绪等非语言信息。 3、全双工对话：Moshi 不依赖严格的对话轮次，而是可以同时处理用户和系统的语音，这意味着它可以应对重叠的语音和打断，更加接近人类对话的自然形式。

之前要挑战 GPT 4o 语音的 Kyutai 开源了他们的实时语音模型 Moshi，并公布了完整的技术报告和代码，详细介绍了其模型的工作原理和技术方法 Moshi：实时语音到语音生成 Transformer 开源模型 160毫秒低延迟支持随时打断和情感表达传统的对话系统是基于轮次的对话模式（即一个人说完后，另一个人才开始说）。Moshi 摆脱了这种限制，支持全双工通信。这意味着 Moshi 可以在用户讲话的同时生成语音回应，不受轮次约束，能够处理重叠的语音、打断和快速反馈等复杂的对话动态。与传统的语音对话系统相比，Moshi有几个显著优势： 1、实时响应：Moshi 的响应速度非常快，延迟仅为160-200毫秒，接近自然对话中的反应速度，因此可以提供更加流畅的对话体验。 2、语音到语音的处理：传统系统通常依赖语音转文字再生成语音的流程，而Moshi 可以直接处理语音输入并生成语音输出，保留了诸如语气、情绪等非语言信息。 3、全双工对话：Moshi 不依赖严格的对话轮次，而是可以同时处理用户和系统的语音，这意味着它可以应对重叠的语音和打断，更加接近人类对话的自然形式。

小互

52,568 Aufrufe • vor 1 Jahr

ChatGPT的语音对话功能很赞，中文也支持很好

ChatGPT的语音对话功能很赞，中文也支持很好

宝玉

182,342 Aufrufe • vor 2 Jahren

阿里巴巴发布全新开源语音交互大模型：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。它可以：回答语音问题（比如“帮我总结这段语音”）理解语音内容（比如识别情绪、音色、命令）按语音执行任务（比如“帮我打开音乐”、“拨打电话”）语音生成语音（你说话它直接“开口”回应）模拟语音情感（比如开心、温柔、严肃）

阿里巴巴发布全新开源语音交互大模型：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。它可以：回答语音问题（比如“帮我总结这段语音”）理解语音内容（比如识别情绪、音色、命令）按语音执行任务（比如“帮我打开音乐”、“拨打电话”）语音生成语音（你说话它直接“开口”回应）模拟语音情感（比如开心、温柔、严肃）

小互

18,873 Aufrufe • vor 6 Monaten

兄弟们炸裂了这个语音专文本TTS模型应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。专为对话任务优化，能够支持多种说话人语音，中英文混合等。模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub：详细介绍：

兄弟们炸裂了这个语音专文本TTS模型应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。专为对话任务优化，能够支持多种说话人语音，中英文混合等。模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub：详细介绍：

小互

296,557 Aufrufe • vor 2 Jahren

Whisper Input 有点意思，可以做语音输入法。基于即友 FeiTTT 的创意开发的 Python 工具。通过按住 Option 键启动录音，松键即停止采集，调用 Groq 平台的 Whisper Large V3 Turbo 模型进行语音转写。绝大多数语音输入可在1-2秒内获得转译结果。实际应用效果令人满意。

Whisper Input 有点意思，可以做语音输入法。基于即友 FeiTTT 的创意开发的 Python 工具。通过按住 Option 键启动录音，松键即停止采集，调用 Groq 平台的 Whisper Large V3 Turbo 模型进行语音转写。绝大多数语音输入可在1-2秒内获得转译结果。实际应用效果令人满意。

Geek

40,181 Aufrufe • vor 1 Jahr

Dia：一个由两人小团队开发的完全开源语音模型能“一步生成”极为逼真的多角色对话语音能直接根据对话文本生成自然、有情感的多说话人语音可用音频条件（prompt）进行控制，实现情感、语调的定制。可通过音频prompt实现声音克隆权重和推理代码完全公开单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。非语言标签支持：支持丰富的非语言动作标签，增强真实感。

Dia：一个由两人小团队开发的完全开源语音模型能“一步生成”极为逼真的多角色对话语音能直接根据对话文本生成自然、有情感的多说话人语音可用音频条件（prompt）进行控制，实现情感、语调的定制。可通过音频prompt实现声音克隆权重和推理代码完全公开单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。非语言标签支持：支持丰富的非语言动作标签，增强真实感。

小互

28,964 Aufrufe • vor 1 Jahr

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音还支持ASR、TTS以及多语言语音翻译端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音还支持ASR、TTS以及多语言语音翻译端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR

AIGCLINK

37,688 Aufrufe • vor 1 Jahr