Loading video...

Video Failed to Load

Go Home

基于 Gemini 2.0 AI 模型的 Python 应用程序，实现语音对话与文本转语音功能。

geekbb's profile picture

Geek

112,541 subscribers

30,063 views • 1 year ago •via X (Twitter)

EducationMusicScience & Technology
LIVE

Anya Rossi• Live Now

Private livecam show

7 Comments

Sahar Mor's profile picture
Sahar Mor1 year ago

感谢您的呼声。我将在周末添加视频处理功能并完成全栈应用程序。为存储库加注星标并保持关注！

Geek's profile picture
Geek1 year ago

👍

Jackos K's profile picture
Jackos K1 year ago

试了一下还不错哦

Jason oliver's profile picture
Jason oliver1 year ago

有没有ocr的

Datababy's profile picture
Datababy1 year ago

文字转语音怎么做的哈

机器狗's profile picture
机器狗1 year ago

@memdotai mem it

币安高返佣注册申请 (Parody)'s profile picture
币安高返佣注册申请 (Parody)1 year ago

很酷的项目

Related Videos

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。
1:55

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。

小互

49,431 views • 1 year ago

盲测击败了ElevenLabs的一款TTS：Chatterbox，有极强的情感控制能力，可以调整其语音表现力 支持语音克隆、风格定制 除了正常对话，可以用于一些戏剧化的语音场景 #TTS #Chatterbox #文本转语音 #AI语音
0:22

盲测击败了ElevenLabs的一款TTS：Chatterbox，有极强的情感控制能力，可以调整其语音表现力 支持语音克隆、风格定制 除了正常对话，可以用于一些戏剧化的语音场景 #TTS #Chatterbox #文本转语音 #AI语音

AIGCLINK

26,481 views • 1 year ago

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM
0:59

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM

AIGCLINK

52,402 views • 2 years ago

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。
1:35

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,755 views • 1 year ago

兄弟们，牛P了 11Labs 推出 Eleven v3（Alpha 版） 应该是目前地表最强的文本转语音模型了 它 不仅会说话，还能演戏 支持 70 多种语言 多个角色间的自然对话 以及通过 [sad]、[whispers]、[laughs] 等音频标签精准控制语音情绪与非语言表达 与旧版本相比，v3 拥有更强的文本理解能力，可以模拟真实对话中的中断、情感变化与语气调整。
3:54

兄弟们，牛P了 11Labs 推出 Eleven v3（Alpha 版） 应该是目前地表最强的文本转语音模型了 它 不仅会说话，还能演戏 支持 70 多种语言 多个角色间的自然对话 以及通过 [sad]、[whispers]、[laughs] 等音频标签精准控制语音情绪与非语言表达 与旧版本相比，v3 拥有更强的文本理解能力，可以模拟真实对话中的中断、情感变化与语气调整。

小互

124,132 views • 1 year ago

基于Gemini的一个很实用的英语口语练习工具：gemini-teacher，能实时识别英语发音，提供即时反馈和纠正建议 支持实时语音识别/发音评估、语法纠正、对性发音指导、智能场景切换等 代码作者Box (mainnet arc)已开源见下条 #geminiteacher #AI英语练习工具
3:28

基于Gemini的一个很实用的英语口语练习工具：gemini-teacher，能实时识别英语发音，提供即时反馈和纠正建议 支持实时语音识别/发音评估、语法纠正、对性发音指导、智能场景切换等 代码作者Box (mainnet arc)已开源见下条 #geminiteacher #AI英语练习工具

AIGCLINK

59,719 views • 1 year ago

阿里巴巴发布全新开源语音交互大模型 ：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感 你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。 在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。 它可以： 回答语音问题（比如“帮我总结这段语音”） 理解语音内容（比如识别情绪、音色、命令） 按语音执行任务（比如“帮我打开音乐”、“拨打电话”） 语音生成语音（你说话它直接“开口”回应） 模拟语音情感（比如开心、温柔、严肃）
1:38

阿里巴巴发布全新开源语音交互大模型 ：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感 你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。 在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。 它可以： 回答语音问题（比如“帮我总结这段语音”） 理解语音内容（比如识别情绪、音色、命令） 按语音执行任务（比如“帮我打开音乐”、“拨打电话”） 语音生成语音（你说话它直接“开口”回应） 模拟语音情感（比如开心、温柔、严肃）

小互

18,873 views • 8 months ago

ChatGPT的语音对话功能很赞，中文也支持很好
1:50

ChatGPT的语音对话功能很赞，中文也支持很好

宝玉

182,366 views • 2 years ago

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：
5:26

兄弟们 炸裂了 这个语音专文本TTS模型 应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型 该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。 专为对话任务优化，能够支持多种说话人语音，中英文混合等。 模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub： 详细介绍：

小互

296,677 views • 2 years ago

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。
1:10

Dia：一个由两人小团队开发的完全开源语音模型 能“一步生成”极为逼真的多角色对话语音 能直接根据对话文本生成自然、有情感的多说话人语音 可用音频条件（prompt）进行控制，实现情感、语调的定制。 可通过音频prompt实现声音克隆 权重和推理代码完全公开 单步对话生成：一次性生成完整对话（支持多说话人，如[S1]、[S2]标签）。 非语言标签支持：支持丰富的非语言动作标签，增强真实感。

小互

28,964 views • 1 year ago

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音 还支持ASR、TTS以及多语言语音翻译 端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间 能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR
1:32

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音 还支持ASR、TTS以及多语言语音翻译 端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间 能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR

AIGCLINK

37,731 views • 1 year ago