Loading video...

Video Failed to Load

Go Home

最近在玩一个开源的 Voice Agent 框架，TEN Framework： ，它有点像「实时语音 / 多模态 Agent 的操作系统」：在一套统一的实时流框架里，把 STT、LLM、TTS、VAD、Avatar 这些模块做成可插拔的“积木”，可以按需组合、替换，重点就是把和 AI 实时对话相关的低延迟、多模态和跨端部署这些工程问题打包解决掉。 花 10min 本地部署跑起来，还没有替换其他的东西，实际体验下它的实时语音问答挺丝滑：可以打断、响应够快，延迟大概在 1s 左右。像 Memory、RAG 这类常见能力也都已经帮你接好了，基于这些再往上可以扩展到 AI 情感陪伴、AI 口语陪练、电话 AI 客服、智能语音硬件这些场景。我用官方案例测试了一下，效果还不错，对「真·实时」语音 Agent 感兴趣的同学可以看看这个开源框架。

HiTw93's profile picture

Tw93

152,361 subscribers

35,708 views • 8 months ago •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

首个开源的会话音频生成基础模型：Hertz-dev，实时语音交互，8.5亿参数 全双工，可以同时听和说 超低延迟，可在120毫秒内回应，像和真人对话一样流畅，没有明显卡顿感 是目前公开的同类系统中最快的 github： #Hertzdev #AI实时语音系统
1:03

首个开源的会话音频生成基础模型：Hertz-dev，实时语音交互，8.5亿参数 全双工，可以同时听和说 超低延迟，可在120毫秒内回应，像和真人对话一样流畅，没有明显卡顿感 是目前公开的同类系统中最快的 github： #Hertzdev #AI实时语音系统

AIGCLINK

34,506 views • 1 year ago

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。 也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。
1:32

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。 也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

小互

37,051 views • 1 year ago

TEN Agent 一键让 Coze Bot 开口对话，coze+Ten Agent：为自己构建的coze智能体增加实时语音对话能力，利好定制化的智能音箱、ai陪伴等相关场景 构建实时多模态 AI Agent 的TEN Framework 新增 Coze Bot 支持，在 TEN Agent 界面简单输入 Bot ID 和 API Token，即可快速连接 Coze 与 TEN Agent，搭建可以实时互动的 voice agent！ 内容介绍： 1、coze+ten agent开启智能体说话的新时代 2、实操如何实现agent实时语音对话的realtime能力 3、适用于ai陪伴、智能音箱等场景 4、AI日报 #coze #tenagent #ai陪伴 #ai智能音箱
13:26

TEN Agent 一键让 Coze Bot 开口对话，coze+Ten Agent：为自己构建的coze智能体增加实时语音对话能力，利好定制化的智能音箱、ai陪伴等相关场景 构建实时多模态 AI Agent 的TEN Framework 新增 Coze Bot 支持，在 TEN Agent 界面简单输入 Bot ID 和 API Token，即可快速连接 Coze 与 TEN Agent，搭建可以实时互动的 voice agent！ 内容介绍： 1、coze+ten agent开启智能体说话的新时代 2、实操如何实现agent实时语音对话的realtime能力 3、适用于ai陪伴、智能音箱等场景 4、AI日报 #coze #tenagent #ai陪伴 #ai智能音箱

AIGCLINK

13,014 views • 1 year ago

🔥兄弟们这个开源项目太燃了！ 今天分享一个在GitHub 斩获9.5k⭐的开源项目！ TEN Framework：是一款开源实时 多模态对话框架🚀 我今天分享一个其中的一个应用Case，非常的有趣好玩！ 它不仅仅是可爱 Live2D 少女 Kei～你还能手捏专属二次元/ 虚拟助手！💕 基于它建的 Kei Demo 超惊艳（Minimax TTS + Live2D），但这只是冰山一角～ 你可以自定义 Agent：换自己的 Live2D/真实头像、集成 不同 TTS/LLM，实现专属语音助手！ 可以查询天气，撰写古诗词、练习口语、做私人陪伴哈哈！ 它还可以整这些活，包括：实时视觉、speech diarization、SIP 电话、ESP32 硬件集成……真的是太全能 的了！ 看 Kei 超自然互动视频 👇🏻 先体验： 开源地址，感兴趣自己捏一个去！👉 #github #tenFramework
1:24

🔥兄弟们这个开源项目太燃了！ 今天分享一个在GitHub 斩获9.5k⭐的开源项目！ TEN Framework：是一款开源实时 多模态对话框架🚀 我今天分享一个其中的一个应用Case，非常的有趣好玩！ 它不仅仅是可爱 Live2D 少女 Kei～你还能手捏专属二次元/ 虚拟助手！💕 基于它建的 Kei Demo 超惊艳（Minimax TTS + Live2D），但这只是冰山一角～ 你可以自定义 Agent：换自己的 Live2D/真实头像、集成 不同 TTS/LLM，实现专属语音助手！ 可以查询天气，撰写古诗词、练习口语、做私人陪伴哈哈！ 它还可以整这些活，包括：实时视觉、speech diarization、SIP 电话、ESP32 硬件集成……真的是太全能 的了！ 看 Kei 超自然互动视频 👇🏻 先体验： 开源地址，感兴趣自己捏一个去！👉 #github #tenFramework

Berryxia.AI

23,949 views • 7 months ago

TEN Agent：完整的AI语音助手实现方案 开源的AI语音助手的实现方案，使用这套方案，可以快速实现类似ChatGPT 4o的语音对话效果。有三大核心亮点： 1）RTC能力，毫秒级响应，支持打断语音，语音交互丝滑。 2）组件化架构，可以根据需要自定义ASR、LLM、TTS模块，其中LLM已支持OpenAI、Gemini、Qwen等主流LLM，TTS可以选用微软Azure TTS、ElevenLabs、Fish Speech等顶级语音服务。 3）扩展能力强，支持联网搜索、RAG等。 可以在线直接体验接入OpenAI Realtime API的效果。另外最近的新功能还支持无缝对接Coze，在Coze上搭建Bot，可以通过API接入TEN Agent，从而让Bot能够语音交互。 TEN Framework #voiceagent #voiceAI #RealtimeAPI #conversationalAI
0:32

TEN Agent：完整的AI语音助手实现方案 开源的AI语音助手的实现方案，使用这套方案，可以快速实现类似ChatGPT 4o的语音对话效果。有三大核心亮点： 1）RTC能力，毫秒级响应，支持打断语音，语音交互丝滑。 2）组件化架构，可以根据需要自定义ASR、LLM、TTS模块，其中LLM已支持OpenAI、Gemini、Qwen等主流LLM，TTS可以选用微软Azure TTS、ElevenLabs、Fish Speech等顶级语音服务。 3）扩展能力强，支持联网搜索、RAG等。 可以在线直接体验接入OpenAI Realtime API的效果。另外最近的新功能还支持无缝对接Coze，在Coze上搭建Bot，可以通过API接入TEN Agent，从而让Bot能够语音交互。 TEN Framework #voiceagent #voiceAI #RealtimeAPI #conversationalAI

Gorden Sun

23,265 views • 1 year ago

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM
0:59

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM

AIGCLINK

52,304 views • 1 year ago

上海交大和微软开源的一款【端到端的语音到语音翻译系统：TransVIP】，它可以保持原声特征、保持源语音和目标语音时长同步 它的声音特点和说话的节奏感保持的非常不错，比较自然流畅，时长控制的也比较精确，很适合做视频配音、跨语言直播或实时语音翻译 直接从源语音到目标语音，无需中间步骤，处理延迟低 源语音和目标语音时长保持一致，可以避免口型不同步问题 项目： github： #AI实时翻译 #TransVIP
0:34

上海交大和微软开源的一款【端到端的语音到语音翻译系统：TransVIP】，它可以保持原声特征、保持源语音和目标语音时长同步 它的声音特点和说话的节奏感保持的非常不错，比较自然流畅，时长控制的也比较精确，很适合做视频配音、跨语言直播或实时语音翻译 直接从源语音到目标语音，无需中间步骤，处理延迟低 源语音和目标语音时长保持一致，可以避免口型不同步问题 项目： github： #AI实时翻译 #TransVIP

AIGCLINK

56,071 views • 1 year ago

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音 还支持ASR、TTS以及多语言语音翻译 端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间 能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR
1:32

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音 还支持ASR、TTS以及多语言语音翻译 端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间 能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR

AIGCLINK

37,731 views • 1 year ago

阿里最新开源了一个实时语音Harness：Qwen-Audio-Agent，让你的Agent能像打电话一样对话，你边说边想，它边听边干活 简单说就是它给你的OpenCode、OpenClaw、Codex们加上了耳朵和嘴巴，然后你就可以用打电话的方式跟这些AI协作 OpenAI有GPT-Live，Qwen-Audio-Agent等于是给现有的Agent生态提供了一个统一的实时语音前台入口 前台上，全双工实时语音层，支持连续对话和自然打断 后台上，对接OpenCode、OpenClaw、Qoder、Hermes、CodeBuddy、Codex各类Agent，负责搜索、推理、写代码、改文件等深度任务 复杂任务委派给后台Agent，执行结果实时带回当前语音对话 人机协作方式就变成了：你一边说Agent一边干，你可以随时插嘴补充，它边干活边给你汇报进展，对话过程跟打电话一样 #AI语音 #agent语音助手 #qwenaudio
1:44

阿里最新开源了一个实时语音Harness：Qwen-Audio-Agent，让你的Agent能像打电话一样对话，你边说边想，它边听边干活 简单说就是它给你的OpenCode、OpenClaw、Codex们加上了耳朵和嘴巴，然后你就可以用打电话的方式跟这些AI协作 OpenAI有GPT-Live，Qwen-Audio-Agent等于是给现有的Agent生态提供了一个统一的实时语音前台入口 前台上，全双工实时语音层，支持连续对话和自然打断 后台上，对接OpenCode、OpenClaw、Qoder、Hermes、CodeBuddy、Codex各类Agent，负责搜索、推理、写代码、改文件等深度任务 复杂任务委派给后台Agent，执行结果实时带回当前语音对话 人机协作方式就变成了：你一边说Agent一边干，你可以随时插嘴补充，它边干活边给你汇报进展，对话过程跟打电话一样 #AI语音 #agent语音助手 #qwenaudio

AIGCLINK

67,044 views • 9 days ago

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:
1:33

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

karminski-牙医

25,426 views • 6 months ago

小智语音机器人的客户端：py-xiaozhi，在电脑上就能用，可以在没有硬件的条件下体验AI小智的语音功能 支持mqtt和wss协议，实时打断，实时对话 支持图像识别处理，有多模态交互能力，能理解图像内容 支持IoT设备集成，来控制智能灯、调节温度等等 可以联网播放音乐 #AI语音助手 #语音机器人 #小智语音机器人
2:06

小智语音机器人的客户端：py-xiaozhi，在电脑上就能用，可以在没有硬件的条件下体验AI小智的语音功能 支持mqtt和wss协议，实时打断，实时对话 支持图像识别处理，有多模态交互能力，能理解图像内容 支持IoT设备集成，来控制智能灯、调节温度等等 可以联网播放音乐 #AI语音助手 #语音机器人 #小智语音机器人

AIGCLINK

13,386 views • 1 year ago

使用 Google Gemini 做出了目前最强的英语口语学习软件。Gemini的多模态能力目前来说应该是世界第一。 之前也尝试过用OpenAI的语音模式学习英语，问题是我英语本来就不是很好，每次回答还默认英语，而且他也无法识别语调，发音等问题，实际上那种模式是通过语音转文字后进行分析，完全无法分析你的语调和发音问题。 Gemini2.0的多模态功能完美解决了这个问题，目前他可以非常强的理解你的真实发音，而不是单纯的转换成文字后纠正，他可以真正的触达你的真实声音。 下面是我自己练习时的视频，它是可以真正的分析你的发音，真的太强大了！
3:28

使用 Google Gemini 做出了目前最强的英语口语学习软件。Gemini的多模态能力目前来说应该是世界第一。 之前也尝试过用OpenAI的语音模式学习英语，问题是我英语本来就不是很好，每次回答还默认英语，而且他也无法识别语调，发音等问题，实际上那种模式是通过语音转文字后进行分析，完全无法分析你的语调和发音问题。 Gemini2.0的多模态功能完美解决了这个问题，目前他可以非常强的理解你的真实发音，而不是单纯的转换成文字后纠正，他可以真正的触达你的真实声音。 下面是我自己练习时的视频，它是可以真正的分析你的发音，真的太强大了！

Box (mainnet arc)

141,473 views • 1 year ago

兄弟们，这下可以实现TTS 生成文本转语音自由了。 测试了一下阿里Qwen最新开源模型Qwen3-TTS-12Hz-1.7B-CustomVoice，部署在我这台M1Pro 32G 的笔记本就可以轻松跑起来。 做了一个简单的Demo测试，支持10多种主流语言，中英日韩等语言，支持语调、情绪、上下文内容感知调节，并且可以自定义和克隆音色。 整体的使用效果我觉得还不错，关键是这个模型还有个0.6b的模型，真的是给本地使用者的福音啊。 感兴趣的同学可以自己去试试，地址放评论区。
1:19

兄弟们，这下可以实现TTS 生成文本转语音自由了。 测试了一下阿里Qwen最新开源模型Qwen3-TTS-12Hz-1.7B-CustomVoice，部署在我这台M1Pro 32G 的笔记本就可以轻松跑起来。 做了一个简单的Demo测试，支持10多种主流语言，中英日韩等语言，支持语调、情绪、上下文内容感知调节，并且可以自定义和克隆音色。 整体的使用效果我觉得还不错，关键是这个模型还有个0.6b的模型，真的是给本地使用者的福音啊。 感兴趣的同学可以自己去试试，地址放评论区。

Berryxia.AI

45,388 views • 6 months ago

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。
1:55

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。

小互

49,431 views • 1 year ago