正在加载视频...

视频加载失败

返回首页

最近在玩一个开源的 Voice Agent 框架，TEN Framework： ，它有点像「实时语音 / 多模态 Agent 的操作系统」：在一套统一的实时流框架里，把 STT、LLM、TTS、VAD、Avatar 这些模块做成可插拔的“积木”，可以按需组合、替换，重点就是把和 AI 实时对话相关的低延迟、多模态和跨端部署这些工程问题打包解决掉。 花 10min 本地部署跑起来，还没有替换其他的东西，实际体验下它的实时语音问答挺丝滑：可以打断、响应够快，延迟大概在 1s 左右。像 Memory、RAG 这类常见能力也都已经帮你接好了，基于这些再往上可以扩展到 AI 情感陪伴、AI 口语陪练、电话 AI 客服、智能语音硬件这些场景。我用官方案例测试了一下，效果还不错，对「真·实时」语音 Agent 感兴趣的同学可以看看这个开源框架。

HiTw93's profile picture

Tw93

159,268 subscribers

35,918 次观看 • 9 个月前 •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

9 条评论

Hu Yueh-Wei 的头像
Hu Yueh-Wei9 个月前

这里有 TEN framework 的五分钟上手 guide

Telentir 的头像
Telentir9 个月前

That sounds really cool, I love the idea of modular AI!

goodhawk 的头像
goodhawk9 个月前

这个项目的确不错, 很棒

Jack Li 的头像
Jack Li9 个月前

Thanks for sharing !

Kevin 的头像
Kevin9 个月前

这个可以本地部署在玩具里吗？可能算力不够吧

Tw93 的头像
Tw939 个月前

可以的 你clone下来试试看

途爸 的头像
途爸9 个月前

这个可以加入自己的专项训练吗？比如做成某个产品的AI客服，回答一些产品信息的问题。

Tw93 的头像
Tw939 个月前

可以扩展开发的

Elliot 艾略特 的头像
Elliot 艾略特9 个月前

也可以用 Github Codespaces 5 分钟就能起来

相关视频

TEN Agent 一键让 Coze Bot 开口对话，coze+Ten Agent：为自己构建的coze智能体增加实时语音对话能力，利好定制化的智能音箱、ai陪伴等相关场景 构建实时多模态 AI Agent 的TEN Framework 新增 Coze Bot 支持，在 TEN Agent 界面简单输入 Bot ID 和 API Token，即可快速连接 Coze 与 TEN Agent，搭建可以实时互动的 voice agent！ 内容介绍： 1、coze+ten agent开启智能体说话的新时代 2、实操如何实现agent实时语音对话的realtime能力 3、适用于ai陪伴、智能音箱等场景 4、AI日报 #coze #tenagent #ai陪伴 #ai智能音箱
13:26

TEN Agent 一键让 Coze Bot 开口对话，coze+Ten Agent：为自己构建的coze智能体增加实时语音对话能力，利好定制化的智能音箱、ai陪伴等相关场景 构建实时多模态 AI Agent 的TEN Framework 新增 Coze Bot 支持，在 TEN Agent 界面简单输入 Bot ID 和 API Token，即可快速连接 Coze 与 TEN Agent，搭建可以实时互动的 voice agent！ 内容介绍： 1、coze+ten agent开启智能体说话的新时代 2、实操如何实现agent实时语音对话的realtime能力 3、适用于ai陪伴、智能音箱等场景 4、AI日报 #coze #tenagent #ai陪伴 #ai智能音箱

AIGCLINK

13,029 次观看 • 1 年前

🔥兄弟们这个开源项目太燃了！ 今天分享一个在GitHub 斩获9.5k⭐的开源项目！ TEN Framework：是一款开源实时 多模态对话框架🚀 我今天分享一个其中的一个应用Case，非常的有趣好玩！ 它不仅仅是可爱 Live2D 少女 Kei～你还能手捏专属二次元/ 虚拟助手！💕 基于它建的 Kei Demo 超惊艳（Minimax TTS + Live2D），但这只是冰山一角～ 你可以自定义 Agent：换自己的 Live2D/真实头像、集成 不同 TTS/LLM，实现专属语音助手！ 可以查询天气，撰写古诗词、练习口语、做私人陪伴哈哈！ 它还可以整这些活，包括：实时视觉、speech diarization、SIP 电话、ESP32 硬件集成……真的是太全能 的了！ 看 Kei 超自然互动视频 👇🏻 先体验： 开源地址，感兴趣自己捏一个去！👉 #github #tenFramework
1:24

🔥兄弟们这个开源项目太燃了！ 今天分享一个在GitHub 斩获9.5k⭐的开源项目！ TEN Framework：是一款开源实时 多模态对话框架🚀 我今天分享一个其中的一个应用Case，非常的有趣好玩！ 它不仅仅是可爱 Live2D 少女 Kei～你还能手捏专属二次元/ 虚拟助手！💕 基于它建的 Kei Demo 超惊艳（Minimax TTS + Live2D），但这只是冰山一角～ 你可以自定义 Agent：换自己的 Live2D/真实头像、集成 不同 TTS/LLM，实现专属语音助手！ 可以查询天气，撰写古诗词、练习口语、做私人陪伴哈哈！ 它还可以整这些活，包括：实时视觉、speech diarization、SIP 电话、ESP32 硬件集成……真的是太全能 的了！ 看 Kei 超自然互动视频 👇🏻 先体验： 开源地址，感兴趣自己捏一个去！👉 #github #tenFramework

Berryxia.AI

23,949 次观看 • 8 个月前

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM
0:59

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM

AIGCLINK

52,501 次观看 • 2 年前

上海交大和微软开源的一款【端到端的语音到语音翻译系统：TransVIP】，它可以保持原声特征、保持源语音和目标语音时长同步 它的声音特点和说话的节奏感保持的非常不错，比较自然流畅，时长控制的也比较精确，很适合做视频配音、跨语言直播或实时语音翻译 直接从源语音到目标语音，无需中间步骤，处理延迟低 源语音和目标语音时长保持一致，可以避免口型不同步问题 项目： github： #AI实时翻译 #TransVIP
0:34

上海交大和微软开源的一款【端到端的语音到语音翻译系统：TransVIP】，它可以保持原声特征、保持源语音和目标语音时长同步 它的声音特点和说话的节奏感保持的非常不错，比较自然流畅，时长控制的也比较精确，很适合做视频配音、跨语言直播或实时语音翻译 直接从源语音到目标语音，无需中间步骤，处理延迟低 源语音和目标语音时长保持一致，可以避免口型不同步问题 项目： github： #AI实时翻译 #TransVIP

AIGCLINK

56,071 次观看 • 1 年前

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:
1:33

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

karminski-牙医

25,426 次观看 • 8 个月前

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音 还支持ASR、TTS以及多语言语音翻译 端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间 能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR
1:32

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音 还支持ASR、TTS以及多语言语音翻译 端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间 能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR

AIGCLINK

37,817 次观看 • 1 年前

阿里最新开源了一个实时语音Harness：Qwen-Audio-Agent，让你的Agent能像打电话一样对话，你边说边想，它边听边干活 简单说就是它给你的OpenCode、OpenClaw、Codex们加上了耳朵和嘴巴，然后你就可以用打电话的方式跟这些AI协作 OpenAI有GPT-Live，Qwen-Audio-Agent等于是给现有的Agent生态提供了一个统一的实时语音前台入口 前台上，全双工实时语音层，支持连续对话和自然打断 后台上，对接OpenCode、OpenClaw、Qoder、Hermes、CodeBuddy、Codex各类Agent，负责搜索、推理、写代码、改文件等深度任务 复杂任务委派给后台Agent，执行结果实时带回当前语音对话 人机协作方式就变成了：你一边说Agent一边干，你可以随时插嘴补充，它边干活边给你汇报进展，对话过程跟打电话一样 #AI语音 #agent语音助手 #qwenaudio
1:44

阿里最新开源了一个实时语音Harness：Qwen-Audio-Agent，让你的Agent能像打电话一样对话，你边说边想，它边听边干活 简单说就是它给你的OpenCode、OpenClaw、Codex们加上了耳朵和嘴巴，然后你就可以用打电话的方式跟这些AI协作 OpenAI有GPT-Live，Qwen-Audio-Agent等于是给现有的Agent生态提供了一个统一的实时语音前台入口 前台上，全双工实时语音层，支持连续对话和自然打断 后台上，对接OpenCode、OpenClaw、Qoder、Hermes、CodeBuddy、Codex各类Agent，负责搜索、推理、写代码、改文件等深度任务 复杂任务委派给后台Agent，执行结果实时带回当前语音对话 人机协作方式就变成了：你一边说Agent一边干，你可以随时插嘴补充，它边干活边给你汇报进展，对话过程跟打电话一样 #AI语音 #agent语音助手 #qwenaudio

AIGCLINK

69,606 次观看 • 1 个月前

兄弟们，这下可以实现TTS 生成文本转语音自由了。 测试了一下阿里Qwen最新开源模型Qwen3-TTS-12Hz-1.7B-CustomVoice，部署在我这台M1Pro 32G 的笔记本就可以轻松跑起来。 做了一个简单的Demo测试，支持10多种主流语言，中英日韩等语言，支持语调、情绪、上下文内容感知调节，并且可以自定义和克隆音色。 整体的使用效果我觉得还不错，关键是这个模型还有个0.6b的模型，真的是给本地使用者的福音啊。 感兴趣的同学可以自己去试试，地址放评论区。
1:19

兄弟们，这下可以实现TTS 生成文本转语音自由了。 测试了一下阿里Qwen最新开源模型Qwen3-TTS-12Hz-1.7B-CustomVoice，部署在我这台M1Pro 32G 的笔记本就可以轻松跑起来。 做了一个简单的Demo测试，支持10多种主流语言，中英日韩等语言，支持语调、情绪、上下文内容感知调节，并且可以自定义和克隆音色。 整体的使用效果我觉得还不错，关键是这个模型还有个0.6b的模型，真的是给本地使用者的福音啊。 感兴趣的同学可以自己去试试，地址放评论区。

Berryxia.AI

45,388 次观看 • 8 个月前

阿里巴巴发布全新开源语音交互大模型 ：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感 你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。 在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。 它可以： 回答语音问题（比如“帮我总结这段语音”） 理解语音内容（比如识别情绪、音色、命令） 按语音执行任务（比如“帮我打开音乐”、“拨打电话”） 语音生成语音（你说话它直接“开口”回应） 模拟语音情感（比如开心、温柔、严肃）
1:38

阿里巴巴发布全新开源语音交互大模型 ：Fun-Audio-Chat 超低延迟富有同理心、能理解语调和情感 你可以通过语音与它说话，它能实时理解、思考、回答你，并用自然流畅的语音回复。 在多个基准测试中处于领先地位，性能与 GPT-Audio、Gemini-2.5-Pro 相当。 它可以： 回答语音问题（比如“帮我总结这段语音”） 理解语音内容（比如识别情绪、音色、命令） 按语音执行任务（比如“帮我打开音乐”、“拨打电话”） 语音生成语音（你说话它直接“开口”回应） 模拟语音情感（比如开心、温柔、严肃）

小互

18,873 次观看 • 9 个月前

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。
1:55

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。

小互

49,431 次观看 • 1 年前