正在加载视频...

视频加载失败

目前搭建数字人对话系统,除了部署复杂外,还对性能配置显存依赖非常高,而且延迟问题也很严重。 今天在 GitHub 上看到 Open Avatar Chat 这个开源项目,正好给出了解决方案。 只需在自己个人电脑上就能运行一个能与我们实时对话的数字人系统,平均回答延迟仅 2.2 秒。 GitHub: 主要特性: - 低延迟数字人实时对话,平均响应时间 2.2 秒 - 支持多模态交互,包括文本、音频、视频输入 - 模块化架构设计,可灵活替换各个组件 - 预置 100+ 数字人形象,支持 LiteAvatar 和 LAM 两种渲染方式 - 前后端分离,方便自定义界面和扩展功能 - 支持本地推理和云端 API 两种部署模式 提供 Docker 一键快速部署方式,对于想要快速搭建数字人应用的开发者来说,这个项目值得尝试。

29,274 次观看 • 11 个月前 •via X (Twitter)

0 条评论

暂无评论

原始帖子的评论将显示在这里

相关视频

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

karminski-牙医

25,426 次观看 • 5 个月前