Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

英伟达最新开源的一款ASR：Nemotron Speech ASR，专攻低延迟实时语音智能体场景，多人同时对话不爆延迟 单句最终转录锁定只需24ms，端到端全程<500ms，长语音不会累加等待时间 核心是其在FastConformer架构里加了一套缓存感知机制，已经算过的语音特征全部缓存在显存，不再二次编码 新音频只算增量，帧级复用。好比说，以前每翻一页书都要把前面几页重读一遍，现在直接夹书签只读新段落 延迟模式可动态配置，80、160、560毫秒、1.12 秒等，无需重新训练，可根据应用需求灵活选择来平衡延迟和WER 基于Nemotron Speech ASR还给了一个AI语音助手构建示例，LLM用的Nemotron 3 Nano 30B，TTS是Magpie 在此配置下，Nemotron Speech ASR实现了最终转录的中位时间为24毫秒，且不受话语长度影响，长音频片段与短音频片段一样可以快速完成转录 #ASR #NemotronSpeechASR #AI语音助手

aigclink's profile picture

AIGCLINK

37,380 subscribers

24,216 Aufrufe • vor 8 Monaten •via X (Twitter)

Nachrichten & PolitikBildungWissenschaft & Technologie
LIVE

Anya Rossi• Live Now

Private livecam show

7 Kommentare

Profilbild von AIGCLINK
AIGCLINKvor 8 Monaten

语音助手代码： Nemotron Speech ASR：

Profilbild von Vincent
Vincentvor 8 Monaten

在 T4 这种老旧推理卡上跑了一下 Demo，FastConformer 的吞吐量确实惊人。单卡 fp16 精度下，同时维持 200 路并发流，显存占用只增加了 4GB 左右，RTF 稳定在 0.003。相比之下，Whisper-large-v3 即便用了 Faster-Whisper 加速，在同等并发下如果不做激进的 KV Cache 量化，显存早就 OOM 了。不过要注意，Nemotron 在处理非英语的长尾语种时，幻觉率比 Whisper 高出约 15%，低延迟是有精度代价的。

Profilbild von add
addvor 8 Monaten

@readwise save thread

Profilbild von 𝐀𝐧𝐝𝐲
𝐀𝐧𝐝𝐲vor 8 Monaten

24ms，是真不给同行留活路啊

Profilbild von Robin
Robinvor 8 Monaten

@grok 核查一下

Profilbild von SIM｜独立开发
SIM｜独立开发vor 8 Monaten

so cool

Profilbild von OSDev
OSDevvor 8 Monaten

rst @readwise save thread

Ähnliche Videos

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音 还支持ASR、TTS以及多语言语音翻译 端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间 能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR
1:32

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音 还支持ASR、TTS以及多语言语音翻译 端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间 能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR

AIGCLINK

37,817 Aufrufe • vor 1 Jahr

Mistral刚刚放出了最新款语音转文本模型：Voxtral Transcribe 2，实时延迟低于200ms，支持说话人分离 两个版，Voxtral Realtime，原生流式架构，可以用于实时应用场景，比如说聊天机器人、实时会议转录、语音助手 延迟可以配置到200ms以内，在480ms延迟下词错误率与离线版相差不到1–2% Voxtral Mini Transcribe 2，用于批量，比如说播客、视频、电话录音等等，支持13种语言、说话人分离、上下文偏置以及词级时间戳 #STT #VoxtralTranscribe2 #语音转文本
0:55

Mistral刚刚放出了最新款语音转文本模型：Voxtral Transcribe 2，实时延迟低于200ms，支持说话人分离 两个版，Voxtral Realtime，原生流式架构，可以用于实时应用场景，比如说聊天机器人、实时会议转录、语音助手 延迟可以配置到200ms以内，在480ms延迟下词错误率与离线版相差不到1–2% Voxtral Mini Transcribe 2，用于批量，比如说播客、视频、电话录音等等，支持13种语言、说话人分离、上下文偏置以及词级时间戳 #STT #VoxtralTranscribe2 #语音转文本

AIGCLINK

17,223 Aufrufe • vor 7 Monaten

上海交大和微软开源的一款【端到端的语音到语音翻译系统：TransVIP】，它可以保持原声特征、保持源语音和目标语音时长同步 它的声音特点和说话的节奏感保持的非常不错，比较自然流畅，时长控制的也比较精确，很适合做视频配音、跨语言直播或实时语音翻译 直接从源语音到目标语音，无需中间步骤，处理延迟低 源语音和目标语音时长保持一致，可以避免口型不同步问题 项目： github： #AI实时翻译 #TransVIP
0:34

上海交大和微软开源的一款【端到端的语音到语音翻译系统：TransVIP】，它可以保持原声特征、保持源语音和目标语音时长同步 它的声音特点和说话的节奏感保持的非常不错，比较自然流畅，时长控制的也比较精确，很适合做视频配音、跨语言直播或实时语音翻译 直接从源语音到目标语音，无需中间步骤，处理延迟低 源语音和目标语音时长保持一致，可以避免口型不同步问题 项目： github： #AI实时翻译 #TransVIP

AIGCLINK

56,071 Aufrufe • vor 1 Jahr

字节发布了一款端到端同声传译模型：Seed LiveInterpret 2.0，中英双向端到端同传，延迟为2-3秒 从演示效果看，准确性、复杂场景的处理、声音情绪的表达、语音克隆音色转换的效果相对都还可以 性能上，语音到语音翻译，中英互译平均翻译质量到了66.3分，接近专业真人同传水平 延迟上，语音到文本输出首字平均延迟2.21秒，语音到语音输出延时2.53 秒 功能上支持实时声音复刻，复刻不同说话人的音色 擅长多人对话、非流利语音以及长音频场景 对绕口令、诗词、美食文化等可相对自然互译 #AI同传 #SeedLiveInterpret #字节同传
0:30

字节发布了一款端到端同声传译模型：Seed LiveInterpret 2.0，中英双向端到端同传，延迟为2-3秒 从演示效果看，准确性、复杂场景的处理、声音情绪的表达、语音克隆音色转换的效果相对都还可以 性能上，语音到语音翻译，中英互译平均翻译质量到了66.3分，接近专业真人同传水平 延迟上，语音到文本输出首字平均延迟2.21秒，语音到语音输出延时2.53 秒 功能上支持实时声音复刻，复刻不同说话人的音色 擅长多人对话、非流利语音以及长音频场景 对绕口令、诗词、美食文化等可相对自然互译 #AI同传 #SeedLiveInterpret #字节同传

AIGCLINK

78,545 Aufrufe • vor 1 Jahr

阿里刚刚一口气发了五款语音模型：Qwen-Audio-3.1系列，并全线降价，ASR降95%、Realtime降85%、TTS降70% 同时覆盖理解、生成、创作、实时交互的完整链条。阿里这次直接打出了语音模型的三板斧：能力全栈化、价格断崖下探、语音被推到Agent/硬件入口位置 它这次的Realtime不是只会聊天，是全双工可打断、能识别情绪、能多语言切换，还能调用工具，这就会把语音从搜索式问答推向事务式对话 实时语音从“功能”变成“交互入口”，直接冲击客服、助手以及硬件，AI眼镜、办公Agent、硬件结合等无屏化任务场景或将迎来一波热潮 ASR：能转写30种语言+16种中文方言、原生转写润色（去语气词/重复、语义重组）、分角色转写（谁在什么时候说了什么，带时间戳，支持插话/重叠语音）、流式低延迟（首字约160毫秒） ASR-Next：从“语音转文字”扩展到“理解整个音频”，能听出情绪、环境声、机械声，理解事件时间、进行音频问答 TTS：重点是同一音色跨语言/方言不变味，还能控制情绪和语速 TTS-Next：这个比较狠，从“配音”升级到“做完整音频作品”，一次生成人声、音效、环境音，多角色音色一致、全程不变声；48kHz输出 直接瞄准播客、有声书、影视、游戏、广告等场景 Realtime：全双工，可同时说和听，可打断、能共情、能无缝切换语言、对话中能调用Agent工具完成任务 #阿里语音模型 #QwenAudio
1:12

阿里刚刚一口气发了五款语音模型：Qwen-Audio-3.1系列，并全线降价，ASR降95%、Realtime降85%、TTS降70% 同时覆盖理解、生成、创作、实时交互的完整链条。阿里这次直接打出了语音模型的三板斧：能力全栈化、价格断崖下探、语音被推到Agent/硬件入口位置 它这次的Realtime不是只会聊天，是全双工可打断、能识别情绪、能多语言切换，还能调用工具，这就会把语音从搜索式问答推向事务式对话 实时语音从“功能”变成“交互入口”，直接冲击客服、助手以及硬件，AI眼镜、办公Agent、硬件结合等无屏化任务场景或将迎来一波热潮 ASR：能转写30种语言+16种中文方言、原生转写润色（去语气词/重复、语义重组）、分角色转写（谁在什么时候说了什么，带时间戳，支持插话/重叠语音）、流式低延迟（首字约160毫秒） ASR-Next：从“语音转文字”扩展到“理解整个音频”，能听出情绪、环境声、机械声，理解事件时间、进行音频问答 TTS：重点是同一音色跨语言/方言不变味，还能控制情绪和语速 TTS-Next：这个比较狠，从“配音”升级到“做完整音频作品”，一次生成人声、音效、环境音，多角色音色一致、全程不变声；48kHz输出 直接瞄准播客、有声书、影视、游戏、广告等场景 Realtime：全双工，可同时说和听，可打断、能共情、能无缝切换语言、对话中能调用Agent工具完成任务 #阿里语音模型 #QwenAudio

AIGCLINK

16,074 Aufrufe • vor 9 Tagen

Cartesia ai的一款“变声器”模型：Voice Changer ，可以将任何音频声音转换成不同的音色，同时保留原始音频的语气、情感 能保持原始表达方式，语气、情感不会失真，还可以保留叹息、惊讶等细节，支持在同一段音频中多次切换不同声音 特别适合用于配音的场景，视频、动画、故事配音、有声读物等等 体验地址： #AI配音 #AI声音转换
0:54

Cartesia ai的一款“变声器”模型：Voice Changer ，可以将任何音频声音转换成不同的音色，同时保留原始音频的语气、情感 能保持原始表达方式，语气、情感不会失真，还可以保留叹息、惊讶等细节，支持在同一段音频中多次切换不同声音 特别适合用于配音的场景，视频、动画、故事配音、有声读物等等 体验地址： #AI配音 #AI声音转换

AIGCLINK

17,019 Aufrufe • vor 1 Jahr

Hume AI 发布其收款开源了语音模型: TADA 比同类 LLM TTS 快 5 倍以上 1000+ 测试样本零幻觉 可以跑在手机和边缘设备上，无需云端推理 支持中文等10种语言 人类评测自然度和音色相似度排名第二，超过多个更大规模训练的系统 同样 2048 token 窗口，能容纳约 700 秒音频，传统方案只能撑 70 秒 同步转录：生成语音的同时就出文字，不用再跑一遍语音识别，零额外延迟。 资源消耗低：每秒音频只需要 2-3 帧，其他方案通常需要 12.5 到 75 帧。
0:55

Hume AI 发布其收款开源了语音模型: TADA 比同类 LLM TTS 快 5 倍以上 1000+ 测试样本零幻觉 可以跑在手机和边缘设备上，无需云端推理 支持中文等10种语言 人类评测自然度和音色相似度排名第二，超过多个更大规模训练的系统 同样 2048 token 窗口，能容纳约 700 秒音频，传统方案只能撑 70 秒 同步转录：生成语音的同时就出文字，不用再跑一遍语音识别，零额外延迟。 资源消耗低：每秒音频只需要 2-3 帧，其他方案通常需要 12.5 到 75 帧。

小互

42,470 Aufrufe • vor 6 Monaten

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM
0:59

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM

AIGCLINK

52,501 Aufrufe • vor 2 Jahren

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。
1:55

MaskGCT：一个新的零样本文本到语音（TTS）模型 支持跨语言翻译配音、语音克隆、语言转换、情感控制等 与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。 支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。 同时模型大幅降低了推理时间，适合实时应用​。

小互

49,431 Aufrufe • vor 1 Jahr

阿里刚刚放出了下一代实时同声传译模型：Qwen3.8-LiveTranslate，字均延迟从2.8秒压到2.3秒，支持60种语言 如果延迟稳定压到2.3秒这个水平，并且在多说话人、长音频场景下DER可控，那会议、展会、跨境电商谈判等大量这种“够用就行”的场景可能会率先被AI接管 它这版做了架构重造，把同传重构为了音频—文本交织的单流形式，已听音频和已出译文都可缓存复用，从效果看整体翻译的忠实度、流畅度还可以 另外增加了三个新能力，实时说话人分离、原文译文同帧同出双语同屏、长上下文消歧 比如说多人轮流发言的场景，它知道每句话是谁说的，译文用的还是那个发言人的音色 原文译文同屏对照，这个相当于可以随时对账，翻译最大的疑虑就是“是不是给我漏了、翻歪了”，有同屏那就省心很多 #AI同传 #QwenLiveTranslate
0:22

阿里刚刚放出了下一代实时同声传译模型：Qwen3.8-LiveTranslate，字均延迟从2.8秒压到2.3秒，支持60种语言 如果延迟稳定压到2.3秒这个水平，并且在多说话人、长音频场景下DER可控，那会议、展会、跨境电商谈判等大量这种“够用就行”的场景可能会率先被AI接管 它这版做了架构重造，把同传重构为了音频—文本交织的单流形式，已听音频和已出译文都可缓存复用，从效果看整体翻译的忠实度、流畅度还可以 另外增加了三个新能力，实时说话人分离、原文译文同帧同出双语同屏、长上下文消歧 比如说多人轮流发言的场景，它知道每句话是谁说的，译文用的还是那个发言人的音色 原文译文同屏对照，这个相当于可以随时对账，翻译最大的疑虑就是“是不是给我漏了、翻歪了”，有同屏那就省心很多 #AI同传 #QwenLiveTranslate

AIGCLINK

89,605 Aufrufe • vor 13 Tagen

豆包实时语音模型3.0 API 上线 看演示还是很牛P的，能干不少事情了 全双工：能同时听和说，像真人聊天那样可以随时插话 端到端：语音进、语音出，不进行转录，更快、更自然。 精准遵循 + 适时参与： 你可以一句话给它定规矩，比如多人聊天时说「现在先别出声，聊到世界杯时再加入」， 它就安静待命，等话题真到了再主动接话 最关键的一步升级： 它支持自定义工具，能在实时对话里直接调用工具完成任务，预定日历、发邮件、总结文档、发起查询，一句话语音就在对话流里办完。 这等于从「语音助手」往「语音 Agent」迈了一步
1:38

豆包实时语音模型3.0 API 上线 看演示还是很牛P的，能干不少事情了 全双工：能同时听和说，像真人聊天那样可以随时插话 端到端：语音进、语音出，不进行转录，更快、更自然。 精准遵循 + 适时参与： 你可以一句话给它定规矩，比如多人聊天时说「现在先别出声，聊到世界杯时再加入」， 它就安静待命，等话题真到了再主动接话 最关键的一步升级： 它支持自定义工具，能在实时对话里直接调用工具完成任务，预定日历、发邮件、总结文档、发起查询，一句话语音就在对话流里办完。 这等于从「语音助手」往「语音 Agent」迈了一步

小互

27,139 Aufrufe • vor 3 Monaten