Загрузка видео...

Не удалось загрузить видео

Возникла проблема при загрузке этого видео. Это может быть связано с временными проблемами сети или видео может быть недоступно.

На главную

Meta刚发了自家第一款实时音频感知模型：Muse Voice Transcribe，Meta AI眼镜的耳朵它有几个核心能力，流式原生架构、80ms流式、AI自己决定等多久再写，通过强化学习让模型实现了自适应延迟，就是简单的词快速输出，难识别的词多听一会儿最终效果，3.1% WER、0.16秒延迟，目前第一第二个说话人分离，能分清20个以上的说话人，每个人说话前都会标注Speaker A、Speaker B等，原生支持超过1小时的音频，这个比较就适用于会议、播客等长时间场景第三，能听懂中英混说，一句话里中英文无缝切换，转写流畅还能利用你的个人上下文来提高识别准确率，比如说你常去的地点、你领域的专业关键词 #AI音频模型 #MuseVoiceTranscribe #实时音频模型

AIGCLINK

37,151 subscribers

11,034 просмотров • 2 дней назад •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

Mistral刚刚放出了最新款语音转文本模型：Voxtral Transcribe 2，实时延迟低于200ms，支持说话人分离两个版，Voxtral Realtime，原生流式架构，可以用于实时应用场景，比如说聊天机器人、实时会议转录、语音助手延迟可以配置到200ms以内，在480ms延迟下词错误率与离线版相差不到1–2% Voxtral Mini Transcribe 2，用于批量，比如说播客、视频、电话录音等等，支持13种语言、说话人分离、上下文偏置以及词级时间戳 #STT #VoxtralTranscribe2 #语音转文本

Mistral刚刚放出了最新款语音转文本模型：Voxtral Transcribe 2，实时延迟低于200ms，支持说话人分离两个版，Voxtral Realtime，原生流式架构，可以用于实时应用场景，比如说聊天机器人、实时会议转录、语音助手延迟可以配置到200ms以内，在480ms延迟下词错误率与离线版相差不到1–2% Voxtral Mini Transcribe 2，用于批量，比如说播客、视频、电话录音等等，支持13种语言、说话人分离、上下文偏置以及词级时间戳 #STT #VoxtralTranscribe2 #语音转文本

AIGCLINK

17,223 просмотров • 7 месяцев назад

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

AIGCLINK

52,402 просмотров • 2 лет назад

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

MiniCPM-o4.5：首个开源全模态、全双工模型全模态：支持视频、音频、图片、文本输入，支持音频、文本输出。能实时生成音频，支持语音克隆，支持生成无限长度音频。全双工：不是一问一答，而是能边听边说。支持打断，不仅你可以打断MiniCPM-o4.5说话，MiniCPM-o4.5也会自主决策打断你说话，像是两个真实的人在沟通。这是首个能打断人类说话的模型，Gemini 3 Flash能实现你打断AI说话，但是AI不能主动打断你说话。完全开源，9B参数，本地即可运行。OpenBMB 模型：

Gorden Sun

55,078 просмотров • 7 месяцев назад

微软昨晚开源新模型：VibeVoice-1.5B TTS，可一次生成90分钟语音、多人对话效果听起来质量很高，在说话人一致性和自然轮转上都非常不错 VibeVoice能生成90分钟连续语音，支持4个不同说话人，对像播客这种长篇音频内容生成比较实用基于Qwen2.5-1.5B理解上下文和语义，有两个连续语音分词器，这两个分词器以 7.5Hz的超低帧率运行，在保证音频质量的同时，提高了计算效率，使得处理长序列成为可能模型最终输出带 AI 声明水印支持中/英文 MIT许可证 #TTS #VibeVoice

微软昨晚开源新模型：VibeVoice-1.5B TTS，可一次生成90分钟语音、多人对话效果听起来质量很高，在说话人一致性和自然轮转上都非常不错 VibeVoice能生成90分钟连续语音，支持4个不同说话人，对像播客这种长篇音频内容生成比较实用基于Qwen2.5-1.5B理解上下文和语义，有两个连续语音分词器，这两个分词器以 7.5Hz的超低帧率运行，在保证音频质量的同时，提高了计算效率，使得处理长序列成为可能模型最终输出带 AI 声明水印支持中/英文 MIT许可证 #TTS #VibeVoice

AIGCLINK

40,124 просмотров • 1 год назад

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。它更像是让你和 AI 打一通“实时视频电话”：你说话，它看着你听。你打断，它能接住。你表情变了，它也能反应。半秒内接话，几乎没有冷场。真正的重点是：以前虚拟人是拼流水线：语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。一个 Transformer 直接处理实时音视频交互。模型端响应约 0.2 秒，整体延迟约 0.55 秒。这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。它更像是让你和 AI 打一通“实时视频电话”：你说话，它看着你听。你打断，它能接住。你表情变了，它也能反应。半秒内接话，几乎没有冷场。真正的重点是：以前虚拟人是拼流水线：语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。一个 Transformer 直接处理实时音视频交互。模型端响应约 0.2 秒，整体延迟约 0.55 秒。这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。

Vincent

12,627 просмотров • 2 месяцев назад

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音还支持ASR、TTS以及多语言语音翻译端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR

酷，新出的一款端到端AI语音模型：Voila，全双工能同时听和说，低延迟，预置了一百万种语音还支持ASR、TTS以及多语言语音翻译端到端架构，支持全双工的低延迟对话，延迟195毫秒，超人类平均响应时间能实时自主对话，持续聆听、推理以及主动回应，通过文本指令可以定义说话者的身份以及语气等特征 #语音模型 #Voila #TTS #ASR

AIGCLINK

37,798 просмотров • 1 год назад

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,074 просмотров • 3 месяцев назад

11Labs 推出 Scribe v2 Realtime 实时AI语音模型 - 小于150毫秒延迟全球最高精度 - 支持 90多种语言 - 在实时性 + 多语言准确度上领先目前顶尖模型 - 自动识别说话的起止，精准分段，减少空白噪声 - 断线续写，即使连接中断，也能继续转录不中断 - 预测式转录，模型会预判接下来的词语与标点，实现流畅输出 - 复杂词汇识别，内置专业术语库，支持技术、医学、金融等专用领域

11Labs 推出 Scribe v2 Realtime 实时AI语音模型 - 小于150毫秒延迟全球最高精度 - 支持 90多种语言 - 在实时性 + 多语言准确度上领先目前顶尖模型 - 自动识别说话的起止，精准分段，减少空白噪声 - 断线续写，即使连接中断，也能继续转录不中断 - 预测式转录，模型会预判接下来的词语与标点，实现流畅输出 - 复杂词汇识别，内置专业术语库，支持技术、医学、金融等专用领域

小互

13,033 просмотров • 9 месяцев назад

兄弟们炸裂了这个语音专文本TTS模型应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。专为对话任务优化，能够支持多种说话人语音，中英文混合等。模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub：详细介绍：

兄弟们炸裂了这个语音专文本TTS模型应该是目前对中文支持最好的了 ChatTTS：专门为对话场景设计的文本到语音TTS模型该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。专为对话任务优化，能够支持多种说话人语音，中英文混合等。模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。 GitHub：详细介绍：

小互

296,733 просмотров • 2 лет назад

首个开源的会话音频生成基础模型：Hertz-dev，实时语音交互，8.5亿参数全双工，可以同时听和说超低延迟，可在120毫秒内回应，像和真人对话一样流畅，没有明显卡顿感是目前公开的同类系统中最快的 github： #Hertzdev #AI实时语音系统

首个开源的会话音频生成基础模型：Hertz-dev，实时语音交互，8.5亿参数全双工，可以同时听和说超低延迟，可在120毫秒内回应，像和真人对话一样流畅，没有明显卡顿感是目前公开的同类系统中最快的 github： #Hertzdev #AI实时语音系统

AIGCLINK

34,506 просмотров • 1 год назад

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

karminski-牙医

25,426 просмотров • 7 месяцев назад

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

Berryxia.AI

37,309 просмотров • 3 месяцев назад

有朋友私信问我：“我想把一段两小时的会议录音转成带时间戳的文字稿，顺便区分几个人说话，用哪个开源工具最快？” 我试了一圈，最后停在微软的VibeVoice-ASR上。它最狠的一点是：一次推理吃掉60分钟音频，不切片、不拼接，全程上下文连贯。我当时用了一段播客测试，三个人交叉聊天，模型输出的JSON里，每一句都带“speaker_id”和“start_time”，直接就能拿去生成字幕或会议纪要。而且它支持自定义热词。我把“Transformer”“Diffusion”“BitNet”这些词提前喂进去，识别基本没翻车。更让我意外的是，它还有一个0.5B的实时语音合成模型，流式输入文本、低延迟输出语音，适合做实时语音助手。如果你只有CPU、没有GPU，可以试试他们最新的BitNet版本，4.62GB压缩到1.58GB，3个CPU线程就能跑出实时效果。不过有个坑要提醒你：项目里TTS部分因为被滥用，微软已经主动下架了，现在只有ASR和实时TTS可用。使用前最好读一下安全说明，别踩红线。

有朋友私信问我：“我想把一段两小时的会议录音转成带时间戳的文字稿，顺便区分几个人说话，用哪个开源工具最快？” 我试了一圈，最后停在微软的VibeVoice-ASR上。它最狠的一点是：一次推理吃掉60分钟音频，不切片、不拼接，全程上下文连贯。我当时用了一段播客测试，三个人交叉聊天，模型输出的JSON里，每一句都带“speaker_id”和“start_time”，直接就能拿去生成字幕或会议纪要。而且它支持自定义热词。我把“Transformer”“Diffusion”“BitNet”这些词提前喂进去，识别基本没翻车。更让我意外的是，它还有一个0.5B的实时语音合成模型，流式输入文本、低延迟输出语音，适合做实时语音助手。如果你只有CPU、没有GPU，可以试试他们最新的BitNet版本，4.62GB压缩到1.58GB，3个CPU线程就能跑出实时效果。不过有个坑要提醒你：项目里TTS部分因为被滥用，微软已经主动下架了，现在只有ASR和实时TTS可用。使用前最好读一下安全说明，别踩红线。

Amto

20,404 просмотров • 1 месяц назад

阿里刚刚发布了：Qwen3.5-Omni，原生全模态，自然涌现出Audio-Visual Vibe Coding能力也就是说它能看着画面写代码，给它看一段界面需求视频，它能直接生成对应代码，不是专门训练来的，模型自己学会的好比说你看一眼就会了，AI也做到了 Qwen3.5-Omni能无缝理解文本、图片、音频/音视频输入，支持细粒度、带时间戳的音视频Caption生成支持256K上下文、113种语言识别，能处理10小时音频或1 小时视频原生支持WebSearch和复杂Function Call 支持语义打断、音色克隆及语音控制给了Plus、Flash、Light三个版本 #Qwen35Omni #LLM

阿里刚刚发布了：Qwen3.5-Omni，原生全模态，自然涌现出Audio-Visual Vibe Coding能力也就是说它能看着画面写代码，给它看一段界面需求视频，它能直接生成对应代码，不是专门训练来的，模型自己学会的好比说你看一眼就会了，AI也做到了 Qwen3.5-Omni能无缝理解文本、图片、音频/音视频输入，支持细粒度、带时间戳的音视频Caption生成支持256K上下文、113种语言识别，能处理10小时音频或1 小时视频原生支持WebSearch和复杂Function Call 支持语义打断、音色克隆及语音控制给了Plus、Flash、Light三个版本 #Qwen35Omni #LLM

AIGCLINK

50,637 просмотров • 5 месяцев назад

阿里今天还放出来一款实时多模态同传模型：Qwen3-LiveTranslate-Flash，具备视觉能力，能听能看，3秒延迟可实时翻译能识别18语言和粤语、北京话、四川话等6种方言，能说10种语言引入了视觉上下文增强技术，可以识别口型、动作、文字、实体，解决在嘈杂音频环境，或者是一词多译词场景下的翻译问题中英及多语言语音翻译准确度优于Gemini-2.5-Flash、GPT-4o-Audio-Preview、Voxtral Small-24B #AI同传 #Qwen3同传 #AI实时翻译

阿里今天还放出来一款实时多模态同传模型：Qwen3-LiveTranslate-Flash，具备视觉能力，能听能看，3秒延迟可实时翻译能识别18语言和粤语、北京话、四川话等6种方言，能说10种语言引入了视觉上下文增强技术，可以识别口型、动作、文字、实体，解决在嘈杂音频环境，或者是一词多译词场景下的翻译问题中英及多语言语音翻译准确度优于Gemini-2.5-Flash、GPT-4o-Audio-Preview、Voxtral Small-24B #AI同传 #Qwen3同传 #AI实时翻译

AIGCLINK

48,830 просмотров • 11 месяцев назад

一款长视频会议纪要、访谈节目精剪、课程速览的AI神器：whisperVideo 除了把语音转文字，它能自动判断说话人，把说话内容对应上画面里的人脸，生成带说话人ID的字幕与可视化面板就是说把“谁、在什么时间、说了什么”全自动对齐并可视化，对做访谈、电影/纪录片剪辑，或会议纪要回顾等比较实用对长视频友好，专门用于长视频的，支持小时级素材，自动分场景、分段落处理视频中同一个说话人可以正确识别，身份一致性保持的比较好文本转录用的WhisperX，说话人分离用Pyannote，用SAM3做视频中人脸检测与分割 TalkNet做主动说话人检测，然后视觉嵌入最后把转录的文本、说话人身份、时间戳以及视频画面信息全部整合起来，生成带有说话人ID的字幕和面板视图 #视频转录 #whisperVideo

一款长视频会议纪要、访谈节目精剪、课程速览的AI神器：whisperVideo 除了把语音转文字，它能自动判断说话人，把说话内容对应上画面里的人脸，生成带说话人ID的字幕与可视化面板就是说把“谁、在什么时间、说了什么”全自动对齐并可视化，对做访谈、电影/纪录片剪辑，或会议纪要回顾等比较实用对长视频友好，专门用于长视频的，支持小时级素材，自动分场景、分段落处理视频中同一个说话人可以正确识别，身份一致性保持的比较好文本转录用的WhisperX，说话人分离用Pyannote，用SAM3做视频中人脸检测与分割 TalkNet做主动说话人检测，然后视觉嵌入最后把转录的文本、说话人身份、时间戳以及视频画面信息全部整合起来，生成带有说话人ID的字幕和面板视图 #视频转录 #whisperVideo

AIGCLINK

26,042 просмотров • 7 месяцев назад

空间智能赛道刚刚又出了新模型：Moonlake，能生成3D世界，还能同时处理物理、声音、逻辑规则等多种模态与李飞飞的World Labs不同的是，World Labs偏场景生成，Moonlake更重交互，更像是在构建一个可交互、物理正确、逻辑完整、视听一体的“活世界” 给定一句“在街机室里做一个赛博朋克风格的保龄球游戏”需求它能自动拆解成生成3D模型、加物理、摆位置、写规则等10个阶段，自主完成从零到一的开发过程输出一个实时可玩的虚拟保龄球馆，能交互，拿球、投掷、有声音、有分数变化，所有东西都按物理规律运作的核心机制是所有模态绑定在同一个实体上，一次事件，比如球击中瓶子时，位置、物理状态、分数、音效等全模态同步更新对于做游戏的，原来要用一个团队干的活，现在可能一个人就能完成对于老师，几句话生成学生能实时交互的物理实验场景 #世界模型生成 #Moonlake #WorldLabs #空间智能

空间智能赛道刚刚又出了新模型：Moonlake，能生成3D世界，还能同时处理物理、声音、逻辑规则等多种模态与李飞飞的World Labs不同的是，World Labs偏场景生成，Moonlake更重交互，更像是在构建一个可交互、物理正确、逻辑完整、视听一体的“活世界” 给定一句“在街机室里做一个赛博朋克风格的保龄球游戏”需求它能自动拆解成生成3D模型、加物理、摆位置、写规则等10个阶段，自主完成从零到一的开发过程输出一个实时可玩的虚拟保龄球馆，能交互，拿球、投掷、有声音、有分数变化，所有东西都按物理规律运作的核心机制是所有模态绑定在同一个实体上，一次事件，比如球击中瓶子时，位置、物理状态、分数、音效等全模态同步更新对于做游戏的，原来要用一个团队干的活，现在可能一个人就能完成对于老师，几句话生成学生能实时交互的物理实验场景 #世界模型生成 #Moonlake #WorldLabs #空间智能

AIGCLINK

10,987 просмотров • 6 месяцев назад