正在加载视频...
视频加载失败
大家默认 奥特曼的Whisper 是 语音识别(ASR) 天花板。 我用四川话测了一句:巴适。 Whisper 听成了八式,它从没学过四川话。 同一批音频,Hojo-ASR-Multi-V1:错误率0.0%。 接着,我给了它们一段成都街头的环境音,全程没有一个人说话。 · Whisper 吐出 100 个 嗨 · Hojo 吐出 5 个字符 两个都幻觉了,但一个是 100 字,一个是 5 字。嘈杂街头声音解码,是常用的场景。 我用两个模型做了详细评测。最有意思的是 Hojo 的底座 —— 语音编码器来自 Qwen3-Omni-30B,语言解码器是 Qwen3-4B。 🚀一个文本大模型,凭什么能做语音识别? 因为 ASR 从来就是两半:声学 + 语言。 「bā shì」这个音,在波形里根本分不出是「巴适」还是「八式」—— 声音里没有这个信息。能定夺的只有语言知识:哪个词真的存在、在这个语境里说得通。 Qwen3-4B 读过整个中文互联网,知道「巴适」是个四川话词。 🔥接法很巧:训练一个适配器,把音频编码成2560维向量,刚好Qwen3-4B刚好接受2560 维。 两个数字一对上,Qwen 就以为自己在读词,其实在听声音。 所以这不是从头训语音识别模型,而是后训练:拿... show more
53 条评论

「声学只负责把音提出来,语言负责选哪个词说得通」这个拆法我认同。但反过来也有风险:语言模型太强时,容易把含糊的音「脑补」成它熟悉的词,街头幻觉五个字可能就是这种残影。方言支持如果主要靠 LLM 先验而不是足量方言声学数据,遇到更土、更连读的成都话会不会又掉回去?

专业 👍

考虑一下国产,在方言方面已经很能打了

感谢分享,我会研究一下。

另一个类似架构的模型,在iPhone上已经可以跑了,还能识别说话人

牛逼!

我也要试试 whisper中文的确差点意思

whisper 要挂个 LLm 用,用后就不需要了

这个真挺牛逼的,正好需要

Whisper 点 CPP 正式下岗。只要你硬件能跑起来。

很有趣的思路 雖然比起一般whisper 參數量大了兩倍,但如果能達到高準度倒是不錯

是的,whisper 的生态太好了。 做到前沿就会有生态

福建上千种方言,以后急需这种小语种模型

网站有没有开源数据集 可以给这个官方发个 request 让他支持所有福建方言

奥特曼的太老了,中文 语音识别天花板毫无疑问是豆包 seed

豆姐的ASR 也是用大模型路线,不过它是闭源模型里的。

四川人说了句巴适,Whisper听完开始表演第八套广播体操!

广播体操第八式?

讲透了“语音识别本质是声学+语言”的底层逻辑👍

老师是专业的,很多线上聊天模型,比如豆包,都是直接接收语音的,并没有做一次文字识别。

还要跟着实践哥学习最新前沿模型知识

必须手工点赞👍

我可以申请我本地语种测试吗 多种方言 没问题的

哈哈 那要给项目提要求 你也可以自己练一个

等下来测试一下,好用就留下了

来测测 比较简单

Whisper is so 2022

主流语言用 whisper 确实已经没有明显优势了,但 whisper 生态好,支持的语言多,在很多小语种 asr 开源模型中, whisper 依旧是天花板级别的存在

ASR 赛道要卷起来了

挺好的,优惠了我们开发者

昨天给qwen 3.8 27B uncensored 配上了 qwen3-tts 感觉有点拉

你想干什么 😂

就是给自己私人模型小助理加个声音 语音效率毕竟是最高的😜

哥,你太会玩了,要不要再搞个 H3 破解版

哈哈 不用了 一个嘴严聪明会深度思考的小秘就行了 其他的 活人可以代劳

能识别一个巴适就上天了。干脆以后让学生写作文都用非常土的土掉渣的方言土语

我已经准备付费Typeless了

为啥呢 豆包和微信表示为啥呢

大概每个人说话的习惯效果不一样吧,尤其是中英夹杂的话?属于花钱买时间了

你要么让这玩意去识别一下毛在1949年政权建立的说的那些话,你看看它是把毛说的那是不是会识别成中华人民共和鬼

为什么没测试funasr和电信的XingChenAGI

这两个好用么? 可以安排起来

效果巴适的很

👍 确实还可以以前要用 LLM 消化一下 whisper,现在不用了

中国明明有那么多新的中文优化的开源ASR模型,非得要找Whisper这个4年前的海外模型去比,还说是天花板,是否有点自欺欺人。

有能识别重音和语气的吗

马上去试试

这 AI 咋跟个憨包一样。

最近ai短剧里方言特色的越来越多了

这个是我本地H3 出的,再用这个 hojo 去识别

语音识别不是豆包最强吗😂

一群神经病,非要把土话和普通话混杂,为何不把那yaodai也给造出个要逮的词,而不是用要得这个来代替?

大家默认OpenAI的Whisper中文是路边一条,谁默认他最强了
