Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

Sonnet 3.5太强了,谁用谁知道。 我用它写了一个英语口语分析的网页Demo,除了第一次是给它发需求,后面只需要贴报错信息,几次就改好了,全程不到10分钟!实现的效果见下方视频。 另外,我想把这个Demo的形式做成APP,支持口语分析和改进、口语对话(改进建议用文字形式展示)、基于题库做RAG的专项练习,寻求队友。

21,485 Aufrufe • vor 2 Jahren •via X (Twitter)

4 Kommentare

Profilbild von LEO LI
LEO LIvor 2 Jahren

好棒的种子,你想用它来做个什么?

Profilbild von Gorden Sun
Gorden Sunvor 2 Jahren

英语口语练习APP,包括口语发音纠正、口语对话(推进对话为主,会把用户的问题用文字形式反馈)、基于专用题库的练习带RAG

Profilbild von OSDev
OSDevvor 2 Jahren

rst @readwise save thread

Profilbild von Meathill
Meathillvor 2 Jahren

你是怎么解析的?Speech to text?那无法纠正发音呀

Ähnliche Videos

女朋友一生气就切方言,男朋友一句都没听懂,字幕全听懂了。 四川话、粤语、英语、法语,11 句台词,AI 字幕一个字没改,11 句全对。 短片是我做的,字幕交给一个开源语音模型,它输出什么我就往视频里贴什么。右上角挂着"未人工修改",连男生结巴的那句"你你说啥"都原样留着。 同一段音频我喂给了 Whisper large-v3 做对照,差距比我预想的大: 粤语那句"你话过请我食饭㗎,唔好赖账",Whisper 写成"你曾說過請我吃飯的,不要賴帳",翻成书面中文了,粤语原文一个字不剩;这个模型写的是"你话过请我食饭噶唔好赖帐",唔、噶、话过全在,广东人一看就是原话。 四川话的"莫"和"要得",Whisper 写成"别"和"要的";它原样保留。 英语那句 "Seriously? You forgot again?",Whisper 整句漏掉,它一字不差。 这个模型叫 Hojo-ASR-Multi-V1。它改掉的规则只有一条:不翻译你说的话,你说什么字,它就写什么字。 视频之外我还单独跑了两轮数据。上一期 90 条欧洲五语种真人音频,干净音频它比 Whisper 略输一点,加噪和 1.4 倍速后反超,90 条里零语言误判、零幻觉,Whisper 则把一句意大利语认成了瑞典语。这期 30 条中文系加英语:普通话、英语双方全对;粤语按字算,它错 7%,Whisper 错 50%,错的全是"翻译"造成的;四川话它错 3%,Whisper 错 11%。 更有意思的是,模型页面到今天还写着"中文、英文待支持"。Credits 里鸣谢了 WenetSpeech-Chuan 和 WenetSpeech-Yue 两个川渝、粤语数据集,能力其实早就训进去了,只是文档没跟上。 想自己上手:pip install hojo-asr,权重 12GB 从 Hugging Face 拉,Mac 上 CPU 跑 float32 就行,峰值内存 20GB。前面接一个 VAD 按停顿切句再送进去,这是这类大模型底座语音模型的标准用法,逐句识别时语言切换更稳。输出是全小写无标点,做字幕直接用,要标点的场景自己补一步。 不适合谁:16GB 内存的机器别试;中文长音频我还没测过,这次只测了短句和这条短片。 Apache 2.0,商用也行。他们的官方账号是 HojoAI,roadmap 上写着推理引擎和小型化,什么时候能塞进耳机我会一直盯着,想跟进的可以关注一下。

雨哥向前冲

393,976 Aufrufe • vor 2 Tagen

这项目我可太爱了!! 一个哥们把1324个健身动作全整理完了,英文、西班牙语、意大利语、土耳其语、俄语、中文,六种语言的动作讲解全翻好了。 本来这事你至少得雇两个人,一个整理数据,一个翻译。现在一个开源仓库,建表SQL、API代码、连LLM提示词都给你写好了,复制粘贴就能用了。 我最近减肥中,打算自己搞个小程序,监督训练,就看到了这个宝藏项目。 其实,做健身产品最头疼的从来不是UI界面。是把1324个动作挨个录完,把英文讲解一字一句翻成中文,再琢磨数据存哪、怎么让App读到这些数据。这堆东西,一个人干至少两周,外包出去少说两万。 这个仓库把三件事全替你干了。打开这个仓库你能拿到什么: 1324个动作的数据库,按部位、器械、目标肌肉全部分好了,拿来就能用 六种语言的讲解翻译全齐,不用自己雇人译 选个数据库类型,建表代码自动生成,不用从零建库 接口直接给你写好,七八种语言都能跑,改个地址就行 最狠的,连让AI帮你生成整个后端的提示词都写好了 数据录好了,六种语言翻好了,数据库怎么建也用不着你想了。打开setup.html,选一下你用的数据库类型,四五个主流的一列都支持,建表代码直接生成。 你连接口都不用自己看代码写了,选完框架和数据库,它给你生成一段提示词,直接甩给Claude或者GPT,一条消息整个后端就出来了。 老王自己跑了一趟,先做了个网页版吧,半小时全通了,六种语言的接口一个没落。 你也可以尝试一下,做一个自己的健身管家。

产品经理老王霸

34,487 Aufrufe • vor 2 Monaten