正在加载视频...

视频加载失败

加载此视频时出现问题。这可能是由于临时网络问题，或视频可能不可用。

分享一个新的趋势随着Whisper变得更加精确，本地化成本降低，语音输入将成为主流。 🗣️ 相比键盘输入，语音输入更加自然，无需担心口语中的嗯、啊等词汇，因为LLM（大型语言模型）会进行相应的纠正。 📢 原本习惯的键盘输入逐渐成为了限制他们速度的瓶颈。 👨‍💻 现在连编程也能通过语音完成

Jeffery Kaneda　金田達也

22,466 subscribers

51,797 次观看 • 2 年前 •via X (Twitter)

教育科学技术

Anya Rossi• Live Now

Private livecam show

10 条评论

Jeffery Kaneda　金田達也的头像

Jeffery Kaneda　金田達也2 年前

1️⃣ 这个人通过语音输入编程 🔊 用 @cursor_ai 作IDE， @superwhisperapp 做转录工具，速度极快 🚀 按下cmd-k，说出需求，迅速完成任务 🧠 语音输入提升编码体验，打字显得缓慢无趣 🔗 [

Jeffery Kaneda　金田達也的头像

Jeffery Kaneda　金田達也2 年前

2️⃣ 这个人是语音输入的先驱 🗣️ 使用“Speakularity”，Whisper对接快捷键，快速粘贴转录 ✅ Whisper准确无误，与苹果TTS截然不同 💬 需适应“写作语气”，摒弃口头禅，提高写作速度 🔗 [

Jeffery Kaneda　金田達也的头像

Jeffery Kaneda　金田達也2 年前

3️⃣ 对话式交互的突破 🤖 与ChatGPT交流，接受非正式语气，嗯嗯声、停滞句 🧠 模型通常能准确理解含义 📝 显著不同于用语音生成书面输出的体验 🔗 [

Jeffery Kaneda　金田達也的头像

Jeffery Kaneda　金田達也2 年前

4️⃣ Whisper趋势：本地化与浏览器运行 💻 在浏览器构建语音助手应用，印象深刻 🧩 处理干扰和判断人类思考完成是挑战 🔗 [

Jeffery Kaneda　金田達也的头像

Jeffery Kaneda　金田達也2 年前

5️⃣ 口头键盘的构想 🗨️ 新界面，不仅转录，还转换原始输入 🚀 让意识流自由表达，转化为结构化输出 🔧 语音转录捕捉思绪，LLM界面转化，键盘完善 🔗 [

william ｜ hzgb 的头像

william ｜ hzgb2 年前

@LmaoGPT @SaveToNotion #thread @threadreaderapp unroll @readwise save thread @memdotai mem it @pdfmakerapp grab this @rattibha @TruthGPTBot

yy 的头像

yy2 年前

xpet ing ................

tuman 的头像

tuman2 年前

老罗的 TNT？🤣🤣

Roberts Paulina 的头像

Roberts Paulina2 年前

不太可能对于个人开发有一定可能但是公司工位那么近要吵死互相语音输入还会影响

東雲たく的头像

東雲たく2 年前

大半年前Github Copilot就支持了，只是不是给普通人用的

相关视频

给大家推荐一下，Cindy 里面我做的语音输入的功能。在输入完成以后，她可以接入大模型进行润色。对于经常输错的部分，能够自动加入词典，并且词典可以在多设备间端到端地同步。语音输入还可以绑定键盘快捷键，在其他的 App 里面使用快捷键也可以调用 Cindy 的语音输入，相当于是一个方便的语音输入法。欢迎大家来体验。

给大家推荐一下，Cindy 里面我做的语音输入的功能。在输入完成以后，她可以接入大模型进行润色。对于经常输错的部分，能够自动加入词典，并且词典可以在多设备间端到端地同步。语音输入还可以绑定键盘快捷键，在其他的 App 里面使用快捷键也可以调用 Cindy 的语音输入，相当于是一个方便的语音输入法。欢迎大家来体验。

Dash

33,638 次观看 • 9 天前

MaskGCT：一个新的零样本文本到语音（TTS）模型支持跨语言翻译配音、语音克隆、语言转换、情感控制等与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。同时模型大幅降低了推理时间，适合实时应用。

MaskGCT：一个新的零样本文本到语音（TTS）模型支持跨语言翻译配音、语音克隆、语言转换、情感控制等与现有的TTS系统相比，MaskGCT 在语音的自然度、相似度和可理解性方面表现更佳。支持对语音生成的多样性和情感控制以及对通过文本对音频内容进行实时可控编辑。同时模型大幅降低了推理时间，适合实时应用。

小互

49,431 次观看 • 1 年前

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

小互

37,051 次观看 • 1 年前

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github：论文： #LLM #实时语音对话LLM

AIGCLINK

52,304 次观看 • 1 年前

豆包语音输入法！YYDS！其他语音输入法可以退下了。前两天跟朋友聊起来，人类的信息输出方式里，语言是最快的，AI时代打字非常影响效率，脑机接口实现之前，语音输入是最好的过渡形式。此刻，豆包应该能暂时成为这个过渡阶段最好的选择了。

豆包语音输入法！YYDS！其他语音输入法可以退下了。前两天跟朋友聊起来，人类的信息输出方式里，语言是最快的，AI时代打字非常影响效率，脑机接口实现之前，语音输入是最好的过渡形式。此刻，豆包应该能暂时成为这个过渡阶段最好的选择了。

SimbaLee

123,189 次观看 • 4 个月前

浸入式学语言助手（Illa Helper）：让整个互联网成为你的语言学习课堂可在网页中智能替换部分词汇，让阅读瞬间变成词汇训练为学习者提供沉浸式、上下文驱动的语言输入帮助学习者在真实语境中自然积累新词 👉

浸入式学语言助手（Illa Helper）：让整个互联网成为你的语言学习课堂可在网页中智能替换部分词汇，让阅读瞬间变成词汇训练为学习者提供沉浸式、上下文驱动的语言输入帮助学习者在真实语境中自然积累新词 👉

ahhhhfs

14,220 次观看 • 1 年前

ElevenLabs 发布新一代语音设计工具 Voice Design v3 你只需输入一段描述性文字，就能生成相应的语音支持 70+语言可设计和控制语音各种个性它可以解析Prompt 中涉及的情绪、语气、年龄、背景、口音等信息，从而生成拟人化语音。支持对语音角色的个性和韵律（如语气、语速、语调变化、年龄和性别）拥有更细致控制支持 Eleven v3 和新音频标签提升口音识别处理更高保真音频输出

ElevenLabs 发布新一代语音设计工具 Voice Design v3 你只需输入一段描述性文字，就能生成相应的语音支持 70+语言可设计和控制语音各种个性它可以解析Prompt 中涉及的情绪、语气、年龄、背景、口音等信息，从而生成拟人化语音。支持对语音角色的个性和韵律（如语气、语速、语调变化、年龄和性别）拥有更细致控制支持 Eleven v3 和新音频标签提升口音识别处理更高保真音频输出

小互

13,380 次观看 • 1 年前

我去这个语音克隆模型有点牛P 哈哈哈使用了 250,000 小时的中英双语语音数据训练只需15秒的声音就能完美克隆声音，保持音色和情感 Llasa-3B 可以通过输入一个带有情感特征的语音提示（Prompt），在生成目标语音时保留提示语音中的情感特征。基于 LLaMA 语言模型（ 1B、3B 和 8B 参数规模），通过整合 XCodec2 的语音 token 提供语音生成功能。

我去这个语音克隆模型有点牛P 哈哈哈使用了 250,000 小时的中英双语语音数据训练只需15秒的声音就能完美克隆声音，保持音色和情感 Llasa-3B 可以通过输入一个带有情感特征的语音提示（Prompt），在生成目标语音时保留提示语音中的情感特征。基于 LLaMA 语言模型（ 1B、3B 和 8B 参数规模），通过整合 XCodec2 的语音 token 提供语音生成功能。

小互

96,700 次观看 • 1 年前

OpenAI公布其语音生成模型：Voice Engine 根据文本输入和一个15秒的音频样本，就能生成接近原始说话者声音的自然听起来的语音。 Voice Engine最初于2022年底开发，并已经提供给包括Heygen在内的少数公司进行测试性使用。主要功能 1、自然听起来的语音生成：利用单个15秒的音频样本，Voice Engine能够创造出既情感丰富又真实的语音，显著提升合成语音的自然度和真实感。 2、支持多种用途：从教育援助、内容翻译、提高偏远地区服务质量，到支持非语言人士和帮助患者恢复声音，Voice Engine的应用场景广泛，跨越多个行业。 3、语言和口音的保留：在内容翻译时，Voice Engine能够保留原始发言者的本地口音，使得翻译后的语音不仅流利还能保持原声音的特色。 4、多语种支持：能够生成多种语言的语音输出，适应全球化需求，特别是对于需要将内容本地化到不同语言市场的企业和内容创作者来说，这一特点尤为重要。详细：

OpenAI公布其语音生成模型：Voice Engine 根据文本输入和一个15秒的音频样本，就能生成接近原始说话者声音的自然听起来的语音。 Voice Engine最初于2022年底开发，并已经提供给包括Heygen在内的少数公司进行测试性使用。主要功能 1、自然听起来的语音生成：利用单个15秒的音频样本，Voice Engine能够创造出既情感丰富又真实的语音，显著提升合成语音的自然度和真实感。 2、支持多种用途：从教育援助、内容翻译、提高偏远地区服务质量，到支持非语言人士和帮助患者恢复声音，Voice Engine的应用场景广泛，跨越多个行业。 3、语言和口音的保留：在内容翻译时，Voice Engine能够保留原始发言者的本地口音，使得翻译后的语音不仅流利还能保持原声音的特色。 4、多语种支持：能够生成多种语言的语音输出，适应全球化需求，特别是对于需要将内容本地化到不同语言市场的企业和内容创作者来说，这一特点尤为重要。详细：

小互

38,133 次观看 • 2 年前

DeepMind 公布其正在开发一套创新的音频生成技术细节也就是NotebookLM背后使用的语音技术它能够使 AI 能够生成生成高质量、自然的单人或多人对话。其最新的语音生成模型能够在 3 秒内生成 2 分钟的对话，速度比实时生成快 40 倍。同时能够保持说话人之间的连贯切换，输出语音中还包括自然的停顿、口头语（如 “嗯”、“啊”）等细节，使得生成的对话更接近真实交流。详细：

DeepMind 公布其正在开发一套创新的音频生成技术细节也就是NotebookLM背后使用的语音技术它能够使 AI 能够生成生成高质量、自然的单人或多人对话。其最新的语音生成模型能够在 3 秒内生成 2 分钟的对话，速度比实时生成快 40 倍。同时能够保持说话人之间的连贯切换，输出语音中还包括自然的停顿、口头语（如 “嗯”、“啊”）等细节，使得生成的对话更接近真实交流。详细：

小互

13,458 次观看 • 1 年前

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github：论文： #TTS #SeedTTS #字节跳动

最近TTS太火了，字节跳动也推出了语音生成模型：Seed-TTS Seed-TTS能生成与人类语音几乎没有区别的语音支持多种语言包括英语、中文，能够进行同语言生成和跨语言生成。能处理各种文本，叙述性文本、情感表达、描述性文本等，能根据不同的情感和语境生成相应的语音 github：论文： #TTS #SeedTTS #字节跳动

AIGCLINK

13,338 次观看 • 2 年前

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。词嵌入(Word Embedding)的概念和作用词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。深度学习模型的基本结构和特点深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。生成模型预测下一个词的过程当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。模型训练中的"Temperature"超参数在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。词嵌入(Word Embedding)的概念和作用词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。深度学习模型的基本结构和特点深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。生成模型预测下一个词的过程当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。模型训练中的"Temperature"超参数在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

歸藏(guizang.ai)

51,997 次观看 • 2 年前

细节的 TTS 技术 Seed-TTS，制作出来的有声书可能要让喜马拉雅的很多主播失业了！支持多种语言。目前还没看到项目代码或者测试地址，只有论文：摘要我们介绍了Seed-TTS，这是一系列大规模自回归文本转语音（TTS）模型，能够生成几乎与人类语音无法区分的语音。Seed-TTS作为语音生成的基础模型，在语音上下文学习中表现出色，在说话者相似性和自然性方面的表现与真实人类语音在客观和主观评估中相匹配。通过微调，我们在这些指标上获得了更高的主观评分。Seed-TTS在各种语音属性（如情感）上提供了卓越的可控性，并且能够为自然环境中的说话者生成高度富有表现力和多样化的语音。此外，我们提出了一种用于语音因子化的自蒸馏方法，即通过让模型自行学习和改进的方式来提高性能，以及一种增强模型鲁棒性、说话者相似性和可控性的强化学习方法。我们还展示了Seed-TTS模型的非自回归（NAR）变体，名为Seed-TTSDiT，它采用完全基于扩散的架构。与以前的基于NAR的TTS系统不同，Seed-TTSDiT不依赖于预估的音素持续时间，而是通过端到端处理进行语音生成。我们证明了这种变体在客观和主观评估中达到了与基于语言模型的变体相当的性能，并展示了其在语音编辑中的有效性。

细节的 TTS 技术 Seed-TTS，制作出来的有声书可能要让喜马拉雅的很多主播失业了！支持多种语言。目前还没看到项目代码或者测试地址，只有论文：摘要我们介绍了Seed-TTS，这是一系列大规模自回归文本转语音（TTS）模型，能够生成几乎与人类语音无法区分的语音。Seed-TTS作为语音生成的基础模型，在语音上下文学习中表现出色，在说话者相似性和自然性方面的表现与真实人类语音在客观和主观评估中相匹配。通过微调，我们在这些指标上获得了更高的主观评分。Seed-TTS在各种语音属性（如情感）上提供了卓越的可控性，并且能够为自然环境中的说话者生成高度富有表现力和多样化的语音。此外，我们提出了一种用于语音因子化的自蒸馏方法，即通过让模型自行学习和改进的方式来提高性能，以及一种增强模型鲁棒性、说话者相似性和可控性的强化学习方法。我们还展示了Seed-TTS模型的非自回归（NAR）变体，名为Seed-TTSDiT，它采用完全基于扩散的架构。与以前的基于NAR的TTS系统不同，Seed-TTSDiT不依赖于预估的音素持续时间，而是通过端到端处理进行语音生成。我们证明了这种变体在客观和主观评估中达到了与基于语言模型的变体相当的性能，并展示了其在语音编辑中的有效性。

宝玉

67,886 次观看 • 2 年前

Spark-TTS：基于Qwen2.5模型的高效文本转语音（TTS）系统 ✅ 在多个基准测试上超越现有 TTS 方法，并结合 Qwen2.5 LLM 进行端到端生成。 ✅ 支持细粒度语音控制（性别、音调、语速等），远超传统 TTS。 ✅ 零样本语音克隆，能生成高质量个性化声音。 ✅ 采用 BiCodec 编码，简化架构，提升推理效率。与 Qwen2.5 语言模型集成，使 TTS 任务可以直接由 LLM 处理，无需额外的声学模型。允许用户通过文本描述语音风格，甚至能生成全新的虚拟声音，突破传统 TTS 只能基于参考音频合成的限制。

Spark-TTS：基于Qwen2.5模型的高效文本转语音（TTS）系统 ✅ 在多个基准测试上超越现有 TTS 方法，并结合 Qwen2.5 LLM 进行端到端生成。 ✅ 支持细粒度语音控制（性别、音调、语速等），远超传统 TTS。 ✅ 零样本语音克隆，能生成高质量个性化声音。 ✅ 采用 BiCodec 编码，简化架构，提升推理效率。与 Qwen2.5 语言模型集成，使 TTS 任务可以直接由 LLM 处理，无需额外的声学模型。允许用户通过文本描述语音风格，甚至能生成全新的虚拟声音，突破传统 TTS 只能基于参考音频合成的限制。

小互

33,382 次观看 • 1 年前

Meta 上周开源了一个端到端的语音模型 Spirit LM。这个太重要了，居然没注意到。这个模型有两个版本：基础版：适合进行一般的语音识别和生成，不包含情感变化。高表现力版：可以捕捉语音中的情感特征，能够生成包含快乐、愤怒或兴奋等情感的语音。主要特点有： Spirit LM 直接使用语音标记、音高标记和声调标记来保留语音中的表现力要素，不需要先转文本描述。能够在不需要大量数据的情况下，完成自动语音识别、文本转语音和语音分类等复杂任务。

Meta 上周开源了一个端到端的语音模型 Spirit LM。这个太重要了，居然没注意到。这个模型有两个版本：基础版：适合进行一般的语音识别和生成，不包含情感变化。高表现力版：可以捕捉语音中的情感特征，能够生成包含快乐、愤怒或兴奋等情感的语音。主要特点有： Spirit LM 直接使用语音标记、音高标记和声调标记来保留语音中的表现力要素，不需要先转文本描述。能够在不需要大量数据的情况下，完成自动语音识别、文本转语音和语音分类等复杂任务。

歸藏(guizang.ai)

28,393 次观看 • 1 年前

前两天说的这个离线输入法做完了。按住空格左边的英数键说中文，会转换中文。按住空格右边的 kana键说中文，会自动变成日语。都是在本地使用离线模型完成。

前两天说的这个离线输入法做完了。按住空格左边的英数键说中文，会转换中文。按住空格右边的 kana键说中文，会自动变成日语。都是在本地使用离线模型完成。

徹言

19,701 次观看 • 2 个月前

阶跃星辰开源了一个130B 语音-文本的多模态模型：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。该模型通过多模态训练，使得语音理解与生成可以无缝对接。主要能力：语音克隆支持多种语言对话（中文英日）情绪控制与语调控制支持方言可控制语速及韵律风格支持RAP和哼唱等集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

阶跃星辰开源了一个130B 语音-文本的多模态模型：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。该模型通过多模态训练，使得语音理解与生成可以无缝对接。主要能力：语音克隆支持多种语言对话（中文英日）情绪控制与语调控制支持方言可控制语速及韵律风格支持RAP和哼唱等集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,755 次观看 • 1 年前

👼 神级Prompt多到用不完，我用Claude将它们重构了一遍 Anthropic Anthropic 将自家的提示语生成升级成了提示语优化之后，并把整个过程拆成了五步： 1️⃣ 前三步是了解用户想要什么、生成执行的流程图、从样本里学习生成规则、这时候会生成第一版提示语。我都没有输入样本，Claude 就会主动去分析预期的样本会长什么样。 2️⃣ 后面两步就更有意思了，值得单独讲讲： - 补充执行步骤的细节：这次我优化的是长文摘要的提示语，最终生成的执行步骤从阅读文本、确定信息点、列出要素、确定目标受众、分析原文语气和风格，给出合适的hook以及原因，还限制了句子数量。说实话这比我自己写推文的思路都详细。 - 动态调整输入文本、样本、输出模块在整个提示语的顺序：打个比方，Claude 会主动推测用于总结的文章内容可能会比较长，这一part就会被移动到更前面。我把优化的过程都录制下来了👇：

👼 神级Prompt多到用不完，我用Claude将它们重构了一遍 Anthropic Anthropic 将自家的提示语生成升级成了提示语优化之后，并把整个过程拆成了五步： 1️⃣ 前三步是了解用户想要什么、生成执行的流程图、从样本里学习生成规则、这时候会生成第一版提示语。我都没有输入样本，Claude 就会主动去分析预期的样本会长什么样。 2️⃣ 后面两步就更有意思了，值得单独讲讲： - 补充执行步骤的细节：这次我优化的是长文摘要的提示语，最终生成的执行步骤从阅读文本、确定信息点、列出要素、确定目标受众、分析原文语气和风格，给出合适的hook以及原因，还限制了句子数量。说实话这比我自己写推文的思路都详细。 - 动态调整输入文本、样本、输出模块在整个提示语的顺序：打个比方，Claude 会主动推测用于总结的文章内容可能会比较长，这一part就会被移动到更前面。我把优化的过程都录制下来了👇：

卡尔的AI沃茨

49,381 次观看 • 1 年前