Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

🗣️ Speech-to-Text with Lip Reading 💬 注目している人の声だけを聞き取る、マルチモーダル音声認識モデル「AVista」をリリースしました! ヒューマノイドが生活の場で活躍するには、少し離れた場所からの呼びかけも正確に聞き取る必要があります。従来の音声認識は、同時発話や周囲の雑音が増えると精度が落ちやすい傾向がありました。 AVistaは音声に唇の動き(映像)を組み合わせることで、このような混み合った環境でも、注目している人の声を選択的に文字起こしできます。 AVista: Audio-Visual Transcription and Alignment 👉

26,697 görüntüleme • 10 ay önce •via X (Twitter)

7 Yorum

Enactic profil fotoğrafı
Enactic10 ay önce

AVistaにはAVHuBERTという手法を採用しました。この手法は、音声または動画のマスクされた領域のユニットを予測するSSLフレームワークです。 今回のリリースでは、日本語に特化した複数の事前学習済みモデルおよびAVSRモデルを同時に公開しています。Transformersライブラリを使用し、すぐにモデルの推論を試すことができます!

Himanshu Kumar profil fotoğrafı
Himanshu Kumar10 ay önce

@enactic_ai, AVista's multimodal approach to speech recognition is quite interesting, especially for noisy environments.

ぽいロード@音技術者 profil fotoğrafı
ぽいロード@音技術者10 ay önce

分離して全員分聴くの欲しいーー

Getu Fellek profil fotoğrafı
Getu Fellek10 ay önce

@ReazonHILab Congratulations team Reazon HI team. This is huge step forward in Japanese ASR. Good job!

CDCDCDCDC profil fotoğrafı
CDCDCDCDC10 ay önce

nice- for robots or for the fbi

Robert McGee profil fotoğrafı
Robert McGee10 ay önce

Cool.

Mentis 🇦🇺 profil fotoğrafı
Mentis 🇦🇺10 ay önce

Quite the visual. A bit too metaphysical for my usual feed though.

Benzer Videolar

同じ映像なのに、再生するたび“聞こえる声”が変わった。 今回の話は、ヤバい帝国が大阪にある「人形酒場 絶望の壁」を取材したときに起きた、奇妙な音声現象です。 「絶望の壁」は、店内に不気味な人形や、いわくのある品々が大量に並ぶ独特な店です。 撮影が行われたのは昼間の準備中。営業中のような客の話し声や物音はなく、外から鳥や猫の声が頻繁に入ってくるような環境でもありませんでした。 取材そのものは、特に大きな異変もなく終了します。 ところが後日、その映像をイベント会場で再生したとき、映像の中から奇妙な音が聞こえてきました。 最初に聞こえたのは、鳥の鳴き声のような音。 次に再生したときには、猫が鳴いているような声。 さらに別の場面では、人間が笑っているようにも聞こえる声まで混ざっていたといいます。 これだけなら、撮影時に入り込んだ環境音や、機材が拾った雑音とも考えられます。 しかし、本当に気味が悪いのはここからです。 同じ映像ファイルを、同じ会場で再生しているはずなのに、その音が毎回同じようには聞こえなかったのです。 一度目には聞こえた鳥の声が、次に再生すると消えている。 猫の声が入ったと思った場所をもう一度確認しても、今度は何も聞こえない。 会場にいた複数の人が確かに聞いているのに、元の撮影データを確認すると、それらしい音が見つからない。 普通、映像データに記録された音なら、何度再生しても同じ場所で、同じ音が流れるはずです。 ところが今回は、まるで映像に音が保存されていたのではなく、再生されたその場で“何か”が声を加えていたように見えます。 さらに猫の声には、別の不気味なつながりがありました。 以前、ヤバい帝国がオカルトスイーパーズとトンネルロケを行った際にも、猫のような声が録音されていたといいます。 しかも、その音は近くにいた人のマイクには入らず、福田さんと角さん側のマイクにだけ残っていました。 同じ場所にいたのなら、環境音は複数のマイクに入っても不思議ではありません。それなのに、なぜ特定の二人の側だけで聞こえたのでしょうか。 角さんには、かつて飼っていた猫が家からいなくなり、そのまま戻ってこなかったという経験もあります。 そのため一瞬、「あの猫が何かを伝えようとしているのではないか」という考えも浮かびました。 しかし、声を聞き比べると、どうも同じ猫とは思えなかった。 では、あの鳴き声はいったい誰の猫だったのか。 むしろ正体の分からない“猫のような何か”が、取材先から取材先へついて来ているようにも感じられます。 鳥の声にも、似たような偶然がありました。 福田さんは最近、大阪で見つけた「異様なほど鳥が集まる場所」について話していました。 すると、その後に再生された「絶望の壁」の映像から、鳥に似た声が聞こえてきたのです。 猫の話をすれば、猫の声。 鳥の話をすれば、鳥の声。 まるで、人間たちの会話をどこかで聞いていたものが、知っている音を使って反応しているようです。 もちろん、音響設備の不具合、別の機器からの混線、会場内の環境音、あるいは人間の脳が曖昧な雑音を声として捉える現象など、現実的な可能性は考えられます。 しかし、それならなぜ、話題に出たものと似た音が続けて現れたのでしょうか。 そして、なぜ同じファイルなのに、再生するたび聞こえ方が変わったのでしょう。 この体験の怖さは、幽霊の姿が映り込んだことではありません。 姿は何も見えない。 映像の中にも、はっきりした異変はない。 ただ、存在しないはずの声だけが、必要な瞬間に現れては消えていく。 「絶望の壁」に並んでいた人形や呪物が、取材中の会話を静かに聞いていたのか。 それとも撮影をきっかけに、何かが映像ではなく、福田さんたちの側について来てしまったのか。 もし次に再生したとき、その声が鳥でも猫でもなく、はっきりと誰かの名前を呼んだとしたら――あなたは、それでもただのノイズだと思えるでしょうか?

角由紀子のヤバイ帝国

121,869 görüntüleme • 2 ay önce

✨AI音声で一貫した声を作り会話させるチャレンジ 前に音声を使ってLLMの文章を読ませることには成功していたけど、今回はオリジナルの声を作成してみました。 やったこと: ①まずQwen3-TTSで声を1個作る ②その声で171個量産(台詞バリエーション) ③Style-Bert-VITS2で学習 → 50分でカスタム音声モデル完成 ④UIに接続 → リアルタイムで喋る やばい!自分で作った声だと楽しい😊 苦労したところ: ・最初はブラウザ内TTS(Chatterbox)を試した → 1文30秒&英語のみでまだ難しいしそもそもこの用途が厳しいかも💦 ・SBV2に切り替えたら環境構築に手間取ったけどうまくいった ・ただライセンスは要注意。やる場合は先にライセンス確認を。用途によっては制限があるものもある📝 まだまだ色々あるけど、今後のことを考えるとNVIDIAからも良い音声AIが出てるし、対応できるようにしておきたい。 今回は前回と同じくモデルはGPT-OSS 20Bだけど、Ollamaから読んでるので早い。 WebGPUでこれぐらい出たら嬉しいけどなー🥰 とはいえローカルでここまでできるようになったのは嬉しい。データは一切外に出ないしね。 声の元はAI生成だから、「存在しない人の声」をAIが学習して、AIキャラが喋る。 #AI #TTS

LUTA@AI

57,505 görüntüleme • 9 ay önce

最近、YouTubeのコメント欄に「某声優さんにそっくり」「AIだろ」「訴えられろ」みたいなコメントが急増しています。 親父譲りの声でお話しているだけなのですが…せっかくなので、声の類似性について音声学的な話を少し。 人間の声は、声帯で作られるピッチと、声道(喉・口腔・鼻腔)の形状で決まる共鳴特性によって成り立っています。 声道の長さ・形状は、身長や骨格と強く関係しており、個人差も大きい。 ですが80億人もいるので、色々な条件の組み合わせの中で「似た声」が出てくるのは、生物学的に自然な現象です。 顔の「そっくりさん」がいるのと同じ理屈です。 むしろ、顔は似せるために極めて多くの条件が同時に一致する必要がある一方で、声は連続的な変数が多く、完全に一致しなくても「似た音色」として聞こえやすいのです。 つまり、「声の出力(聞こえ方)」が似る確率は、「顔が似る」確率より高い傾向があるということです。 実際、法廷音声鑑定の分野では、声は指紋ほど完全にユニークではなく、似た声の誤認リスクは常に議論されています。 特に双子研究では声の類似性が非常に高いケースが多く報告されています。 つまり「似てる声」は普通に「あるある」なのです。 僕の場合は、完全に親父と瓜二つの声であって、誰かの声を学習させたAIでも声真似でもありません。 (ちなみに副鼻腔炎になりやすい鼻腔なので、似てる人は副鼻腔炎持ち率が高いかも…?) ということで、これを読んだ人は「似てる声」は「顔が似てる」と同様に、ただのあるあるなんだということを、新しい知見として認識してもらえると良いなと思います。 そして、誤解している人を見かけたら「違いますよ」と指摘していただけますと幸いです。 ※ただし、これは自然に生まれた声の話です。 特定の声優の声をAIに無断で学習させて、収益化するのは全く別問題です。 おそらく最新の分析技術であれば、生声か学習かくらい判別できそうですが、どうなんでしょう??🧐

神のみぞ知る

19,510 görüntüleme • 5 ay önce

先日、SUNOで生成されたものをmp3でダウンロードするか wavでダウンロードするか、で音質が違うという話題を見かけました。 SUNOもACE Studioも(というかAI生成全部かもしれない) mp3で生成されます。 SUNOの場合、生成された状態はmp3でもwavでダウンロードを掛けると何かしらのフィルターが掛かって書き出されるのか それともコンバートの精度なのか、音は変わるっぽい。 その話題で、初心者の方々に誤った勘違いが起こっているのをちょこちょこ見かけました。 ここからはSUNOやAI生成の話ではないです。 WAVやAIFFからmp3やAACに変換された音声は 圧縮するために情報量が削られます。 この動画を見ていただければ、元は同じファイルでも mp3の方は上が無くなっている事が分かると思います。 で、この状態のmp3やAACを、wavやAIFFに変換しても 容量が増えるだけで失った音質は戻ってきません。 なので「wavの方が音が良い」は、この状態になってしまったファイルには当てはまりません。 mp3と全く同じ音のまま容量が増えるだけです。 ちなみに、Logic Proはmp3やAACを取り込むと 自動的に設定しているwavかAIFFに変換されます。 ※DAWによっては、そのままmp3を扱うものと、wavに変換されるものがあります。 そのまま再生するとmp3と全く同じ音になります。 では、なぜDAWに入れた際にwavに変換されるのか? フェーダー操作やPluginを掛けていった際に、mp3とwavで結果が変わる点と mp3やAACを再生するために都度デコードしながら再生するので、無駄な負荷が掛かるためです。 とはいえ、現代のパソコンでこの程度の負荷は誤差の範囲ですが デコードしながらプラグインも掛ける行為が安定しているとはいえない、とされているからの様です。 ここでSUNOの話に戻します。 なので、SUNOで生成されたファイルをmp3でダウンロードした後に それを何かしらのソフトでwavに変換しただけの状態では 無駄に容量が増えただけで音質は変わっていない、という事です。 (先に書いたように、SUNOからのダウンロードにおいてはmp3とwavは音が違うようです。) その後、何かしらの変化を行った場合にwavが活きてくる。 何も変化を起こさない2mixのままならmp3のままでいい、という事になります。 ※一部、特殊な音声圧縮フォーマット「FLAC」は 元の音質に戻ります。

くうP

84,546 görüntüleme • 6 ay önce

リップロールに代わるエクササイズとして、「th唱」を紹介しておきたい。 リップロールは、科学的にも裏付けのある優れたウォームアップだ。 ただし、人によってはこれが難しい。 唇を振るわせること自体に意識が向きすぎて、呼気の調整にならない場合もある。 その状態で続けても、時間のロスになりやすい。 そこで代替として使えるのが「th唱」だ。 やり方は単純で、英語の th の発音のように、舌先を軽く歯で挟み、そのまま th〜 と低めの声で伸ばす。 この発声では、呼気が一定でないと摩擦音が維持できないため、自然と呼気圧が整う。 同時に声帯振動も穏やかに始まるので、ウォームアップとして使いやすい。 さらに、この発声は喉頭周囲の過剰な緊張が出にくい。 呼気を保ったまま発声するため、呼吸路に無理な閉鎖が起きにくく、結果として呼吸の通りも安定しやすい。 技術的にも難しくない。 舌先を上の歯と下の歯の間に軽く出して、呼気を一定に保ちながら声を乗せるだけだ。 呼気圧を少し変えるだけで、発声の条件も簡単に調整できる。 リップロールがうまく出来ない人は、無理にそれにこだわる必要はない。 呼気圧を整え、穏やかに声帯振動を始めることが出来れば、目的は達成できる。 「th唱」は、そのための実用的な方法の一つだ。 やり方は動画で見た方が分かりやすいと思う。 リップロールが苦手な人は、一度試してみてほしい。

Lord Luther-Hiroshi Ichimura

40,869 görüntüleme • 8 ay önce

【絶体絶命の楽器編成】 たまに、ドラム・ピアノ・フロントという、いわゆる“ベースレス”の編成でライブをやらされることがあります。 ドラムがいるにもかかわらずベースがいない。この編成はピアニストにとって最も厄介な状況の一つかもしれません。 多くのアマチュアのピアニストは、ベーシストがいないと分かった瞬間、左手でウォーキングをしてしまったりします。 しかし、音楽は必ずしも理屈で解決すべきものではありません。 やることは、実は極めてシンプルです。 三人全員が、抜群にスイングし、良い音で演奏すること。 それだけです。それだけで音楽は成立します。 もう一度言います。 良い音で、三人が同時に演奏する。ただそれだけ。 この動画を観てください。 無理に相手に合わせようとしていますか? 過剰に「化学反応」を起こそうとしているでしょうか? ただ相手の音を聴きながら、良い音で演奏しているだけです。 理論的にも、特別に難しいことは何一つやっていません。 ただし、ここに至るまでには時間がかかります。良い音でスイングして演奏できるようになれるように、一生かけて勉強します。どんなに才能がある人でも最低20年はかかるでしょう。 結局のところ、自分の演奏に一切の嘘がなくなるレベルまで到達しなければ、こうした「シンプルなこと」はできないのです。これはその事実を如実に示している一例です【完】

天才ピアニストゆうこりん❤️ 4/22 中目黒 楽屋 🎹 Yuking of Swing🔥

33,834 görüntüleme • 11 ay önce

中司大臣が、週刊現代で報じられた2019年の音声データが自身の声だったと認める。裏金疑惑については否定したが、音声データについて報じた河野氏は「4時間のデータを全て公開することも辞さない」として徹底追及を表明。 【証拠音声】高市政権の維新・新大臣に「収賄疑惑」!生々しすぎる「密談録音」を公開する(2026/10/16) ---文字起こし--- 2026/10/19 参議院予算委員会 山「中司大臣にもう1つ伺います。過去の収賄・裏金疑惑についてご自身は事実を否定されていますが、先週、週刊現代が2019年の音声データを公表しています。お聞きになったでしょうか?それはご自身の声だったでしょうか?」 中「週末にインターネットで公開されました音声を確認いたしました。また、インターネットで公開された文字起こしデータとされるものも確認いたしました。 インターネットで公開されました音声は、実際よりもですね、早く聞こえましたし、被せ音も施されていて加工されているようでありまして、断片的で内容も判然としない箇所もありますが、おそらくは私の声のように思われます。 インターネットで公開されている文字起こしデータとされるものも確認しましたが、実際の音声と異なっている箇所があったり、独自の視点で補足しているところが記載されているなど、正確ではないものだと受け止めております」 山「ご自身の音声だということを概ねお認めだということでした。そうしますと当時、市議・府議と共にゼネコンからの賄賂を受け取った、それを折半していた、この事実もその通りだということでしょうか?」 中「この面会があったとされるのは2019年11月とされていますが、7年前のことでありまして内容を含め正確に覚えているわけではありません。私は、音声を聞いていただいたら分かると思いますが、私はおそらくは事件の後、再出発をされようとする相手の気持ちを受け止めるため、その主張や思いに耳を傾けていたのだと思います。 そして、相手が録音していたことも私は知りません。いずれにしても私は、収賄罪に問われるようなことを認める発言も行っておりませんし、そうしたことはありません。 録音の内容については、20年前のことでありまして、金銭の授受も含めて20年前の当時、幅広く徹底した捜査が行われました。その上で収賄罪は起訴の対象にはなっておりません。 捜査と裁判において必要な検証と手続きが行われて判決が確定しておりまして、司法判断として私が収賄罪に問われるような事実は認定されておりませんので、よろしくお願いします」 山「私、司法判断がすでに確定していることは承知をしております。同時に政治的な責任については別途問われることがあり、大臣として果たしてふさわしいのかということが問題になります。 今、判然としていないところもあったというお答えでしたので、改めてここで公表されている音声データや文書について確認の上で、委員会の理事会への報告を求めます」 有「ただいまの件については、後刻理事会で協議をいたします」

maku

19,708 görüntüleme • 28 gün önce