Loading video...
Video Failed to Load
🗣️ Speech-to-Text with Lip Reading 💬 注目している人の声だけを聞き取る、マルチモーダル音声認識モデル「AVista」をリリースしました! ヒューマノイドが生活の場で活躍するには、少し離れた場所からの呼びかけも正確に聞き取る必要があります。従来の音声認識は、同時発話や周囲の雑音が増えると精度が落ちやすい傾向がありました。 AVistaは音声に唇の動き(映像)を組み合わせることで、このような混み合った環境でも、注目している人の声を選択的に文字起こしできます。 AVista: Audio-Visual Transcription and Alignment 👉
26,697 views • 10 months ago •via X (Twitter)
7 Comments

Enactic10 months ago
AVistaにはAVHuBERTという手法を採用しました。この手法は、音声または動画のマスクされた領域のユニットを予測するSSLフレームワークです。 今回のリリースでは、日本語に特化した複数の事前学習済みモデルおよびAVSRモデルを同時に公開しています。Transformersライブラリを使用し、すぐにモデルの推論を試すことができます!

Himanshu Kumar10 months ago
@enactic_ai, AVista's multimodal approach to speech recognition is quite interesting, especially for noisy environments.

ぽいロード@音技術者10 months ago
分離して全員分聴くの欲しいーー

Getu Fellek10 months ago
@ReazonHILab Congratulations team Reazon HI team. This is huge step forward in Japanese ASR. Good job!

CDCDCDCDC10 months ago
nice- for robots or for the fbi

Robert McGee10 months ago
Cool.

Mentis 🇦🇺10 months ago
Quite the visual. A bit too metaphysical for my usual feed though.
