Loading video...
Video Failed to Load
Jev-likeで拡散言語モデルで手話の指文字を一部実装してみました。選択肢が増えると結構精度大変ですが、アプリの方向性としては多少は実現できるくらいですかね。指の形をAIに説明して認識を調整するのが結構大変。
19,021 views • 13 days ago •via X (Twitter)
8 Comments

Yuichiro Minato13 days ago
これに、文脈から自動で文字修正すればいけるのかもしれない。

かい (AI・いじめ・恋ばな・言語♡相談専門家)13 days ago
それを公開希望いただけませんか⁉️VRChatでガチ手話の方と会話したいのです🥺

Yuichiro Minato13 days ago
本格的にしゃべるにはいろんな調整が必要なので、詳しい人がいれば。。。

打岩12 days ago
これ僕もやってみてたのですが、手話の人とオンラインで話したいならチャットすればいいし、手話の読み取りを必要とするシーンは殆ど無さそうってのと、「手話」という名前でありながら両手どころか顔の表情まで含めて手話だってのがあってめっちゃ難しい問題になった。それに聾者の方々としては当事者を除いて話を進めることに非常に敏感と聞いたので、まずは聾者に参加してもらわないとなぁと思っています。

fehde11 days ago
従来の認識方法や蒸留モデルなどと比較して、どの程度の精度なのか気になりますね~

Yuichiro Minato11 days ago
感覚低めです、かなり。

bokokama醤13 days ago
なんか2019年くらいにタイムスリップしてる気がする

Yuichiro Minato13 days ago
特に学習させてないので雑に使うの楽ですが、精度低めなのでまぁ。
