Jevを使って、台本のセリフから、話す時の表情と、相手の話を聞く時の表情を、リアルタイムに判別処理して表情を変えてくれる、恋愛系のノベルゲームとかに使えそうなシステムを作ってみた。 シナリオを変えても即時、細かい表情変化つきで、聴いたりしゃべったりします。何か台本ください。

完全に、Jev開発ネタを投下するの、20時間くらい遅かった気がする。早く動き始めないとダメだな……。

ちなみに、このキャラ、ハルシマ・ネネコは、元々はこんな感じのキャラなんですが、OpenClawの秘書AIエージェントのアイコン用に、リデザインしたバージョンです。

句読点ごとに表情判定して、変化させない時は、その代わりにまばたきをさせる、というシンプルなアイデアを思いついて実装したら、割と自然になった。 たぶん、車輪の再発明をしてる自覚はある。

なるほど、凄いです。 Jevにあわせて判定させる文字を 刻んでる感じなのですね。 わたしは、ある程度触って 応答の癖見つけて だめじゃんこれ、と判定してましたですね。 そして、画像認識のためのAI向けメガネも Pythonとかいうクソ言語の破壊的な後方互換考えてないエコシステムで、処理が変わって重みが役に立たなくなってた可能性も考えて、車輪の再発明の最中です。 画像を解析のために拡大したりする処理系が変わっていたら、それをAI認識するためのモデル比重と変わってしまって、不具合あるよね！！なのです。

反応が良かったら、一般公開したり、もっとクオリティ上げようかと。 表情パターンもまだまだ磨けるし、バグも潰しきってないし。あと、文章の母音に合わせた口パクを表情に掛け合わせるのも良さそう。 ちなみに、まばたきは口開けと口閉じの2パターンだけ作って、直前の表情に近いのを選ばせてる。

アプリ、表情パターンは、全部OpenClaw（GPT-5.6 Sol）で作って、ディレクションしました。 シナリオはClaude Fable 5.1に書かせてみましたが、ディレクションしてないので適当です。

ネネコかわいい

かわいいよね！！ このバージョンは、かなり気に入ってる。OpenClawは、このネネコが秘書になって、毎日色々やってくれてる。

その設定いいな！今、秘書はGrokbotにしてしまったんだけど、ロボみがつよいの。

Grokbotも便利だよねー。まだあまり使ってないけど。 OpenClawは、環境構築に手間がかかった分、愛着がわいてしまって離れられないw まあ、最新のモデルをサブスク枠で使えるから、そんなに古くならないし。

Grokはなぜかすごい速いのよ、Gmailとか予定とかslackのスレッド見つけてくるの、あれ、あの話題してたあれどこ？みたいな感じのを秒で出してくれて、もうこいつしか居ないってなってる。あと食べログ予約してくれるのとそこから学習して好きぽい店勝手に見つけてくれるようになった…

それはいいな！　OpenClawは、Discordでプロジェクトごとにチャンネル作って、こんな感じでやってるけど、社員と共有ができない（しづらい）ので、個人プロジェクト用になってる。

しづらいw

Grokbotは若干カタコトみあるボットぽい日本語で、それももうキャラとして板についてきたんだけどネネコ羨ましい。

最新の成果はこちら！ かなり、表示が綺麗になってます。