松丸 彗吾(keigo matsumaru)
@k_matsumaru • 45,069 subscribers
メンタリストDaiGoの「D-Lab」開発/運営。生成AIフル活用したAIアニメの制作/監督。AIコミュニティ「D-Lab AI Channel」にてAI動画の作り方やAI活用方法を教えたりしてます。Xは適当です。お仕事は[email protected]まで！
Shorts
Videos
ElevenLabs v4がリリースされたので、試しにノベルゲー風ボイスドラマを作ってみた 演技がめちゃくちゃ上手い、音声の忠実さもすごい Irodori-TTS v4とかGemini 3.8 TTSも触ったけどぶっちぎりでElevenLabs v4が良く感じる そしてボイスドラマ良いなあ… 世界観広げまくってるとこだったしもう動画じゃなくてノベルゲーにしちゃおうかな… これだけ演技上手く、セリフの読みも自然に読んでくれると、色々今までできなかった活用方法が重い産んで超楽しい ちなみにこの音声は一発生成の無編集です
松丸 彗吾(keigo matsumaru)457,299 views • 26 days ago
Gemini 3.8 Flash TTS出たので、自分の声クローンにして感情強めな読み上げしてみた めちゃくちゃ自然だし再現率高い AIの演技が上手いから素人の僕の声でもいい感じに喋ってくれる（ちょっと恥ずい） AI動画とかで音声使う時も、自分とか周りの人に許可もらって使えばかなりいいかもなー ただ、今回ボイスクローンができるようになっているんだけど、クローンにする音声ファイルと同じ声の音声で「クローンに使ってOKです」的なやつを録音して申請する必要があるので注意 つまり動画生成AIで作った動画から切り取った音声はそのまま使うことができない
松丸 彗吾(keigo matsumaru)85,289 views • 1 month ago
今回は25秒 + 22秒 + 20秒 + 15秒 + 24秒の5シーン構成で、全てプリビズを用意して作りました 生成しなおしは全編通して5回くらい！ 手順は今日のXライブで詳しく話すけど 1. 描きたい情景をTyplessでClaude Codeに伝える 2. スキルで動画生成用プロンプト作ってもらう 3. それをプリビズに起こさせる 4. プリビズと各種リファレンスを元に動画生成 です！ 動画観てもらえばわかると思うけど、ほぼプリビズどおりに作ってくれるので生成し直しがマジで少なくて済むし、Seedance 2.5なら多キャラ突っ込んでもリファレンス15個とか突っ込んでも全然破綻しないので最高すぎる！！ 暫くはこのスタイルで生成してくと思います
松丸 彗吾(keigo matsumaru)74,487 views • 1 month ago
12時間くらい走り続けてもまだパフォーマンスチューニングやらエフェクトやらでタスク回し続けてたからいったん止めて動かしてみた ちょい重いけど普通にビビる、これワンショットかーすげえなあ・・・ 実行したプロンプトは引用辿ればあると思うけどこれです↓ ``` /goal I want you to build a first-person shooter at the level of the most recent Call of Duty games. It should be utterly perfect, visually beautiful, with every single thing done at AAA quality—from textures to physics to anything you could think of. Fan out sub-agents and have sub-agents tackle each one individually so that the game is utterly perfect. You should /loop on each item and have a separate sub-agent check it visually to ensure it looks triple A. That separate sub-agent should be a really harsh critic, and if it doesn't look triple A, it should keep going. Don't stop until each sub-agent is utterly wowed with the quality when compared with the actual Call of Duty game. It should literally compare them side by side blind and say which one looks better. Do this in ThreeJS. /loop until it's utterly perfect. Fan out sub-agents and ultracode. ```
松丸 彗吾(keigo matsumaru)54,912 views • 2 months ago
AI動画、やっぱ「文章指示だけでは狙いづらいカメラワークとか構図のシーン」だけプリビズ使うのがいいな テキスト指示とか画像参照だけだとガチャに頼りがちな演出も、Astraでプリビズ作らせて動画参照させたら一発で狙い通りに作れた 例えばこれは女の子が祈りをささげているシーンで、360度オービットで少女の周り回転しながら撮影したかったシーンなんだけど、テキスト指示だけだと直前シーンと人物やオブジェクトの位置関係が変わっちゃったり、少女の動きが破綻してしまってたのが課題だったシーン 上：プリビズなし 中：参照したプリビズ 下：プリビズあり 単純な構図とかをわざわざプリビズ作る必要はないと思うんだよな、スピード無駄に遅くなるだけだし そういうのはテキスト指示とか絵コンテだけでいける あとBlender使う必要はなくてThree.jsとかBabylon.jsとかで全然いける、これはThree.js
松丸 彗吾(keigo matsumaru)28,733 views • 1 month ago
Seedance 2.5 テスト 最近3DCGカートゥーンアニメスタイルにはまっているので、次はこんなの感じのを作ろうかと
松丸 彗吾(keigo matsumaru)32,378 views • 1 month ago
最近の動画の作り方 --- ① シーン別にTypelessで一気にしゃべり倒して指示書を書き起こす（↓の内容） ② これを元に、自分で作ったスキル使わせてFable 5.1に動画生成用プロンプトを書き起こさせる（今回は1分尺） ③ Seedream 5.0 Proで絵コンテに起こして内容精査 ④ 問題なさそうならSeedance 2.5で30秒単位で生成 --- これで出来たのが添付した30秒動画×2で、一発生成ポンだしです 指示通りかつ破綻も少なくてスムーズ！ Typelessで喋って書き起こす時は、各カット毎に一回切るとタイポに気が付きやすくてよきです スキルは有効なカメラアングルやカット割り、演出、ライティング周りの情報を詰め込んである「ベクトル検索機能を組み込んだSQLite製ナレッジベース」を検索させて 各カットに最適な演出などを取らせるようにしています ・Typelessで喋った内容↓ ``` ブロック3を作り直したいので、私が以下に示す情景を元に組み立てなおしてください。 まず最初のカットでは、この山道の物陰からゆっくりとパンで移動し、ロランやイリスたちが山道を歩いているのをロングショットのバックショットで描きたいです。 カットが切り替わり、ロランを先頭に、その後ろにイリスが続いている構図です。構図としては上半身ショット想定で、フォーカスは先頭にいるロランに向いています。 ロランとイリスたちは数歩ほど歩いた後に、先頭のロランが周囲の異変を察知して立ち止まります。そして後方に向かって片手を伸ばし、イリスたちを制止するようなポーズで無言でバッと手を伸ばします。 それを見てイリスは歩みを止めて、ややびっくりしたような表情をします。 ロランはその後、周囲を左右見渡して、真剣な表情で周囲を警戒したような素振りを見せます。そして、イリスを制止していない方の手でロングソードを引き抜いて警戒します。 そしてカットが切り替わります。 この山道周囲の岩場を地面すれすれのローアングルから見上げた構図にしてください（要は煽り視点で上を見上げるような感じです）。 誰もいない岩場の上から、魔物の群れが次々と顔を出します。獣たちは黒い影で描かれており、その影の中に赤く光る目が映っている感じです。登場に合わせて獣たちの唸るような声を入れてください。 このカットを3回連続して描いてください。アングルは同じ（地面すれすれのローアングル）で、別々の岩場の影からこの獣たちの群れが大量に出てきているといった感じです。 それぞれとても短いショット。 カットが切り替わり、次はイリスの肩から上のクローズアップショットです。 イリスにフォーカスが向いていて周囲の背景はぼやけていますが、イリスたちを囲む岩場の上に、先ほどと同じように黒い影、そして赤く光る目の獣たちのシルエットが浮かんでいる感じです。 イリスは周囲を見渡して戸惑いの声を上げ、胸元に両手をぎゅっと握りしめて、戸惑うような表情で左右を見渡します。 短いショット。 カットが切り替わり、次はロランの顔のクローズアップショットです。 ロランは前方に剣を構えたまま、周囲に目を配りながら警戒している感じです。 短いショット。 そしてカットが切り替わり、何もない岩場の地面を最初に映したカットです。そこにフレームインしてくるように、一体の獣の足が入ってきます。 カットが切り替わり、最初は数体の獣の足元のみを映したアングルです。 そこからカメラはクレーンアップするように移動し、前方に映る複数体の獣たちが唸りながらカメラに向かって攻撃的な姿勢をとり、唸り声を上げながら警戒している様子を映してください。 そして地面スレスレのローアングルから、煽り視点で1匹の獣を映します。 1匹の獣は前方に向かって力強く吠えた後、一気に駆け出していきます。 そしてカットが切り替わり、駆け出した獣の POV ショットで描いてください。集中線を周囲に入れた状態で、獣視点でズームインしながら、前方にいるロランに向かって駆け出している感じです。 ロランは最初ロングショットで描かれており、後方には怯えているイリスも映っています。そして周囲には彼らを囲む岩場と、その上に大量の獣のシルエットと赤く光る目が映っている感じ。一瞬で距離を詰めてロランに向かってカメラはズームインしていきます。 そして剣を構えているロランの目に向かってズームインしていき、カットがすぐに切り替わります。 カットが切り替わる直前、ロランはその前方に構えている剣を振り下ろして、そのままカットが切り替わる感じにしてください。 振り下ろす際は、ロランの短い気合の入った声が入ります。 カットが切り替わると、ローアングルから見上げるような斜めの画角で、ロランが剣を振り下ろし1体の獣を斬り伏せているシーンが入ります。 獣は後方にのけぞるような感じで空中に浮いた状態で斬られていて、ロランは剣を振り下ろした姿勢で映っています。 ロランのすぐ後ろには、守られるような形でイリスが両手を胸の前で組んだ状態で映っています。彼らの背後には、周囲を囲むように高い岩場があり、その上には獣たちが映っているという構図です。 このカットは斬られた瞬間を描いているようなイメージで、斬られた獣は後方に向かってのけぞりながら動いており、ストップモーションのようにその瞬間を捉えたような演出になっています。 切られた瞬間の効果音と獣の短い悲鳴を入れてください その後、剣を構え直すロラン、そしてさらに怯えながらロランに近づくイリスを描きます。 その後、周囲の獣たちが次々と吠え出します。吠えている声を入れてください。 カットが切り替わり、短いモンタージュでイリスとロランたちを囲む岩場の上にいる獣たちが吠えている様子を描きます。今度はシルエットではなく、岩場の上の獣を明確に描きます。 横アングルから顔のクローズアップ気味で描いてください。1体の獣ずつにフォーカスしながら撮影し、その奥側にさらに複数いる獣たちをぼかしながら描いていくという感じです。 これを2カット連続で、別々の岩場にいる1体の獣にフォーカスしながら撮影してください。 常に獣たちの吠える声が入っています そしてさらにカットが切り替わり、次にロランたちと同じ地面の延長線にいる獣の群れたちが、次々と吠えながら駆け出していく様子を撮影します。 地面すれすれの煽り視点、ロングパースで描きます。 常に獣たちの吠える声が入っています カットが切り替わり、怯えているイリスの上半身ショットです。イリスは両手を胸の前でギュッと握りしめて、怯えている表情です。 すると、彼女が背負っている剣のうちの一本の赤い剣「ディルンウィン」が、以下のセリフを話します。 「イリス！ワシを抜けィ！！」 それを言われたイリスは、ハッとした表情で背負っているディルンウィンに手を伸ばします。 カットが切り替わり、ディルウィンを掴む瞬間のクローズアップショットを描きます。握られた快剣（かいけん）/怪剣のディルウィンはそのまま引き抜かれます。引き抜かれるにつれて、カメラは引き抜いている手にトラッキングしながら移動します。 引き抜かれたディルウィンをそのまま前方に掲げるイリスの顔のクローズアップシーンまでをセットで描いてください。 そして引き抜かれたディルウィンは赤く発光していき、炎のエフェクトをその刀身にみるみるうちにまとっていきます。そして引き抜かれたディルウィンを、イリスは自分の頭上に掲げます。 掲げると同時に、より一層、炎の揺らめきが強くなり、ディルウィンの剣先から炎のエフェクトが天に向かって伸びていきます。 この炎の光に照らされて、周囲はコントラストが強くなり明るく照らされます。そして、その剣を掲げているイリスは、髪の毛や服などを風で激しく揺らし、周囲に激しい暴風が吹き荒れます。 カットが切り替わります。柄を握られて頭上に掲げられているディルンウィンのクローズアップショットです。ディルンウィンの剣の柄部分を最初描きながら、そのままクレーンアップでディルンウィンの剣先に向けてカメラは移動していきます。そしてディルンウィンが以下のセリフを喋りながら、炎の揺らめき、そして炎のエフェクトを激しく描いてください。 「最後の人あばれじゃあーーーー！！」 カットが切り替わり、剣（ディルウィン）を頭上に掲げているイリス、そしてイリスの前方に映るロラン、彼らを取り囲む岩場の上にいる大勢の獣たち、彼女と同じ地面上で彼女に向かって走ってきている大勢の獣たちを描きます。 イリスたちはその360度周囲を獣たちに囲まれていて、獣たちとの距離はおよそ半径10m程度で描いてください。 ここでは引き抜かれているディルウィンのエフェクトを派手に描きたいという意図があるので、人物や獣たちは小さめに描くくらいのロングショットで描いてください。 周囲はディルウィンが放つ炎の光に照らされてコントラストが強くなっていて、影を落としています。光源はこのディルウィンの炎の柱だけです。 掲げられているディルウィンの剣先から、まっすぐ天に伸びるように炎の柱が放出されているという状態です。 そして一気にその炎の柱が周囲に広がり、炎の暴風というような感じで、イリスとロランたちを守るような形で炎の竜巻が発生します。 そしてそのまま外側に向けて放射状に広がっていき、炎の柱が周囲にいるすべての獣たちに向かって吹き荒れていくという感じです。 カットが切り替わり、その炎の暴風に当てられて燃えていく獣たちを、モンタージュで描いていってください。 炎の嵐に覆われて、獣たちはそのままシルエットがボロボロになるような形で、炎の渦の中に消えていきます。これを3カット続けて、モンタージュで描いてください。獣たちは暴風に覆われる際、短い悲鳴を上げます。 カットが切り替わります 炎の暴風が周囲に広がって、そのまま一気に晴れていく様子を描いてください。 炎の暴風が発生している間は、炎の光で周囲のコントラストが強く描かれていますが、暴風が一瞬でパンと晴れると、周囲には何事もなかったかのような風景が広がります。 そしてその後、岩場や地面に無数にいた獣たちが一切跡形もなくいなくなっている様子を描いてください。 カットが切り替わり、頭上にディルウィンを掲げた状態で、呆気に取られて口をポカーンと開けて驚いているイリスを描いてください。 そして、イリスは気にとられながら、頭上に輝いているディルミンをゆっくりと眼前に下ろしてきて見つめます。 そしておろしながら、ディルウィンが以下のセリフを喋ります。 「はっはっは! 見たかイリス、ワシのさいごのブユウデンじゃ！」 イリスはそれを受けて、はにかむようにリルウィンに笑いかけます。 このカットはイリスの肩から上ぐらいのクローズアップショットで描いてください。 ロングソードを構えて警戒していたロランの上半身ショットを最後に描きます。 ロランはわずかに口角を上げて笑いながら、そのまま目を閉じ、そして構えていた剣を腰の鞘の中にしまいます。 ```
松丸 彗吾(keigo matsumaru)24,656 views • 1 month ago
最近ちまちま作ってるAIアニメの続きです。 死神、スキ。 天使、スキ。 蒼い炎、スキ。 でっかい武器ぶん回す女の子、ダイスキ。 そんな感じの動画となっております。
松丸 彗吾(keigo matsumaru)57,651 views • 6 months ago
