aicreataro
@aicreataro • 4,152 subscribers
映像×AIで新しい物語をつくる🎬 🏆TapNow Arena Peak Asia 総合 銅賞 🏆 Kling 4K Short Film Contest 「Bronze Award」 CPP:TapNow/CapCut ECP:Kling ちょっと未来が楽しみになる作品を。
Shorts
Videos
Opus 5.5にAfter Effectsを操作させるテスト、その3。 ■ベース ・曲はSunoで作成 ・MiniMax H3に曲を聴かせて、女の子を踊らせる（15秒×2本） ■AEでやらせたこと ・踊りの映像から全身の骨格を1コマずつ取り出して、AEに流し込む ・その骨格データで、文字・光・カメラを動かす 上げた手から歌詞がぶら下がる／拳から文字を撃つ／着地した足元から色があふれる ・トラッキングの見せ方を章ごとに変える ■わかったこと ・骨格さえ取れれば、手作業のトラッキングなしで文字を体に追従させられる ・H3は曲を渡すと、拍に合わせてかなり踊ってくれる ・トラッキング表現は出しっぱなしだと飽きる。どこで見せてどこで引くかは、結局人が見て決めないとダメでした 画面の数字や枠は、実際に踊りから取った座標と速度です。
aicreataro381,875 Aufrufe • vor 1 Monat
「いってらっしゃい」/ maru TapNow Arena Peak Asia 総合 銅賞 毎朝、母は背中を叩いた。 「いってらっしゃい！」 その一発で、俺は空を飛んだ。 恥ずかしくて、逃げた日もあった。 大人になると、背中を叩いてくれる人はいなかった。 病室の一発は、ポン、と小さかった。 それでも、俺は飛んだ。 今度は、俺が叩く番だ。 「いってらっしゃい！」 大切な人たちを思い浮かべながら作りました。 是非見ていただけると嬉しいです。 #TapNow #KlingAI #Kling4 #ArenaPeak TapNow 日本公式（タップナウ） TapNow
aicreataro124,316 Aufrufe • vor 26 Tagen
「Dot battle」 バトル素材で違った表現を模索。 Opus 5.5でBlenderとPythonとAEを操作。 AIの映像を拡張できそうな予感。使い所は不明。 でもドットを打つことが大事ってジョブズも言ってた。 ■素材 ・バトル映像と音：Seedance 2.0 ■Blenderとコードでやらせたこと ・人物の輪郭と奥行きを解析して、映像をドットに置き換える ・半拍ごとに、ドットの大きさ・色・背景を切り替える ・打撃に合わせて、ドットが潰れる、カメラへ飛び散る、時間が止まってカメラが回り込む ■わかったこと ・ドットが大きすぎると、何の映像か伝わらない。小さすぎるとかっこ良くない。 ・切り替えを1拍ごとから半拍ごとにして、打撃で粒を潰したら、一気に激しくなった ・ずっと速いだけだと単調。止める場面を挟むと、速い所が効く ・打撃のたびにドットを爆発させたら、人物が読めなくなった。爆発は弱く短く
aicreataro125,550 Aufrufe • vor 1 Monat
「動きと音をビジュアライズ」のメイキング 簡単ではありますが、参考になれば嬉しいです。 ■素材は少ない ・下絵は４種類のAI動画+曲 ■Blenderの中の仕組み ・元の映像は1枚の板。それを細かい粒に分けている ・動画から測るのは3つ。人物の形、奥行き、どこが速く動いたか ・曲を低い音から高い音まで細かい音域に分けて、それぞれの鳴り具合を1コマごとに測る ・画面の真ん中は低い音、端は高い音の担当。飛び出す時に、鳴っている音の所ほど大きく出る ・速く動いた所（バチ、筆先、スカートの裾）は粒になって浮く。音が大きいとさらに浮く ■拍に合わせる方法 ・動画と曲は別々に作ったので、そのままでは合わない ・太鼓を叩く、かかとを踏む、ボールを打つ、筆を打ちつける。この「決めの瞬間」を割り出す。 ・そこで時間を止め、止める長さを変えて、次の決めの瞬間が必ず拍に来るように計算している ・止まっている間にカメラが回り込み、空間の色と照明が替わる ■任せたこと／決めたこと ・任せた：画面のどこが多く飛び出すか。音と動きの数値のまま ・決めた：決めの瞬間ごとの強さ、見た目、カメラ、色。会話で1つずつ ・Blenderの操作はPython。 ■うまくいかなかったこと ・激しくしすぎる、下絵を全くなくすと、訳がわからなくなった。 ・なかなか思い通りにならず、15回以上修正をかけている。SEは足したら合わなくて外した。暗くする加工も外した、など。 これを作って一番大事だと思ったのはメリハリと、バリエーションで、全体というよりかは、細かく細かく細部をちょっとずつアップデートしていくことにより、理想の映像に近づいていきました。
aicreataro89,520 Aufrufe • vor 1 Monat
Opus 5.5にHTML/Three.jsを書かせた、ナレーションとモーションのテスト。 「凍った手記」 ■素材 ・物語と文字の動き：Opus 5.5 ・声：Gemini TTS ・風とノックの音：ffmpegで合成 ・動画生成AI：使っていません ■やらせたこと ・物語を書く ・文字の組みと動きを、HTML/Three.jsで作る ・声と効果音を合わせて、1本の動画に書き出す ■わかったこと ・Gemini TTSは演技がめちゃうまい。ナレーションだと聞きやすい ・モーションの手段は色々ある ・動画生成と違って、文字が崩れないし直しも速い ・データが軽い 色々な表現があるので、その状況に応じて対応できる引き出しを持っておくことがすごく大事だと感じました。 ぜひ音ありで見てください。
aicreataro88,635 Aufrufe • vor 1 Monat
「音と動きをビジュアライズ」 Opus 5.5×Blender×Python ■素材 ・人物：MiniMax H3 ・キービジュアル：Midjourney ・音楽：MiniMax Music 3.0 ■Blenderとコードでやらせたこと ・音が大きいほど、絵が立体になって手前に飛び出す ・速く動いた所ほど、粒になって浮く ・打った瞬間に時間が止まり、カメラだけが回り込む ・止まっている間、空間ごと色と照明が切り替わる ■わかったこと ・生成だけでは出ない絵も組み合わせるとできる ・やりすぎるとだめ ・映像の動きにも反応させたら、映像そのものが鳴っているように見えてきた ・飛び出す量は曲の音と、素材の動きに任せた 実験的な映像ではありますが、何かの表現に使えそうだなと思います。AIをより拡張できる方法を探っていきたいです。 音と動きの両方で絵が動くと、なんか面白いですね。
aicreataro75,157 Aufrufe • vor 1 Monat
「2Dを3Dに繋ぐ」 生成した動画にアイデアを重ねたらどこまでやれるんだろう、と頑張ってみた軌跡です。 左上が元の生成、右上が完成、下がBlenderの画面。 ■やったこと 1. MidjourneyでKVを作る 2. MiniMax H3で10秒の走りを生成 3. 同じ動きのまま、素材だけ変えて7本に（絵の具／クローム／粉／墨／花／水／糸） 4. 前半の2Dは、Pythonでポーズごとに素材を切り替える 5. 2Dと同じ見え方の3D空間をBlenderに作り、つなぐ 6. 3Dでは、素材の軌跡の中にカメラが入っていく 7. 抜けて引くと、欠片が集まって巨大な走者の絵になる 8. 光の筋や床の映り込みも、Blenderの中で足す ■わかったこと ・生成とツールを組み合わせるとクオリティUP ・2Dを3Dに繋げば多少リッチな表現に AI生成で元からかっこいい素材を出せばいいのかもしれませんが、こういったアプローチもありそうだなと参考まで。
aicreataro50,199 Aufrufe • vor 1 Monat
「2Dの動画にBlenderで奥行きをつける」 (文字と映像でお遊び のメイキング) 上が元の映像と完成、下がBlenderの画面です。 ■素材：AI動画1本（電車の中で踊る20秒） ■Blenderの中の仕組み ・人物の動きから、3Dの体を作る。それを粒・稲妻・炎・キューブに ・世界は1枚の絵を、奥行きで何枚もの板に切り分けて並べたもの。カメラはその中を走る ・着地の瞬間を測り、体が弾けて世界が入れ替わる演出 ■字幕を空間に置く方法 ・Blenderの中の文字は位置決めの仮置き。Pythonで仕上げ ・カメラの動きを1コマずつ書き出して、同じ遠近で床や壁に貼る。そうすると世界と一緒に動く ・人物を切り抜いているので、文字は人物の後ろに回り込める ・実写の部分は映像をトラッキングして、床と壁の向きを割り出す ■任せたこと／決めたこと ・任せた：着地の位置、カメラの計算、文字の遠近 ・決めた：どの言葉をどこに置くか、色、入り方。会話で1つずつ 70%くらいまでは、いい感じに行けるのですが、そこからクオリティを上げていくのが難しいですね。思い切って今まで作ってきたものをやめて方向転換するのも一つの手だと感じました。
aicreataro22,630 Aufrufe • vor 20 Tagen
Opus 5.5にThree.jsを書かせた、3D空間で文字が動くモーションのテスト。 「切れてないよ」 ※寝る前には見ないでくださいね。 ■素材 ・物語と文字の動き：Opus 5.5 ・3Dモデル（自販機・店・電話機・人物）：Tripo ・声：Gemini TTS ・動画生成AI：使っていません ■やらせたこと ・物語を書く ・夜の電話ボックスを3Dで組み、文字の置き方と動きをThree.jsで作る ・声を合わせて、1本の動画に書き出す ■わかったこと ・字そのものを3D空間に置いて、カメラで撮れる ・場面がまるごと手元にあるので、引きも寄りも撮り直し放題。ガチャを回さなくていい ・字に演技をさせる感覚 もっと3Dのクオリティを上げると、より没入感が出そうだなと感じました。精進します。 ぜひ音ありで見てください。
aicreataro30,692 Aufrufe • vor 1 Monat
「アニメをめくれる漫画に」 Opus 5.5 × Python 久しぶりにアニメ→漫画。 After Effects も Blender も使わずにコマ割りからページめくりまで、全部 Python でチャレンジ。 Python といってもOpus 5.5 と会話して、書いて動かしてもらっただけです。 ■素材 ・キャラ設定画：Midjourney ・アニメ：MiniMax H3 ・音：H3 の音そのまま（めくる音だけ Python で合成） ■Python でやらせたこと ・アニメを線と色に分けて、漫画の絵柄に描き直す ・コマ割りと、下描き→ペン→色の順に描かれていく演出 ・くしゃみは見開き1枚。ギザギザと描き文字を1字ずつ組んで動かす ・コマを追うカメラと、本のページめくり ■わかったこと ・編集ソフトがなくてもここまで組める ・やっているのは「1コマずつ絵を作って並べる」だけ ・直しは会話で頼んで、書き出し直すだけ（1回5分） ・Adobe を持っていない人でも作れる 編集ソフトがなくても、色々な表現が可能になってきました。まずは自分の作りたいものを会話しながら近づけていくのが良さそうです。もちろんいきなりいい感じにはならないことが多いですが、自分の思っているものが動画になるのは楽しいですよね。
aicreataro27,741 Aufrufe • vor 1 Monat
Opus 5.5 × Blender × After Effects 映像を作るときの、自分の作業を可視化しました。 AIがあれば、なんでもできる。 一瞬で、カッコいいものがいくらでも作れる。 自分の場合は、ちょっと違っています。 けっこう、時間がかかっています。 でも、それがあるから、いいものになる。 逆にそれがないと、つまらないのかもしれません。 試行錯誤して、 方向転換して、 最後の最後まで、こだわってみたり。 AIの時代になっても、作るのは手がかかる。 だからおもしろい。と思っています。 遠回りに見えるこの時間が、いちばん好きです。 そうやって今日も、もう一回。
aicreataro16,377 Aufrufe • vor 1 Monat
Keine weiteren Inhalte verfügbar