kan:mi｜AI Film & Music

NOBUさんのGemini Omniを使った手法が気になって仕方なかったので、ギター演奏でどのくらいの精度が出せるか試してみました🎸 これはいい、失敗をかなり減らせると思います！ 手順は引用元とほぼ同じです 1.演奏シーン撮影 2.Gemini Omniで運指とストロークをマネキン化 3.その動画と一緒に他素材をリファレンスさせてSeedance2.0で生成 再現度がかなり高いんじゃないでしょうか✨ ここで、実写なのにわざわざマネキン化を挟む必要があるのかという疑問があると思います。私も疑問です😅 リプ欄に今度のフェス用に、撮影素材をリファレンスさせて、直Kling3.0 Omni生成、直Seedance2.0生成した動画も載せていますが、プロンプトを改良しながらまぁまぁガチャして作りました。 一方で、マネキン化を挟んだものは一発でできました🙌まだこのケースしか試していないので、他の素材でも可能か、どのくらいカメラワークや画角変更が可能かなど、検証したい部分はたくさんありますが、かなり期待できる気がします。3D素体みたいな視認しやすいものを挟むことで、リファレンスする際にAIが動きだけに集中できるのかもしれません。 ちなみにGemini Omniで、撮影素材と他画像を参照させて直でできないか生成したものもリプ欄に載せておきます。Geminiは契約していなくて、マネキン化とこの実験で尽きてしまったので、他に試せていないですが、これは失敗しました。また実験したいと思います！

51,009 views