Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

HiggsFieldPopcorn × Hailuo2.3 スルトの火 同じ元画像からPopcornでカット割りしてHailuoで動画にしました。このコンボは間違いないですね🤩 Sora2に比べるとPopcornは画像の時点で取捨選択できるので、頭の中にもうイメージがあるときは特にいいですね。Sora2ガチャしなくていいので。 Hailuo2.3は順当進化。動きのダイナミックさは随一かな? #HiggsFieldPopcorn

12,374 Aufrufe • vor 8 Monaten •via X (Twitter)

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

メイキング的なやつです。 今回は、基本的なアニメーションの作り方である 『pose to pose』をAIでやったらどうなるか? という試みでした🥹 結論から先に言うと 「まぁまぁ大変だし、AI時代のスピード感にはそぐわないだろうな」です。 ある程度、予想もしてましたが🤣 今回は、コンテ、ラフ原を描いて(あるいは3Dで)、絵や動きを「ある程度」コントロールしたい人向けのフローなのかなと思います。 そういった方で、AIにまだ馴染みが無い方向けに、今度、もう少し詳細な、記事かnote書こうと思います。 ---------------------------------------------- ※pose to poseというは、 動きのキーとなるポーズ、主に動きの変化点などの絵を複数枚、先に用意して、後から、間の絵をうめていってアニメーションにする手法です。 キーとなるポーズや絵を、「キーフレーム」とか「原画」。間を埋めていく絵や作業などを「中割り」「動画」と言います。 ---------------------------------------------- 以下は、AI界隈の方向け、メイキングの簡易的な説明です。 端的にいうと、 先にラフ絵で動きのプランをつくり、 その絵を使って、キーフレームの絵を生成して、 あとはひたすらスタートエンドで生成。 です🥹 --------------- ①コンテ撮をつくる いわゆるアニメの原画よりは枚数少ないですが、 ラフな絵で、動きのキーとなる一連の絵を用意して、先に動きの流れをつくります。 --------------- ②キーフレームの作成 コンテ絵と、事前につくったキャラ絵をリファレンスにして、NanoBananaPro等で、各キーフレームの絵を生成&加工します。 私の拙いラフ絵なので、結構ガチャりましたが、もう少し丁寧に描いた、アニメーターさんのラフ原とかだと、もう少し絵のコントロールが、できるんじゃないかなと思います。 タッチ線を入れたり、変身後の衣装に変えたりなどは、さらに2段階、3段階の生成が必要でした。 --------------- ③中割りの作成 キーフレームを順番に並べて、それぞれの間を、スタートエンドで、動画生成します。 今回使用したのは、 DomoAI official / Kling AI / Hailuo AI-MiniMax Hub の3つです。 主力はDomoAIで、3秒尺の生成ができるのと、割と単純な中割りになるのが良かったです。 逆に単純に割ってほしくない場合(例えば回転していて別のアングルが途中で入るとか)は、KlingやHailuoを使いました。 --------------- ④フレームの選定(コマ抜き) 生成された各動画をつないで、元々つくっていたコンテ撮のタイミングに合わせて、大胆に絵を抜いてきます。 極端なものだと、3秒(約72枚)生成して、その間の1枚しか使わない。みたいな感じですw あとはいわゆるタメツメの調整など --------------- ⑤撮影&編集 別途用意した、イメージ流背のBGやエフェクト素材などと合わせてコンポジット。処理かけて、SEとBGM入れて完成です。 --------------- つまり、①と④の工程で、思いっきり、アニメーター的技能を使うことで、動きのキモはAIではなく、自分でやるということですね。 ◆メリットとしては - 動きや演技をあるていど自分でコントロールできる - ある程度積み上げながらの作業なので、部分的な修正が可能 - 溶けにくい など ◆一方デメリットは - 他のAIの手法に比べて、相当時間がかかる - クレジット消費も激しい - 色やキャラが、1カット内で安定しない (髪の毛の本数がかわったりなど、カットまたぐ分にはきにならないものでも、動きの途中で変わっちゃうので、結構目立つ) - 実景の空間でのカメラワークとかが混ざると、多分さらに難易度が上がる - コントロールに結局限界が(まだ)ある などなど、、、、 時間と手間がかかるけど、商業レベルの「品質」まで対応できるわけではない。しかも手描きアニメーターの上手い人なら、下手したら同じくらいの時間でできちゃうかもしれない。。。 ゆえに冒頭の結論に至るわけです🤣 -----------------------------------------

ててつろう

179,905 Aufrufe • vor 4 Monaten

💡 動画生成AIは余白で動きを決める 🎥 左右の動画を見比べてみましょう。 右のこぢんまりとした動きに対して、左のキャラは身体全体を使った動きをしてます。 実はこの二つの動画「同一プロンプト・同一素材」で生成してます。 なら違いは何か?左の素材画像に対して余白を追加しているのです。 余白の分だけ、キャラクターの動く余地が生まれます。同じプロンプトなのに、より大きい動きが可能になります。逆に動きが大きい場合は、対象キャラクターをフレームギリギリまで近づけることで動きを抑制できます。 もちろんプロンプトでも動きを調整できます。しかし、動きのポテンシャルは余白の有無で決まっているように感じるのです。 以下は優先度の仮説です 1. 動かすだけの余白があるか(フレームとキャラクターの比率=提供画像) 2. その中でどれだけ動かすか(プロンプト) 個人的にはかなり本質的な発見です。 最終的なショットと生成に相応しいショットが異なることを示すからです。このギャップを認識していないと、動画生成AIから十分な性能を引き出せないことになります。 あくまでも生成用にショットサイズを調整して出力、その結果を後でトリミング&アップスケールで編集に回す、という工夫が必要かもしれません。 生成AIは実写やアニメと異なり、アクター/モデルとフレームの関係が逆転しています。フレームが先で、その中で初めて演技もキャラクターも生成されるのです。この違いを認識することが重要なのではないかと思いました。

NOBU

172,706 Aufrufe • vor 1 Jahr

引き続きSeedance 2.0。 自分がNoteで公開している各種の画像付き小説には動画が付いているものがありますが、一部を除いて、当時の技術で生成可能だったレベルの動画を、チョロっとだけ試しに生成する程度でした。 技術が成熟してきたら、いずれは動画でのリメイクに取り組みたいという思いは常に持っていて、Sora2やSeedance 2.0のような技術レベル向上が見られた際に、試すようにしています。 「【MC Heroine】潜入捜査 - レッドの場合」 ということで、添付はレッドの物語の1シーンを、パイロット的にSeedance 2.0で生成してみたわけですが・・・ ヤバいなと思うのは、ちょっと試してみようか、と気軽に生成してこのクオリティが出てしまうと、「この次のシーンを」「前のシーンを」「ディテールをもっと改善したい」と、次々生成したくなるという中毒にハマるということですね。案の定、これを生成したあと、前後のシーンを引き続き付け加えたりしていますw このまま長い動画を作り始めてしまうと、いろいろ余裕がなくなりますので、適当なところで止めるつもりですが・・・ (Seedanceだけで作るのはコスト的にとても無理なので、動きの少ない場面はKling等を併用するようにしています) しかしSeedance 2.0は相変わらず顔参照のOK/NG判定基準がよくわからず、思わぬところでひっかかったりしますね。

hvplan

15,288 Aufrufe • vor 2 Monaten