ててつろう's banner
ててつろう's profile picture

ててつろう

@craftcapitallab6,218 subscribers

AIアニメ作家&兼業投資家&エケチェンの新米パパの活動垢|本業→アニメ業界|AI勉強中|ETFを擬猫化した「VOO君」|目標→10年以内にFI達成して、ストレスフリーな制作活動実現! 過去のAI作品はハイライトをご覧ください

Shorts

やっちゃい、、、ますよね~🥹 蚊の視点🤣🤣🤣🤣 Seedance2.0(#Hailuo Hailuo AI (MiniMax))

やっちゃい、、、ますよね~🥹 蚊の視点🤣🤣🤣🤣 Seedance2.0(#Hailuo Hailuo AI (MiniMax))

52,122 views

やばい、、、楽しすぎます! 秋までに各自、踊りを練習しておくように🤣🤣 #QuickMagic #seedance2 #SANMA

やばい、、、楽しすぎます! 秋までに各自、踊りを練習しておくように🤣🤣 #QuickMagic #seedance2 #SANMA

288,581 views

変身バンク作りました🥹 DomoAI/Kling/Hailuo ※アニメにおける「バンク」とは、制作コスト削減のために、複数話数で流用するカットのことです つまりまーさん…返信し放題!!

変身バンク作りました🥹 DomoAI/Kling/Hailuo ※アニメにおける「バンク」とは、制作コスト削減のために、複数話数で流用するカットのことです つまりまーさん…返信し放題!!

182,539 views

メイキング的なやつです。 今回は、基本的なアニメーションの作り方である 『pose to pose』をAIでやったらどうなるか? という試みでした🥹 結論から先に言うと 「まぁまぁ大変だし、AI時代のスピード感にはそぐわないだろうな」です。 ある程度、予想もしてましたが🤣 今回は、コンテ、ラフ原を描いて(あるいは3Dで)、絵や動きを「ある程度」コントロールしたい人向けのフローなのかなと思います。 そういった方で、AIにまだ馴染みが無い方向けに、今度、もう少し詳細な、記事かnote書こうと思います。 ---------------------------------------------- ※pose to poseというは、 動きのキーとなるポーズ、主に動きの変化点などの絵を複数枚、先に用意して、後から、間の絵をうめていってアニメーションにする手法です。 キーとなるポーズや絵を、「キーフレーム」とか「原画」。間を埋めていく絵や作業などを「中割り」「動画」と言います。 ---------------------------------------------- 以下は、AI界隈の方向け、メイキングの簡易的な説明です。 端的にいうと、 先にラフ絵で動きのプランをつくり、 その絵を使って、キーフレームの絵を生成して、 あとはひたすらスタートエンドで生成。 です🥹 --------------- ①コンテ撮をつくる いわゆるアニメの原画よりは枚数少ないですが、 ラフな絵で、動きのキーとなる一連の絵を用意して、先に動きの流れをつくります。 --------------- ②キーフレームの作成 コンテ絵と、事前につくったキャラ絵をリファレンスにして、NanoBananaPro等で、各キーフレームの絵を生成&加工します。 私の拙いラフ絵なので、結構ガチャりましたが、もう少し丁寧に描いた、アニメーターさんのラフ原とかだと、もう少し絵のコントロールが、できるんじゃないかなと思います。 タッチ線を入れたり、変身後の衣装に変えたりなどは、さらに2段階、3段階の生成が必要でした。 --------------- ③中割りの作成 キーフレームを順番に並べて、それぞれの間を、スタートエンドで、動画生成します。 今回使用したのは、 DomoAI official / Kling AI / Hailuo AI (MiniMax) の3つです。 主力はDomoAIで、3秒尺の生成ができるのと、割と単純な中割りになるのが良かったです。 逆に単純に割ってほしくない場合(例えば回転していて別のアングルが途中で入るとか)は、KlingやHailuoを使いました。 --------------- ④フレームの選定(コマ抜き) 生成された各動画をつないで、元々つくっていたコンテ撮のタイミングに合わせて、大胆に絵を抜いてきます。 極端なものだと、3秒(約72枚)生成して、その間の1枚しか使わない。みたいな感じですw あとはいわゆるタメツメの調整など --------------- ⑤撮影&編集 別途用意した、イメージ流背のBGやエフェクト素材などと合わせてコンポジット。処理かけて、SEとBGM入れて完成です。 --------------- つまり、①と④の工程で、思いっきり、アニメーター的技能を使うことで、動きのキモはAIではなく、自分でやるということですね。 ◆メリットとしては - 動きや演技をあるていど自分でコントロールできる - ある程度積み上げながらの作業なので、部分的な修正が可能 - 溶けにくい など ◆一方デメリットは - 他のAIの手法に比べて、相当時間がかかる - クレジット消費も激しい - 色やキャラが、1カット内で安定しない (髪の毛の本数がかわったりなど、カットまたぐ分にはきにならないものでも、動きの途中で変わっちゃうので、結構目立つ) - 実景の空間でのカメラワークとかが混ざると、多分さらに難易度が上がる - コントロールに結局限界が(まだ)ある などなど、、、、 時間と手間がかかるけど、商業レベルの「品質」まで対応できるわけではない。しかも手描きアニメーターの上手い人なら、下手したら同じくらいの時間でできちゃうかもしれない。。。 ゆえに冒頭の結論に至るわけです🤣 -----------------------------------------

メイキング的なやつです。 今回は、基本的なアニメーションの作り方である 『pose to pose』をAIでやったらどうなるか? という試みでした🥹 結論から先に言うと 「まぁまぁ大変だし、AI時代のスピード感にはそぐわないだろうな」です。 ある程度、予想もしてましたが🤣 今回は、コンテ、ラフ原を描いて(あるいは3Dで)、絵や動きを「ある程度」コントロールしたい人向けのフローなのかなと思います。 そういった方で、AIにまだ馴染みが無い方向けに、今度、もう少し詳細な、記事かnote書こうと思います。 ---------------------------------------------- ※pose to poseというは、 動きのキーとなるポーズ、主に動きの変化点などの絵を複数枚、先に用意して、後から、間の絵をうめていってアニメーションにする手法です。 キーとなるポーズや絵を、「キーフレーム」とか「原画」。間を埋めていく絵や作業などを「中割り」「動画」と言います。 ---------------------------------------------- 以下は、AI界隈の方向け、メイキングの簡易的な説明です。 端的にいうと、 先にラフ絵で動きのプランをつくり、 その絵を使って、キーフレームの絵を生成して、 あとはひたすらスタートエンドで生成。 です🥹 --------------- ①コンテ撮をつくる いわゆるアニメの原画よりは枚数少ないですが、 ラフな絵で、動きのキーとなる一連の絵を用意して、先に動きの流れをつくります。 --------------- ②キーフレームの作成 コンテ絵と、事前につくったキャラ絵をリファレンスにして、NanoBananaPro等で、各キーフレームの絵を生成&加工します。 私の拙いラフ絵なので、結構ガチャりましたが、もう少し丁寧に描いた、アニメーターさんのラフ原とかだと、もう少し絵のコントロールが、できるんじゃないかなと思います。 タッチ線を入れたり、変身後の衣装に変えたりなどは、さらに2段階、3段階の生成が必要でした。 --------------- ③中割りの作成 キーフレームを順番に並べて、それぞれの間を、スタートエンドで、動画生成します。 今回使用したのは、 DomoAI official / Kling AI / Hailuo AI (MiniMax) の3つです。 主力はDomoAIで、3秒尺の生成ができるのと、割と単純な中割りになるのが良かったです。 逆に単純に割ってほしくない場合(例えば回転していて別のアングルが途中で入るとか)は、KlingやHailuoを使いました。 --------------- ④フレームの選定(コマ抜き) 生成された各動画をつないで、元々つくっていたコンテ撮のタイミングに合わせて、大胆に絵を抜いてきます。 極端なものだと、3秒(約72枚)生成して、その間の1枚しか使わない。みたいな感じですw あとはいわゆるタメツメの調整など --------------- ⑤撮影&編集 別途用意した、イメージ流背のBGやエフェクト素材などと合わせてコンポジット。処理かけて、SEとBGM入れて完成です。 --------------- つまり、①と④の工程で、思いっきり、アニメーター的技能を使うことで、動きのキモはAIではなく、自分でやるということですね。 ◆メリットとしては - 動きや演技をあるていど自分でコントロールできる - ある程度積み上げながらの作業なので、部分的な修正が可能 - 溶けにくい など ◆一方デメリットは - 他のAIの手法に比べて、相当時間がかかる - クレジット消費も激しい - 色やキャラが、1カット内で安定しない (髪の毛の本数がかわったりなど、カットまたぐ分にはきにならないものでも、動きの途中で変わっちゃうので、結構目立つ) - 実景の空間でのカメラワークとかが混ざると、多分さらに難易度が上がる - コントロールに結局限界が(まだ)ある などなど、、、、 時間と手間がかかるけど、商業レベルの「品質」まで対応できるわけではない。しかも手描きアニメーターの上手い人なら、下手したら同じくらいの時間でできちゃうかもしれない。。。 ゆえに冒頭の結論に至るわけです🤣 -----------------------------------------

178,988 views

GPTimage2の粒々、ざらつき&そもそもアニメに使うには、情報過多すぎる問題への対処。 いろいろ教えてもらった美監さん曰く、「視線誘導させたい場所だけ情報量を残すといい」らしいです🥹 それではやってみましょう! ---------------------------------------- ① GPTimage2 でオリジナル作成 一枚絵としてはリッチな気もしますが、映像で見せるには、どこをみたらいいのか、一瞬迷う絵です。 ② NBPで、細かい情報量をつぶしてもらいます。 この時点で粒々はほとんど消えます。 ③ NBPで、もっと情報量をつぶしたverも作ってもらいます。 ④ 何をみせたいのか真剣に考えてみます。 これは 「女性が物憂げに、木陰でベンチに座っている」 ショットです 主体:女性が物憂げに座っている サブ①:木陰で サブ②:ベンチに これらが、視線誘導する上でのプライオリティ順になります。 ①+② キャラ以外はほとんど②で合成してしまいます ①+②+③ サブや視線誘導として残したいところ以外にうっすら③を重ねます。 空気遠近やレンズボケによる情報量処理も可能ですが、 まずは背景絵のコントロールとしてこういうこともできる!という例です ⑤ あとは軽くDFフィルタを入れて、遠景を飛ばして、、、 完成! -------------------------------------

GPTimage2の粒々、ざらつき&そもそもアニメに使うには、情報過多すぎる問題への対処。 いろいろ教えてもらった美監さん曰く、「視線誘導させたい場所だけ情報量を残すといい」らしいです🥹 それではやってみましょう! ---------------------------------------- ① GPTimage2 でオリジナル作成 一枚絵としてはリッチな気もしますが、映像で見せるには、どこをみたらいいのか、一瞬迷う絵です。 ② NBPで、細かい情報量をつぶしてもらいます。 この時点で粒々はほとんど消えます。 ③ NBPで、もっと情報量をつぶしたverも作ってもらいます。 ④ 何をみせたいのか真剣に考えてみます。 これは 「女性が物憂げに、木陰でベンチに座っている」 ショットです 主体:女性が物憂げに座っている サブ①:木陰で サブ②:ベンチに これらが、視線誘導する上でのプライオリティ順になります。 ①+② キャラ以外はほとんど②で合成してしまいます ①+②+③ サブや視線誘導として残したいところ以外にうっすら③を重ねます。 空気遠近やレンズボケによる情報量処理も可能ですが、 まずは背景絵のコントロールとしてこういうこともできる!という例です ⑤ あとは軽くDFフィルタを入れて、遠景を飛ばして、、、 完成! -------------------------------------

34,027 views

SteadyDancerとSCAILを一つのワークフローにぶっこんでテスト。 SteadyDancerは、animateに比べて、プロポーションの絵柄の保持し、溶けも少ない印象。半面、表情のキャプチャはできないようです。でも勝手に踊ってる風の表情にしてくれるからこれはこれでアリかもしれない。あと、生成もめちゃくちゃ早かったので、今後キャプチャの主力にします🥹(さすがにgrokには負けるけど、、、) SCAILは、3Dベースのopenpose?なのかな? 作例みると回転とかもいけているみたいですが、あまりやらないので、普段はバイパスしておいていいかな🤣 どちらもComfyUIのWanで使えるようになってますので、managerからノード落とせます。 SteadyDancerの方は、↑のサイトでも使えるみたい。ただし有料🥺

SteadyDancerとSCAILを一つのワークフローにぶっこんでテスト。 SteadyDancerは、animateに比べて、プロポーションの絵柄の保持し、溶けも少ない印象。半面、表情のキャプチャはできないようです。でも勝手に踊ってる風の表情にしてくれるからこれはこれでアリかもしれない。あと、生成もめちゃくちゃ早かったので、今後キャプチャの主力にします🥹(さすがにgrokには負けるけど、、、) SCAILは、3Dベースのopenpose?なのかな? 作例みると回転とかもいけているみたいですが、あまりやらないので、普段はバイパスしておいていいかな🤣 どちらもComfyUIのWanで使えるようになってますので、managerからノード落とせます。 SteadyDancerの方は、↑のサイトでも使えるみたい。ただし有料🥺

78,084 views

この、なおさんのタイミングをズラして重ねる手法。 アニメだと似た演出で、「ストロボ撮影(効果)」というのがあります。 主にスローにしたいときに使うのですが、 作画だと枚数をたくさん描けない(描けてもガタガタして、きれなスローをつくるのが難しい)ので、少ない枚数で、スローっぽく見せる手法です。 6コマ打ちで、次の絵に行くときに、前の絵を透明度100%→0%でオーバーラップさせて、重ねます。 おそらくこの手法を開発した頃は、アナログの撮影台で、二重露光で1枚1枚計算して、やってたんでしょうね~。先人たちのアイデアと職人技、、、すげぇ🥹 デジタルになってからは簡単にできるようになった上に、今やAIやCGなら、スローモーションはむしろ得意なので、今後、見ることのなくなる演出方法かもしれませんね🤣

この、なおさんのタイミングをズラして重ねる手法。 アニメだと似た演出で、「ストロボ撮影(効果)」というのがあります。 主にスローにしたいときに使うのですが、 作画だと枚数をたくさん描けない(描けてもガタガタして、きれなスローをつくるのが難しい)ので、少ない枚数で、スローっぽく見せる手法です。 6コマ打ちで、次の絵に行くときに、前の絵を透明度100%→0%でオーバーラップさせて、重ねます。 おそらくこの手法を開発した頃は、アナログの撮影台で、二重露光で1枚1枚計算して、やってたんでしょうね~。先人たちのアイデアと職人技、、、すげぇ🥹 デジタルになってからは簡単にできるようになった上に、今やAIやCGなら、スローモーションはむしろ得意なので、今後、見ることのなくなる演出方法かもしれませんね🤣

25,550 views

ラストの必殺技シーケンスのみ抜粋! 性懲りもなく、ショックコマと中ナシの作例です🥹 打った直後に中ナシで、カメラ後ろに飛ぶの、多分人生で20回くらいやってます🤣 Hailuo 2.0,2.3Fast /NanoBananaPro

ラストの必殺技シーケンスのみ抜粋! 性懲りもなく、ショックコマと中ナシの作例です🥹 打った直後に中ナシで、カメラ後ろに飛ぶの、多分人生で20回くらいやってます🤣 Hailuo 2.0,2.3Fast /NanoBananaPro

11,856 views

さぁ!2026年!!! 爆・始動!!!! 🤣🤚

さぁ!2026年!!! 爆・始動!!!! 🤣🤚

12,284 views

Videos

craftcapitallab's profile picture

メイキング的なものです🥹 アニメらしい動きに見えるミソは、 ⑤のコマ抜きとタイミング調整かと思います。 ④と⑤の比較を見ていただけるとなんとなく共感いただけるでしょうか? 中途半端なポーズを抜いて、できるだけ良いポーズ、かっこよいポーズを、2コマや3コマで見せることで、その絵を印象付けることが出来ます。また、タメや跳躍しているところなんかも3コマ。早い動きは、1コマ2コマを混ぜることで、動きのメリハリがつきます。 (リプ欄に、コマ送りver置いておきますので、もしご興味のある方は覗いてみてくださいませ) その後の⑥の残像処理(タッチ、オバケなど)は、⑤の結果、前後の絵が飛びすぎるところに入れています。ちょっとだけ入れるだけであら不思議、ちゃんと、つながって見えるんですよね~🥹 ちなみに、動きを、③のGrokの実写ベースにしたのは、その方が演技に説得力があったからです。Grokはアニメでも演技力高いと思いますが、デフォルメの強いアニメ系だとガチャが多かったので、実写スタートにしました。 ④のWanSCAILは、回転も拾ってくれるので良き。勝手に入れてくれるセカンダリー(揺れ等)も美しい。 ただ、顔が溶けるのでこの辺が課題ですね~🥺 最後の⑦はデフュージョンフィルタといって、アニメの「撮影」という工程でよく使われるものです。ちょっとリッチになります。AIの場合、動画化する前の元の絵から入れてしまうのが良いのですが、今回みたいにレタッチする場合は、後から入れないとちょっと大変かもです

ててつろう

246,339 views • 4 months ago

craftcapitallab's profile picture

【誰も不幸にならない(?) AI×3D背動の提案】 PolloAI(Pollo AI 日本公式)さんがクレジット提供してくださったので、seedance2.0を使用して、アニメの3D背景の実験をしました。 (PR) ------------------------------------------------------------ ▼アニメで、背景を3Dカメラワークで動かしたい場合 ------------------------------------------------------------ 既存の方法としては ✅①カメラマップ ✅②3DBG の2種類の方法を現在とられています (呼び方はスタジオによって違うと思いますが、、、) ①は、美術さんに何枚か書いてもらって、それをカメラマップ(プロジェクションマップの容量)でモデルに張り付ける方法。 ②は、美術ボードに合わせて、CGスタッフが、一生懸命ルックを美術タッチの見た目に合わせる方法です。 ----------------------------------------------- ▼それぞれの方法の、メリットデメリット ----------------------------------------------- ✅①のカメラマップは 美術ルックをしっかり再現できる一方で、 カメラワークの制限があり、基本1カット1点ものになります。また、BOOK枚数が非常に多くなったり、解像度が大きくなりすぎて美術作業はとても大変になりがちで、貼り付けるための細かいセットアップ、テストを行うCGスタッフも大変かつ、クリエイティビティの無いただの翻訳作業になってしまいます。 要するに、つまらないw ✅②は3DBGは、 カメラワークの自由度が高い一方、 CG作業のルックディベロップメント作業(見た目をつくる作業)が、とても大変で、ものすごい工数がかかります。そのわりに、ちゃんとした美術ルックにならないことが多いです(技術次第)。 昨今のCG技術の発展で、②の方法はだいぶ良くなりましたが、、、、 ------------------------------------ ▼AIを使用した3D背動のフロー ------------------------------------ ①のカメラマップに近いですが、 1,3Dでprevisとして、カメラワークを決める 2,1をもとに、数枚Loを出し、美術で2Dの背景作業 (3,今回はprevisの木に、引っ張られすぎるため、モデルを簡略化) 4、previsムービーと、2Dの背景画像を使ってseedance2.0で動画化。 の流れです。 間のめんどくさい工程をAIに任せて、 CGスタッフは、カメラワークとレイアウトに集中し、美術スタッフも、膨大な枚数や解像度で描かなくて済み、アートワークに集中しましょう! という発想です🥹 ---------------- ▼現状の課題 ---------------- とはいえ、手放しに、これでいける!!というものではないので、現状の課題をいくつか記載しておきます - カメラワークの完全な一致は難しく、現状ガチャ - 早い動きのところの溶けは未だに存在する (だいぶ改善はしている) - 撮影フレーム外の余白まで含めた解像度の生成ができない。(16:9の中に一回り小さい撮影フレームを入れれば可能ですが、解像度が低くなる) - 作例では、木の回り込みが、90°くらい足りておらず、途中からSLっぽくなっている。これは2枚目と3枚目の背景画像で、同じ形の枝葉があり、そこでミスっていると思われます。 (クレジット不足で是正できず、手前の木がなければ、かなり精度は高い) - 現状、上記のような問題を細かく調整していこうとすると、カメラマップのオペレーション工数と同じくらいAIのオペレーション工数がかかる可能性大😨 - あとは、ローカル生成だとしても、seedance2.0がAPI経由になので、プロジェクトによってはNGになる可能性も。オープンソースで同等以上の性能のモデルが出てきてくれることに期待、、、! ----------- ▼まとめ ----------- 個人の制作では、すでに申し分ないのですが、商業ベースで行う場合は、まだボトルネックになりそうな部分がチラホラあります。 とはいえ、時間の問題で、年内には、有効な事例が出てくるんじゃないかな?と予想します。 個人的には、意図をもったクリエイティブなところは人間の手で、それ以外のところはAIで行うことで、現場の負担を減らしつつ、楽しい仕事になればいいな!と願うばかりです🥹 ※作例では、キャラと参照用の背景画像の作成にもAIを使っています

ててつろう

12,006 views • 1 month ago

No more content to load