NOBU's banner
NOBU's profile picture

NOBU

@nbykos • 22,856 subscribers

AIアニメーションの作り方 入門書籍『「作りたいをカタチにする動画生成AI』 https://t.co/6u811ynYkC CPP: Kling / Vidu / Hailuo / TapNow

Shorts

ダンスアニメーションの作り方には 1. プロンプトのみ 2. 動画のモーション参照 というのが有名だけど、実は第三の手法があります。 それは、 3. ダンス手順の資料画像 これを参照に渡して作るといい感じに動いてくれます。 プロンプトより想定通りに動くし、動画参照よりコストが安くなる。

ダンスアニメーションの作り方には 1. プロンプトのみ 2. 動画のモーション参照 というのが有名だけど、実は第三の手法があります。 それは、 3. ダンス手順の資料画像 これを参照に渡して作るといい感じに動いてくれます。 プロンプトより想定通りに動くし、動画参照よりコストが安くなる。

124,150 views

中途半端にアニメ風のキャラクターと実写を混ぜると、頭のサイズの違いから微妙な違和感から気味悪さを感じてしまう。背景モブも同じ世界の住人にすることで緩和しましょう。 それはそれとして、Klingの空間描写能力がすごい。

中途半端にアニメ風のキャラクターと実写を混ぜると、頭のサイズの違いから微妙な違和感から気味悪さを感じてしまう。背景モブも同じ世界の住人にすることで緩和しましょう。 それはそれとして、Klingの空間描写能力がすごい。

543,529 views

Seedance2を使い始めた皆さまへ プロンプトはしっかり書きましょう 適当に書くと立派なクソ動画が生成されます

Seedance2を使い始めた皆さまへ プロンプトはしっかり書きましょう 適当に書くと立派なクソ動画が生成されます

87,882 views

動画生成AIによるアニメーションが2Dでも3Dでもない表現に到達しつつある。 完全な2Dではないけど、3Dでもない。 鼻や顔の輪郭の処理は2Dっぽいけど、動きは3Dっぽい。 2Dっぽいアートスタイルを維持できる。 不思議な感じだ。 Vidu Q2

動画生成AIによるアニメーションが2Dでも3Dでもない表現に到達しつつある。 完全な2Dではないけど、3Dでもない。 鼻や顔の輪郭の処理は2Dっぽいけど、動きは3Dっぽい。 2Dっぽいアートスタイルを維持できる。 不思議な感じだ。 Vidu Q2

218,806 views

Grokの動画生成時に 同じ画像を2枚参照させると キャラクターデザインの崩れが減ります 2枚入れると参照生成に切り替わる、というのが大きいかも。 これでしょぼいアニメキャラクターになる現象を抑制できます。

Grokの動画生成時に 同じ画像を2枚参照させると キャラクターデザインの崩れが減ります 2枚入れると参照生成に切り替わる、というのが大きいかも。 これでしょぼいアニメキャラクターになる現象を抑制できます。

77,495 views

Sora2 Proで3D系の描写をやらせると動きがきめ細かく美しくなる。 - 植物の動き - ギアの動き - 水の動き この辺りの品質が明らかに上がっている。 映像の品質が上がるのではなくて、物理のシミュレーション能力（リアリティ？）が向上するのかもしれない。

Sora2 Proで3D系の描写をやらせると動きがきめ細かく美しくなる。 - 植物の動き - ギアの動き - 水の動き この辺りの品質が明らかに上がっている。 映像の品質が上がるのではなくて、物理のシミュレーション能力（リアリティ？）が向上するのかもしれない。

201,885 views

動画生成AIのRunwayを用いて縦型ダンス動画の作り方を解説したnoteを書きました。 以下のような画像と動画を作れます。左側の動画はプロンプトをそのまま使用した一発出しです。 問題があるとしたら記事がクソ長いことです。

動画生成AIのRunwayを用いて縦型ダンス動画の作り方を解説したnoteを書きました。 以下のような画像と動画を作れます。左側の動画はプロンプトをそのまま使用した一発出しです。 問題があるとしたら記事がクソ長いことです。

382,345 views

ギター練習 by Runway

ギター練習 by Runway

237,210 views

【動画生成AIで「デザイン選び」が超重要な理由】 この動画は、複数のキャラクターを船に乗せた比較テストです。 デザインやスタイルが違うだけで、 ・キャラクターの動き ・船の速度 ・カメラワーク これらに違いが生まれます。 （ちなみにプロンプトはほぼ同じです） つまり何を選ぶかで 「AIから引き出せる能力」 が変わります。 やりたい表現で、 やりたい動きを引き出せるとは限りません。 AIにおいてデザインは、 視覚的な課題だけでなく 「動かす前提条件」 でもあるのです。 この点を理解しておくと、 AIを使いこなせるようになります。 --- このテストは参照素材がキャラクターごとで異なり、舞台とプロンプトはほぼ同じ。 使用ツール: Vidu Q2

【動画生成AIで「デザイン選び」が超重要な理由】 この動画は、複数のキャラクターを船に乗せた比較テストです。 デザインやスタイルが違うだけで、 ・キャラクターの動き ・船の速度 ・カメラワーク これらに違いが生まれます。 （ちなみにプロンプトはほぼ同じです） つまり何を選ぶかで 「AIから引き出せる能力」 が変わります。 やりたい表現で、 やりたい動きを引き出せるとは限りません。 AIにおいてデザインは、 視覚的な課題だけでなく 「動かす前提条件」 でもあるのです。 この点を理解しておくと、 AIを使いこなせるようになります。 --- このテストは参照素材がキャラクターごとで異なり、舞台とプロンプトはほぼ同じ。 使用ツール: Vidu Q2

85,327 views

参考プロンプトを元に作りました。 こりゃ良いです！ 動画はKlingで生成しました。 リアル背景の時はGrok/Vidu以上に性能を発揮する印象です。

参考プロンプトを元に作りました。 こりゃ良いです！ 動画はKlingで生成しました。 リアル背景の時はGrok/Vidu以上に性能を発揮する印象です。

88,301 views

[やり方] Vidu Q3で擬似的なエンドフレーム生成によって実現しています。 - スタート: 真っ黒な画像を入れる（CanvaやPhotoshopなどで適当に作る） - エンド: 最終フレームに適した画像を入れる あとは適当に熱量高いプロンプトを書くと完成です。 スレッドにViduキャプチャ貼っておきます。

[やり方] Vidu Q3で擬似的なエンドフレーム生成によって実現しています。 - スタート: 真っ黒な画像を入れる（CanvaやPhotoshopなどで適当に作る） - エンド: 最終フレームに適した画像を入れる あとは適当に熱量高いプロンプトを書くと完成です。 スレッドにViduキャプチャ貼っておきます。

35,577 views

カット一つ一つは全然難しくない。しかし、編集のテンポとセリフと音が自然なので高品質に見える。これがSoraのすごいところ。 と同時に、動画作りのヒントがここにある。 ショット内でよく動くことと、良い動画作品になることはイコールではない。

カット一つ一つは全然難しくない。しかし、編集のテンポとセリフと音が自然なので高品質に見える。これがSoraのすごいところ。 と同時に、動画作りのヒントがここにある。 ショット内でよく動くことと、良い動画作品になることはイコールではない。

92,765 views

まともに銃をリロードできるモデルはまだ存在しないみたいだが、その中でも異色のリロード動作を見せるのがSeedanceです。

まともに銃をリロードできるモデルはまだ存在しないみたいだが、その中でも異色のリロード動作を見せるのがSeedanceです。

97,917 views

💡 動画生成AIは余白で動きを決める 🎥 左右の動画を見比べてみましょう。 右のこぢんまりとした動きに対して、左のキャラは身体全体を使った動きをしてます。 実はこの二つの動画「同一プロンプト・同一素材」で生成してます。 なら違いは何か？左の素材画像に対して余白を追加しているのです。 余白の分だけ、キャラクターの動く余地が生まれます。同じプロンプトなのに、より大きい動きが可能になります。逆に動きが大きい場合は、対象キャラクターをフレームギリギリまで近づけることで動きを抑制できます。 もちろんプロンプトでも動きを調整できます。しかし、動きのポテンシャルは余白の有無で決まっているように感じるのです。 以下は優先度の仮説です 1. 動かすだけの余白があるか（フレームとキャラクターの比率=提供画像） 2. その中でどれだけ動かすか（プロンプト） 個人的にはかなり本質的な発見です。 最終的なショットと生成に相応しいショットが異なることを示すからです。このギャップを認識していないと、動画生成AIから十分な性能を引き出せないことになります。 あくまでも生成用にショットサイズを調整して出力、その結果を後でトリミング＆アップスケールで編集に回す、という工夫が必要かもしれません。 生成AIは実写やアニメと異なり、アクター/モデルとフレームの関係が逆転しています。フレームが先で、その中で初めて演技もキャラクターも生成されるのです。この違いを認識することが重要なのではないかと思いました。

💡 動画生成AIは余白で動きを決める 🎥 左右の動画を見比べてみましょう。 右のこぢんまりとした動きに対して、左のキャラは身体全体を使った動きをしてます。 実はこの二つの動画「同一プロンプト・同一素材」で生成してます。 なら違いは何か？左の素材画像に対して余白を追加しているのです。 余白の分だけ、キャラクターの動く余地が生まれます。同じプロンプトなのに、より大きい動きが可能になります。逆に動きが大きい場合は、対象キャラクターをフレームギリギリまで近づけることで動きを抑制できます。 もちろんプロンプトでも動きを調整できます。しかし、動きのポテンシャルは余白の有無で決まっているように感じるのです。 以下は優先度の仮説です 1. 動かすだけの余白があるか（フレームとキャラクターの比率=提供画像） 2. その中でどれだけ動かすか（プロンプト） 個人的にはかなり本質的な発見です。 最終的なショットと生成に相応しいショットが異なることを示すからです。このギャップを認識していないと、動画生成AIから十分な性能を引き出せないことになります。 あくまでも生成用にショットサイズを調整して出力、その結果を後でトリミング＆アップスケールで編集に回す、という工夫が必要かもしれません。 生成AIは実写やアニメと異なり、アクター/モデルとフレームの関係が逆転しています。フレームが先で、その中で初めて演技もキャラクターも生成されるのです。この違いを認識することが重要なのではないかと思いました。

172,706 views

スタンプをSeedance2で動画にしてみた

スタンプをSeedance2で動画にしてみた

18,405 views

行儀が悪い Seedance2

行儀が悪い Seedance2

24,146 views

引用の動画の一部をSeedance2にするテストです これは動画の中盤にあるオバケたちが働いている中を配達するシーンなのですが、Seedance2だとオバケ描写が溶けずにはっきりと描写されます (Klingだとロングショット時に溶けがちだった)。 加えて、オバケたちの労働の内容がわかりやすい描写になっています。動きにメリハリがあるわけではないけれど、観る人からは意味が通じるようになっています。 意図が壊れない動画を作る、という点ではSeedance2はとても頼りになるモデルというのがわかりますね。

引用の動画の一部をSeedance2にするテストです これは動画の中盤にあるオバケたちが働いている中を配達するシーンなのですが、Seedance2だとオバケ描写が溶けずにはっきりと描写されます (Klingだとロングショット時に溶けがちだった)。 加えて、オバケたちの労働の内容がわかりやすい描写になっています。動きにメリハリがあるわけではないけれど、観る人からは意味が通じるようになっています。 意図が壊れない動画を作る、という点ではSeedance2はとても頼りになるモデルというのがわかりますね。

24,050 views

学園アイドル with Seedance2

学園アイドル with Seedance2

29,673 views

「Seedance2は意図が壊れない動画を作る」 とはどういうことか？ プロンプトの指定を守ってくれるので、 一発でほぼ正解を出せるということです （指示が正解だった場合） 適切なプロンプト書いて素材を渡せば、 時間もクレジットも無駄にならない。 動画AIエージェントの基盤モデルに相応しい理由 この動画もリトライ無しの一発出しです ※編集で二つのものを繋げてる

「Seedance2は意図が壊れない動画を作る」 とはどういうことか？ プロンプトの指定を守ってくれるので、 一発でほぼ正解を出せるということです （指示が正解だった場合） 適切なプロンプト書いて素材を渡せば、 時間もクレジットも無駄にならない。 動画AIエージェントの基盤モデルに相応しい理由 この動画もリトライ無しの一発出しです ※編集で二つのものを繋げてる

20,288 views

銃撃表現が今までのAIの中でもトップクラスな気がする。あとリロードでちゃんとマガジンが排出される。再挿入はしてくれなかったが。 #Sora2

銃撃表現が今までのAIの中でもトップクラスな気がする。あとリロードでちゃんとマガジンが排出される。再挿入はしてくれなかったが。 #Sora2

61,784 views

Videos

LIVE
1.2k

Anya Rossi

sweetdream.ai

SweetDream.aiSponsored•Livecam
Streaming Now

Watch Anya Live

Anya is streaming live right now! Join her private show and enjoy exclusive content.

HD live stream
Exclusive private shows
1.2k viewers online

Free preview available • Premium content

オフィスの日常 A Typical Day at the Office
0:43
nbykos's profile picture

オフィスの日常 A Typical Day at the Office

NOBU

860,540 views • 3 months ago

だいぶ納得できるスタイルに到達しました シンプルなデザインかつ2.5Dなので都合の悪い時はいつでも3D化で対処できる このデザインとスタイルならモデルを跨いでも機能するはず キャラクター生成: niji7 → Nano Banana Pro 動画: Vidu 音楽: Suno
0:59
nbykos's profile picture

だいぶ納得できるスタイルに到達しました シンプルなデザインかつ2.5Dなので都合の悪い時はいつでも3D化で対処できる このデザインとスタイルならモデルを跨いでも機能するはず キャラクター生成: niji7 → Nano Banana Pro 動画: Vidu 音楽: Suno

NOBU

696,718 views • 4 months ago

Escape from ... Seedance2
0:27
nbykos's profile picture

Escape from ... Seedance2

NOBU

61,895 views • 1 month ago

明日のワークショップではこれを作ります
0:27
nbykos's profile picture

明日のワークショップではこれを作ります

NOBU

42,669 views • 1 month ago

自撮り水族館 SeedreamV4+Seedance+Wan2.2
0:30
nbykos's profile picture

自撮り水族館 SeedreamV4+Seedance+Wan2.2

NOBU

84,103 views • 8 months ago

アニメスタイルのデザインがVeo3 (fast)でもMidjourneyでも崩れにくい。加えてVeo3はモーションも良い。fastはコストも高くはないので、今のところ最強かも。 クレジットを追加購入できないのがネック。 ※全て同じプロンプトでの比較検証
0:20
nbykos's profile picture

アニメスタイルのデザインがVeo3 (fast)でもMidjourneyでも崩れにくい。加えてVeo3はモーションも良い。fastはコストも高くはないので、今のところ最強かも。 クレジットを追加購入できないのがネック。 ※全て同じプロンプトでの比較検証

NOBU

50,215 views • 10 months ago

Vidu Q2の参照生成で、様々なアートスタイルのキャラクターにギターを弾かせました。 大抵のスタイルで動くので、もはや動かすためのテクニックが陳腐化しつつあるのを感じます。 最善を尽くすのなら、キャラクターと背景のスタイルは合わせた方が良いです。（当たり前）
0:23
nbykos's profile picture

Vidu Q2の参照生成で、様々なアートスタイルのキャラクターにギターを弾かせました。 大抵のスタイルで動くので、もはや動かすためのテクニックが陳腐化しつつあるのを感じます。 最善を尽くすのなら、キャラクターと背景のスタイルは合わせた方が良いです。（当たり前）

NOBU

30,201 views • 7 months ago

Kling 2.0 が物に対するインタラククションをどれくらいできるのかをテストした動画。 - パンを食べる - 目玉焼きを食べる - 目玉焼きをパンに乗せて食べる - コーヒーを飲む 結果は全て成功！ 他のモデルでも試したけど、ここまで自然な描画をしてくれるのは今のところKling 2.0 だけだと思う。
0:25
nbykos's profile picture

Kling 2.0 が物に対するインタラククションをどれくらいできるのかをテストした動画。 - パンを食べる - 目玉焼きを食べる - 目玉焼きをパンに乗せて食べる - コーヒーを飲む 結果は全て成功！ 他のモデルでも試したけど、ここまで自然な描画をしてくれるのは今のところKling 2.0 だけだと思う。

NOBU 🎥 動画生成AIの人

36,120 views • 1 year ago

自分にとってRunwayの正しい使い方はこれ
0:21
nbykos's profile picture

自分にとってRunwayの正しい使い方はこれ

NOBU

33,883 views • 1 year ago

薄塗りスタイルの絵をKlingで動かしてみたのまとめ。 時々うまく動かないこともあったけど、大抵の場合は動く。プロンプトで工夫すれば何とかなるレベルに感じた。
0:24
nbykos's profile picture

薄塗りスタイルの絵をKlingで動かしてみたのまとめ。 時々うまく動かないこともあったけど、大抵の場合は動く。プロンプトで工夫すれば何とかなるレベルに感じた。

NOBU 🎥 動画生成AIの人

34,439 views • 1 year ago

No more content to load