NOBU's banner
NOBU's profile picture

NOBU

@nbykos • 25,536 subscribers

AI Animation Creator 著書 『「作りたい」をカタチにする動画生成AI』 https://t.co/6u811ynqv4 CPP: Kling / Hailuo / TapNow / CapCut

Shorts

Klingの動きをSeedance2に持ってくる実験 Kling3で良い動きの動画を作る ↓ Gemini Omniでマネキン化 （これをしないとスタイルの細部まで模倣される） ↓ Seedance2でモーション参照 マネキンで再現できていない部分はプロンプトで代替していますが、そこが固くなってしまうのが課題です。

Klingの動きをSeedance2に持ってくる実験 Kling3で良い動きの動画を作る ↓ Gemini Omniでマネキン化 （これをしないとスタイルの細部まで模倣される） ↓ Seedance2でモーション参照 マネキンで再現できていない部分はプロンプトで代替していますが、そこが固くなってしまうのが課題です。

421,515 views

Seedance2.5

Seedance2.5

19,965 views

Grokアプリでも参照生成が使えるようになっていたので早速試しました。 結論としてはfal版と比べて遜色ないです。 Seedance2やH3に比べたら劣るけど、スタイル選択をミスらなければ問題なし。 何よりもサブスクで使えるのが良いです！ 入門者向けです。

Grokアプリでも参照生成が使えるようになっていたので早速試しました。 結論としてはfal版と比べて遜色ないです。 Seedance2やH3に比べたら劣るけど、スタイル選択をミスらなければ問題なし。 何よりもサブスクで使えるのが良いです！ 入門者向けです。

66,071 views

中途半端にアニメ風のキャラクターと実写を混ぜると、頭のサイズの違いから微妙な違和感から気味悪さを感じてしまう。背景モブも同じ世界の住人にすることで緩和しましょう。 それはそれとして、Klingの空間描写能力がすごい。

中途半端にアニメ風のキャラクターと実写を混ぜると、頭のサイズの違いから微妙な違和感から気味悪さを感じてしまう。背景モブも同じ世界の住人にすることで緩和しましょう。 それはそれとして、Klingの空間描写能力がすごい。

543,529 views

ダンスアニメーションの作り方には 1. プロンプトのみ 2. 動画のモーション参照 というのが有名だけど、実は第三の手法があります。 それは、 3. ダンス手順の資料画像 これを参照に渡して作るといい感じに動いてくれます。 プロンプトより想定通りに動くし、動画参照よりコストが安くなる。

ダンスアニメーションの作り方には 1. プロンプトのみ 2. 動画のモーション参照 というのが有名だけど、実は第三の手法があります。 それは、 3. ダンス手順の資料画像 これを参照に渡して作るといい感じに動いてくれます。 プロンプトより想定通りに動くし、動画参照よりコストが安くなる。

127,255 views

Seedance2 (Hailuo) 480p ↓ Upscale (Topaz Precise Starlight 2.5)

Seedance2 (Hailuo) 480p ↓ Upscale (Topaz Precise Starlight 2.5)

62,749 views

動きという観点で言えば、SeedanceよりKlingの方が好き。 動かすために3Dに寄せているとはいえ、動きそのものに魅力があるんですよね。

動きという観点で言えば、SeedanceよりKlingの方が好き。 動かすために3Dに寄せているとはいえ、動きそのものに魅力があるんですよね。

61,393 views

動画生成AIによるアニメーションが2Dでも3Dでもない表現に到達しつつある。 完全な2Dではないけど、3Dでもない。 鼻や顔の輪郭の処理は2Dっぽいけど、動きは3Dっぽい。 2Dっぽいアートスタイルを維持できる。 不思議な感じだ。 Vidu Q2

動画生成AIによるアニメーションが2Dでも3Dでもない表現に到達しつつある。 完全な2Dではないけど、3Dでもない。 鼻や顔の輪郭の処理は2Dっぽいけど、動きは3Dっぽい。 2Dっぽいアートスタイルを維持できる。 不思議な感じだ。 Vidu Q2

218,806 views

AIピクセルアートアニメーションに可能性を感じる Seedance2 めちゃくちゃに動いても許される感じもあるし、相性良いかもしれない。

AIピクセルアートアニメーションに可能性を感じる Seedance2 めちゃくちゃに動いても許される感じもあるし、相性良いかもしれない。

65,248 views

Sora2 Proで3D系の描写をやらせると動きがきめ細かく美しくなる。 - 植物の動き - ギアの動き - 水の動き この辺りの品質が明らかに上がっている。 映像の品質が上がるのではなくて、物理のシミュレーション能力（リアリティ？）が向上するのかもしれない。

Sora2 Proで3D系の描写をやらせると動きがきめ細かく美しくなる。 - 植物の動き - ギアの動き - 水の動き この辺りの品質が明らかに上がっている。 映像の品質が上がるのではなくて、物理のシミュレーション能力（リアリティ？）が向上するのかもしれない。

201,951 views

動画生成AIのRunwayを用いて縦型ダンス動画の作り方を解説したnoteを書きました。 以下のような画像と動画を作れます。左側の動画はプロンプトをそのまま使用した一発出しです。 問題があるとしたら記事がクソ長いことです。

動画生成AIのRunwayを用いて縦型ダンス動画の作り方を解説したnoteを書きました。 以下のような画像と動画を作れます。左側の動画はプロンプトをそのまま使用した一発出しです。 問題があるとしたら記事がクソ長いことです。

382,345 views

Seedance2を使い始めた皆さまへ プロンプトはしっかり書きましょう 適当に書くと立派なクソ動画が生成されます

Seedance2を使い始めた皆さまへ プロンプトはしっかり書きましょう 適当に書くと立派なクソ動画が生成されます

87,882 views

Seedance2でこれだけ動かせることがわかるとVidu使わなくなりそう （検証のため、わざと大袈裟に動かしてます）

Seedance2でこれだけ動かせることがわかるとVidu使わなくなりそう （検証のため、わざと大袈裟に動かしてます）

48,926 views

Grokの動画生成時に 同じ画像を2枚参照させると キャラクターデザインの崩れが減ります 2枚入れると参照生成に切り替わる、というのが大きいかも。 これでしょぼいアニメキャラクターになる現象を抑制できます。

Grokの動画生成時に 同じ画像を2枚参照させると キャラクターデザインの崩れが減ります 2枚入れると参照生成に切り替わる、というのが大きいかも。 これでしょぼいアニメキャラクターになる現象を抑制できます。

78,819 views

ギター練習 by Runway

ギター練習 by Runway

237,434 views

Flux 3 の期待度が上がってきた 油彩スタイルが動く

Flux 3 の期待度が上がってきた 油彩スタイルが動く

16,000 views

これ系、大量にテストしてました。 結論は、モデルと相性の良いデザインの参照素材を用意できるかどうかに帰着した。 Seedance2

これ系、大量にテストしてました。 結論は、モデルと相性の良いデザインの参照素材を用意できるかどうかに帰着した。 Seedance2

26,501 views

【動画生成AIで「デザイン選び」が超重要な理由】 この動画は、複数のキャラクターを船に乗せた比較テストです。 デザインやスタイルが違うだけで、 ・キャラクターの動き ・船の速度 ・カメラワーク これらに違いが生まれます。 （ちなみにプロンプトはほぼ同じです） つまり何を選ぶかで 「AIから引き出せる能力」 が変わります。 やりたい表現で、 やりたい動きを引き出せるとは限りません。 AIにおいてデザインは、 視覚的な課題だけでなく 「動かす前提条件」 でもあるのです。 この点を理解しておくと、 AIを使いこなせるようになります。 --- このテストは参照素材がキャラクターごとで異なり、舞台とプロンプトはほぼ同じ。 使用ツール: Vidu Q2

【動画生成AIで「デザイン選び」が超重要な理由】 この動画は、複数のキャラクターを船に乗せた比較テストです。 デザインやスタイルが違うだけで、 ・キャラクターの動き ・船の速度 ・カメラワーク これらに違いが生まれます。 （ちなみにプロンプトはほぼ同じです） つまり何を選ぶかで 「AIから引き出せる能力」 が変わります。 やりたい表現で、 やりたい動きを引き出せるとは限りません。 AIにおいてデザインは、 視覚的な課題だけでなく 「動かす前提条件」 でもあるのです。 この点を理解しておくと、 AIを使いこなせるようになります。 --- このテストは参照素材がキャラクターごとで異なり、舞台とプロンプトはほぼ同じ。 使用ツール: Vidu Q2

85,327 views

参考プロンプトを元に作りました。 こりゃ良いです！ 動画はKlingで生成しました。 リアル背景の時はGrok/Vidu以上に性能を発揮する印象です。

参考プロンプトを元に作りました。 こりゃ良いです！ 動画はKlingで生成しました。 リアル背景の時はGrok/Vidu以上に性能を発揮する印象です。

88,301 views

💡 動画生成AIは余白で動きを決める 🎥 左右の動画を見比べてみましょう。 右のこぢんまりとした動きに対して、左のキャラは身体全体を使った動きをしてます。 実はこの二つの動画「同一プロンプト・同一素材」で生成してます。 なら違いは何か？左の素材画像に対して余白を追加しているのです。 余白の分だけ、キャラクターの動く余地が生まれます。同じプロンプトなのに、より大きい動きが可能になります。逆に動きが大きい場合は、対象キャラクターをフレームギリギリまで近づけることで動きを抑制できます。 もちろんプロンプトでも動きを調整できます。しかし、動きのポテンシャルは余白の有無で決まっているように感じるのです。 以下は優先度の仮説です 1. 動かすだけの余白があるか（フレームとキャラクターの比率=提供画像） 2. その中でどれだけ動かすか（プロンプト） 個人的にはかなり本質的な発見です。 最終的なショットと生成に相応しいショットが異なることを示すからです。このギャップを認識していないと、動画生成AIから十分な性能を引き出せないことになります。 あくまでも生成用にショットサイズを調整して出力、その結果を後でトリミング＆アップスケールで編集に回す、という工夫が必要かもしれません。 生成AIは実写やアニメと異なり、アクター/モデルとフレームの関係が逆転しています。フレームが先で、その中で初めて演技もキャラクターも生成されるのです。この違いを認識することが重要なのではないかと思いました。

💡 動画生成AIは余白で動きを決める 🎥 左右の動画を見比べてみましょう。 右のこぢんまりとした動きに対して、左のキャラは身体全体を使った動きをしてます。 実はこの二つの動画「同一プロンプト・同一素材」で生成してます。 なら違いは何か？左の素材画像に対して余白を追加しているのです。 余白の分だけ、キャラクターの動く余地が生まれます。同じプロンプトなのに、より大きい動きが可能になります。逆に動きが大きい場合は、対象キャラクターをフレームギリギリまで近づけることで動きを抑制できます。 もちろんプロンプトでも動きを調整できます。しかし、動きのポテンシャルは余白の有無で決まっているように感じるのです。 以下は優先度の仮説です 1. 動かすだけの余白があるか（フレームとキャラクターの比率=提供画像） 2. その中でどれだけ動かすか（プロンプト） 個人的にはかなり本質的な発見です。 最終的なショットと生成に相応しいショットが異なることを示すからです。このギャップを認識していないと、動画生成AIから十分な性能を引き出せないことになります。 あくまでも生成用にショットサイズを調整して出力、その結果を後でトリミング＆アップスケールで編集に回す、という工夫が必要かもしれません。 生成AIは実写やアニメと異なり、アクター/モデルとフレームの関係が逆転しています。フレームが先で、その中で初めて演技もキャラクターも生成されるのです。この違いを認識することが重要なのではないかと思いました。

172,881 views

Videos

LIVE
1.2k

Anya Rossi

sweetdream.ai

SweetDream.aiSponsored•Livecam
Streaming Now

Watch Anya Live

Anya is streaming live right now! Join her private show and enjoy exclusive content.

HD live stream
Exclusive private shows
1.2k viewers online

Free preview available • Premium content

オフィスの日常 A Typical Day at the Office
0:43
nbykos's profile picture

オフィスの日常 A Typical Day at the Office

NOBU

867,544 views • 6 months ago

だいぶ納得できるスタイルに到達しました シンプルなデザインかつ2.5Dなので都合の悪い時はいつでも3D化で対処できる このデザインとスタイルならモデルを跨いでも機能するはず キャラクター生成: niji7 → Nano Banana Pro 動画: Vidu 音楽: Suno
0:59
nbykos's profile picture

だいぶ納得できるスタイルに到達しました シンプルなデザインかつ2.5Dなので都合の悪い時はいつでも3D化で対処できる このデザインとスタイルならモデルを跨いでも機能するはず キャラクター生成: niji7 → Nano Banana Pro 動画: Vidu 音楽: Suno

NOBU

701,756 views • 7 months ago

Seedance2.5はディレクター能力を低下させたのかと思ったけど全然そんなことなかった。むしろ向上している。演出お任せでも普通に機能する。 では何が邪魔しているのかというと、参照である。 他の人も言っているけど参照強度が上がってしまい、余計なイメージボードや設定資料があるとそれに引っ張られてスタイルも構図も自由度が失われる。 最低限の個数＋プロンプトの方がうまく行きやすい。 具体的なイメージを持てないシーンであれば、展開のアウトラインだけ渡して任せてしまうのも手だと思う。 参照50個も使えるのに、皮肉な状況になってる。
0:20
nbykos's profile picture

Seedance2.5はディレクター能力を低下させたのかと思ったけど全然そんなことなかった。むしろ向上している。演出お任せでも普通に機能する。 では何が邪魔しているのかというと、参照である。 他の人も言っているけど参照強度が上がってしまい、余計なイメージボードや設定資料があるとそれに引っ張られてスタイルも構図も自由度が失われる。 最低限の個数＋プロンプトの方がうまく行きやすい。 具体的なイメージを持てないシーンであれば、展開のアウトラインだけ渡して任せてしまうのも手だと思う。 参照50個も使えるのに、皮肉な状況になってる。

NOBU

70,523 views • 28 days ago

Seedance2.5 30秒生成をすると、やっぱ15秒じゃ足りなかったんだなと思う。30秒あるとゆっくりとした動きを丁寧に追える。
0:22
nbykos's profile picture

Seedance2.5 30秒生成をすると、やっぱ15秒じゃ足りなかったんだなと思う。30秒あるとゆっくりとした動きを丁寧に追える。

NOBU

26,547 views • 1 month ago

そういえばGenieが日本でも使えるって知ってましたか。 Google AIのUltraプランに入っている方は使えます。 あらゆる場所の隙間を潜れるので、どこまでも行けるのが体験として面白かった。 ワールドモデルのワールドはオープンワールドのワールドだということを体験できる。
1:11
nbykos's profile picture

そういえばGenieが日本でも使えるって知ってましたか。 Google AIのUltraプランに入っている方は使えます。 あらゆる場所の隙間を潜れるので、どこまでも行けるのが体験として面白かった。 ワールドモデルのワールドはオープンワールドのワールドだということを体験できる。

NOBU

39,063 views • 2 months ago

Escape from ... Seedance2
0:27
nbykos's profile picture

Escape from ... Seedance2

NOBU

62,554 views • 4 months ago

オリジナルのショートアニメを作りました。 TapNowの「1万の並行宇宙」コンテストに合わせたものです。 アルミホイルペンギンがストーリーのキャラクターとして登場します🐧 シリーズ作品として今後もエピソードを追加予定です。 TapNowのコンテスト詳細はコメントに記載してます！
2:44
nbykos's profile picture

オリジナルのショートアニメを作りました。 TapNowの「1万の並行宇宙」コンテストに合わせたものです。 アルミホイルペンギンがストーリーのキャラクターとして登場します🐧 シリーズ作品として今後もエピソードを追加予定です。 TapNowのコンテスト詳細はコメントに記載してます！

NOBU

53,429 views • 3 months ago

ネコ戦士とネコドラゴンの戦い Seedance2
0:28
nbykos's profile picture

ネコ戦士とネコドラゴンの戦い Seedance2

NOBU

33,547 views • 2 months ago

ねこ戦士 Seedance2
0:31
nbykos's profile picture

ねこ戦士 Seedance2

NOBU

31,196 views • 2 months ago

朝からずっと int.lab さんのやつをどう再現するだろうと検証していたら、別の場所に着地した。 Hailuo (Seedance2)
0:34
nbykos's profile picture

朝からずっと int.lab さんのやつをどう再現するだろうと検証していたら、別の場所に着地した。 Hailuo (Seedance2)

NOBU

31,208 views • 2 months ago

Seedance2.5の30秒生成（480p→Upscale） 普通にいい感じに動きました。 リズムに合わせた動きが良くなっていると思う。
0:30
nbykos's profile picture

Seedance2.5の30秒生成（480p→Upscale） 普通にいい感じに動きました。 リズムに合わせた動きが良くなっていると思う。

NOBU

13,699 views • 1 month ago

明日のワークショップではこれを作ります
0:27
nbykos's profile picture

明日のワークショップではこれを作ります

NOBU

42,669 views • 4 months ago

自撮り水族館 SeedreamV4+Seedance+Wan2.2
0:30
nbykos's profile picture

自撮り水族館 SeedreamV4+Seedance+Wan2.2

NOBU

84,103 views • 11 months ago

Runway Agentを試しました。 これだけで2000クレジット（20ドル=約3300円）消化しました。安いのか、高いのか、もうわからない。 元のデザインでは盾のに猫ちゃんの顔が描かれていたが消えてしまった。渡したキャラクターシートをそのまま使わず、なぜか作り直されてしまって、その際に消えてしまった。使用しているモデルの目が悪い可能性あり。 展開の発想やプロンプトの性能は悪くはないと思う。 BGMは作ってくれたが (Lyria 3 Pro)、字幕は加えてくれなかった。 総評: Seedance2の良いプロンプトを出力するスキルさえあれば、ローカルで動かすCodex+fal (or renoise)で十分に思った。 適当な動画で十分なら、十分だと思う。
0:30
nbykos's profile picture

Runway Agentを試しました。 これだけで2000クレジット（20ドル=約3300円）消化しました。安いのか、高いのか、もうわからない。 元のデザインでは盾のに猫ちゃんの顔が描かれていたが消えてしまった。渡したキャラクターシートをそのまま使わず、なぜか作り直されてしまって、その際に消えてしまった。使用しているモデルの目が悪い可能性あり。 展開の発想やプロンプトの性能は悪くはないと思う。 BGMは作ってくれたが (Lyria 3 Pro)、字幕は加えてくれなかった。 総評: Seedance2の良いプロンプトを出力するスキルさえあれば、ローカルで動かすCodex+fal (or renoise)で十分に思った。 適当な動画で十分なら、十分だと思う。

NOBU

14,144 views • 2 months ago

アニメスタイルのデザインがVeo3 (fast)でもMidjourneyでも崩れにくい。加えてVeo3はモーションも良い。fastはコストも高くはないので、今のところ最強かも。 クレジットを追加購入できないのがネック。 ※全て同じプロンプトでの比較検証
0:20
nbykos's profile picture

アニメスタイルのデザインがVeo3 (fast)でもMidjourneyでも崩れにくい。加えてVeo3はモーションも良い。fastはコストも高くはないので、今のところ最強かも。 クレジットを追加購入できないのがネック。 ※全て同じプロンプトでの比較検証

NOBU

50,215 views • 1 year ago

Vidu Q2の参照生成で、様々なアートスタイルのキャラクターにギターを弾かせました。 大抵のスタイルで動くので、もはや動かすためのテクニックが陳腐化しつつあるのを感じます。 最善を尽くすのなら、キャラクターと背景のスタイルは合わせた方が良いです。（当たり前）
0:23
nbykos's profile picture

Vidu Q2の参照生成で、様々なアートスタイルのキャラクターにギターを弾かせました。 大抵のスタイルで動くので、もはや動かすためのテクニックが陳腐化しつつあるのを感じます。 最善を尽くすのなら、キャラクターと背景のスタイルは合わせた方が良いです。（当たり前）

NOBU

31,143 views • 10 months ago

自分にとってRunwayの正しい使い方はこれ
0:21
nbykos's profile picture

自分にとってRunwayの正しい使い方はこれ

NOBU

33,889 views • 1 year ago