Loading video...

Video Failed to Load

There was a problem loading this video. This could be due to a temporary network issue or the video might be unavailable.

Kling 2.1 Start-Endフレーム 10秒設定で生成するとかなり滑らかにシーンを繋いでくれます人の動きが自然

とうや

15,477 subscribers

30,465 views • 11 months ago •via X (Twitter)

Science & Technology

Anya Rossi• Live Now

Private livecam show

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

【ワンカット風ライブMVの作成方法】引用元の動画、たくさんの方にリアクションいただきありがとうございました✨️ 本当はX記事で整理して書きたかったんですが、操作難しすぎたのでツリー形式でご紹介します。読みにくくてすみません。正直汎用性があるのか微妙ですが、Codexを使用した効率化の考え方としては参考になるかなと思います。説明が下手なので複雑に見えるかもしれませんが、やってみるとシンプルですし、今回のようなワンカット方式だけではなく長尺の作品にも応用できると思いますので、ぜひお試しください😆 わかりにくいところや他にも気になる点があれば遠慮なく聞いてください！！！ --- 今回は下記の3つ（+おまけ1つ）をご紹介します。（②以降はリプ欄） ① Start/Endフレームを繋げて長尺ワンカットに見せる ② Codexでフレーム画像を効率的に作る ③ 動画生成プロンプト作成 ④ おまけ：動画プロンプトから絵コンテで動画のイメージを事前チェックする --- ① Start/Endフレームを繋げて長尺ワンカットに見せる今回のMVは150秒なので、15秒の動画素材であれば最低10個作成し、動画の素材間をシームレスに繋げる必要があります。（今回はシーンの関係上一部15秒未満にしたため12個作ってます）そこで利用したのが、Start/Endフレーム指定方式です。添付1枚目のGIFのように前シーンのEndフレームを次のシーンのStartフレームにすることでワンカットになるように見せています。 GIFはScene3までですが、これを最後のシーンまで繰り返します。編集する時、頭もしくはお尻の1、2フレームを抜いたり、速度を上げると少しスムーズに繋がることが多いです。また、今回はHailuoのSeedance2.0を使用したのですが、Start/Endフレーム指定は2枚目のようなイメージです。

【ワンカット風ライブMVの作成方法】引用元の動画、たくさんの方にリアクションいただきありがとうございました✨️ 本当はX記事で整理して書きたかったんですが、操作難しすぎたのでツリー形式でご紹介します。読みにくくてすみません。正直汎用性があるのか微妙ですが、Codexを使用した効率化の考え方としては参考になるかなと思います。説明が下手なので複雑に見えるかもしれませんが、やってみるとシンプルですし、今回のようなワンカット方式だけではなく長尺の作品にも応用できると思いますので、ぜひお試しください😆 わかりにくいところや他にも気になる点があれば遠慮なく聞いてください！！！ --- 今回は下記の3つ（+おまけ1つ）をご紹介します。（②以降はリプ欄） ① Start/Endフレームを繋げて長尺ワンカットに見せる ② Codexでフレーム画像を効率的に作る ③ 動画生成プロンプト作成 ④ おまけ：動画プロンプトから絵コンテで動画のイメージを事前チェックする --- ① Start/Endフレームを繋げて長尺ワンカットに見せる今回のMVは150秒なので、15秒の動画素材であれば最低10個作成し、動画の素材間をシームレスに繋げる必要があります。（今回はシーンの関係上一部15秒未満にしたため12個作ってます）そこで利用したのが、Start/Endフレーム指定方式です。添付1枚目のGIFのように前シーンのEndフレームを次のシーンのStartフレームにすることでワンカットになるように見せています。 GIFはScene3までですが、これを最後のシーンまで繰り返します。編集する時、頭もしくはお尻の1、2フレームを抜いたり、速度を上げると少しスムーズに繋がることが多いです。また、今回はHailuoのSeedance2.0を使用したのですが、Start/Endフレーム指定は2枚目のようなイメージです。

Mankyu | AI動画生成

110,400 views • 2 months ago

AIで生成した1枚の画像をもとに動画を制作。描かれていない部分まで、動画生成AIが自然に補完してくれる。 Midjourney → KLING で作ったけど、KLINGの効果音生成もかなり自然。

AIで生成した1枚の画像をもとに動画を制作。描かれていない部分まで、動画生成AIが自然に補完してくれる。 Midjourney → KLING で作ったけど、KLINGの効果音生成もかなり自然。

HAL2400 | AI Visual Creator

35,696 views • 9 months ago

Fireflyの「構成参照」でスタイリングした画像を、「画像から動画生成」の開始と終了にそれぞれ2枚ずつ設定すると、シーンが自然につながる動画が作れます！ #AdobeFirefly #Firefly

Fireflyの「構成参照」でスタイリングした画像を、「画像から動画生成」の開始と終了にそれぞれ2枚ずつ設定すると、シーンが自然につながる動画が作れます！ #AdobeFirefly #Firefly

タマケン | デザイン

64,602 views • 1 year ago

💡 動画生成AIは余白で動きを決める 🎥 左右の動画を見比べてみましょう。右のこぢんまりとした動きに対して、左のキャラは身体全体を使った動きをしてます。実はこの二つの動画「同一プロンプト・同一素材」で生成してます。なら違いは何か？左の素材画像に対して余白を追加しているのです。余白の分だけ、キャラクターの動く余地が生まれます。同じプロンプトなのに、より大きい動きが可能になります。逆に動きが大きい場合は、対象キャラクターをフレームギリギリまで近づけることで動きを抑制できます。もちろんプロンプトでも動きを調整できます。しかし、動きのポテンシャルは余白の有無で決まっているように感じるのです。以下は優先度の仮説です 1. 動かすだけの余白があるか（フレームとキャラクターの比率=提供画像） 2. その中でどれだけ動かすか（プロンプト）個人的にはかなり本質的な発見です。最終的なショットと生成に相応しいショットが異なることを示すからです。このギャップを認識していないと、動画生成AIから十分な性能を引き出せないことになります。あくまでも生成用にショットサイズを調整して出力、その結果を後でトリミング＆アップスケールで編集に回す、という工夫が必要かもしれません。生成AIは実写やアニメと異なり、アクター/モデルとフレームの関係が逆転しています。フレームが先で、その中で初めて演技もキャラクターも生成されるのです。この違いを認識することが重要なのではないかと思いました。

💡 動画生成AIは余白で動きを決める 🎥 左右の動画を見比べてみましょう。右のこぢんまりとした動きに対して、左のキャラは身体全体を使った動きをしてます。実はこの二つの動画「同一プロンプト・同一素材」で生成してます。なら違いは何か？左の素材画像に対して余白を追加しているのです。余白の分だけ、キャラクターの動く余地が生まれます。同じプロンプトなのに、より大きい動きが可能になります。逆に動きが大きい場合は、対象キャラクターをフレームギリギリまで近づけることで動きを抑制できます。もちろんプロンプトでも動きを調整できます。しかし、動きのポテンシャルは余白の有無で決まっているように感じるのです。以下は優先度の仮説です 1. 動かすだけの余白があるか（フレームとキャラクターの比率=提供画像） 2. その中でどれだけ動かすか（プロンプト）個人的にはかなり本質的な発見です。最終的なショットと生成に相応しいショットが異なることを示すからです。このギャップを認識していないと、動画生成AIから十分な性能を引き出せないことになります。あくまでも生成用にショットサイズを調整して出力、その結果を後でトリミング＆アップスケールで編集に回す、という工夫が必要かもしれません。生成AIは実写やアニメと異なり、アクター/モデルとフレームの関係が逆転しています。フレームが先で、その中で初めて演技もキャラクターも生成されるのです。この違いを認識することが重要なのではないかと思いました。

NOBU

172,881 views • 1 year ago

ゲームでのストレスは、「自分の思い通りにならないこと」から生まれています。自分の思うようにプレイできなかったり、味方が期待通りの動きをしてくれない。「本当はできるはずなのに」と考えると、イライラは溜まっていく一方です。だからこそ、ゲーム中は自分ができることを探してプレイすることが大切です。

ゲームでのストレスは、「自分の思い通りにならないこと」から生まれています。自分の思うようにプレイできなかったり、味方が期待通りの動きをしてくれない。「本当はできるはずなのに」と考えると、イライラは溜まっていく一方です。だからこそ、ゲーム中は自分ができることを探してプレイすることが大切です。

鬼エイム / ONIAIM

12,676 views • 1 month ago

意外と知らない人が多いんですが、「リンパの流れ」が滞ると太りやすくなります！特に「座ることが多い人」や「運動をあまりしない人」は流れが悪いことが多いです！でも、「運動はきついからやりたくない」という人は、このストレッチをやってみてください！体がかなりスッキリするのがわかりますよ！

意外と知らない人が多いんですが、「リンパの流れ」が滞ると太りやすくなります！特に「座ることが多い人」や「運動をあまりしない人」は流れが悪いことが多いです！でも、「運動はきついからやりたくない」という人は、このストレッチをやってみてください！体がかなりスッキリするのがわかりますよ！

のあ🐶6ヶ月で-18kgダイエット

243,393 views • 3 years ago

PR【こりゃすごい Topview Agent v2】 Topview（TOPVIEW（トップビュー）日本公式）のAgent v2に引用の動画を渡して、簡単な指示で続きのシーンを作るようお願いしてみたら、声・BGM・キャラクターの一貫性をそのまま引き継いで、自然なシーンを生成してくれた…これはちょっとびっくりしましたね。 Agent v2は1つの画面で続きのシーンを生成・編集できるのがかなり便利（1カットの生成は15秒までです）リプに繋げてみたフル動画を貼るので、ぜひ見てみてください。 #TopviewAI #Seedance2

PR【こりゃすごい Topview Agent v2】 Topview（TOPVIEW（トップビュー）日本公式）のAgent v2に引用の動画を渡して、簡単な指示で続きのシーンを作るようお願いしてみたら、声・BGM・キャラクターの一貫性をそのまま引き継いで、自然なシーンを生成してくれた…これはちょっとびっくりしましたね。 Agent v2は1つの画面で続きのシーンを生成・編集できるのがかなり便利（1カットの生成は15秒までです）リプに繋げてみたフル動画を貼るので、ぜひ見てみてください。 #TopviewAI #Seedance2

ICO

12,883 views • 4 months ago

【PR】元画像の生成から動画化まで、すべてPollo AI内で作ってみました。まずPollo AIのGPT Image 2で、ウォータースライダーのスタート地点にいる女性の画像を生成。その画像を開始フレームに設定し、Seedance 2.0で、「スライダーを滑走する」「最後は夢オチ」という15秒の動画にしました。別の画像生成ツールを使わず、1つのサービス内で画像から動画まで完結できるのが便利です。なお、Seedance 2.5も近日中にリリース予定とのこと。機会があれば試してみたいです。 #PolloAI Pollo AI 日本公式

【PR】元画像の生成から動画化まで、すべてPollo AI内で作ってみました。まずPollo AIのGPT Image 2で、ウォータースライダーのスタート地点にいる女性の画像を生成。その画像を開始フレームに設定し、Seedance 2.0で、「スライダーを滑走する」「最後は夢オチ」という15秒の動画にしました。別の画像生成ツールを使わず、1つのサービス内で画像から動画まで完結できるのが便利です。なお、Seedance 2.5も近日中にリリース予定とのこと。機会があれば試してみたいです。 #PolloAI Pollo AI 日本公式

藍沢あいせ Aise｜妄想写真家

21,851 views • 15 days ago

Seedance2.0とKLINGのダンス動画比較です。左：Seedance2.0 右：KLING3.0 + Seedance2.0の音声 KLINGは音声が残念過ぎるのですが、Seedance2.0で生成した音を被せてみると、表情が柔らかい分、優位に立つと思いませんか？動画に自動で音が付き始めた頃、音なんて後で付けるから不要なのに、って思ったけれど、今は結構重要な要素になってきてる気がします。でも細かく見比べるとseedanceの方がパンや細かいプッシュイン/アウトが入っていたりするんですけれどね。

Seedance2.0とKLINGのダンス動画比較です。左：Seedance2.0 右：KLING3.0 + Seedance2.0の音声 KLINGは音声が残念過ぎるのですが、Seedance2.0で生成した音を被せてみると、表情が柔らかい分、優位に立つと思いませんか？動画に自動で音が付き始めた頃、音なんて後で付けるから不要なのに、って思ったけれど、今は結構重要な要素になってきてる気がします。でも細かく見比べるとseedanceの方がパンや細かいプッシュイン/アウトが入っていたりするんですけれどね。

AI Girl's Photo Studio

12,246 views • 3 months ago

よくmibotを「ガソリン車にしてほしい」と言われるのですが、原付ミニカーで快適な走行を実現するには、EVが最適だと考えています。原付ミニカー規格では法規により動力の出力が小さく制限されています。ガソリンエンジンは高回転にならないとピークトルクが出ませんが、モーターはゼロ（動き出し）からピークトルクを発生できるため、小さい出力でもスムーズに車体を動かすことができます。つまり、原付ミニカーはモーターを使うことで滑らかな走行が可能になるので、EVが最適解になるということです。

よくmibotを「ガソリン車にしてほしい」と言われるのですが、原付ミニカーで快適な走行を実現するには、EVが最適だと考えています。原付ミニカー規格では法規により動力の出力が小さく制限されています。ガソリンエンジンは高回転にならないとピークトルクが出ませんが、モーターはゼロ（動き出し）からピークトルクを発生できるため、小さい出力でもスムーズに車体を動かすことができます。つまり、原付ミニカーはモーターを使うことで滑らかな走行が可能になるので、EVが最適解になるということです。

横山文洋｜わいざん #mibot

65,237 views • 1 year ago

個人的に #MiniMaxH3 はキャラクターシートをリファレンスさせてプロンプトで動作を制御するよりも、メインのフレームを用意してプロンプトでフレーム間の制御をしてあげるのが使いやすいと感じています☺️ OminiReferenceでも設定したフレームをすごい忠実に出してくれるので、ワンカット長尺も作りやすいのかなとも思ってます。（いつか試してみたい）ただその分画像生成の作業時間が増えます😇 MiniMax Design (H3)

個人的に #MiniMaxH3 はキャラクターシートをリファレンスさせてプロンプトで動作を制御するよりも、メインのフレームを用意してプロンプトでフレーム間の制御をしてあげるのが使いやすいと感じています☺️ OminiReferenceでも設定したフレームをすごい忠実に出してくれるので、ワンカット長尺も作りやすいのかなとも思ってます。（いつか試してみたい）ただその分画像生成の作業時間が増えます😇 MiniMax Design (H3)

Mankyu | AI動画生成

16,475 views • 15 days ago

Nano Banana Proで生成した画像を Kling 3.0 Omni（Kling AI）で動画化しました✨ 以前作った被写体の向きがシームレスに移動する動画のKlingの最新モデル版です！今回も画像から動画生成 Freepik のSpaces上でワンストップに生成しています。動画のラストカットからそのまま次の動画に繋げられるのでスタートエンドで繋ぐ場合は非常に楽ちんですね。生成後の編集までそのままツール内で完結してます。

Nano Banana Proで生成した画像を Kling 3.0 Omni（Kling AI）で動画化しました✨ 以前作った被写体の向きがシームレスに移動する動画のKlingの最新モデル版です！今回も画像から動画生成 Freepik のSpaces上でワンストップに生成しています。動画のラストカットからそのまま次の動画に繋げられるのでスタートエンドで繋ぐ場合は非常に楽ちんですね。生成後の編集までそのままツール内で完結してます。

空想写真家

65,220 views • 6 months ago

クラスの生徒を支配する女性教師② （RunwayのSeedance 2.0で生成）さすがにSoraに比べると破綻が少なく、それっぽい雰囲気の動画を生成してくれます。ただ、日本語の発案がけっこう怪しかったり、机の向きがおかしかったりするので完璧とはいかないですね。

クラスの生徒を支配する女性教師② （RunwayのSeedance 2.0で生成）さすがにSoraに比べると破綻が少なく、それっぽい雰囲気の動画を生成してくれます。ただ、日本語の発案がけっこう怪しかったり、机の向きがおかしかったりするので完璧とはいかないですね。

オムレツくん

81,570 views • 4 months ago

Image2『キャラクター設定一発生成！』ストーリーアニメをつくるとき一貫した基準を作る必要があります。それがキャラクターシートですが、使い道で違うシートが必要になったりします。たとえば、全身を写すときに三面図はベターですが、目のアップなどは顔メインのシートのほうがいいとか👀 とはいえ、いちいち作るのも、、、という方向けのノウハウです！ Image2ではこのように同時生成の画像でしたらテキストのみでも一貫性を保ってくれます。複数回にわたる生成ですと、たまにとても細かいところの一貫性が保たれず、その修正で時間をとられてしまうこともありますが、同時生成ですとその時間も節約できます！試してみるのはいかがでしょうか✨

Image2『キャラクター設定一発生成！』ストーリーアニメをつくるとき一貫した基準を作る必要があります。それがキャラクターシートですが、使い道で違うシートが必要になったりします。たとえば、全身を写すときに三面図はベターですが、目のアップなどは顔メインのシートのほうがいいとか👀 とはいえ、いちいち作るのも、、、という方向けのノウハウです！ Image2ではこのように同時生成の画像でしたらテキストのみでも一貫性を保ってくれます。複数回にわたる生成ですと、たまにとても細かいところの一貫性が保たれず、その修正で時間をとられてしまうこともありますが、同時生成ですとその時間も節約できます！試してみるのはいかがでしょうか✨

FinishFish | AI Anime

23,633 views • 2 months ago

Mankyuさんのポストを参考に #MiniMaxH3 で MVを作ってみました！MiniMax Design (H3) 曲と文字がちょっとズレてしまいましたが概ねできてますかね。たぶんカットごとに動きの指示をプロンプトで細かく調整すれば、もっと自然になったかもしれないです。でも、秒数指定してるわけじゃないのに、カットの切り替えがここまで自然にできるとは… MiniMaxH3すげーや！

Mankyuさんのポストを参考に #MiniMaxH3 で MVを作ってみました！MiniMax Design (H3) 曲と文字がちょっとズレてしまいましたが概ねできてますかね。たぶんカットごとに動きの指示をプロンプトで細かく調整すれば、もっと自然になったかもしれないです。でも、秒数指定してるわけじゃないのに、カットの切り替えがここまで自然にできるとは… MiniMaxH3すげーや！

ねね@AIに夢中

10,495 views • 15 days ago

引き続きSeedance 2.0。自分がNoteで公開している各種の画像付き小説には動画が付いているものがありますが、一部を除いて、当時の技術で生成可能だったレベルの動画を、チョロっとだけ試しに生成する程度でした。技術が成熟してきたら、いずれは動画でのリメイクに取り組みたいという思いは常に持っていて、Sora2やSeedance 2.0のような技術レベル向上が見られた際に、試すようにしています。「【MC Heroine】潜入捜査 - レッドの場合」ということで、添付はレッドの物語の1シーンを、パイロット的にSeedance 2.0で生成してみたわけですが・・・ヤバいなと思うのは、ちょっと試してみようか、と気軽に生成してこのクオリティが出てしまうと、「この次のシーンを」「前のシーンを」「ディテールをもっと改善したい」と、次々生成したくなるという中毒にハマるということですね。案の定、これを生成したあと、前後のシーンを引き続き付け加えたりしていますｗこのまま長い動画を作り始めてしまうと、いろいろ余裕がなくなりますので、適当なところで止めるつもりですが・・・（Seedanceだけで作るのはコスト的にとても無理なので、動きの少ない場面はKling等を併用するようにしています）しかしSeedance 2.0は相変わらず顔参照のOK/NG判定基準がよくわからず、思わぬところでひっかかったりしますね。

引き続きSeedance 2.0。自分がNoteで公開している各種の画像付き小説には動画が付いているものがありますが、一部を除いて、当時の技術で生成可能だったレベルの動画を、チョロっとだけ試しに生成する程度でした。技術が成熟してきたら、いずれは動画でのリメイクに取り組みたいという思いは常に持っていて、Sora2やSeedance 2.0のような技術レベル向上が見られた際に、試すようにしています。「【MC Heroine】潜入捜査 - レッドの場合」ということで、添付はレッドの物語の1シーンを、パイロット的にSeedance 2.0で生成してみたわけですが・・・ヤバいなと思うのは、ちょっと試してみようか、と気軽に生成してこのクオリティが出てしまうと、「この次のシーンを」「前のシーンを」「ディテールをもっと改善したい」と、次々生成したくなるという中毒にハマるということですね。案の定、これを生成したあと、前後のシーンを引き続き付け加えたりしていますｗこのまま長い動画を作り始めてしまうと、いろいろ余裕がなくなりますので、適当なところで止めるつもりですが・・・（Seedanceだけで作るのはコスト的にとても無理なので、動きの少ない場面はKling等を併用するようにしています）しかしSeedance 2.0は相変わらず顔参照のOK/NG判定基準がよくわからず、思わぬところでひっかかったりしますね。

hvplan

15,915 views • 4 months ago

Sora2のカット割りを一括抽出するツールを作ってみたやっぱりSora2のカット割り優秀ですよね。最近はこれを他のAIにi2vするっていうのをやってるんですが、地味にフレーム抽出が面倒。なので、自動フレーム抽出するツールをつくって使っています需要があったらちゃんと整えて公開します仕組みとしては前フレームからどれくらい画が変わっているのかを抽出してるだけなのでV0とかで自作しようと思ったら誰でもできます。閾値を変えれば抽出するフレームの数増やせます（ぶっちゃけ自作がおすすめ。今後こういう地味に手間がかかることを自分で解決できるように） MVのBロールを超高速なカット割りとか言ってSora2に投げたら一瞬でたくさんのBロールつくれますよ！自分で言いますがフツーに便利😆

Sora2のカット割りを一括抽出するツールを作ってみたやっぱりSora2のカット割り優秀ですよね。最近はこれを他のAIにi2vするっていうのをやってるんですが、地味にフレーム抽出が面倒。なので、自動フレーム抽出するツールをつくって使っています需要があったらちゃんと整えて公開します仕組みとしては前フレームからどれくらい画が変わっているのかを抽出してるだけなのでV0とかで自作しようと思ったら誰でもできます。閾値を変えれば抽出するフレームの数増やせます（ぶっちゃけ自作がおすすめ。今後こういう地味に手間がかかることを自分で解決できるように） MVのBロールを超高速なカット割りとか言ってSora2に投げたら一瞬でたくさんのBロールつくれますよ！自分で言いますがフツーに便利😆

yachimat - AI Short Anime

70,654 views • 9 months ago