Video yükleniyor...
Video Yüklenemedi
動画理解と操作はGemini (3.8 Flash) が強い。 15秒の動画5本分を丸投げの自動編集です。 向きや要素、リズム、さらには注視点を予測してカッティングしてくれます。 BGMにも合わせてくれる。
23,320 görüntüleme • 27 gün önce •via X (Twitter)
6 Yorum

Geminiに聞いたら以下のワークフローで作ったとのこと。 ------ [Phase 1] 技術的メタデータ解析(解像度・アスペクト比・音声・FPSの検査) ↓ [Phase 2] マクロ個別分析(1fpsサンプリングによるシチュエーション・被写体の把握) ↓ [Phase 3] ミクロ個別分析(高密度サンプリングによる運動ベクトル・アクション境界の特定) ↓ [Phase 4] 音響工学的楽曲解析(BPM・拍・小節・トランジェント・構成の特定) ↓ [Phase 5] 数学的EDL設計(22カットのIN/OUT点・カット尺のフレーム単位算出) ↓ [Phase 6] 通し分析(モンタージュ全体のアイトレース・構図・緩急の整合性検証) ↓ [Phase 7] 高品位レンダリング&マスター同期(CRF 16 / 1080p / 320kbps AAC)

私も音声は3.8flashを使ってますが、動画編集もいいですね!

言われてみれば音声やBGMの分析もかなり精度高かったですね!やはりマルチモーダルといえばGeminiなんですかね。安いのも気に入ってます。

TLに流れてきて拝見したのですが、こちらで使われている楽曲とても素敵で気に入りました。 tobuっぽい音と展開を感じますが、こちらはSUNO作成曲ですか?

こちらはManusに完全お任せです。モデルもプロンプトもわからないそうです(Manusに聞いた)

Geminiの動画編集能力、すごいですね。15秒動画5本分を自動で、しかもBGMまで合わせてくれるのは、時間短縮に大きく貢献しますよ。AIに丸投げできるレベルまで来てるんですね。
