リアルタイムに動画を撮影して、StableDiffusionで生成する方法がないか探したところ、Fictiverse Redreamというツールが見つかりました。API設定するだけで、簡単に動いたので、使いやすいです。ただし、11秒の動画で生成できるのは512x512で6-7枚ぐらい。0.5秒に1枚ぐらい。

設定はとても簡単で、ダウンロードして解凍した後、A1111WebUIの起動時のOptionに --api と記述するだけです。WebUI起動後に、Redreamを起動して、再生ボタンを押すと、範囲選択に写っているものをSDで生成し始めます。緑はポジティブで、その下はネガティブ。フロッピーを押すと画像を保存し始めます

マシンパワー食いまくるためか、作成できるサイズは512x512が最大になってますね。GPUの使用量は100％近くにびっしり寄ってます。

あ、0.5秒に1枚ではなく、2-3秒毎に1枚でした。すいません。