Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

MiniMax H3のアリババLoRA(alibaba-paiのPDD 8-Step)をRTX 5090のComfyUIで試してみました。 これはすごいかも。 動画時間8秒,768p,i2vで同一シード・同一プロンプトの比較で 標準25step:398.7秒 アリババLoRA:145.8秒(63%減) もう少し試行したいとは思いますが、いまのところ自分の目では品質の差がわからなかったのでこちらに乗り換えを検討しています。 アリババLoRAで作った768pのlatentを2Kへアップスケールしても合計391.3秒で、標準25stepで768p1本作る時間で2K完成品が出る計算でした。 後半のモーショングラフィックスは480pで105.1秒→45.1秒(57%減)です。

29,485 Aufrufe • vor 1 Monat •via X (Twitter)

6 Kommentare

Profilbild von 鈴木憂一 | Highdrama
鈴木憂一 | Highdramavor 1 Monat

使ったのはこちらです。 LoRA本体(Apache-2.0): ComfyUI用の専用ローダー(通常のLoRAローダーでは読めません):

Profilbild von Nezko2026🍊
Nezko2026🍊vor 1 Monat

No way!! Is this a video made by running MiniMax H3 locally?? I'm not really sure ^^

Profilbild von あら
あらvor 1 Monat

もしよろしければ何のアップスケーラーを使ってるか教えていただけますか?

Profilbild von 鈴木憂一 | Highdrama
鈴木憂一 | Highdramavor 1 Monat

H3専用のlatent Upscalerを使っています。 以前まとめたこちらの方法です。

Profilbild von あら
あらvor 1 Monat

ありがとうございます!

Profilbild von STORK|AIでFIRE目指す
STORK|AIでFIRE目指すvor 1 Monat

MiniMax H3のPDD 8-Stepを、同一シード・同一プロンプトの8秒・768p・i2vで比較し、398.7秒から145.8秒まで示しているので、63%減の根拠が追いやすいですね。

Ähnliche Videos

✨MiniMax H3の4ステップLoRA、Xで見かけたので試してみました! 1280x736・14秒が 15分57秒 → 4分3秒 になりました(3.9倍) 同じシード・同じ参照画像・同じプロンプトでの比較です。 使ったのはlightx2vの蒸留LoRAを、KijaiさんがComfyUI用に変換してくれているもので、少し深めに調査してみました😊 ファイル名がFL2V用になってたけど、Ref2VA(参照から動画)に挿してみたら普通に動きました🤔 絵は20ステップ版と並べてみて、明らかに落ちる感じはしなかったです。細部もそんなに変わらない。 ただ4ステップの方が動きが小さめでした🤔 3本回しても同じだったので、シードではなくステップ数の影響だと思います。少ないステップで決めきる必要があるぶん、無難な方に寄るんじゃないかなと とはいえ20ステップの方は動きが激しいぶんキャラが反転したりしていたので、どっちが良いとも言い切れないです あと生成速度は5倍にはなりませんでした💦 ステップは20→4で1/5になるんですが、VAEデコードとmp4書き出しの時間は変わらないので、そこが全体の4分の1くらいを占めます。どれだけステップを減らしてもこの1分弱は残るので、頭打ちがあるぽいです そして前にSageとEasyCacheは同時に使えて速さも重なると書きましたが、EasyCacheとこのLoRAは重なりませんでした🤔 ログを見ると1ステップも飛ばしてなくて、監視の分だけ5〜6%遅くなるだけでした。同じシードで比べたら絵も音も完全に同じです 理由は「何を削っているか」が同じだからだと思います。EasyCacheは前のステップと似ていたら計算を省く仕組みなんですが、4ステップだと1歩の変化が大きすぎて似ていない。ステップ間の余りをLoRAが先に全部使ってしまった感じです Sageは計算のやり方を変える手法なのでステップ数と関係なく、こちらは重なります なのでEasyCacheが悪いわけではなくて、20ステップなら普通に効きます(前に測った時は5/20飛ばして1.34倍でした)。今回のは4ステップの話です あと前回「15秒だけ通らない」と書いた件、4ステップでも同じところで落ちました。ステップ数ではなく1回の計算に渡る量で決まっているみたいです なので15秒の中で激しいカット割りをやりたい時は、今はまだこのLoRAじゃないかもしれません。作者さんもv0.1のプレビュー版で「改良版を開発中」と書いているので、そこは待ちかなと思っています とはいえ4分なら試せる回数が全然違うので、しばらくこれで回してみます😊 リプにリンクと導入手順👇 #ai #comfyui

LUTA@AI

40,722 Aufrufe • vor 2 Monaten

ローカルMiniMax H3で、声つきの約7秒動画をリアルタイムに連続生成してみました。RTX 5090+DGX Spark互換機3台を使いました。 動画の完成間隔は平均約6.9秒。RTX 5090が動画を生成している間に事前・事後の処理をDGX Sparkが行い、途切れずに再生します。 RTX 5090単体でやったときは15秒単位でしたが、7秒単位になったことで、返事・話題・動作・衣装を次々に切り替えられるようになりました。解像度も320×576から384×704(画素数約1.5倍)に上げられたので画像の崩れが減り、体験がかなり良くなりました。 PDMD 2step LoRAは音声に問題があるため、先にIrodoriで音声を作り、H3の音声VAEで「音声latent」に変換して生成時のガイドとして渡し、口の動きを合わせています。最終的な音は、Irodoriの音声をそのまま動画に重ねています。 動画生成モデルなので、従来のVTuberのように衣装ごとにモデルを作り込まなくていいのは楽ですが、何が起きるかわからない怖さもあります。 なお、コメントに7秒で返せるわけではありません。1つの返事を作る処理には約14.4秒、今回のデモでは再生待ちを含めて約16秒かかります。応答の待ち時間はまだ課題です。 ※コメントと返答文は事前に用意したデモです。実際にAITuberをやるならもう一つモデルを動かすPCが必要になりそうです。冒頭2本の挨拶は事前生成、ドット絵化は後処理です。

鈴木憂一 | Highdrama

76,122 Aufrufe • vor 9 Tagen

Sora2でカット割り -> Grokで動画化 今回のMVは自作の「Sora2のカット割りツール」を使ったらどれだけ時短できるかの検証をしてみました。下記を満たすのを品質条件にした前提で作業自体は約1時間で終わりました ◇品質条件 --- ゆるいストーリー(気まずい二人のデート)をもった2分半の動画。同一人物の一貫性、彼らの背景など様々なカットを出して「喧嘩してる」「でも二人とも心の中ではそんな小さなことにとらわれてちゃいけないよな」と気づいてはいる、というところまで映像で曲をサポートできている ---- なのでこれをnano-bananaでひとつずつやってくと結構大変です。全体で40カットあるのでその生成と選定で結構時間かかります。 Sora2では「高速なカット割り」とプロンプトすると結構カットを切り替えてくれます。このカット割りがとても優秀なのでこれをフレーム抽出して使う人も増えています。しかし微妙に時間かかります。40カットをポチポチ選んでいく必要があります。 今回はSora2で12秒動画を3つだし、40カットほどのフレーム抽出をしました。 このフレーム抽出リプ欄で紹介しているツールを使うとほんとに数秒で終わります。(今回一番時短したかったポイント!) さて、今回はかなり怠惰な生成アプローチをしたいのでGrokにノープロンプトで投げ続けました。あとはそれをつないだだけです。もっとこだわれるところはめちゃくちゃありますが、今回は上記の品質さえ満たせばOKって感じなのでこの辺は妥協してます Sora2を待っている時間が多分一番長かったのです。Grokは早いですね。途中から僕はただのコピペマシンでしたw てかGrokこれだけじゃんじゃん生成できてクオリティ高いの普通にバグってるわ このSora2のフレーム抽出ツール、需要がありそうなのでちょっと体裁を整えて明日ごろに公開します。別にSora2の動画じゃなくても使えます。一気にフレーム抽出できるのは楽しいですよ!

yachimat - AI Short Anime

36,449 Aufrufe • vor 11 Monaten

シンギュラリティのトリガーである「再帰的自己改善」は、すでに少し前に起きているという。もちろん、まだ全自動ではないが、「進歩のどこまでがAIでどこまでが人間なのか」は曖昧になってきている。著者性が溶けるこの感覚こそ、分単位で進むシンギュラリティの手触りなのだ。 サリム・イスマイル「再帰的自己改善(RSI)がシンギュラリティの本当のトリガーだという話は、以前からしてきました。そしてそれは、すでに少し前に起きているんです。だから今やっているのは、その道筋を加速しているだけです。私たちは今この瞬間にも、産業時代を恒久的に抜けつつあります」 デイブ・ブランディン「ええ、シンギュラリティが分単位で展開していく様子は、私が経験した中で最も興味深いものだと本当に思いますし、アレックスの言うとおりです。いまは、人間がループの中にいて貢献している時期ではあるのですが、進歩のどこまでがAIでどこまでが人間なのかが、本当に曖昧なんです。実際にコーディングしていると、『あれは自分のアイデアだったのか?』となります。 半分は自分のアイデアのようでも、AIが別の案を提案してきて、それを採用していくうちに、結局それが自分のアイデアだったのかどうかも分からなくなります。ただ、いまのモードでは、こうしたコアアルゴリズムの研究の多くが、『500本のテストを走らせて、どのハイパーパラメータが良かったか、どのニューラルトポロジーが良かったかを教えて』という形になっています。相対論を発明したり発見したりするような話ではありません。 いろいろな試行を大量に回して、うまくいったものを選んで再デプロイし、そうするとより賢いAIになって、さらに多くの試行をする——その繰り返しです。私たちはその道筋をかなり進んでいる可能性が高いと思います」

Tsubame

15,386 Aufrufe • vor 7 Monaten

「NewJeansが言いたいこと」日本語訳 全文 こんにちは、NewJeansです。このような突然の席に驚かれたBunniesの方もいらっしゃると思いますが、今回のことに関してメンバーの考えや意見を述べたいと思い、このような場を設けました。まず、この配信をしようと思った理由のひとつとして、代表が解任されて間もないにも関わらず、私たちとずっと一緒にやってきた多くの方々が不当な要求やプレッシャーの中で苦しんでいる姿を見るのがとても辛かったんです。そして、それを見守るしかないのがとても悔しかったし、私たち5人の将来がとても心配でした。正直ライブを準備しながら、ライブをしたらどんな反応があるのか当然心配でした。そして、ミンヒジン代表が指示したのではというような言葉が出るかもしれないのでその点も心配です。ですが、この部分についてははっきり言っておきたいと思います。これは私たち5人が本当に言いたいことがあり準備したライブです。準備できない部分は、私たちが信頼している監督さんたちに助けてもらっています。Bunniesの方までみんなが行動してくださるのに、私たちだけ後ろに隠れているのは違うのではないかと思いました。
26:38

Sensitive content

「NewJeansが言いたいこと」日本語訳 全文 こんにちは、NewJeansです。このような突然の席に驚かれたBunniesの方もいらっしゃると思いますが、今回のことに関してメンバーの考えや意見を述べたいと思い、このような場を設けました。まず、この配信をしようと思った理由のひとつとして、代表が解任されて間もないにも関わらず、私たちとずっと一緒にやってきた多くの方々が不当な要求やプレッシャーの中で苦しんでいる姿を見るのがとても辛かったんです。そして、それを見守るしかないのがとても悔しかったし、私たち5人の将来がとても心配でした。正直ライブを準備しながら、ライブをしたらどんな反応があるのか当然心配でした。そして、ミンヒジン代表が指示したのではというような言葉が出るかもしれないのでその点も心配です。ですが、この部分についてははっきり言っておきたいと思います。これは私たち5人が本当に言いたいことがあり準備したライブです。準備できない部分は、私たちが信頼している監督さんたちに助けてもらっています。Bunniesの方までみんなが行動してくださるのに、私たちだけ後ろに隠れているのは違うのではないかと思いました。

ビタ

14,649,807 Aufrufe • vor 2 Jahren

現在APIのみで利用できるMiniMaxH3 Regeneration、実際に使ってみたところ、これ待ち望んでいたものでした💡💡💡 ざっくり言えば動画を高解像化するものなのでアップスケーラーと何が違うの?と思うかも知れません。 とても重要な違いはリファレンスが入力できる点です。 MiniMaxH3 Regenerationは低解像の動画を作成した時のリファレンスをそのまま入力して再生成します。これは小顔の品質に絶大な効果があり、単なるアップスケーラーは崩れた顔を修復できないかできたとしても本来の顔と別人になることが多いのに対し、Regenerationではリファレンス通りの顔にアップスケールされます。 🎦動画の前半は顔の部分のアップの比較、後半は個別の結果を載せています ☑️480Pだと顔はかなり崩れていて、リップシンクがよくわからない部分もあります ☑️Topazでアップスケールをかけてもそのあたりの改善は見られません ☑️Regenerationではリファレンス通りの顔でリップシンクも正しく復元されています✨ ローカルで480Pを短時間で生成して思う存分試行錯誤したあとで、これと決まったクリップだけをRegenerationで高解像度化するというのは、時間的にもコスト的にも理想的なワークフローだと思います💡 MiniMax Design (H3) MiniMax (official)

Artoid XYZ

28,283 Aufrufe • vor 2 Monaten