LUTA＠AI
@luta_ai • 8,921 subscribers
「面白い」を起点に、AIと共に映像・音楽・ゲーム・物語を制作｜人間の“したい”を、誰かに届く価値へ変える実験の記録。
Shorts
Videos
✨MiniMax H3、RTX 4090（24GB）で15秒の音声付き動画が丸ごと生成できた！🎉 しかも学習範囲の上限（362フレーム＝15.08秒）まで到達。9.6分。 でも最初は5秒生成に496秒かかってました。設定3つで別物になった💦 ・torchは cu130 必須。cu128だと comfy_kitchen のCUDAバックエンドがavailable:True なのに disabled:True になって、int8演算が全部eager落ち → サンプリング 6.12 → 1.92 s/it（3.19倍） ※ただし nvfp4 は cu130 でもエミュレーションのまま。4090（Ada）にFP4のTensorCoreが無いので💦 速くなったのはint8側の寄与です ・--fast-disk は付けちゃダメぽい。モデルをNVMeに置くのは良かったみたいだけど"退避先"までディスクにするフラグなので往復が発生する → 5秒尺の合計 496秒 → 118秒 ※ここはRAM次第かも。うちはRAM 32GBで19GB空けられたので退避先がRAMで足りました。空きが少ないと逆にディスクの方が良くなる可能性あり ・--vram-headroom 2 が効く。WindowsはVRAM溢れてもOOMにならず共有メモリ（システムRAM）に静かに落ちるだけなので気づけない → 8秒尺のデコード 603秒 → 33.9秒 エラーが一度も出ないまま10倍以上遅くなってたので、 もし引っかかる人がいたらこのあたりをLLMに見てみるといいかも😊 #ai #comfyui
LUTA＠AI103,508 次观看 • 1 个月前
✨MiniMax H3、Sage Attentionを入れると生成時間が約2倍速くなりました！ 8秒 / 1280x736 で 14分07秒 → 7分18秒（1.93倍） 同じシードで見比べて画質の差はそこまで大きくない気がします。EasyCacheのようにステップを飛ばさず、計算のやり方を変えるだけなので、画質には影響しにくいんだと思います🤔 面白いのは解像度が高いほど効くこと。 ・864x480 … 1.70倍 ・1280x736 … 2.06倍 解像度を上げるとアテンションの計算量が急に増えるので、そこを速くするSageの効き幅も大きくなるみたいです。 おかげで「解像度を上げると何倍時間がかかるか」自体が 4.01倍 → 3.24倍 に下がりました✨ ただ上限があります💦 15秒 × 1280x736（0.9メガピクセル)潜在39.4万トークンで CUDA illegal memory access が出て落ちる。14秒 x 1280x736（0.9メガピクセル)潜在37.5万トークンまでは通りました。微妙に1秒通らない💦 VRAM不足ではなかったです。リプに試したこと書きました👇 #ai #comfyui
LUTA＠AI84,908 次观看 • 1 个月前
✨MiniMax H3の4ステップLoRA、Xで見かけたので試してみました！ 1280x736・14秒が 15分57秒 → 4分3秒 になりました（3.9倍） 同じシード・同じ参照画像・同じプロンプトでの比較です。 使ったのはlightx2vの蒸留LoRAを、KijaiさんがComfyUI用に変換してくれているもので、少し深めに調査してみました😊 ファイル名がFL2V用になってたけど、Ref2VA（参照から動画）に挿してみたら普通に動きました🤔 絵は20ステップ版と並べてみて、明らかに落ちる感じはしなかったです。細部もそんなに変わらない。 ただ4ステップの方が動きが小さめでした🤔 3本回しても同じだったので、シードではなくステップ数の影響だと思います。少ないステップで決めきる必要があるぶん、無難な方に寄るんじゃないかなと とはいえ20ステップの方は動きが激しいぶんキャラが反転したりしていたので、どっちが良いとも言い切れないです あと生成速度は5倍にはなりませんでした💦 ステップは20→4で1/5になるんですが、VAEデコードとmp4書き出しの時間は変わらないので、そこが全体の4分の1くらいを占めます。どれだけステップを減らしてもこの1分弱は残るので、頭打ちがあるぽいです そして前にSageとEasyCacheは同時に使えて速さも重なると書きましたが、EasyCacheとこのLoRAは重なりませんでした🤔 ログを見ると1ステップも飛ばしてなくて、監視の分だけ5〜6%遅くなるだけでした。同じシードで比べたら絵も音も完全に同じです 理由は「何を削っているか」が同じだからだと思います。EasyCacheは前のステップと似ていたら計算を省く仕組みなんですが、4ステップだと1歩の変化が大きすぎて似ていない。ステップ間の余りをLoRAが先に全部使ってしまった感じです Sageは計算のやり方を変える手法なのでステップ数と関係なく、こちらは重なります なのでEasyCacheが悪いわけではなくて、20ステップなら普通に効きます（前に測った時は5/20飛ばして1.34倍でした）。今回のは4ステップの話です あと前回「15秒だけ通らない」と書いた件、4ステップでも同じところで落ちました。ステップ数ではなく1回の計算に渡る量で決まっているみたいです なので15秒の中で激しいカット割りをやりたい時は、今はまだこのLoRAじゃないかもしれません。作者さんもv0.1のプレビュー版で「改良版を開発中」と書いているので、そこは待ちかなと思っています とはいえ4分なら試せる回数が全然違うので、しばらくこれで回してみます😊 リプにリンクと導入手順👇 #ai #comfyui
LUTA＠AI40,722 次观看 • 1 个月前
sora2を今日の分100回分回しました。 やる前とやった後では印象が違いました🤔 これは知り合いと送り合って遊ぶこれまでの動画生成AIの導線とは全く違う導線なのかも。 そう思うとめっちゃ興味深かった。 特にこのカメオ機能。これで自分を撮ったり友達を撮ってきてお互いに変なことしたりして送り合って、リミックスして面白がるみたいな。身内で楽しむノリ😊 知らない人が見てもまったく面白くないけど、知ってたら面白いみたいな。だから今までのSNSとはちょっと違う印象だった。 そう考えると10秒間しか作れないのも納得感がある。発想だけで面白いもの作るAIならではのアプリ。そう考えると興味深い😊 招待が解放されたらパブリックで楽しむのもあるかもだけど、それよりクローズドな関係で楽しむ感じがした。 スマホで手軽に動画生成を使った新しい遊びという感じだから、AIを使った次世代のプロダクトをリリースしたんじゃないかなと感じている。 それにそもそも、ダウンロードは透かしが入るので、そっちはおまけ。スマホだと透かしが入ってないので、普通に見える。スマホ前提の新しいAIプロダクトとみると、新しさを感じる。 とはいえ、評価するのは市場だから、全体解放された時に市場がどういう捉え方をしていくのか、どう判断するかが楽しみ🤔 新しいって難しい… #Sora2
LUTA＠AI306,924 次观看 • 11 个月前
Qwen3.5、RTX 4090で毎秒134トークン出た！喜んだのも束の間、翌日再構築💦 一昨日ローカルで初めて動かした後、 最適化フラグを入れたら毎秒134トークンまで跳ねた。 が、昨日UnslothさんがQwen3.5のGGUFを更新されたので入れて見たら急に重くなってしまった…💦 再調整をしてなんとか、毎秒95〜120トークン！ 結果、品質は上がった。速度も十分。素晴らしい！ （使用モデル：Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf） ただ問題はVRAMがギリギリすぎて、他の作業はできない😨 モデルが大きくなった分、KVキャッシュの量子化をq8_0からq4_0に下げて VRAMを節約することなんとかスムーズに😊（添付の動画） この辺のヒリヒリ感が「一回入れて終わり」じゃなくていい またさらに調整していこうかな 楽しくなってきた🥰 この2日間の全記録をnoteにまとめました 👇リプにリンク #ai #Qwen35
LUTA＠AI98,890 次观看 • 6 个月前
Qwen3.8-27Bがでたのでシューティングゲームを作ってもらったのだけど、Claudeの作業ルールを読んで実装していて驚いた😊 4090一枚でQwen3.8-27B（Q4量子化）をllama.cppで動かして、opencodeから指示。全部ローカルで完結してるのでAPI代はもちろんゼロです。 ここまではまあ想定通りだったわけですが、ゲームを作る手順がかなり効率的だった🤔 自分がClaude用に書いてた作業ルール（CLAUDE.md）を、opencodeが勝手に読んでくれてた。 そこに「作業を始める時はまず知見ファイルを読め」と書いてあるので、Qwenがその通りに読みに行く。 さらに面白いのがここで、その知見ファイルは索引になっていて「ゲームを作る時はこれ、動画の時はこれ」と分岐が並んでる。 Qwenは索引を読んで、ゲーム制作用のファイルだけを自分で選んで開いてました。全部読むでも読まないでもなく、今回必要な分だけ。 これは指示してません。索引を渡しただけです。 で、出てきたコードに実際その知見が入ってた。HUDの更新を1箇所にまとめる書き方とか、数値を設定ファイルに集約するとか、前に自分がハマって書き残したやつ。 数字にするとこう。 ・最初の指示から最後のファイルまで15分 ・13ファイル／583行 ・生成速度38.2 tok/s（1回の返答で約15,000トークン書いてる） ・コンソールエラー0 ・タイトル→自機移動→弾→敵→当たり判定→スコア→ウェーブ進行まで動く ゲーム自体は素朴です。この前Grokに作ってもらったやつと比べるとコード量で1/5くらいだし、1回の返答で15,000トークン使うので64Kのコンテキストは4〜5往復で埋まる。作り込んでいく用途には向いてない。 それでも使い方は広がりそう。 なにより、自分が積んできた知見が別の道具でもそのまま使えるのはいいね。移植作業は一切せずにこれができるのは楽だ😊
LUTA＠AI15,127 次观看 • 24 天前
✨AI音声で一貫した声を作り会話させるチャレンジ 前に音声を使ってLLMの文章を読ませることには成功していたけど、今回はオリジナルの声を作成してみました。 やったこと： ①まずQwen3-TTSで声を1個作る ②その声で171個量産（台詞バリエーション） ③Style-Bert-VITS2で学習 → 50分でカスタム音声モデル完成 ④UIに接続 → リアルタイムで喋る やばい！自分で作った声だと楽しい😊 苦労したところ： ・最初はブラウザ内TTS（Chatterbox）を試した → 1文30秒＆英語のみでまだ難しいしそもそもこの用途が厳しいかも💦 ・SBV2に切り替えたら環境構築に手間取ったけどうまくいった ・ただライセンスは要注意。やる場合は先にライセンス確認を。用途によっては制限があるものもある📝 まだまだ色々あるけど、今後のことを考えるとNVIDIAからも良い音声AIが出てるし、対応できるようにしておきたい。 今回は前回と同じくモデルはGPT-OSS 20Bだけど、Ollamaから読んでるので早い。 WebGPUでこれぐらい出たら嬉しいけどなー🥰 とはいえローカルでここまでできるようになったのは嬉しい。データは一切外に出ないしね。 声の元はAI生成だから、「存在しない人の声」をAIが学習して、AIキャラが喋る。 #AI #TTS
LUTA＠AI57,505 次观看 • 6 个月前
表情を変えたい時は 「ComfyUI-AdvancedLivePortrait」いいかも😍 画像生成で 「もうちょっとだけこっち見て欲しい」 と思うことが、よくありますが AdvancedLivePortraitでいい感じに修正できました🥰 限界はあるけど、 無理のない範囲であれば調整できるし リアルタイムに制御できるのも嬉しいポイント💡 ただ少し画質が悪くなり、 アップスケールしても荒れるところがあるので、 この辺はちょっと工夫がいるかも😅 実は完全にこのノードのことは忘れてて、 Sylvain Filoniさんが出したデモ をやってみて「comfyUIでないかな」と探したら AdvancedLivePortraitを再発見。 「あ、これLivePortraitのやつか」と思い出し、 やってみて価値に気が付いたのが今日でした💦 こういう再発見って、たまにあって嬉しい😄 ComfyUI-AdvancedLivePortrait #AI #comfyUI
LUTA＠AI154,172 次观看 • 1 年前
✨自作チャットゲームのTTSをIrodori-TTSに乗り換えたら、感情表現がかなり良くなった🔥 SBV2は配布NGで悩んでたけど、Irodori-TTSはMITで配布OK。ありがたい！ しかもゼロショット音声クローン対応で、参照音声1つだけでキャラ声をかなり再現してくれる。ファインチューニングなしでもここまで出るのはかなり良い。 実際、声も明らかに変わった💛 もともとminatoは少しシステム寄りというか、抑えたキャラとして作ってたんだけど、Irodori-TTSにしたら感情を抑えたままちゃんと“それらしく”なってきた感じがある。 長文はそのままだと読みが崩れたので、80文字ごとに自動分割して結合する実装を入れて解決。 動画は Gemma 4 E4B + Irodori-TTS。ローカル構成、かなりいい。 ここからさらにファインチューニングしたら、もっと詰められそう。 リプにリポジトリ👇 #ai #TTS
LUTA＠AI41,642 次观看 • 5 个月前
seedance2、参照を「役割分担」させたら一貫性の破綻がかなり減った😊 前回は「絵作りはseedanceに任せて自由度を持たせた方がコスパ良い」って書きましたが、あれからいろんなパターンで検証を進めてみたのですが、今回は aimikoda さんのワークフローを参考に、参照画像に役割を分けて渡す方式をじっくり検証してみました😊 ・キャラシート（GPT Image 2でターンアラウンド化）＝見た目を固定する係 ・絵コンテ（10パネル）＝構図と迫力を出す係 ・プロンプト＝動きと因果（誰を狙う／どう吹き飛ばす）を指示する係 1枚に全部やらせず分業させると、顔も崩れにくいし狙ったカットが出る確率が上がる。夜のビル屋上15秒のバトルで9回まわして確かめた手応えです🤔 ただ一発でバチッと決まったらラッキーで、数回まわして良いテイクを拾う前提なのは相変わらず💦 それでも成功度は上がってる。次の問題はカットの渡りだな🤔 #ai #seedance2 #runway
LUTA＠AI23,893 次观看 • 3 个月前
✨LTX-2.3、アニメがいける…！しかも生成時間は衝撃の48秒台。 LTX-2の頃は厳しかったアニメが2.3で行けました！丸ごとそのまま生成できてる。リップシンクも、ElevenLabsの音声に合わせてちょっと「演技」してるし…💦 ただまだどのようなアニメでも行けるとは言い切れないけど！ しかし大きな進歩を感じた。LTX2では話にならなかったんでね…💦 そして驚愕なのが、Kijai氏のFP8版モデル。 960x544 / 165フレームが、モデルロード後の純粋な生成時間でなんと 48.19秒。 モデルロード込みでも179.65秒（約3分） Kijai版の最適化がやばすぎる…！🥰 リプにモデルのリンク👇 #LTX2 #LTX23 #ComfyUI #AI動画生成
LUTA＠AI39,109 次观看 • 6 个月前
🔥ローカル生成＋nanobananaで3分20秒の長尺MVを3日で完成！🔊🎵 1枚の画像から差分を量産し、InfiniteTalkでリップシンク。 曲を仕上げてから実質2日でフルバージョンに到達🎉 正直、普通に動画を繋ぐだけなら長尺も作れる。 でも――「歌詞に合わせた意図的な演出」を入れようとすると、これまでは生成可能なレベルを探しつつ運要素も強く、せいぜい1分ぐらいが演出の限界だった💦 nanobananaは実写だと揺らぎが大きく差分に違和感も出やすいが、何度も調整してある程度まで形にできた。NGカットも“意図的に外す”段階に入れた結果、演出意図を通したままフル尺に到達。 なおリップ以外のカットはwan2.2で生成。 運任せではなく「狙って作る」段階に踏み込めたのは大きな前進です💡 これならNDAリスクも大幅に緩和できそう。 ただしアップデートで壊れやすいので、環境は必ず分けて管理した方がいいかも😊 #nanobanana #ComfyUI
LUTA＠AI45,440 次观看 • 1 年前