LUTA＠AI
@luta_ai • 9,279 subscribers
「面白い」を起点に、AIと共に映像・音楽・ゲーム・物語を制作｜人間の“したい”を、誰かに届く価値へ変える実験の記録。
Shorts
Videos
three.jsで作ってる砂漠のゲーム、この4日ほどはゲームのルールじゃなくて、キャラとモデルのクオリティを上げることに集中しました✨ ルールをあれこれ試したが、面白くないので、とりあえず爽快感と疾走感に集中して手触りと見た目にこだわってみた😊 一番効いたのは、キャラのモデルを「乗った姿勢」で作り直したこと。 元はTポーズのモデルを骨で曲げて乗り物に乗せていたけど、それだと腰やお尻の皮が折れたり伸びたりして、腰が細すぎるなど、普段のカメラだとあまり目立たないけど、角度を変えると破綻していた。そういうことの積み重ねがクオリティに出ると思う。 なので、GPTで乗った姿勢のキャラの絵を出して、Meshyで3Dに。 今の骨をそのモデルに合わせ直して付け直したら、歪みがほぼ消えた。 髪の揺れや体の傾きは、今までどおりthree.js側で動かしている。 ハマったこと ・Meshyのモデルは、テクスチャの区切りごとに頂点がバラバラに分かれている（同じ位置に点が重なっているだけで、つながっていない）。そのまま頂点を動かすと裂けて穴が開く。同じ位置の点をまとめてから触るのが大事 ・骨を合わせる時、頭は髪が邪魔をして向きを62度取り違えた。角のような形のはっきりした所で合わせたら直った 砂漠みたいに何もない所でスピード感を出すのが本当に難しい💦 600km/hにすると飛んでしまうし、キャラが遠くて見えにくい。 なので速さは300km/hに抑えて、風の粒や地面の模様の流れでスピード感を出す方向にした。 ただ、この「速く感じない」をAIに伝えるのが一番苦労した。 上から見た図を描いてもらって、今どこから粒が出てどっちへ流れているかを見せてもらったら、ズレがどこにあるかがやっと分かった。 ポリゴン数も、three.jsでここまで入れたことがなかったので恐る恐るだったけど、キャラだけで約4万、背景の門や岩も入れて60fps出ている。まだいけそう。 結局、全部お任せでいい感じになることはなくて、細かい所の積み重ねだなと… でも、4日でここまで来られるのは本当に魅力✨ エフェクトはまだ仮なんだけど、中々良いエフェクトにならず、格闘中…💦
LUTA＠AI131,152 views • 18 days ago
✨MiniMax H3、RTX 4090（24GB）で15秒の音声付き動画が丸ごと生成できた！🎉 しかも学習範囲の上限（362フレーム＝15.08秒）まで到達。9.6分。 でも最初は5秒生成に496秒かかってました。設定3つで別物になった💦 ・torchは cu130 必須。cu128だと comfy_kitchen のCUDAバックエンドがavailable:True なのに disabled:True になって、int8演算が全部eager落ち → サンプリング 6.12 → 1.92 s/it（3.19倍） ※ただし nvfp4 は cu130 でもエミュレーションのまま。4090（Ada）にFP4のTensorCoreが無いので💦 速くなったのはint8側の寄与です ・--fast-disk は付けちゃダメぽい。モデルをNVMeに置くのは良かったみたいだけど"退避先"までディスクにするフラグなので往復が発生する → 5秒尺の合計 496秒 → 118秒 ※ここはRAM次第かも。うちはRAM 32GBで19GB空けられたので退避先がRAMで足りました。空きが少ないと逆にディスクの方が良くなる可能性あり ・--vram-headroom 2 が効く。WindowsはVRAM溢れてもOOMにならず共有メモリ（システムRAM）に静かに落ちるだけなので気づけない → 8秒尺のデコード 603秒 → 33.9秒 エラーが一度も出ないまま10倍以上遅くなってたので、 もし引っかかる人がいたらこのあたりをLLMに見てみるといいかも😊 #ai #comfyui
LUTA＠AI103,508 views • 2 months ago
✨MiniMax H3、Sage Attentionを入れると生成時間が約2倍速くなりました！ 8秒 / 1280x736 で 14分07秒 → 7分18秒（1.93倍） 同じシードで見比べて画質の差はそこまで大きくない気がします。EasyCacheのようにステップを飛ばさず、計算のやり方を変えるだけなので、画質には影響しにくいんだと思います🤔 面白いのは解像度が高いほど効くこと。 ・864x480 … 1.70倍 ・1280x736 … 2.06倍 解像度を上げるとアテンションの計算量が急に増えるので、そこを速くするSageの効き幅も大きくなるみたいです。 おかげで「解像度を上げると何倍時間がかかるか」自体が 4.01倍 → 3.24倍 に下がりました✨ ただ上限があります💦 15秒 × 1280x736（0.9メガピクセル)潜在39.4万トークンで CUDA illegal memory access が出て落ちる。14秒 x 1280x736（0.9メガピクセル)潜在37.5万トークンまでは通りました。微妙に1秒通らない💦 VRAM不足ではなかったです。リプに試したこと書きました👇 #ai #comfyui
LUTA＠AI84,908 views • 2 months ago
sora2を今日の分100回分回しました。 やる前とやった後では印象が違いました🤔 これは知り合いと送り合って遊ぶこれまでの動画生成AIの導線とは全く違う導線なのかも。 そう思うとめっちゃ興味深かった。 特にこのカメオ機能。これで自分を撮ったり友達を撮ってきてお互いに変なことしたりして送り合って、リミックスして面白がるみたいな。身内で楽しむノリ😊 知らない人が見てもまったく面白くないけど、知ってたら面白いみたいな。だから今までのSNSとはちょっと違う印象だった。 そう考えると10秒間しか作れないのも納得感がある。発想だけで面白いもの作るAIならではのアプリ。そう考えると興味深い😊 招待が解放されたらパブリックで楽しむのもあるかもだけど、それよりクローズドな関係で楽しむ感じがした。 スマホで手軽に動画生成を使った新しい遊びという感じだから、AIを使った次世代のプロダクトをリリースしたんじゃないかなと感じている。 それにそもそも、ダウンロードは透かしが入るので、そっちはおまけ。スマホだと透かしが入ってないので、普通に見える。スマホ前提の新しいAIプロダクトとみると、新しさを感じる。 とはいえ、評価するのは市場だから、全体解放された時に市場がどういう捉え方をしていくのか、どう判断するかが楽しみ🤔 新しいって難しい… #Sora2
LUTA＠AI306,924 views • 1 year ago
✨MiniMax H3の4ステップLoRA、Xで見かけたので試してみました！ 1280x736・14秒が 15分57秒 → 4分3秒 になりました（3.9倍） 同じシード・同じ参照画像・同じプロンプトでの比較です。 使ったのはlightx2vの蒸留LoRAを、KijaiさんがComfyUI用に変換してくれているもので、少し深めに調査してみました😊 ファイル名がFL2V用になってたけど、Ref2VA（参照から動画）に挿してみたら普通に動きました🤔 絵は20ステップ版と並べてみて、明らかに落ちる感じはしなかったです。細部もそんなに変わらない。 ただ4ステップの方が動きが小さめでした🤔 3本回しても同じだったので、シードではなくステップ数の影響だと思います。少ないステップで決めきる必要があるぶん、無難な方に寄るんじゃないかなと とはいえ20ステップの方は動きが激しいぶんキャラが反転したりしていたので、どっちが良いとも言い切れないです あと生成速度は5倍にはなりませんでした💦 ステップは20→4で1/5になるんですが、VAEデコードとmp4書き出しの時間は変わらないので、そこが全体の4分の1くらいを占めます。どれだけステップを減らしてもこの1分弱は残るので、頭打ちがあるぽいです そして前にSageとEasyCacheは同時に使えて速さも重なると書きましたが、EasyCacheとこのLoRAは重なりませんでした🤔 ログを見ると1ステップも飛ばしてなくて、監視の分だけ5〜6%遅くなるだけでした。同じシードで比べたら絵も音も完全に同じです 理由は「何を削っているか」が同じだからだと思います。EasyCacheは前のステップと似ていたら計算を省く仕組みなんですが、4ステップだと1歩の変化が大きすぎて似ていない。ステップ間の余りをLoRAが先に全部使ってしまった感じです Sageは計算のやり方を変える手法なのでステップ数と関係なく、こちらは重なります なのでEasyCacheが悪いわけではなくて、20ステップなら普通に効きます（前に測った時は5/20飛ばして1.34倍でした）。今回のは4ステップの話です あと前回「15秒だけ通らない」と書いた件、4ステップでも同じところで落ちました。ステップ数ではなく1回の計算に渡る量で決まっているみたいです なので15秒の中で激しいカット割りをやりたい時は、今はまだこのLoRAじゃないかもしれません。作者さんもv0.1のプレビュー版で「改良版を開発中」と書いているので、そこは待ちかなと思っています とはいえ4分なら試せる回数が全然違うので、しばらくこれで回してみます😊 リプにリンクと導入手順👇 #ai #comfyui
LUTA＠AI40,722 views • 2 months ago
Qwen3.5、RTX 4090で毎秒134トークン出た！喜んだのも束の間、翌日再構築💦 一昨日ローカルで初めて動かした後、 最適化フラグを入れたら毎秒134トークンまで跳ねた。 が、昨日UnslothさんがQwen3.5のGGUFを更新されたので入れて見たら急に重くなってしまった…💦 再調整をしてなんとか、毎秒95〜120トークン！ 結果、品質は上がった。速度も十分。素晴らしい！ （使用モデル：Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf） ただ問題はVRAMがギリギリすぎて、他の作業はできない😨 モデルが大きくなった分、KVキャッシュの量子化をq8_0からq4_0に下げて VRAMを節約することなんとかスムーズに😊（添付の動画） この辺のヒリヒリ感が「一回入れて終わり」じゃなくていい またさらに調整していこうかな 楽しくなってきた🥰 この2日間の全記録をnoteにまとめました 👇リプにリンク #ai #Qwen35
LUTA＠AI98,890 views • 7 months ago
表情を変えたい時は 「ComfyUI-AdvancedLivePortrait」いいかも😍 画像生成で 「もうちょっとだけこっち見て欲しい」 と思うことが、よくありますが AdvancedLivePortraitでいい感じに修正できました🥰 限界はあるけど、 無理のない範囲であれば調整できるし リアルタイムに制御できるのも嬉しいポイント💡 ただ少し画質が悪くなり、 アップスケールしても荒れるところがあるので、 この辺はちょっと工夫がいるかも😅 実は完全にこのノードのことは忘れてて、 Sylvain Filoniさんが出したデモ をやってみて「comfyUIでないかな」と探したら AdvancedLivePortraitを再発見。 「あ、これLivePortraitのやつか」と思い出し、 やってみて価値に気が付いたのが今日でした💦 こういう再発見って、たまにあって嬉しい😄 ComfyUI-AdvancedLivePortrait #AI #comfyUI
LUTA＠AI154,915 views • 2 years ago
✨AI音声で一貫した声を作り会話させるチャレンジ 前に音声を使ってLLMの文章を読ませることには成功していたけど、今回はオリジナルの声を作成してみました。 やったこと： ①まずQwen3-TTSで声を1個作る ②その声で171個量産（台詞バリエーション） ③Style-Bert-VITS2で学習 → 50分でカスタム音声モデル完成 ④UIに接続 → リアルタイムで喋る やばい！自分で作った声だと楽しい😊 苦労したところ： ・最初はブラウザ内TTS（Chatterbox）を試した → 1文30秒＆英語のみでまだ難しいしそもそもこの用途が厳しいかも💦 ・SBV2に切り替えたら環境構築に手間取ったけどうまくいった ・ただライセンスは要注意。やる場合は先にライセンス確認を。用途によっては制限があるものもある📝 まだまだ色々あるけど、今後のことを考えるとNVIDIAからも良い音声AIが出てるし、対応できるようにしておきたい。 今回は前回と同じくモデルはGPT-OSS 20Bだけど、Ollamaから読んでるので早い。 WebGPUでこれぐらい出たら嬉しいけどなー🥰 とはいえローカルでここまでできるようになったのは嬉しい。データは一切外に出ないしね。 声の元はAI生成だから、「存在しない人の声」をAIが学習して、AIキャラが喋る。 #AI #TTS
LUTA＠AI57,505 views • 8 months ago
✨自作チャットゲームのTTSをIrodori-TTSに乗り換えたら、感情表現がかなり良くなった🔥 SBV2は配布NGで悩んでたけど、Irodori-TTSはMITで配布OK。ありがたい！ しかもゼロショット音声クローン対応で、参照音声1つだけでキャラ声をかなり再現してくれる。ファインチューニングなしでもここまで出るのはかなり良い。 実際、声も明らかに変わった💛 もともとminatoは少しシステム寄りというか、抑えたキャラとして作ってたんだけど、Irodori-TTSにしたら感情を抑えたままちゃんと“それらしく”なってきた感じがある。 長文はそのままだと読みが崩れたので、80文字ごとに自動分割して結合する実装を入れて解決。 動画は Gemma 4 E4B + Irodori-TTS。ローカル構成、かなりいい。 ここからさらにファインチューニングしたら、もっと詰められそう。 リプにリポジトリ👇 #ai #TTS
LUTA＠AI41,642 views • 6 months ago
Qwen3.8-27Bがでたのでシューティングゲームを作ってもらったのだけど、Claudeの作業ルールを読んで実装していて驚いた😊 4090一枚でQwen3.8-27B（Q4量子化）をllama.cppで動かして、opencodeから指示。全部ローカルで完結してるのでAPI代はもちろんゼロです。 ここまではまあ想定通りだったわけですが、ゲームを作る手順がかなり効率的だった🤔 自分がClaude用に書いてた作業ルール（CLAUDE.md）を、opencodeが勝手に読んでくれてた。 そこに「作業を始める時はまず知見ファイルを読め」と書いてあるので、Qwenがその通りに読みに行く。 さらに面白いのがここで、その知見ファイルは索引になっていて「ゲームを作る時はこれ、動画の時はこれ」と分岐が並んでる。 Qwenは索引を読んで、ゲーム制作用のファイルだけを自分で選んで開いてました。全部読むでも読まないでもなく、今回必要な分だけ。 これは指示してません。索引を渡しただけです。 で、出てきたコードに実際その知見が入ってた。HUDの更新を1箇所にまとめる書き方とか、数値を設定ファイルに集約するとか、前に自分がハマって書き残したやつ。 数字にするとこう。 ・最初の指示から最後のファイルまで15分 ・13ファイル／583行 ・生成速度38.2 tok/s（1回の返答で約15,000トークン書いてる） ・コンソールエラー0 ・タイトル→自機移動→弾→敵→当たり判定→スコア→ウェーブ進行まで動く ゲーム自体は素朴です。この前Grokに作ってもらったやつと比べるとコード量で1/5くらいだし、1回の返答で15,000トークン使うので64Kのコンテキストは4〜5往復で埋まる。作り込んでいく用途には向いてない。 それでも使い方は広がりそう。 なにより、自分が積んできた知見が別の道具でもそのまま使えるのはいいね。移植作業は一切せずにこれができるのは楽だ😊
LUTA＠AI15,740 views • 2 months ago
✨LTX-2.3、アニメがいける…！しかも生成時間は衝撃の48秒台。 LTX-2の頃は厳しかったアニメが2.3で行けました！丸ごとそのまま生成できてる。リップシンクも、ElevenLabsの音声に合わせてちょっと「演技」してるし…💦 ただまだどのようなアニメでも行けるとは言い切れないけど！ しかし大きな進歩を感じた。LTX2では話にならなかったんでね…💦 そして驚愕なのが、Kijai氏のFP8版モデル。 960x544 / 165フレームが、モデルロード後の純粋な生成時間でなんと 48.19秒。 モデルロード込みでも179.65秒（約3分） Kijai版の最適化がやばすぎる…！🥰 リプにモデルのリンク👇 #LTX2 #LTX23 #ComfyUI #AI動画生成
LUTA＠AI39,237 views • 7 months ago
seedance2、参照を「役割分担」させたら一貫性の破綻がかなり減った😊 前回は「絵作りはseedanceに任せて自由度を持たせた方がコスパ良い」って書きましたが、あれからいろんなパターンで検証を進めてみたのですが、今回は aimikoda さんのワークフローを参考に、参照画像に役割を分けて渡す方式をじっくり検証してみました😊 ・キャラシート（GPT Image 2でターンアラウンド化）＝見た目を固定する係 ・絵コンテ（10パネル）＝構図と迫力を出す係 ・プロンプト＝動きと因果（誰を狙う／どう吹き飛ばす）を指示する係 1枚に全部やらせず分業させると、顔も崩れにくいし狙ったカットが出る確率が上がる。夜のビル屋上15秒のバトルで9回まわして確かめた手応えです🤔 ただ一発でバチッと決まったらラッキーで、数回まわして良いテイクを拾う前提なのは相変わらず💦 それでも成功度は上がってる。次の問題はカットの渡りだな🤔 #ai #seedance2 #runway
LUTA＠AI23,893 views • 4 months ago
🔥ローカル生成＋nanobananaで3分20秒の長尺MVを3日で完成！🔊🎵 1枚の画像から差分を量産し、InfiniteTalkでリップシンク。 曲を仕上げてから実質2日でフルバージョンに到達🎉 正直、普通に動画を繋ぐだけなら長尺も作れる。 でも――「歌詞に合わせた意図的な演出」を入れようとすると、これまでは生成可能なレベルを探しつつ運要素も強く、せいぜい1分ぐらいが演出の限界だった💦 nanobananaは実写だと揺らぎが大きく差分に違和感も出やすいが、何度も調整してある程度まで形にできた。NGカットも“意図的に外す”段階に入れた結果、演出意図を通したままフル尺に到達。 なおリップ以外のカットはwan2.2で生成。 運任せではなく「狙って作る」段階に踏み込めたのは大きな前進です💡 これならNDAリスクも大幅に緩和できそう。 ただしアップデートで壊れやすいので、環境は必ず分けて管理した方がいいかも😊 #nanobanana #ComfyUI
LUTA＠AI45,440 views • 1 year ago
✨LTX-2.5生成が早いと聞いたが、遅くて調べたら、原因はtorchのCUDAバージョン💦 結果4倍速くなったけど...RAMがないとキツイのは変わらない🤔 LTX-2.5が出たのでi2vを試してみました。LTXは昔から実写が良いので実写でテストです。 RTX 4090 24GB / RAM 32GB / Windows 11、960×544 / 24fps / 8steps / distilled int8 です。 まず2.3で使っていたComfyUIをアップデートして動かしたんですが、これが遅くて。 1本目 5.05 s/it → 2本目 14.72 → 3本目 17.84 → 4本目 45.00 立ち上げたまま回すほど遅くなっていきます。VRAMは23.2/24GBで共有GPUメモリに12GB溢れて、RAMも94%でした。ただRAMを15GB空けてみても直らなくて（むしろその直後が一番遅い45 s/itでした😅）、RAMが原因ではなかったです。 原因はtorchが2.10.0+cu126のままだったことでした。 LTX-2.5のint8モデルはcomfy_kitchenのCUDAバックエンドで計算されるんですが、これがcu130以上でないと無効になって、最適化されていない遅い方の計算に落ちます。 で、その答えは起動ログの最初に出ていました😅 WARNING: You need pytorch with cu130 or higher to use optimized CUDA operations. 無効になっている機能の一覧に、LTX-2.5が使うconvrot系がずらっと並んでいます。半日かけてたどり着いた答えが、最初から画面に出ていました。 結局、LTX-2.5用に環境を新しく作り直したらうまくいきました。既存の環境には何も触っていません。モデルはextra_model_paths.yamlで共有できるので、40GBを落とし直す必要もないです👍 ・ComfyUI v0.32.0 / Python 3.11 ・torch 2.12.1+cu130 ← ここが本体 ・kornia は0.8.2に固定（0.8.3だとpadが無くなっていてComfyUI-LTXVideoが起動時に落ちます） ・カスタムノードはComfyUI-LTXVideoだけ これで1.23〜1.25 s/it、3本回しても遅くなりません。同じGPU・同じモデル・同じ設定で、torchのCUDAバージョンだけで約4倍でした。 量子化モデルってサイズがVRAMに収まるかで選びがちですが、計算する側が有効になっているかで4倍変わるんだなと思いました🤔 ただ速くなっても、メモリの状況は変わらないです💦 10秒を回している間はGPUは振り切りっぱなしで、共有GPUメモリもかなり使っていて、RAMも29GB（32GB中）まで行きます。 ここで厄介なのが、RAMが限界でもOOMで落ちてくれないことです。そのまま最後まで行くので、いけるっちゃいけます。ただとんでもなく遅くて、12秒は26.21 s/it（10秒は8.44 s/it）、15秒は17分41秒でした🤔 どうしてもその尺じゃないとダメという時以外は、諦めて10秒で作った方がいいと思います。RAMが少ない環境だと、ここはもっと早く頭打ちになりそうです。 依存関係が激しいので、新しいバージョンが出たらメジャーアップデートじゃなくても最初から作り直した方がいいかもしれません。 生成が遅いなと思ったら、起動ログのこのあたりを見てみるといいかもです👇 ・You need pytorch with cu130 or higher が出ていないか ・Found comfy_kitchen backend cuda: が 'disabled': False か ・Native ops: に convrot_w4a4 が入っているか（emulated ops: の方にあると遅いです） ・nvfp4版のモデルはRTX 4090では使えません（Blackwellが必要）。サイズは小さいですが無駄になります 日本語の音声のことと、入力画像のリサイズで33%速くなった話はリプに書きました👇 #ai #comfyui
LUTA＠AI11,875 views • 2 months ago