好きな人の声で好きな文章を読ませるMicrosoftの音声AI「SpeechX」、映像から3Dシーンを生成するNVIDIA開発「Neuralangelo」のコード公開など重要論文5本を解説（生成AIウィークリー） 添付動画は安定したビデオ合成ができる動画処理技術「CoDeF」の出力結果。

【速報】中国Alibabaがマルチモーダルで勝負を仕掛けてきた。テキスト・画像・音声・動画を全て理解して音声も生成できる「Qwen3-Omni」を完全オープンソース化。何が凄いのか、具体的に解説していきます。 ①音声生成できる唯一のオープンソースモデル MetaのLlama 4、GoogleのGemma 3、OpenAIのGPT-OSS、全部音声生成はできない。 でもQwen3-Omniだけはテキスト・画像・音声・動画を理解して、さらに音声でも返答できる。 つまり「動画見せて音声で説明して」「リアルタイム音声会話」が無料でできる唯一のオープンソース。これがApache 2.0ライセンスで商用利用OK、完全無料ってヤバすぎる。 ②実力テストで有料モデルと互角... AIの実力を測る「ベンチマーク」でQwen3-Omniが驚異的な結果を出してる。36のベンチマークのうち22で最高スコア、32でオープンソース1位を記録。 しかも動作に必要なのは30億パラメータだけ。他のモデルが数千億必要なのに。つまり、普通のPCでも動くサイズで、巨大サーバー必要なAIと同等の性能ってこと。 ③動画と音声の同期技術がヤバい 「Thinker-Talker」っていう新技術で、考える部分と話す部分を分離。これで0.234秒（まばたきする間）で音声返答できるようになった。さらに「TMRoPE」技術で動画と音声のタイムスタンプを完璧に同期。 動画見せて「これを日本語吹き替えして」って言ったら、音声タイミングを合わせて吹き替えできるレベル。 ④音声AIビジネスが爆発的に広がる OpenAIのRealtime APIは音声会話できるけど、100万トークンで入力40ドル、出力80ドルかかる。 でもQwen3-Omniなら同じような機能を自社サーバーで無制限に使える。これで何ができるか？ AI Vtuberの音声をリアルタイムで生成する配信。バーチャルAIインフルエンサーが動画を見ながら実況。視聴者の動画に多言語音声を自動でつける機能も、タイミングを合わせて生成できる。 さらに、オンライン語学学習アプリ、AIカスタマーサポート、音声ガイドアプリ。 全部APIコストゼロで、リアルタイム音声対話が可能になる。（誰か精度検証お願いしますｗ） というわけで、音声対話AIを開発するなら、Qwen3-Omni試さない理由がない。AI Vtuberから動画翻訳まで、音声生成できる唯一のオープンソースAIだぞ。show more

一発出しでこのクオリティ生成できるのすごい・・・！ ①NanoBananaProで画像生成 ②ElevenLabsのv3で声を生成 ③Domo AIのAIアバターでリップシンク動画を生成 ④Suno AIで背景の音楽を生成 ⑤Google Vids（無料の動画編集ツール）で動画と音楽をがっちゃんこ

2000フォロワー達成記念に動画を公開します！ みんな大好き踏みつけ動画。今回のものは音声などなくてすみませんが、音声を編集したり正式なものは今後始めるファンティアで公開予定です！ #巨大ヒロイン #ハイパールナ

これは動画生成AIの革命。 KLING 3.0（Kling AI）が遂にリリース！ 1枚の画像から、マルチショット動画生成＋日本語音声生成を同時に実行。 キャラ・セリフ・動き・カット割まで、すべてテキストで指定可能。 もう、動画生成AIでできないことはない時代。 #Kling3 #KlingAI

自分たちが今開発しているStreamDiffusionのデモを作成しました！ 動画は実画面のキャプチャです。 StreamDiffusionでは、好きなSDのモデルで動画のようにリアルタイムのtxt2imgができるようになる予定です。

【凄すぎる画像編集】 腕や足などの体のパーツ時を自在に動かすことができる「DragGAN」が便利すぎる ポイントを自由に選択して、好きなポーズを取らせることができる ・AIで画像生成 ↓ ・好きなポーズに変更 これでアパレルのモデル撮影が不要になりそう しかもオープンソース ↓解説

Claude Codeを使った AI漫画×歴史ジャンルの動画の作り方を 超具体的に解説してみた。 以下、 AIで歴史ジャンルの動画を作る手順です ①ChatGPTで台本作成 ↓ ②Claude... Codeで画像生成用のプロンプトを生成 ↓ ③NanoBananaでイラストを生成 ↓ ④Klingでイラストを動画素材にする ↓ ⑤ElevenLabsで音声を生成 あとは好きな編集ソフトで素材を組み合わせれば 漫画×歴史ジャンルの動画が完成します。 初心者は画像生成に苦戦しがちだけど Claude Codeを使えばイラスト生成はコピペだけでOK 動画の作り方を詳しく知りたい人は プロフのリンクを追加して「歴史漫画」と送れば この動画の作り方をまとめたnoteを渡します🐨show more

💡 動画生成AIは余白で動きを決める 🎥 左右の動画を見比べてみましょう。 右のこぢんまりとした動きに対して、左のキャラは身体全体を使った動きをしてます。 実はこの二つの動画「同一プロンプト・同一素材」で生成してます。 なら違いは何か？左の素材画像に対して余白を追加しているのです。 余白の分だけ、キャラクターの動く余地が生まれます。同じプロンプトなのに、より大きい動きが可能になります。逆に動きが大きい場合は、対象キャラクターをフレームギリギリまで近づけることで動きを抑制できます。 もちろんプロンプトでも動きを調整できます。しかし、動きのポテンシャルは余白の有無で決まっているように感じるのです。... 以下は優先度の仮説です 1. 動かすだけの余白があるか（フレームとキャラクターの比率=提供画像） 2. その中でどれだけ動かすか（プロンプト） 個人的にはかなり本質的な発見です。 最終的なショットと生成に相応しいショットが異なることを示すからです。このギャップを認識していないと、動画生成AIから十分な性能を引き出せないことになります。 あくまでも生成用にショットサイズを調整して出力、その結果を後でトリミング＆アップスケールで編集に回す、という工夫が必要かもしれません。 生成AIは実写やアニメと異なり、アクター/モデルとフレームの関係が逆転しています。フレームが先で、その中で初めて演技もキャラクターも生成されるのです。この違いを認識することが重要なのではないかと思いました。show more

【Hailuo AI(MiniMax Design (H3))】T2A-01-HD MiniMaxのHailuo AIから、テキストから音声への変換技術「T2A-01-HD」が登場しました。 10秒以上の音声を学習させることで、その声を使ってテキストの読み上げ機能を試用できるようになります。 以前紹介した引用にある投稿のような用意された音声を試用することも可能です。 日本語の他に英語や中国語、17か国以上の言語を選択して作成できます。... この動画はmidjourneyで作成したイラストをHailuo AIのimage to videoで作成しました。 プロンプト無しで口パク動画が作成できるので、声に合わせて編集しています。 #Hailuo_ai #AIボイス #音声合成show more

NotebookLMで漫画スライドを量産する裏技知りたい人います？？ NotebookLMはGoogleが開発したAIアシスタントで、漫画スライド、マインドマップ、動画などを自動生成できる最強ツールです 漫画スライドを量産するプロンプトを開発したら、クオリティ凄すぎてw 【 いいね 】で解説noteを配布します！

【閲覧注意】 文章から動画をAIで生成するやつで、 「部屋の外には緑が広がっている…」みたいな美しい映像を作る文章かいたら、気持ち悪い映像できてゾクッとした。 もうなんか、AIからの警告ですか？www (Filmoraっていう編集ソフトで遊んでただけなのに鳥肌🤮)

動画生成AIのRunwayを用いて縦型ダンス動画の作り方を解説したnoteを書きました。 以下のような画像と動画を作れます。左側の動画はプロンプトをそのまま使用した一発出しです。 問題があるとしたら記事がクソ長いことです。

単一の画像から3Dモデルを生成できる技術『PHORHUM』という激アツな技術を発見した🔍 画像一枚で3Dモデルを構築できる、加えて影とかの深度も推定してくれるそう。

昨日のPVでも使ってたけど、PhotoShopのニューラルフィルタの深度ぼかしの機能を使ったら写真から奥行きのマップ画像を生成できるんで、それをAfterEffectsのディスプレイスメントマップエフェクトで使うと擬似3D視点移動できるよの。大きな動きはできないけど静止画だけでできるんで引き出しになる👀

MMD好きな韓国の学生ら3人で開発されたブラウザ上で動作するAIモーションキャプチャサービス！無料のオープンベータ板が公開中！ 動画からVMD形式のモーション生成！ Metive Beta #Metive #MMD

AIでスマホアプリに最適なアイコン画像を簡単に作成できる「Icon AI Studio」というWebサービス開発したのでリリースします🚀 新規登録で無料で5回までアイコン画像生成ができるので、アプリ開発でアイコン画像作成が毎度面倒な方にとって役に立つサービスかなと思います！

AIで、B級映画を量産できる世界線。 1枚のAI画像を元に、KLING 3.0で動画生成。 複数カット、セリフ、展開まで、数行のテキストのみで指定できます。

AIで生成した1枚の画像をもとに動画を制作。 描かれていない部分まで、動画生成AIが自然に補完してくれる。 Midjourney → KLING で作ったけど、KLINGの効果音生成もかなり自然。