正在加载视频...

视频加载失败

返回首页

好きな人の声で好きな文章を読ませるMicrosoftの音声AI「SpeechX」、映像から3Dシーンを生成するNVIDIA開発「Neuralangelo」のコード公開など重要論文5本を解説（生成AIウィークリー） 添付動画は安定したビデオ合成ができる動画処理技術「CoDeF」の出力結果。

shiropen2's profile picture

Seamless

49,156 subscribers

98,071 次观看 • 3 年前 •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

0 条评论

暂无评论

原始帖子的评论将显示在这里

相关视频

【速報】中国Alibabaがマルチモーダルで勝負を仕掛けてきた。テキスト・画像・音声・動画を全て理解して音声も生成できる「Qwen3-Omni」を完全オープンソース化。何が凄いのか、具体的に解説していきます。 ①音声生成できる唯一のオープンソースモデル MetaのLlama 4、GoogleのGemma 3、OpenAIのGPT-OSS、全部音声生成はできない。 でもQwen3-Omniだけはテキスト・画像・音声・動画を理解して、さらに音声でも返答できる。 つまり「動画見せて音声で説明して」「リアルタイム音声会話」が無料でできる唯一のオープンソース。これがApache 2.0ライセンスで商用利用OK、完全無料ってヤバすぎる。 ②実力テストで有料モデルと互角 AIの実力を測る「ベンチマーク」でQwen3-Omniが驚異的な結果を出してる。36のベンチマークのうち22で最高スコア、32でオープンソース1位を記録。 しかも動作に必要なのは30億パラメータだけ。他のモデルが数千億必要なのに。つまり、普通のPCでも動くサイズで、巨大サーバー必要なAIと同等の性能ってこと。 ③動画と音声の同期技術がヤバい 「Thinker-Talker」っていう新技術で、考える部分と話す部分を分離。これで0.234秒（まばたきする間）で音声返答できるようになった。さらに「TMRoPE」技術で動画と音声のタイムスタンプを完璧に同期。 動画見せて「これを日本語吹き替えして」って言ったら、音声タイミングを合わせて吹き替えできるレベル。 ④音声AIビジネスが爆発的に広がる OpenAIのRealtime APIは音声会話できるけど、100万トークンで入力40ドル、出力80ドルかかる。 でもQwen3-Omniなら同じような機能を自社サーバーで無制限に使える。これで何ができるか？ AI Vtuberの音声をリアルタイムで生成する配信。バーチャルAIインフルエンサーが動画を見ながら実況。視聴者の動画に多言語音声を自動でつける機能も、タイミングを合わせて生成できる。 さらに、オンライン語学学習アプリ、AIカスタマーサポート、音声ガイドアプリ。 全部APIコストゼロで、リアルタイム音声対話が可能になる。（誰か精度検証お願いしますｗ） というわけで、音声対話AIを開発するなら、Qwen3-Omni試さない理由がない。AI Vtuberから動画翻訳まで、音声生成できる唯一のオープンソースAIだぞ。
0:16

【速報】中国Alibabaがマルチモーダルで勝負を仕掛けてきた。テキスト・画像・音声・動画を全て理解して音声も生成できる「Qwen3-Omni」を完全オープンソース化。何が凄いのか、具体的に解説していきます。 ①音声生成できる唯一のオープンソースモデル MetaのLlama 4、GoogleのGemma 3、OpenAIのGPT-OSS、全部音声生成はできない。 でもQwen3-Omniだけはテキスト・画像・音声・動画を理解して、さらに音声でも返答できる。 つまり「動画見せて音声で説明して」「リアルタイム音声会話」が無料でできる唯一のオープンソース。これがApache 2.0ライセンスで商用利用OK、完全無料ってヤバすぎる。 ②実力テストで有料モデルと互角 AIの実力を測る「ベンチマーク」でQwen3-Omniが驚異的な結果を出してる。36のベンチマークのうち22で最高スコア、32でオープンソース1位を記録。 しかも動作に必要なのは30億パラメータだけ。他のモデルが数千億必要なのに。つまり、普通のPCでも動くサイズで、巨大サーバー必要なAIと同等の性能ってこと。 ③動画と音声の同期技術がヤバい 「Thinker-Talker」っていう新技術で、考える部分と話す部分を分離。これで0.234秒（まばたきする間）で音声返答できるようになった。さらに「TMRoPE」技術で動画と音声のタイムスタンプを完璧に同期。 動画見せて「これを日本語吹き替えして」って言ったら、音声タイミングを合わせて吹き替えできるレベル。 ④音声AIビジネスが爆発的に広がる OpenAIのRealtime APIは音声会話できるけど、100万トークンで入力40ドル、出力80ドルかかる。 でもQwen3-Omniなら同じような機能を自社サーバーで無制限に使える。これで何ができるか？ AI Vtuberの音声をリアルタイムで生成する配信。バーチャルAIインフルエンサーが動画を見ながら実況。視聴者の動画に多言語音声を自動でつける機能も、タイミングを合わせて生成できる。 さらに、オンライン語学学習アプリ、AIカスタマーサポート、音声ガイドアプリ。 全部APIコストゼロで、リアルタイム音声対話が可能になる。（誰か精度検証お願いしますｗ） というわけで、音声対話AIを開発するなら、Qwen3-Omni試さない理由がない。AI Vtuberから動画翻訳まで、音声生成できる唯一のオープンソースAIだぞ。

Tom | ドバイで生成AIやってる人

46,269 次观看 • 10 个月前

一発出しでこのクオリティ生成できるのすごい・・・！ ①NanoBananaProで画像生成 ②ElevenLabsのv3で声を生成 ③Domo AIのAIアバターでリップシンク動画を生成 ④Suno AIで背景の音楽を生成 ⑤Google Vids（無料の動画編集ツール）で動画と音楽をがっちゃんこ
0:14

一発出しでこのクオリティ生成できるのすごい・・・！ ①NanoBananaProで画像生成 ②ElevenLabsのv3で声を生成 ③Domo AIのAIアバターでリップシンク動画を生成 ④Suno AIで背景の音楽を生成 ⑤Google Vids（無料の動画編集ツール）で動画と音楽をがっちゃんこ

ぱんちゃん🍞｜AI ×クリエイティブ

205,575 次观看 • 6 个月前

2000フォロワー達成記念に動画を公開します！ みんな大好き踏みつけ動画。今回のものは音声などなくてすみませんが、音声を編集したり正式なものは今後始めるファンティアで公開予定です！ #巨大ヒロイン #ハイパールナ
0:10

Sensitive content

2000フォロワー達成記念に動画を公開します！ みんな大好き踏みつけ動画。今回のものは音声などなくてすみませんが、音声を編集したり正式なものは今後始めるファンティアで公開予定です！ #巨大ヒロイン #ハイパールナ

ヂオ@巨大ヒロイン応援

71,335 次观看 • 1 年前

単眼動画からカメラの動きとシーン形状とピクセルの動きを一気に取得できる3Dトラッキング技術！ SpatialTrackerV2 VFX合成が捗りそうな技術！ コード公開済み！ オンラインデモもあります！
0:16

単眼動画からカメラの動きとシーン形状とピクセルの動きを一気に取得できる3Dトラッキング技術！ SpatialTrackerV2 VFX合成が捗りそうな技術！ コード公開済み！ オンラインデモもあります！

3D人-3dnchu- CG情報ブログ

11,557 次观看 • 1 年前

これは動画生成AIの革命。 KLING 3.0（Kling AI）が遂にリリース！ 1枚の画像から、マルチショット動画生成＋日本語音声生成を同時に実行。 キャラ・セリフ・動き・カット割まで、すべてテキストで指定可能。 もう、動画生成AIでできないことはない時代。 #Kling3 #KlingAI
0:14

これは動画生成AIの革命。 KLING 3.0（Kling AI）が遂にリリース！ 1枚の画像から、マルチショット動画生成＋日本語音声生成を同時に実行。 キャラ・セリフ・動き・カット割まで、すべてテキストで指定可能。 もう、動画生成AIでできないことはない時代。 #Kling3 #KlingAI

HAL2400 | AI Visual Creator

49,289 次观看 • 6 个月前

【凄すぎる画像編集】 腕や足などの体のパーツ時を自在に動かすことができる「DragGAN」が便利すぎる ポイントを自由に選択して、好きなポーズを取らせることができる ・AIで画像生成 ↓ ・好きなポーズに変更 これでアパレルのモデル撮影が不要になりそう しかもオープンソース ↓解説
0:10

【凄すぎる画像編集】 腕や足などの体のパーツ時を自在に動かすことができる「DragGAN」が便利すぎる ポイントを自由に選択して、好きなポーズを取らせることができる ・AIで画像生成 ↓ ・好きなポーズに変更 これでアパレルのモデル撮影が不要になりそう しかもオープンソース ↓解説

チャエン | デジライズ CEO《重要AIニュースを毎日最速で発信⚡️》

413,513 次观看 • 3 年前

Claude Codeを使った AI漫画×歴史ジャンルの動画の作り方を 超具体的に解説してみた。 以下、 AIで歴史ジャンルの動画を作る手順です ①ChatGPTで台本作成 ↓ ②Claude Codeで画像生成用のプロンプトを生成 ↓ ③NanoBananaでイラストを生成 ↓ ④Klingでイラストを動画素材にする ↓ ⑤ElevenLabsで音声を生成 あとは好きな編集ソフトで素材を組み合わせれば 漫画×歴史ジャンルの動画が完成します。 初心者は画像生成に苦戦しがちだけど Claude Codeを使えばイラスト生成はコピペだけでOK 動画の作り方を詳しく知りたい人は プロフのリンクを追加して「歴史漫画」と送れば この動画の作り方をまとめたnoteを渡します🐨
0:18

Claude Codeを使った AI漫画×歴史ジャンルの動画の作り方を 超具体的に解説してみた。 以下、 AIで歴史ジャンルの動画を作る手順です ①ChatGPTで台本作成 ↓ ②Claude Codeで画像生成用のプロンプトを生成 ↓ ③NanoBananaでイラストを生成 ↓ ④Klingでイラストを動画素材にする ↓ ⑤ElevenLabsで音声を生成 あとは好きな編集ソフトで素材を組み合わせれば 漫画×歴史ジャンルの動画が完成します。 初心者は画像生成に苦戦しがちだけど Claude Codeを使えばイラスト生成はコピペだけでOK 動画の作り方を詳しく知りたい人は プロフのリンクを追加して「歴史漫画」と送れば この動画の作り方をまとめたnoteを渡します🐨

コアラ | YouTubeで1.5億円🐨

133,389 次观看 • 4 个月前

自分たちが今開発しているStreamDiffusionのデモを作成しました！ 動画は実画面のキャプチャです。 StreamDiffusionでは、好きなSDのモデルで動画のようにリアルタイムのtxt2imgができるようになる予定です。
0:19

自分たちが今開発しているStreamDiffusionのデモを作成しました！ 動画は実画面のキャプチャです。 StreamDiffusionでは、好きなSDのモデルで動画のようにリアルタイムのtxt2imgができるようになる予定です。

動詞

160,505 次观看 • 2 年前

【Hailuo AI(Hailuo AI (MiniMax))】T2A-01-HD MiniMaxのHailuo AIから、テキストから音声への変換技術「T2A-01-HD」が登場しました。 10秒以上の音声を学習させることで、その声を使ってテキストの読み上げ機能を試用できるようになります。 以前紹介した引用にある投稿のような用意された音声を試用することも可能です。 日本語の他に英語や中国語、17か国以上の言語を選択して作成できます。 この動画はmidjourneyで作成したイラストをHailuo AIのimage to videoで作成しました。 プロンプト無しで口パク動画が作成できるので、声に合わせて編集しています。 #Hailuo_ai #AIボイス #音声合成
0:18

【Hailuo AI(Hailuo AI (MiniMax))】T2A-01-HD MiniMaxのHailuo AIから、テキストから音声への変換技術「T2A-01-HD」が登場しました。 10秒以上の音声を学習させることで、その声を使ってテキストの読み上げ機能を試用できるようになります。 以前紹介した引用にある投稿のような用意された音声を試用することも可能です。 日本語の他に英語や中国語、17か国以上の言語を選択して作成できます。 この動画はmidjourneyで作成したイラストをHailuo AIのimage to videoで作成しました。 プロンプト無しで口パク動画が作成できるので、声に合わせて編集しています。 #Hailuo_ai #AIボイス #音声合成

SEIIIRU😈動画生成AIを使う映像クリエイター

53,430 次观看 • 1 年前

💡 動画生成AIは余白で動きを決める 🎥 左右の動画を見比べてみましょう。 右のこぢんまりとした動きに対して、左のキャラは身体全体を使った動きをしてます。 実はこの二つの動画「同一プロンプト・同一素材」で生成してます。 なら違いは何か？左の素材画像に対して余白を追加しているのです。 余白の分だけ、キャラクターの動く余地が生まれます。同じプロンプトなのに、より大きい動きが可能になります。逆に動きが大きい場合は、対象キャラクターをフレームギリギリまで近づけることで動きを抑制できます。 もちろんプロンプトでも動きを調整できます。しかし、動きのポテンシャルは余白の有無で決まっているように感じるのです。 以下は優先度の仮説です 1. 動かすだけの余白があるか（フレームとキャラクターの比率=提供画像） 2. その中でどれだけ動かすか（プロンプト） 個人的にはかなり本質的な発見です。 最終的なショットと生成に相応しいショットが異なることを示すからです。このギャップを認識していないと、動画生成AIから十分な性能を引き出せないことになります。 あくまでも生成用にショットサイズを調整して出力、その結果を後でトリミング＆アップスケールで編集に回す、という工夫が必要かもしれません。 生成AIは実写やアニメと異なり、アクター/モデルとフレームの関係が逆転しています。フレームが先で、その中で初めて演技もキャラクターも生成されるのです。この違いを認識することが重要なのではないかと思いました。
0:10

💡 動画生成AIは余白で動きを決める 🎥 左右の動画を見比べてみましょう。 右のこぢんまりとした動きに対して、左のキャラは身体全体を使った動きをしてます。 実はこの二つの動画「同一プロンプト・同一素材」で生成してます。 なら違いは何か？左の素材画像に対して余白を追加しているのです。 余白の分だけ、キャラクターの動く余地が生まれます。同じプロンプトなのに、より大きい動きが可能になります。逆に動きが大きい場合は、対象キャラクターをフレームギリギリまで近づけることで動きを抑制できます。 もちろんプロンプトでも動きを調整できます。しかし、動きのポテンシャルは余白の有無で決まっているように感じるのです。 以下は優先度の仮説です 1. 動かすだけの余白があるか（フレームとキャラクターの比率=提供画像） 2. その中でどれだけ動かすか（プロンプト） 個人的にはかなり本質的な発見です。 最終的なショットと生成に相応しいショットが異なることを示すからです。このギャップを認識していないと、動画生成AIから十分な性能を引き出せないことになります。 あくまでも生成用にショットサイズを調整して出力、その結果を後でトリミング＆アップスケールで編集に回す、という工夫が必要かもしれません。 生成AIは実写やアニメと異なり、アクター/モデルとフレームの関係が逆転しています。フレームが先で、その中で初めて演技もキャラクターも生成されるのです。この違いを認識することが重要なのではないかと思いました。

NOBU

172,881 次观看 • 1 年前

NotebookLMで漫画スライドを量産する裏技知りたい人います？？ NotebookLMはGoogleが開発したAIアシスタントで、漫画スライド、マインドマップ、動画などを自動生成できる最強ツールです 漫画スライドを量産するプロンプトを開発したら、クオリティ凄すぎてw 【 いいね 】で解説noteを配布します！
0:10

NotebookLMで漫画スライドを量産する裏技知りたい人います？？ NotebookLMはGoogleが開発したAIアシスタントで、漫画スライド、マインドマップ、動画などを自動生成できる最強ツールです 漫画スライドを量産するプロンプトを開発したら、クオリティ凄すぎてw 【 いいね 】で解説noteを配布します！

むちょ / AIクリエイター

42,388 次观看 • 7 个月前

【閲覧注意】 文章から動画をAIで生成するやつで、 「部屋の外には緑が広がっている…」みたいな美しい映像を作る文章かいたら、気持ち悪い映像できてゾクッとした。 もうなんか、AIからの警告ですか？www (Filmoraっていう編集ソフトで遊んでただけなのに鳥肌🤮)
0:18

【閲覧注意】 文章から動画をAIで生成するやつで、 「部屋の外には緑が広がっている…」みたいな美しい映像を作る文章かいたら、気持ち悪い映像できてゾクッとした。 もうなんか、AIからの警告ですか？www (Filmoraっていう編集ソフトで遊んでただけなのに鳥肌🤮)

るな氏【Runa/ASMR】

12,360 次观看 • 1 年前

単一の画像から3Dモデルを生成できる技術『PHORHUM』という激アツな技術を発見した🔍 画像一枚で3Dモデルを構築できる、加えて影とかの深度も推定してくれるそう。
0:10

単一の画像から3Dモデルを生成できる技術『PHORHUM』という激アツな技術を発見した🔍 画像一枚で3Dモデルを構築できる、加えて影とかの深度も推定してくれるそう。

木内翔大＠SHIFT AI代表「日本をAI先進国に」𝕏

155,090 次观看 • 3 年前

動画生成AIのRunwayを用いて縦型ダンス動画の作り方を解説したnoteを書きました。 以下のような画像と動画を作れます。左側の動画はプロンプトをそのまま使用した一発出しです。 問題があるとしたら記事がクソ長いことです。
0:10

動画生成AIのRunwayを用いて縦型ダンス動画の作り方を解説したnoteを書きました。 以下のような画像と動画を作れます。左側の動画はプロンプトをそのまま使用した一発出しです。 問題があるとしたら記事がクソ長いことです。

NOBU

382,345 次观看 • 1 年前

昨日のPVでも使ってたけど、PhotoShopのニューラルフィルタの深度ぼかしの機能を使ったら写真から奥行きのマップ画像を生成できるんで、それをAfterEffectsのディスプレイスメントマップエフェクトで使うと擬似3D視点移動できるよの。大きな動きはできないけど静止画だけでできるんで引き出しになる👀
0:10

昨日のPVでも使ってたけど、PhotoShopのニューラルフィルタの深度ぼかしの機能を使ったら写真から奥行きのマップ画像を生成できるんで、それをAfterEffectsのディスプレイスメントマップエフェクトで使うと擬似3D視点移動できるよの。大きな動きはできないけど静止画だけでできるんで引き出しになる👀

蓬莱軒🏮解説&ｸﾘｴｲﾀｰ系Vtuber🏮

114,918 次观看 • 1 年前

MMD好きな韓国の学生ら3人で開発されたブラウザ上で動作するAIモーションキャプチャサービス！無料のオープンベータ板が公開中！ 動画からVMD形式のモーション生成！ Metive Beta #Metive #MMD
0:14

MMD好きな韓国の学生ら3人で開発されたブラウザ上で動作するAIモーションキャプチャサービス！無料のオープンベータ板が公開中！ 動画からVMD形式のモーション生成！ Metive Beta #Metive #MMD

3D人-3dnchu- CG情報ブログ

148,803 次观看 • 1 年前

AIでスマホアプリに最適なアイコン画像を簡単に作成できる「Icon AI Studio」というWebサービス開発したのでリリースします🚀 新規登録で無料で5回までアイコン画像生成ができるので、アプリ開発でアイコン画像作成が毎度面倒な方にとって役に立つサービスかなと思います！
0:18

AIでスマホアプリに最適なアイコン画像を簡単に作成できる「Icon AI Studio」というWebサービス開発したのでリリースします🚀 新規登録で無料で5回までアイコン画像生成ができるので、アプリ開発でアイコン画像作成が毎度面倒な方にとって役に立つサービスかなと思います！

Shin@プログラミングチュートリアル

43,021 次观看 • 6 个月前

AIで、B級映画を量産できる世界線。 1枚のAI画像を元に、KLING 3.0で動画生成。 複数カット、セリフ、展開まで、数行のテキストのみで指定できます。
0:14

AIで、B級映画を量産できる世界線。 1枚のAI画像を元に、KLING 3.0で動画生成。 複数カット、セリフ、展開まで、数行のテキストのみで指定できます。

HAL2400 | AI Visual Creator

667,278 次观看 • 6 个月前

#AI動画生成 世界のどこかの誰かの為のAIアニメーション実験の報告 ◇実験内容 GB出力したアニメーションをいい感じにしたい ◇結果 ・まあまあ…？ ・背景別出しなので動きの緩急を後からコントロールできるのは最大の長所 ・GB抜きはkeylight(AE)最強。色移りすら倒せるとは思わなかった ◇反省点 ・動画AIから出すタイミングでステップ数を上げるなり、出力後にi2iで補正とかしないと高速動作時の破綻がキツイ ・撮影なんもわからん ・なんかもっと実験に適した動きがあった気がする…歩いてるとか走ってるとか…でも戦闘モーション好きだし！！！！！
0:10

#AI動画生成 世界のどこかの誰かの為のAIアニメーション実験の報告 ◇実験内容 GB出力したアニメーションをいい感じにしたい ◇結果 ・まあまあ…？ ・背景別出しなので動きの緩急を後からコントロールできるのは最大の長所 ・GB抜きはkeylight(AE)最強。色移りすら倒せるとは思わなかった ◇反省点 ・動画AIから出すタイミングでステップ数を上げるなり、出力後にi2iで補正とかしないと高速動作時の破綻がキツイ ・撮影なんもわからん ・なんかもっと実験に適した動きがあった気がする…歩いてるとか走ってるとか…でも戦闘モーション好きだし！！！！！

ビームマンＰ ver4.1

17,860 次观看 • 9 个月前