Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

當有人說 OpenAI的 Sora 影音生成模型會顛覆 Adobe時，Adobe將包含 Sora、Runway、Pika 等主流的第三方影音模型，直接集成進自家的 Adobe Premiere Pro，海納百川自建的Firefly和第三方生成模型都進入影音編輯工作流中，其實生成內容越多編輯的需求也會越多對企業和個人來說，如何讓自己透過生成式AI給自己加強賦能才是重點，而不是擔心作為工具的AI會淘汰自己。

Intl Econ Observe

36,182 subscribers

13,588 Aufrufe • vor 2 Jahren •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

2 Kommentare

Profilbild von HuaWeiLi

HuaWeiLivor 2 Jahren

打不贏就加入

Profilbild von Juiting

Juitingvor 2 Jahren

感謝分享

Ähnliche Videos

Google 最新推出的影音生成AI模型 VEO 2 ，用同樣的prompt生成的影片，明顯比 OpenAI 的 Sora 更懂得真實世界的物理運動，雖然還是有破綻，尤其在更複雜的動作時，但相對Sora強很多。而且還可以生成4K的影片。有像Youtube這種大型影音資料庫還是有難以匹敵的優勢。像是Meta和字節跳動Tiktok這類平台長期來看應該影音生成能力都會強過對手。

Google 最新推出的影音生成AI模型 VEO 2 ，用同樣的prompt生成的影片，明顯比 OpenAI 的 Sora 更懂得真實世界的物理運動，雖然還是有破綻，尤其在更複雜的動作時，但相對Sora強很多。而且還可以生成4K的影片。有像Youtube這種大型影音資料庫還是有難以匹敵的優勢。像是Meta和字節跳動Tiktok這類平台長期來看應該影音生成能力都會強過對手。

Intl Econ Observe

17,213 Aufrufe • vor 1 Jahr

🍭聽說多賢不會跟成員們說自己的事，那遇到難受的事要怎麼排解？ 🤍真的很難受的時候反而會說不出來，要整理好才能若無其事的說出來，也不喜歡自己說難受時會給對方負擔 🤍但成員們跟多賢說這些卻不會成為她的負擔，會安慰她們🥹 🤍傾向自己排解的類型 - ㅠㅠ我們豆腐，不管怎樣都希望你能好好的🫳🏻

🍭聽說多賢不會跟成員們說自己的事，那遇到難受的事要怎麼排解？ 🤍真的很難受的時候反而會說不出來，要整理好才能若無其事的說出來，也不喜歡自己說難受時會給對方負擔 🤍但成員們跟多賢說這些卻不會成為她的負擔，會安慰她們🥹 🤍傾向自己排解的類型 - ㅠㅠ我們豆腐，不管怎樣都希望你能好好的🫳🏻

🤍♟️

11,187 Aufrufe • vor 8 Monaten

答应大家的AI歌手教程来了，手把手教你训练你自己的AI歌手，主要分为使用模型和训练模型两部分，这里是第一部分如何使用模型生成音乐的部分，主要介绍了音源的处理，模型的使用和后期音轨的合成。看在藏师傅生病肝教程的份上希望各位多多支持，下面是具体步骤🧶

答应大家的AI歌手教程来了，手把手教你训练你自己的AI歌手，主要分为使用模型和训练模型两部分，这里是第一部分如何使用模型生成音乐的部分，主要介绍了音源的处理，模型的使用和后期音轨的合成。看在藏师傅生病肝教程的份上希望各位多多支持，下面是具体步骤🧶

歸藏(guizang.ai)

394,448 Aufrufe • vor 3 Jahren

玩了一下Suno ，太好玩了，随便输入111就能生成一首好听的歌曲，自定义模式下输入了"Coming Home"的歌词，重新生成的歌曲也很好听。第一个是原创，后面两个是用suno V3生成的。来对比下效果这是一款免费的AI音乐和语音生成工具，在他们官网上可以使用Chirp音乐模型生成2分钟的音乐，有谷歌账号的能一键登录使用，有两种模式，随便输入提示词和自定义模式。有音乐创作需求的可以收藏着备用。Suno AI 提供免费版和付费版，免费版每天提供 50 Credits，可创作 10 首歌曲。直达传送门：

玩了一下Suno ，太好玩了，随便输入111就能生成一首好听的歌曲，自定义模式下输入了"Coming Home"的歌词，重新生成的歌曲也很好听。第一个是原创，后面两个是用suno V3生成的。来对比下效果这是一款免费的AI音乐和语音生成工具，在他们官网上可以使用Chirp音乐模型生成2分钟的音乐，有谷歌账号的能一键登录使用，有两种模式，随便输入提示词和自定义模式。有音乐创作需求的可以收藏着备用。Suno AI 提供免费版和付费版，免费版每天提供 50 Credits，可创作 10 首歌曲。直达传送门：

穆尼

82,695 Aufrufe • vor 2 Jahren

生成式 AI 入门教程 1 - 什么是生成式 AI - 了解其定义、应用与影响视频描述：欢迎来到“生成式 AI 入门教程”。自 ChatGPT 发布以来，生成式 AI 引起了广泛关注，它改变了我们的学习和工作方式，并且被认为将大幅提升生产力和推动全球经济增长。但同时，它也带来了一些负面影响的担忧，比如可能导致失业。在本课程中，你将学到生成式 AI 是什么，它能做什么，不能做什么，以及如何在工作或业务中应用它。生成式 AI 是一种能够生成高质量内容的 AI 系统，包括文本、图像和音频。目前最有影响力的是文本生成，但它也能生成美丽或逼真的图像，甚至是音频。通过这门课，你将了解到生成式 AI 如何使构建 AI 应用变得更容易和低成本，以及如何识别和探索对特定业务有用的应用。课程分为三周，第一周深入了解生成式 AI 的工作原理和应用案例；第二周讨论 Generative AI 项目，包括寻找应用和构建最佳实践；第三周从宏观角度探讨其对商业和社会的影响，并分享如何最大限度发挥其潜力的策略，同时确保使用 AI 的方式既安全又正面。 🚀 课程亮点：提供非技术性的生成式 AI 知识，易于理解。深入探讨生成式 AI 在文本、图像和音频生成方面的应用。分析生成式 AI 对个人、业务和社会的潜在影响。 🔥 你将学到：生成式 AI 的定义和能力如何在工作或业务中应用生成式 AI 生成式 AI 的潜在风险和如何安全使用 🌐 课程内容：生成式 AI 的工作原理和应用案例 Generative AI 项目的寻找和构建生成式 AI 对商业和社会的影响 📚 学习建议：保持开放的心态，积极探索生成式 AI 的潜力。关注课程中提到的实际案例，思考如何将知识应用到自己的工作中。注意理解生成式 AI 的潜在风险，并学习如何安全使用。 🔗 相关链接：课程地址：油管播放列表： B站播放列表：

生成式 AI 入门教程 1 - 什么是生成式 AI - 了解其定义、应用与影响视频描述：欢迎来到“生成式 AI 入门教程”。自 ChatGPT 发布以来，生成式 AI 引起了广泛关注，它改变了我们的学习和工作方式，并且被认为将大幅提升生产力和推动全球经济增长。但同时，它也带来了一些负面影响的担忧，比如可能导致失业。在本课程中，你将学到生成式 AI 是什么，它能做什么，不能做什么，以及如何在工作或业务中应用它。生成式 AI 是一种能够生成高质量内容的 AI 系统，包括文本、图像和音频。目前最有影响力的是文本生成，但它也能生成美丽或逼真的图像，甚至是音频。通过这门课，你将了解到生成式 AI 如何使构建 AI 应用变得更容易和低成本，以及如何识别和探索对特定业务有用的应用。课程分为三周，第一周深入了解生成式 AI 的工作原理和应用案例；第二周讨论 Generative AI 项目，包括寻找应用和构建最佳实践；第三周从宏观角度探讨其对商业和社会的影响，并分享如何最大限度发挥其潜力的策略，同时确保使用 AI 的方式既安全又正面。 🚀 课程亮点：提供非技术性的生成式 AI 知识，易于理解。深入探讨生成式 AI 在文本、图像和音频生成方面的应用。分析生成式 AI 对个人、业务和社会的潜在影响。 🔥 你将学到：生成式 AI 的定义和能力如何在工作或业务中应用生成式 AI 生成式 AI 的潜在风险和如何安全使用 🌐 课程内容：生成式 AI 的工作原理和应用案例 Generative AI 项目的寻找和构建生成式 AI 对商业和社会的影响 📚 学习建议：保持开放的心态，积极探索生成式 AI 的潜力。关注课程中提到的实际案例，思考如何将知识应用到自己的工作中。注意理解生成式 AI 的潜在风险，并学习如何安全使用。 🔗 相关链接：课程地址：油管播放列表： B站播放列表：

宝玉

575,969 Aufrufe • vor 2 Jahren

DeepMind 公布其正在开发一套创新的音频生成技术细节也就是NotebookLM背后使用的语音技术它能够使 AI 能够生成生成高质量、自然的单人或多人对话。其最新的语音生成模型能够在 3 秒内生成 2 分钟的对话，速度比实时生成快 40 倍。同时能够保持说话人之间的连贯切换，输出语音中还包括自然的停顿、口头语（如 “嗯”、“啊”）等细节，使得生成的对话更接近真实交流。详细：

DeepMind 公布其正在开发一套创新的音频生成技术细节也就是NotebookLM背后使用的语音技术它能够使 AI 能够生成生成高质量、自然的单人或多人对话。其最新的语音生成模型能够在 3 秒内生成 2 分钟的对话，速度比实时生成快 40 倍。同时能够保持说话人之间的连贯切换，输出语音中还包括自然的停顿、口头语（如 “嗯”、“啊”）等细节，使得生成的对话更接近真实交流。详细：

小互

13,458 Aufrufe • vor 1 Jahr

在这一段演示当中很多人可能没有发现一个细节 4分20秒开始，GPT 4o是可以进行即兴创作歌曲并演唱的而且两个GPT 4o进行了即兴的创作和对唱这些都是实时进行发生的也就是OpenAI 实际上已经有了自己的音乐生成模型，而且还很先进。实际上OpenA确实有自己的音乐生成模型，叫：Jukebox 这个模型甚至在3年前就已经非常厉害了演示：见二楼↓

在这一段演示当中很多人可能没有发现一个细节 4分20秒开始，GPT 4o是可以进行即兴创作歌曲并演唱的而且两个GPT 4o进行了即兴的创作和对唱这些都是实时进行发生的也就是OpenAI 实际上已经有了自己的音乐生成模型，而且还很先进。实际上OpenA确实有自己的音乐生成模型，叫：Jukebox 这个模型甚至在3年前就已经非常厉害了演示：见二楼↓

小互

25,547 Aufrufe • vor 2 Jahren

纳米搜索这个 AI 搜索简直是创作者神器！任何热点都能一键生成播客和视频快速分发。搜索生成结果从文本拓展到了更多模态。尤其是真人语音模型很自然。下面是我用Lex的视频文稿生成的

纳米搜索这个 AI 搜索简直是创作者神器！任何热点都能一键生成播客和视频快速分发。搜索生成结果从文本拓展到了更多模态。尤其是真人语音模型很自然。下面是我用Lex的视频文稿生成的

歸藏(guizang.ai)

47,779 Aufrufe • vor 1 Jahr

這是一部真實故事改編的電影，也是我非常喜歡的電影之一，同時它也是一部非常值得人深思的好作品。從今天開始停止對自己精神內耗，學會愛自己，不是要你變得自私，愛自己是要你欣賞自己，接納那個完整和你認為的不完美的自己，當您看完這個電影介紹，希望能從這部影片中有所不同的收穫。電影：Maudie 2016（譯：莫娣/彩繪心天地/茱迪的彩色小屋)

這是一部真實故事改編的電影，也是我非常喜歡的電影之一，同時它也是一部非常值得人深思的好作品。從今天開始停止對自己精神內耗，學會愛自己，不是要你變得自私，愛自己是要你欣賞自己，接納那個完整和你認為的不完美的自己，當您看完這個電影介紹，希望能從這部影片中有所不同的收穫。電影：Maudie 2016（譯：莫娣/彩繪心天地/茱迪的彩色小屋)

Lala Dee 台北的天空💫⭐️🌼🌱✨🌟🌼🌱✨⭐️🌼🌱✨

186,203 Aufrufe • vor 2 Jahren

【如何說服AI「你不是人類」？】加拿大獨立工作室「斜陽過客」公開全新劇情遊戲《Prove You're Human》！本作設定於人工智慧發展成熟的近未來，玩家受邀成為一間 AI 研究公司的測試對象，將一部分意識取出並製作成人工智慧，命名為「梅薩」。 ──然而，梅薩堅信自己是人類，而玩家的目標是讓它認清現實，並充分意識自己只是個被創造出的人工智慧。

【如何說服AI「你不是人類」？】加拿大獨立工作室「斜陽過客」公開全新劇情遊戲《Prove You're Human》！本作設定於人工智慧發展成熟的近未來，玩家受邀成為一間 AI 研究公司的測試對象，將一部分意識取出並製作成人工智慧，命名為「梅薩」。 ──然而，梅薩堅信自己是人類，而玩家的目標是讓它認清現實，並充分意識自己只是個被創造出的人工智慧。

遊戲角落

32,557 Aufrufe • vor 5 Monaten

👤: 如果Win能夠對五年後的自己說任何話，會說些什麼？ 🐰: 我想告訴五年後的自己，別忘記初心，別忘了你今天所擁有的一切都是源自於你的認真和你對所做之事的熱愛，不要停止學習及成長，不管是作為人還是一個工作的人，想讓以後的自己永遠記得 you have me, I’m rooting for you 😭🤍 #winmetawin

👤: 如果Win能夠對五年後的自己說任何話，會說些什麼？ 🐰: 我想告訴五年後的自己，別忘記初心，別忘了你今天所擁有的一切都是源自於你的認真和你對所做之事的熱愛，不要停止學習及成長，不管是作為人還是一個工作的人，想讓以後的自己永遠記得 you have me, I’m rooting for you 😭🤍 #winmetawin

🅞🅟🅨✨

23,586 Aufrufe • vor 9 Monaten

AI教主 Nvidia 黃仁勳總是想得到有梗的方式給大家留下印象，在最新的2024 GTC 大會上，Jensen 召喚出了迪士尼和Nvidia合作研發的超可愛機器人，非常幽默 Nvidia 為最近湧現的人形機器人製造商提供一個AI平台。Jetson Thor是一款專為運行人形機器人模擬工作流程、生成式AI模型等而設計的新型電腦。人形機器人大軍即將來襲。

AI教主 Nvidia 黃仁勳總是想得到有梗的方式給大家留下印象，在最新的2024 GTC 大會上，Jensen 召喚出了迪士尼和Nvidia合作研發的超可愛機器人，非常幽默 Nvidia 為最近湧現的人形機器人製造商提供一個AI平台。Jetson Thor是一款專為運行人形機器人模擬工作流程、生成式AI模型等而設計的新型電腦。人形機器人大軍即將來襲。

Intl Econ Observe

32,253 Aufrufe • vor 2 Jahren

这是我看过最好的生成式电影。小红书博主Kensuji把电影《Her》重构了一遍，这次换成了HIM，用遍所有视频生成模型复刻了这部电影的经典场景。 Her是2013年的电影，如今AI式情感伴侣已经成为现实，但孤单却变成人类永恒的课题。很多时刻如果无人见证，是否真实存在？影片里，HIM给的答案是 “孤单是关于被真正看见，在无人留意中的细节被记住，我是由我见证过的你生命中的一切组成的，我并不孤单”。结尾也很温馨。博主还加入了自己的自嘲梗。

这是我看过最好的生成式电影。小红书博主Kensuji把电影《Her》重构了一遍，这次换成了HIM，用遍所有视频生成模型复刻了这部电影的经典场景。 Her是2013年的电影，如今AI式情感伴侣已经成为现实，但孤单却变成人类永恒的课题。很多时刻如果无人见证，是否真实存在？影片里，HIM给的答案是 “孤单是关于被真正看见，在无人留意中的细节被记住，我是由我见证过的你生命中的一切组成的，我并不孤单”。结尾也很温馨。博主还加入了自己的自嘲梗。

Kathy.xyz

17,648 Aufrufe • vor 6 Monaten

查理跟黑人學生辯論，黑人問題有更多是來自於集體的鄉愿，完全不肯面對自己的問題，而非白人特權，反而用DEI給自己膚色添加最多的特權這真的是全美沒人敢說的大實話查理告別式結束了，我還是會繼續為大家翻譯查理

查理跟黑人學生辯論，黑人問題有更多是來自於集體的鄉愿，完全不肯面對自己的問題，而非白人特權，反而用DEI給自己膚色添加最多的特權這真的是全美沒人敢說的大實話查理告別式結束了，我還是會繼續為大家翻譯查理

James Hsieh

81,617 Aufrufe • vor 11 Monaten

這是我第一次聽到 Jim Fan 的演講，非常幽默有趣，然後我覺得有生之年大概買一台人形機器在家處理家事、幫你洗頭髮大概穩了，好好活著，各位。在 AI 領域，我們常聽說圖靈測試（Turing Test）是衡量機器能否展現與人類無異對話能力的里程碑。如今，大型語言模型（LLM）似乎已悄悄地通過了這個測試，但大家對其突破已習以為常，甚至會因為語音助理慢了幾秒或程式碼沒被完全除錯而抱怨連連。 NVIDIA AI 研究總監、身為廣受矚目人形機器人專家 Jim Fan 指出，當前業界對 LLM 的驚人進步視為「只是又一個平常的星期二」（just yet another Tuesday），這反映了我們對文字世界 AI 的標準已大幅提高。然而，當我們將目光轉向現實世界，讓機器人進行物理操作時，會發現挑戰巨大得多。 Jim Fan 在演講中提出了一個引人深思的概念：「物理圖靈測試 (Physical Turing Test)」。這個測試的想像情境是：如果你回家後，看到雜亂的房間被整理得乾淨俐落，甚至還準備了一頓浪漫的燭光晚餐，而你無法分辨這是由真人還是機器人完成的，那代表這個機器人通過了物理圖靈測試。但現實呢？看看那些連站起來都困難的人形機器人，或是嘗試為主人做早餐卻搞得一團亂的機器手臂（雖然辨識出牛奶值得給 A-，但湯匙餵食的確是 VIP 等級的體驗），我們離「物理圖靈測試」還差得很遠。實體 AI 的最大瓶頸：資料飢渴症為什麼物理圖靈測試如此困難？ Jim Fan 點出了核心問題：資料。LLM 研究人員抱怨網際網路資料快被用完，稱其為 AI 的「化石燃料」。但對機器人學家來說，我們甚至連這種「化石燃料」都沒有。真實世界的機器人資料——例如關節的精確控制訊號、連續的運動軌跡——是無法從網路上抓取的。這些資料必須透過昂貴且耗時的「遙控操作」（teleoperation）方式收集，也就是由真人穿戴感應裝置來遠端控制機器人，手把手地教它完成任務（例如從烤麵包機拿出麵包再淋上蜂蜜）。這種方式極度沒效率，Jim Fan 將其比喻為燃燒「人類燃料」(human fuel)，比化石燃料還稀缺，每天每個機器人頂多運作 24 小時，而且真人會累，機器人更容易壞。這嚴重限制了機器人學習的多樣性和規模，形成了一個巨大的資料瓶頸。模擬世界的核能：突破資料荒的救星要突破這個瓶頸，唯一的出路是「模擬 (Simulation)」，找到機器人學的「核能」。Jim Fan 介紹了NVIDIA為此推進的三階段模擬策略：模擬 1.0：數位分身 (Digital Twin) 概念：在虛擬世界中建立機器人和環境的一對一精確拷貝。方法：利用高效能的向量化物理引擎，可以在單一 GPU 上模擬上萬個環境，速度比現實世界快上萬倍。結合「領域隨機化 (Domain Randomization)」技術，在模擬時隨機改變重力、摩擦力、物體重量等參數，迫使 AI 在各種條件下都能執行任務。優勢：極快的訓練速度。訓練出的模型可以直接零次轉移 (zero-shot) 到真實世界機器人上，無需微調。例如，訓練機械手在模擬中轉筆，訓練機器狗在球上平衡，訓練人形機器人行走（10 年訓練量在 2 小時模擬完成）。一個僅有 150 萬參數的神經網路就足以捕捉人形機器人全身平衡和敏捷動作的複雜控制。限制：數位分身需要人工精確建模，建立複雜環境耗時費力，模擬的多樣性仍然受限於人工設定的範圍。模擬 2.0：數位表親 (Digital Cousin) 概念：開始在模擬中引入生成式 AI。雖然不像數位分身那樣是精確拷貝，但能產生足夠多樣的環境和場景，「像數位分身的表親」。方法：利用 3D 生成模型生成場景中的各種物品（如家具），使用擴散模型（Diffusion Model）生成紋理貼圖，利用 LLM 根據文字提示生成場景佈局的 XML 檔案。 NVIDIA 的 Robocasa 框架就是例子，可以生成大規模、包含日常任務的模擬場景，除了機器人本身，其他幾乎都是生成的。優勢：顯著增加了環境和任務的多樣性。可以在模擬中進行遙控操作，然後將軌跡變異、擴展到更多生成的環境中，實現 N (環境數) * N (動作變異數) 的資料乘法爆炸。雖然畫面真實度可能不及真實世界，但「足夠接近」。限制：相較於 1.0，運行速度可能較慢，仍部分依賴傳統渲染管線。模擬 3.0 (世界模型 / 擴散模型)：數位遊牧者 (Digital Nomad) 概念：直接利用生成式模型（特別是影片擴散模型）來模擬物理世界的互動，擺脫對傳統物理引擎的依賴。方法：以大量真實世界影片（數百萬段網路影片）訓練影片擴散模型，使其學會模擬各種複雜的物理現象（如流體、軟體變形）。 NVIDIA 的研究表明，只需用真實機器人實驗室收集的少量領域特定資料微調通用的影片生成模型，就能讓模型學會模擬機器人的精確互動。優勢：極致的多樣性。影片擴散模型能模擬任何它在訓練資料中「看過」或「想像」的互動，不受傳統物理引擎的限制（例如模擬機器人彈烏克麗麗，即便硬體不支援，模型也能「畫」出來）。這就像讓機器人漫遊在影片模型的「夢境空間」（dream space）——一個壓縮了海量網路影片的多元宇宙，實現「萬物、處處、一時」(Everything Everywhere All at Once) 的互動學習。僅僅一年時間，影片生成模型在物理真實度上（例如變形麵條）的進步，就超越了傳統圖學 30 年的發展。速度：目前運行可能較慢，但具備隨算力呈指數級成長的巨大潛力。具身縮放定律與 GR00T N1 Jim Fan 總結，傳統模擬（1.0）的速度快但受限於多樣性，而生成式模擬（2.0/3.0）雖可能起步慢但能隨算力呈指數級擴展其多樣性。這兩種模擬方式的結合，將是為下一代機器人系統提供龐大訓練資料的「核能」。這也意味著，對 AI 算力的需求只會越來越大，那些認為算力問題會迎刃而解的人需要再三思考。藉由這些模擬技術產生的海量資料，NVIDIA 開發了「視覺語言行動模型 (Vision Language Action Model, VLA)」，能接收圖像和語言指令，並直接輸出機器人的運動控制訊號。今年 GTC 大會上黃仁勳發表的 GR00T N1 模型就是一個實例，它能在真實世界執行抓取香檳、工廠零件甚至多機器人協調等任務。 GR00T N1 已開源，NVIDIA 也計劃將未來的模型開源，以普及「實體 AI」。物理 API：通往新世界的入口實體 AI 的最終目標，是實現「物理 API (Physical API)」。想像一下，就像 LLM API 讓軟體能夠操作數位世界的位元 (bits) 一樣，物理 API 將賦予軟體操作現實世界的原子 (atoms) 的能力。透過這個 API，你可以讓軟體直接控制物理致動器，改變物理世界的狀態。這將催生全新的經濟模式和應用場景：物理提示 (Physical Prompting)：不再只用文字，而是結合視覺和語言等方式更直觀地教導和指示機器人。物理應用商店和技能經濟 (Physical App Store & Skill Economy)：米其林大廚不必親自下廚，他可以「教導」機器人他的獨家烹飪技巧，並將這個技能作為服務販售，讓任何擁有機器人的家庭都能享受到米其林級的晚餐。 Jim Fan 引用黃仁勳的話再次強調，未來「每一個會移動的東西都將是自主的」。總有一天，你回家會看到乾淨的沙發和燭光晚餐，伴侶對你微笑而不是責備你沒做家事——而那一天，我們通過物理圖靈測試的時刻，很可能就像 LLM 通過圖靈測試一樣，在世人眼中「只是又一個星期二」。這正是驅動 Jim Fan 和團隊每天努力的動力。

這是我第一次聽到 Jim Fan 的演講，非常幽默有趣，然後我覺得有生之年大概買一台人形機器在家處理家事、幫你洗頭髮大概穩了，好好活著，各位。在 AI 領域，我們常聽說圖靈測試（Turing Test）是衡量機器能否展現與人類無異對話能力的里程碑。如今，大型語言模型（LLM）似乎已悄悄地通過了這個測試，但大家對其突破已習以為常，甚至會因為語音助理慢了幾秒或程式碼沒被完全除錯而抱怨連連。 NVIDIA AI 研究總監、身為廣受矚目人形機器人專家 Jim Fan 指出，當前業界對 LLM 的驚人進步視為「只是又一個平常的星期二」（just yet another Tuesday），這反映了我們對文字世界 AI 的標準已大幅提高。然而，當我們將目光轉向現實世界，讓機器人進行物理操作時，會發現挑戰巨大得多。 Jim Fan 在演講中提出了一個引人深思的概念：「物理圖靈測試 (Physical Turing Test)」。這個測試的想像情境是：如果你回家後，看到雜亂的房間被整理得乾淨俐落，甚至還準備了一頓浪漫的燭光晚餐，而你無法分辨這是由真人還是機器人完成的，那代表這個機器人通過了物理圖靈測試。但現實呢？看看那些連站起來都困難的人形機器人，或是嘗試為主人做早餐卻搞得一團亂的機器手臂（雖然辨識出牛奶值得給 A-，但湯匙餵食的確是 VIP 等級的體驗），我們離「物理圖靈測試」還差得很遠。實體 AI 的最大瓶頸：資料飢渴症為什麼物理圖靈測試如此困難？ Jim Fan 點出了核心問題：資料。LLM 研究人員抱怨網際網路資料快被用完，稱其為 AI 的「化石燃料」。但對機器人學家來說，我們甚至連這種「化石燃料」都沒有。真實世界的機器人資料——例如關節的精確控制訊號、連續的運動軌跡——是無法從網路上抓取的。這些資料必須透過昂貴且耗時的「遙控操作」（teleoperation）方式收集，也就是由真人穿戴感應裝置來遠端控制機器人，手把手地教它完成任務（例如從烤麵包機拿出麵包再淋上蜂蜜）。這種方式極度沒效率，Jim Fan 將其比喻為燃燒「人類燃料」(human fuel)，比化石燃料還稀缺，每天每個機器人頂多運作 24 小時，而且真人會累，機器人更容易壞。這嚴重限制了機器人學習的多樣性和規模，形成了一個巨大的資料瓶頸。模擬世界的核能：突破資料荒的救星要突破這個瓶頸，唯一的出路是「模擬 (Simulation)」，找到機器人學的「核能」。Jim Fan 介紹了NVIDIA為此推進的三階段模擬策略：模擬 1.0：數位分身 (Digital Twin) 概念：在虛擬世界中建立機器人和環境的一對一精確拷貝。方法：利用高效能的向量化物理引擎，可以在單一 GPU 上模擬上萬個環境，速度比現實世界快上萬倍。結合「領域隨機化 (Domain Randomization)」技術，在模擬時隨機改變重力、摩擦力、物體重量等參數，迫使 AI 在各種條件下都能執行任務。優勢：極快的訓練速度。訓練出的模型可以直接零次轉移 (zero-shot) 到真實世界機器人上，無需微調。例如，訓練機械手在模擬中轉筆，訓練機器狗在球上平衡，訓練人形機器人行走（10 年訓練量在 2 小時模擬完成）。一個僅有 150 萬參數的神經網路就足以捕捉人形機器人全身平衡和敏捷動作的複雜控制。限制：數位分身需要人工精確建模，建立複雜環境耗時費力，模擬的多樣性仍然受限於人工設定的範圍。模擬 2.0：數位表親 (Digital Cousin) 概念：開始在模擬中引入生成式 AI。雖然不像數位分身那樣是精確拷貝，但能產生足夠多樣的環境和場景，「像數位分身的表親」。方法：利用 3D 生成模型生成場景中的各種物品（如家具），使用擴散模型（Diffusion Model）生成紋理貼圖，利用 LLM 根據文字提示生成場景佈局的 XML 檔案。 NVIDIA 的 Robocasa 框架就是例子，可以生成大規模、包含日常任務的模擬場景，除了機器人本身，其他幾乎都是生成的。優勢：顯著增加了環境和任務的多樣性。可以在模擬中進行遙控操作，然後將軌跡變異、擴展到更多生成的環境中，實現 N (環境數) * N (動作變異數) 的資料乘法爆炸。雖然畫面真實度可能不及真實世界，但「足夠接近」。限制：相較於 1.0，運行速度可能較慢，仍部分依賴傳統渲染管線。模擬 3.0 (世界模型 / 擴散模型)：數位遊牧者 (Digital Nomad) 概念：直接利用生成式模型（特別是影片擴散模型）來模擬物理世界的互動，擺脫對傳統物理引擎的依賴。方法：以大量真實世界影片（數百萬段網路影片）訓練影片擴散模型，使其學會模擬各種複雜的物理現象（如流體、軟體變形）。 NVIDIA 的研究表明，只需用真實機器人實驗室收集的少量領域特定資料微調通用的影片生成模型，就能讓模型學會模擬機器人的精確互動。優勢：極致的多樣性。影片擴散模型能模擬任何它在訓練資料中「看過」或「想像」的互動，不受傳統物理引擎的限制（例如模擬機器人彈烏克麗麗，即便硬體不支援，模型也能「畫」出來）。這就像讓機器人漫遊在影片模型的「夢境空間」（dream space）——一個壓縮了海量網路影片的多元宇宙，實現「萬物、處處、一時」(Everything Everywhere All at Once) 的互動學習。僅僅一年時間，影片生成模型在物理真實度上（例如變形麵條）的進步，就超越了傳統圖學 30 年的發展。速度：目前運行可能較慢，但具備隨算力呈指數級成長的巨大潛力。具身縮放定律與 GR00T N1 Jim Fan 總結，傳統模擬（1.0）的速度快但受限於多樣性，而生成式模擬（2.0/3.0）雖可能起步慢但能隨算力呈指數級擴展其多樣性。這兩種模擬方式的結合，將是為下一代機器人系統提供龐大訓練資料的「核能」。這也意味著，對 AI 算力的需求只會越來越大，那些認為算力問題會迎刃而解的人需要再三思考。藉由這些模擬技術產生的海量資料，NVIDIA 開發了「視覺語言行動模型 (Vision Language Action Model, VLA)」，能接收圖像和語言指令，並直接輸出機器人的運動控制訊號。今年 GTC 大會上黃仁勳發表的 GR00T N1 模型就是一個實例，它能在真實世界執行抓取香檳、工廠零件甚至多機器人協調等任務。 GR00T N1 已開源，NVIDIA 也計劃將未來的模型開源，以普及「實體 AI」。物理 API：通往新世界的入口實體 AI 的最終目標，是實現「物理 API (Physical API)」。想像一下，就像 LLM API 讓軟體能夠操作數位世界的位元 (bits) 一樣，物理 API 將賦予軟體操作現實世界的原子 (atoms) 的能力。透過這個 API，你可以讓軟體直接控制物理致動器，改變物理世界的狀態。這將催生全新的經濟模式和應用場景：物理提示 (Physical Prompting)：不再只用文字，而是結合視覺和語言等方式更直觀地教導和指示機器人。物理應用商店和技能經濟 (Physical App Store & Skill Economy)：米其林大廚不必親自下廚，他可以「教導」機器人他的獨家烹飪技巧，並將這個技能作為服務販售，讓任何擁有機器人的家庭都能享受到米其林級的晚餐。 Jim Fan 引用黃仁勳的話再次強調，未來「每一個會移動的東西都將是自主的」。總有一天，你回家會看到乾淨的沙發和燭光晚餐，伴侶對你微笑而不是責備你沒做家事——而那一天，我們通過物理圖靈測試的時刻，很可能就像 LLM 通過圖靈測試一樣，在世人眼中「只是又一個星期二」。這正是驅動 Jim Fan 和團隊每天努力的動力。

fox hsiao

19,553 Aufrufe • vor 1 Jahr

Danswer：开源AI企业问答工具支持GPT-4等多种大型模型 👉 集成了直接问答和生成式AI模型支持的聊天允许用户针对内部文档提出自然语言问题并获得由源材料中的引用和参考文献支持的可靠答案支持连接到Slack、GitHub、Confluence 等

Danswer：开源AI企业问答工具支持GPT-4等多种大型模型 👉 集成了直接问答和生成式AI模型支持的聊天允许用户针对内部文档提出自然语言问题并获得由源材料中的引用和参考文献支持的可靠答案支持连接到Slack、GitHub、Confluence 等

ahhhhfs

47,218 Aufrufe • vor 2 Jahren