Загрузка видео...

Не удалось загрузить видео

На главную

GTC 2024:黄仁勋与七位 Transformer 论文作者圆桌会谈中英文字幕 在今年的GTC大会上,英伟达的黄仁勋以一种充满仪式感的方式邀请了Transformer的七位作者(Niki Parmar因故临时未能出席)参与圆桌论坛的讨论,这是七位作者首次在公开场合集体亮相。 他们在对话中也表达了一些令人印象深刻的观点: 1. 计算成本的降低和加速计算的兴起 在个人电脑革命的 20 年里,计算成本降低了 10000 倍,这是一个史无前例的成就。然而,计算成本的急剧下降在某个时刻停止了。为了继续推动计算能力的发展,加速计算应运而生。加速计算虽然具有挑战性,但通过加速那占据 99% 运行时间的 1% 代码,许多看似不可能的事情将变为可能。 2. 人工智能技术的突破和生成式 AI 的潜力 AlexNet 的出现标志着人工智能与 GPU 加速计算的首次结合,引发了人们对 AI 领域的广泛关注。随后,生成式 AI 的出现让人们看到了 AI 技术的巨大潜力。生成式 AI 不仅可以识别图像,还可以根据文本描述生成相应的图像,这种对数据的理解和生成能力,预示着一场新的工业革命的开始。这场革命将诞生前所未有的产品和服务,并对各行各业产生深远的影响。 3. Transformer 的诞生与自然语言处理的变革 Transformer 的发明者们分享了他们的研究动机和创新历程。最初,他们希望建立一个能够处理海量自然语言数据的高效模型。Transformer 独特的自注意力机制和并行处理能力,使其能够在各种自然语言任务上取得突破性的进展。同时,Transformer 的通用性也让研究者们意识到,它不仅适用于语言,还可以扩展到图像、音频等多个领域,这为人工智能的发展开辟了新的道路。 4. AI 创业公司的使命和愿景 随着人工智能技术的不断进步,许多 Transformer 的发明者选择离开大公司,创立了自己的 AI 公司。他们的目标是将这项变革性的技术带给更多人,让...

54,522 просмотров • 2 лет назад •via X (Twitter)

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

Ilya——塑造世界的人工智能科学家 如今,AI 是一项伟大的科技,因为 AI 将解决我们现在面临的所有问题。它能解决就业问题,能治疗疾病,能消除贫困,但同时它也会带来新的问题。假新闻将会愈演愈烈,网络攻击将变得更加严重,我们将面临全自动的 AI 武器的问题。我认为 AI 有潜力创造出无比稳定的独裁统治。 今天早晨,关于人工智能威力的警告再次响起,超过 1300 位科技产业领军人物、研究者及其他人士正呼吁暂停人工智能的发展,以便认真考虑其带来的风险。 扮演上帝,科学家们被指责这么做已经有一段时间了,但我们正在创造的东西确实与我们迄今为止创造的任何东西都截然不同。是的,我们绝对有能力创造出具有自我目标的全自主实体。而且,这些实体变得比人类聪明的时候,确保它们的目标与我们的目标保持一致将变得至关重要。 什么激励我?我喜欢思考根本问题,基本问题。我们的系统不能做什么,而人类却可以做到?我几乎以哲学的方式去思考这些问题。比如,什么是学习?什么是经验?什么是思考?大脑又是如何运作的呢? 我感觉技术就仿佛一种自然力量。在我看来,技术与生物进化之间有许多相似之处。生物进化的过程其实很容易理解,我们有基因的变异,自然选择的过程。我们保留那些有利于生存的变异,随着时间的推移,这个过程将使生物体变得极其复杂。我们不能因为理解了生物进化就能理解人体是如何运作的,但我们可以大概理解这个过程。 我认为目前的机器学习也处在类似的阶段,特别是深度学习,我们有一个非常简单的规则,它从数据中提取信息,并将这些信息输入到模型中,我们只需不断重复这个过程。这个过程的结果就是将数据的复杂性转化为模型的复杂性。因此,最终的模型会变得非常复杂,我们并不能完全了解它的运作机制,需要进行大量的研究,但实现这一切的算法其实很简单。 也许你听说过 ChatGPT,如果你还没听说过,那就做好准备。你可以把它看作是暴风雨来临之前的零星细雨。我们需要对此保持高度警觉,因为我认同这是一个意义重大的时刻。ChatGPT 被誉为颠覆性的创新,在许多方面,它确实做到了,比如在测试中得分超过人类。微软最近的一项研究得出结论,GPT4 是一个初级阶段的,但尚未完全形成的通用人工智能系统。 这就是通用人工智能。通用人工智能,这是一个可以胜任人类能做的任何工作或任务的计算机系统,而且可能做得更好。有可能在短时间内实现通用人工智能,也可能需要更长的时间。但我认为,由于通用人工智能可能在不久的将来出现,这个可能性足够大,我们应该给予它足够的重视。这一点至关重要要确保这些超级智能的系统能按照我们的最大利益去行动。 最初的通用人工智能可能就是大型数据中心,这些中心中充满了大量并行运行的专用神经网络处理器,紧凑、高热、能耗大,其消耗的能量可能相当于一千万个家庭的用电量。这些系统的智能程度可能会大幅提升,我相信它们将对社会产生深远影响。不过,人类真的会从中获益吗?谁会获益,谁又会付出代价呢? 首批通用人工智能的信念和欲望将极为重要,所以我们必须正确地编程这些系统。如果我们做不到这一点,那么就会出现这样的情况:进化的本质,即自然选择,将使这些系统优先考虑自己的生存。并不是说它们会主动对人类产生敌意,甚至想要伤害人类,但它们将变得过于强大。我认为,一个恰当的类比就是人类对待动物的方式。我们并不是憎恨动物,实际上人类往往对动物怀有深深的爱意,但当我们需要在两座城市之间修建高速公路时,我们并不会征求动物的意见,而只是因为这对我们来说非常重要而去做。我认为这也是我们与通用人工智能(AGI)之间的默认关系,那些能真正自主运作并为自己目标服务的 AGI。 许多机器学习领域的专家这些知识渊博和经验丰富的人士,对通用人工智能(AGI)抱有许多疑虑。他们对 AGI 可能出现的时间以及是否真的能够实现表示怀疑。目前,这还是一个鲜为人知的问题。用于神经网络和人工智能的计算机速度可能在未来几年内增加 10 万倍。如果多个团队处于竞相开发通用人工智能的军备竞赛态势中,他们就会没有足够的时间来确保他们构建的通用人工智能会真正关心人类。因为在我看来,这就像是通用人工智能发展的雪崩,一发不可收拾。 我认为将来整个地球的表面很可能布满太阳能板和数据中心。考虑到这些担忧,未来的通用人工智能的建设应该是多国间的合作项目。不论如何,人工智能的未来都将是美好的。如果这同样也能给人类带来福祉,那就更加理想了。 视频来源:

宝玉

45,166 просмотров • 2 лет назад

非常值得一看的视频,OpenAI 联合创始人 Andrej Karpathy 在2024年加州大学伯克利分校人工智能黑客马拉松颁奖典礼上的主题演讲。 OpenAI 联合创始人 Andrej Karpathy 解释了新的计算范式: “我们正在进入一个新的计算范式,大语言模型就像CPU一样,使用Token而不是字节,并且有一个上下文窗口而不是RAM。 这就是大语言模型操作系统(Large Language Model OS, LMOS)。” Andrej在演讲中分享了他对黑客马拉松的热情,强调这种活动带来的巨大能量和创造力,尤其是年轻人们在其中展现出的创新精神。他指出,人工智能领域在过去15年中经历了巨大的发展,从最初的学术研讨到现在的广泛应用,这种变化令人瞩目。尤其是大语言模型的兴起,彻底改变了计算的范式,使得计算不仅仅是处理字节,而是处理语言和上下文,这为人工智能的应用打开了新的大门。 他回顾了自己在OpenAI的经历,描述了公司从八个人在公寓里工作到如今成为市值近千亿美元的行业巨头的历程。通过一个个小项目的积累和发展,OpenAI最终实现了巨大的突破。Andrej特别强调了项目经验的重要性,指出很多看似不起眼的小项目最终可能会带来意想不到的巨大影响。 他还提到“一万小时”定律,强调成功源于反复的实践和大量的付出,只有通过持续不断地努力和项目驱动学习,才能在某个领域内获得真正的专业技能。他鼓励大家多做项目,通过项目来推动自己的学习和进步,并通过分享和发布项目来获取成就感和动力。 最后,Andrej展望了未来人工智能和技术的发展,指出我们正处在一个独特的时代,人工智能将进一步融入我们的生活,带来更多的可能性和挑战。他希望大家能够从小项目开始,不断积累经验,最终对世界产生积极的影响,共同塑造一个美好的未来。 完整文稿:

宝玉

123,892 просмотров • 1 год назад

2024 Inclusion·外滩大会在上海开幕,著名未来学家凯文·凯利在开幕主论坛上发表演讲:当人工智能深刻影响经济和文化时,将涌现三大趋势! 非常值得观看,强烈推荐! AI时代三大趋势: • 全球主义: • 全球正在共同构建一个基于技术的“超级有机体”,将全球的设备连接成巨大的计算系统,所有数字技术包括人工智能都运行在这个新平台上。 • 全球主义推进推动了新兴的全球文化,人们的生活方式和穿着逐渐趋同,底层需求达成一致。 • 人工智能将实现真正的“实时翻译”,打破全球语言障碍,加上增强现实(VR)技术,全球化“劳动力”将第一次出现。 • 创新加速: • AI技术加速了创新的步伐,体现在新发明和新思想传播速度加快,通过增强现实(AR)和虚拟现实(VR)技术提高学习效率,AI通过机器及其他传感器感知世界,以及ChatGPT等人工智能工具加快人们学习速度。 • 当答案易得时,提出正确问题和掌握正确思维方式变得更有价值,“学会如何学习”将成为未来毕业生的核心技能。 • AI驱动生成: • 人工智能能帮助人们摆脱机械、枯燥的工作,完成无法独立完成的任务,甚至生成超乎人类想象的全新事物。 • 人工智能系统正在生成新事物且不断完善,人工智能是多样的,将填补许多智能领域。 • 从人工智能工具中获益最多的是表现一般或较差的员工,人工智能工具能帮助他们更好地完成工作。 • 回答中国网友提问: • 对于人工智能是不是人类的下一个进化阶段,凯文·凯利给出肯定答案,认为其重要性不亚于火、印刷术和工业革命,但实现需要至少一个世纪甚至更长时间,人类正在通过人工智能重塑文明,创造人造“外星人”并引入新思想和文化。 • 为确保人工智能带来有益未来且不加剧不平等,应利用技术引导其发展,推动其开源化,形成更具包容性的技术生态系统。 • 未来几乎所有工作都会使用人工智能,但不会被完全取代。

小互

120,687 просмотров • 1 год назад

Gemini 介绍:我们的超级 AI 模型 [译] 2023 年 12 月 6 日 让 AI 更贴近每个人的生活 来自 Google 和 Alphabet 首席执行官 Sundar Pichai 的寄语: 每一次技术革新都是推动科学突破、加快人类前进的好机会,也是改善我们的生活的大好时机。我认为,我们现在见证的 AI 革命将是我们一生中最为深远的改变,这种影响甚至超过了手机和互联网的普及。AI 的潜力无限,它不仅能够改善我们的日常生活,还能在更高层面上创造出非凡的机会。AI 将引领创新与经济的新浪潮,并以前所未有的规模推动知识、学习、创造力和生产力的提升。 我最激动的是,有机会让 AI 成为全世界每个人的得力助手。 自从我们定位为一家以 AI 为核心的公司已经八年了,这期间我们的进步速度越来越快:如今,已经有数百万人在我们的产品中使用生成式 AI,做到了一年前难以想象的事情,比如解决更复杂的问题,或是使用全新工具进行协作和创造。同时,全球的开发者和企业都在利用我们的 AI 模型和基础设施开发新的应用,实现增长。 这种势头令人振奋,但我们仅仅是开始探索 AI 的无限可能。 我们对这项工作的态度是大胆且负责任的。这意味着我们在研究上充满野心,努力开发能够为人类和社会带来巨大益处的能力,同时也在建立安全机制,并与政府和专家合作,共同应对随着 AI 能力增强所带来的风险。我们持续投入于最优秀的工具、基础模型和基础设施,并将它们应用于我们的产品及其他产品,这一切都遵循我们的AI 原则。 现在,我们准备迈出旅程的下一步,推出 Gemini,这是我们迄今为止最强大、最全面的模型,它在众多顶尖的基准测试中表现卓越。我们的第一个版本 Gemini 1.0,有多种规格:Ultra、Pro 和 Nano。这些是我们迈入 Gemini 时代的首批模型,也是我们今年初成立 Google DeepMind 时愿景的初步实现。这一新时代的模型是我们公司迄今为止在科学和工程方面的最大努力。我对未来充满期待,也相信 Gemini 将为全球人民带来无限的新机遇。 – Sundar 介绍 Gemini 由谷歌 DeepMind 的首席执行官兼联合创始人 Demis Hassabis 代表 Gemini 团队撰写 AI 是我一生致力的工作重点,这对我许多研究同事来说也是一样。从我青少年时期开始为电脑游戏编写 AI,到作为神经科学研究者探索大脑的奥秘,我始终相信,如果能打造出更加智能的机器,我们就可以利用它们为人类带来前所未有的益处。 正是这个让 AI 负责任地赋能世界的愿景,持续驱动着我们在谷歌 DeepMind 的工作。我们长期以来一直梦想着构建新一代 AI 模型,它们的灵感来源于人类理解和与世界互动的方式。这样的 AI 不仅仅是一款智能软件,更像是一个有用且直观的专家助手或助理。 今天,我们在实现这个愿景上迈出了更大的一步。我们隆重介绍 Gemini,这是我们迄今为止开发的最强大、最通用的模型。 Gemini 是谷歌各团队大规模合作的成果,包括我们在谷歌研究部门的同事们。它是从零开始打造的多模态模型,这意味着它能够广泛地理解并流畅地处理和结合包括文本、代码、音频、图像和视频等多种类型的信息。 视频:介绍 Gemini:我们最大、最有能力的 AI 模型 Gemini 还是我们迄今为止最灵活的模型,它能够在从数据中心到移动设备的各种设备上高效运行。它的尖端技术能力将极大地改善开发者和企业用户使用 AI 构建和扩展应用的方式。 我们针对 Gemini 1.0 进行了优化,这是我们的首个版本,包括三个不同规模的型号: Gemini Ultra — 我们最大型号、能力最强的模型,适用于极其复杂的任务。 Gemini Pro — 我们最佳模型,适合跨越广泛任务范围的扩展。 Gemini Nano — 我们最高效的模型,专为设备上的任务而设计。

宝玉

114,744 просмотров • 2 лет назад

英伟达黄仁勋在沙特接受访谈完整版👇 沙特要造AI工厂! 一出手就是500兆瓦的部署, 跟谁合作? 英伟达。 这背后是什么逻辑? 用能源炼AI! 这事得从英伟达和沙特一家叫Humane的AI公司说起。 两块Blackwell芯片,就重得拿不动。 功耗多少?2500瓦。 而沙特要建的,是500兆瓦的计算基础设施。 想想这规模 人工智能,公认的革命性技术, 可能是任何时代最具变革性的。 它会改变每个行业, 成为每个行业的基础设施。 沙特的Humane公司, 就要在当地建设这个AI基础设施。 但很多人没意识到, AI不仅是变革技术, 它本身就是个产业。 一个制造业! 这个制造业需要什么?能源。 沙特有什么?能源。 通过英伟达这种AI超级计算机, 本质上就是AI工厂。 能源驱动这些AI工厂,生成tokens。 这些token再被重组成应用程序和解决问题的AI。 这就是Humane要为沙特和世界创造的东西。 基础设施搞定了,创新就看模型了。 生成式AI很火,但黄仁勋还提到了别的。 物理世界和物理AI。 这跟生成式AI、跟英伟达提供给Humane的平台,是什么关系? 过去12年,AI产业发展神速。 最早是感知AI:能识别猫、文字、声音、语音。 感知AI进化到生成式AI:用文字生成文字,文字生成图像,文字生成化学物质和蛋白质。 现在是第三个时代:AI能推理。 这种能力的应用就是智能体AI(Agentic AI)。 它有自主性,能用工具、能推理、能解决问题,就像电脑里的数字机器人。 下一个时代,英伟达正在攻克的, 是理解物理规律的AI。 物理世界的常识:瓶子倒了会掉下来,理解重力、惯性、因果、物体恒存性、遮挡等等。 这些我们人类的常识,要教给AI。 下一代物理AI,结合已有的技术,可以被赋予物理形态。 这个物理形态,就是机器人技术。 AI的时代发展飞快,今天我们身处智能体AI世界,很快就会进入机器人或物理AI的世界。 Humane这家公司,源于沙特王储的愿景。 要在AI全价值链上发力。 建设大规模数据中心,目标是到2030年达到1.9吉瓦。 还要推进AI芯片、云、模型、应用和解决方案。 沙特的目标, 是建设自己国家的AI基础设施,参与并塑造这项变革性技术的未来。

墓碑科技

214,713 просмотров • 1 год назад

生成式 AI 入门教程 2 - 什么是生成式 AI - 原理和指南 欢迎来到我们的课程,今天我们将深入了解生成式人工智能(AI)的奥秘。生成式 AI 是当前 AI 领域中最为重要的工具之一,它展示了令人惊叹的文本生成能力,如 ChatGPT 和 Bard 等系统。本视频将向你介绍生成式 AI 的工作原理,并告诉你在哪些情况下最好谨慎使用它。我们还将对比监督学习和生成式 AI,帮助你更好地理解这一领域。 在人工智能的各个领域中,监督学习和生成式 AI 是最为重要的工具。我们将通过实例解释监督学习的概念,并展示它在广告、自动驾驶汽车、医疗和语音识别等领域的应用。随后,我们将介绍大规模监督学习在过去十年中的发展,以及它如何为生成式 AI 的崛起打下基础。 🚀 课程亮点: 详细介绍生成式人工智能及其工作原理。 对比监督学习和生成式 AI,展示它们在实际应用中的不同。 提供实际例子,帮助你更好地理解和应用这些概念。 🔥 你将学到: 生成式人工智能的定义和应用 监督学习和生成式 AI 的区别和联系 如何在实际情境中应用这些工具 🌐 课程内容: 生成式 AI 和监督学习的基本原理 大规模监督学习的发展历程 生成式 AI 在文本生成中的应用 📚 学习建议: 关注课程中提到的实际应用例子,以更好地理解理论知识。 在学习过程中不断提问和实践,以加深理解。 整理课程中的关键点,并尝试将其应用到你自己的项目中。 🔗 相关链接: 课程地址: 油管播放列表: B站播放列表:

宝玉

80,454 просмотров • 2 лет назад

Google量子计算新突破:量子计算芯片 Willow 5 分钟完成传统计算机100亿亿亿年的计算 最近大家都在关注 AI,也许没有注意到 Google 刚发布的 量子计算芯片 Willow 想象一下,有一道数学题,就算用世界上最快的超级计算机来解,也需要计算100亿亿亿年。而Google的最新量子计算芯片Willow只用了5分钟就解决了。如果你对这个数字没有概念,这个时间比我们宇宙的年龄(138亿年)还要长得多! 什么是量子计算? 要理解这个突破,我们先来聊聊普通计算机和量子计算机的区别: - 普通计算机使用的是"比特"(位),就像一个开关,只能是开(1)或关(0)两种状态 - 量子计算机使用的是"量子比特"(量子位),它可以同时处于多个状态,这让计算能力呈指数级增长 Willow的突破性进展 Google的Willow芯片最大的突破在于解决了量子计算领域30年来的一个大难题。传统上,量子比特越多,计算错误就越多。但Willow通过创新的"逻辑量子位"设计,实现了相反的效果:随着量子比特的增加,错误反而会减少。这就像搭建了一个会自我纠错的超级计算系统。 这对我们的生活意味着什么? 虽然现在还不能期待在家里放一台量子电脑,但Willow的突破将在未来带来许多令人兴奋的应用: - 加速新药物的研发 - 设计更高效的电动车电池 - 优化城市交通流量 - 开发更安全的通信加密系统 - 提升人工智能的学习能力 未来展望 Google预计在2030年左右可能会看到商用量子计算机。虽然还面临着提高运算精度、降低成本等挑战,但Willow的诞生就像是莱特兄弟的第一次飞行——它证明了"不可能"是可能的。这打开了一扇通向未来的大门,量子计算革命已经势不可挡。 这次的突破,不仅仅是技术的进步,更预示着人类即将进入一个全新的计算时代。虽然距离普及还需要时间,但就像当年的第一台计算机一样,Willow 有可能会是未来量子计算机的开始。

宝玉

131,491 просмотров • 1 год назад

突发:ChatGPT创始人在Sam奥特曼被解雇的前一天,他在APEC的一次会议上,暗示了OpenAI已开发出比现在GPT4更加强大,让人无法想象,远超人们期待的东西。奥特曼上周突遭解雇的四天前,有几位内部研究人员致信董事会而发出警告。这封信警告称,他们发现了一种可能对人类构成威胁的重大人工智能技术,被称为Q*。 Q*被一些OpenAI的人认为可能是通向超级智能或人工通用智能(AGI)的重大突破。研究人员认为它可能对人类构成威胁。这封信和该Q*是导致Sam奥特曼被解雇的关键因素。这位匿名者说,新模型能够解决某些数学问题,尽管只有小学生水平,但进行此类测试的结果使研究人员对Q*未来的成功非常乐观。 总裁简报(CEO Briefing)询问了一位斯坦福的人工智能专家,他认为数学是ChatGPT和生成式人工智能发展的前沿。目前,生成式人工智能擅长通过统计预测下一个单词,来写作和语言翻译,对同一个问题的回答可能差异很大。但是,掌握数学能力,在这里只有一个正确答案,意味着人工智能将具有类似于人类智能的更大推理能力。例如,这可应用于新颖的科学研究。 与只能解决有限数量操作的计算器不同,AGI可以泛化、学习和理解。在给董事会的信中,研究人员提到了人工智能的能力和潜在危险,但没有具体说明信中提到的确切安全问题。除了在本月的演示中宣布了一系列新工具外,Sam奥特曼上周在旧金山的聚会上暗示,他相信AGI已经在望。这在暗示,OpenAI内部实现了技术和模型上的巨大飞跃。而Ilya等董事会成员感到恐慌。 奥特曼在APEC峰会上说:“在OpenAI的历史上,现在已经是第四次,最近一次是在过去几周内,我有幸在房间里,当我们推开无知的面纱,将发现的边界向前推进,能够做到这一点是我一生职业上的荣誉。”董事会在第二天就解雇了奥特曼。总裁简报(CEOBriefing)将继续关注OpenAI内斗的发展。创始人被赶出公司的不少,譬如苹果的乔布斯。

总裁简报 CEO Briefing

63,120 просмотров • 2 лет назад

今天给大家翻译的是最近吴恩达采访李飞飞的一期视频“Andrew Ng and Fei-Fei Li Discuss Human-Centered Artificial Intelligence - Stanford Online”,都是AI领域的重量级人物。李飞飞现在是斯坦福大学的计算机科学教授,还是HAI(以人为本的人工智能研究所)的联席主任。李飞飞还是吴恩达邀请去的斯坦福,最开始还担心李飞飞不去,而李飞飞则说,谁能抵挡斯坦福的诱惑😄 第一个话题是为什么李飞飞从物理专业转到了人工智能领域。 李飞飞分享了她的经历,她一直对物理和STEM充满热情,后来在普林斯顿大学主修物理并在神经科学实验室实习。然而,通过阅读了一些伟大物理学家的著作例如薛定谔的《生命是什么?》罗杰·彭罗斯的《皇帝的新脑》,她对智能产生了极大的好奇心,这促使她在研究生阶段转向了人工智能。 她对智能的基本计算原理有极大的兴趣,期待有一天能找到一组简单的原理或方程,可以定义智能的过程,无论是动物智能还是机器智能。 李飞飞认为AI还处于初级阶段,就像牛顿之前的物理学,曾经有过伟大的物理学,伟大的物理学家,很多现象学,很多关于天体如何运动的研究。但是是牛顿开始写出非常简单的定律。我们仍在经历那个非常令人兴奋的AI基础科学成长时期,就像当年的物理学还处于牛顿之前的阶段。 第二个话题是李飞飞早年的移民经历。 李飞飞在15岁时移民到美国,她的父母不会说英语,经营一家干洗店可能是她们家最好的选择,因为洗衣店主要是周末营业,这样她作为学生也可以参与运营。尽管生活充满挑战,李飞飞坚持下来,并成功进入普林斯顿大学。干洗店的经营帮助她接触到了机器,也使得她对STEM(科学、技术、工程和数学)领域产生了兴趣。 吴恩达也分享了他的早年经历,他在高中时曾在办公室工作,经常复印文件,为人们泡咖啡。这些经历启发他思考如何用机器人完成这些工作,这可能也种下了他对AI的兴趣的种子。 希望他们高中的故事能够激励更多的人,无论我们起点如何,都有机会成功。 第三个话题是关于李飞飞如何开始ImageNet项目和创建的Caltech 101数据库的。 李飞飞是最早将机器学习应用于计算机视觉的学生之一,这在当时是一个具有争议的想法。在计算机视觉和人类智能理解的研究中,她利用机器学习方法进行真实世界对象的识别,尽管她很快就发现这个领域的一个主要挑战是模型的泛化能力不足。为了解决这个问题,李飞飞和她的导师开始探索大规模数据项目,创建了Caltech 101数据库。李飞飞开始做这事时非常早,那时候数码相机还非常昂贵,最初的数据是李飞飞和她妈还有几个本科生一起做的。 这个数据库对许多研究者产生了积极影响。之后,李飞飞进一步扩展了数据库,创建了更大的ImageNet数据库,尽管这个想法在最初的时候遭到了很多质疑。但最终,这个庞大的数据库为全球无数研究者解锁了大量价值。 由于最开始受到了很多质疑和困难,但最终项目还是取得了巨大的成功。就这个话题李飞飞分享了一点人生经验,就是设置北极星目标(即长期大目标)的重要性,并建议研究生们不应该只是为了发表论文而进行研究,而应该有一个长远的目标去驱动他们的工作。 吴恩达对这个观点也很赞同,他也提醒大家即使项目刚开始规模比较小,也可以作为实现更大目标的基础。 另外很重要的就是去追求自己真正感兴趣的研究领域,李飞飞会问她的学生:”是什么北极星在驱使你?“ 这段对话很精彩,我直接原文转发一下: ”吴恩达:当我想起那个故事时,它看起来像是一个有时候人们觉得他们应该只从事项目的例子,而不是一开始就做大事。但我觉得对于从事机器学习的人来说,如果你的第一个项目是一个稍微小一点的,那完全没问题。祝你取得好成绩。利用所学知识为实现更大的目标打下基础,然后有时候你会得到像ImageNet那样的巨大成功。 李飞飞:但与此同时,我认为追求一个大胆的目标也很重要。你可以根据问题的规模或项目的规模设定局部里程碑,沿着这条道路前进,但我也关注我们现在的一些学生。他们受到如此大的同伴压力,在这个不断出版的气候中。这变得更多的是为了只是为了出版而进入一篇文章。我个人总是推动我的学生去问这个问题,是什么北极星在驱使你? 吴恩达:是的,这是真的。这些年来,当我做研究时,我总是充满激情地去做我感兴趣的事情,在那里,我想尝试推动观点向前发展。不必听别人的意见。要听别人的意见,让他们影响你的看法。但最后,我认为最好的研究者让世界影响他们的观点,但最后,还是要根据自己的观点来推动事物。 李飞飞:完全同意,是的。这是你自己内心的火焰。“ 第四个话题是李飞飞如何将计算机视觉和神经科学应用到多个领域,尤其是医疗保健的 李飞飞认为她在计算机视觉领域的研究进化也遵循动物视觉智能的进化。有两个话题真正让她兴奋: 1. 一个是什么是真正有影响力的应用领域,能够帮助改善人类生活?这就是医疗保健工作。 2. 另一个是视觉在最终究竟是关于什么的?这让她试图在感知和机器人学习之间封闭回路。 李飞飞引用了一组数字:每年约有25万美国人死于医疗错误,这大大超过了因车祸导致的死亡人数,医院感染导致的死亡人数超过95,000,这比车祸死亡人数多2.5倍。 李飞飞和她的合作伙伴阿尼·米尔斯坦博士开始了一个项目,名为环境智能研究议程,目的是在医院或养老院安装智能传感器,以提高病人的安全性。但她指出,应用AI时,除了机器学习问题,还需要处理诸如隐私等人类问题。 第五个话题是关于人工智能(AI)在公共政策中的重要性 四年前,李飞飞和斯坦福大学的一些教职工意识到斯坦福需要在AI领域发挥更重要的角色,为此他们创建了人类中心AI研究所(HAI)。这个研究所旨在以人为本,研究下一代的人工智能教育、研究和政策。 李飞飞提到,AI快速地影响着人们的生活,法律和政策必须要跟上。她认为专家需要和政策制定者更深入地交流,以利用AI更好地造福人民。这不仅涉及公平和隐私,还涉及到人才流向产业、数据和计算机的集中等问题。 李飞飞参与推动的一项政策工作就是《全国人工智能研究云任务组法案》(现为国家人工智能研究资源,NAIRR),这个法案要求成立一个任务小组,为美国公共部门和研究部门提供更好的获取AI计算和数据资源的途径,以重振美国在AI创新和研究方面的生态系统。这是一项更多的激励政策,旨在建设和振兴生态系统。 吴恩达问了李飞飞一个很有代表性的问题:”你对于刚开始学习机器学习的人有什么建议?“ 李飞飞的建议是: 1. 现在的AI和ML学习资源比以往任何时候都要丰富,从Coursera到YouTube、TikTok和Github,使得全球范围内的学习者都能够获取到这些知识。 2. 对非技术背景的人来说,AI也提供了丰富的机会,无论是应用、创造力、政策、社会问题,还是经济、伦理、政治科学等方面。 3. 人工智能可能带来的挑战和问题,如定义数字时代的经济,机器人和软件在工作流程中的影响,以及生成性AI对创造力和艺术创作者的影响等。 吴恩达也基于李飞飞的建议提出了自己的建议,他的建议是现在人工智能的技术很通用,无论你的个人兴趣是什么领域,都很容易可以将你的兴趣和AI结合起来。现在AI还是很新的领域,基于兴趣可以开创自己的道路,去做一些令人兴奋的工作。 最后一个话题是关于李飞飞开展的AI4ALL项目。 AI4ALL项目旨在引导年轻的学生,特别是来自代表性不足的群体,接触并学习AI。李飞飞在自己作为斯坦福人工智能实验室唯一的女性教师时,意识到了代表性不足的问题。 AI4ALL最初被称为SAILORS,这个项目于2015年开始,由李飞飞与她的学生宇川佐科夫斯基和教育专家瑞克·萨默一起启动。它最初是一个暑期项目,邀请年轻女性高中生学习AI。在得到詹森·黄、洛瑞·黄和梅琳达·盖茨等人的支持后,该项目于2017年扩展为全国性的非营利组织,现已在全国超过15所大学开设夏令营和暑期项目,同时提供在线课程并通过实习和导师计划提供持续的支持。 最后引用AI4ALL的口号来结尾:“AI将改变世界,谁将改变AI?”,希望我们每个人都能参与其中! 原始视频:

宝玉

207,739 просмотров • 3 лет назад

今年,AI机器人赛道真的是火得不行。 从家里用的扫地机器人到工业上的自动化设备,甚至现在都可以上台跳舞了,不得不说一句牛逼! 但是现在机器人和AI系统大多被少数几家大公司掌控,创新的步伐虽然快,却往往伴随着技术封闭性和使用限制。 OpenMind 却正在打破这种局限,提出了一个非常具有前瞻性的解决方案——开源的机器人操作系统。 这种做法不仅仅是技术上的创新,它从根本上重新定义了谁能控制机器人的智能,以及谁能参与到技术创新中去。 OpenMind的核心理念是开放和去中心化——这意味着不再是只有少数几家公司有能力和资源控制机器人的发展和应用。通过开源操作系统OM1,OpenMind赋予了全球开发者和创新者在机器人生态系统中发挥更大作用的机会。任何有创意、有技术的团队,都可以基于OM1平台构建自己的机器人应用,这种开放生态不仅能加速创新,还能促进更广泛的合作和资源共享。 最关键的是,OpenMind没有像传统公司那样将机器人生态系统封闭在一个小圈子里,而是推动它向全球开发者开放,鼓励他们参与并共同塑造机器人的未来。这不仅能避免技术的垄断,更能确保机器人系统的多样性和适应性——每个开发者、每个小团队都能贡献自己的智慧,推动机器人技术在各个行业中的应用。 这背后折射的是OpenMind对于去中心化理念的深刻理解和执行力。与传统企业垄断不同,这种去中心化的思维让更多的人和团队能通过开源平台参与进来,这也让机器人技术有了更多的可能性。 未来的机器人技术, OpenMind 无疑为其注入了一股新鲜的力量。在这场关于机器人智能的创新竞赛中,去中心化和开源将不仅仅是一个趋势,更是能让全球每个人都参与进来的机会。 #OpenMind

阿乐

60,904 просмотров • 5 месяцев назад

上周黄仁勋在斯坦福做了一次访谈和演讲,这一个小时的演讲内容量很大,主要的包括公司治理的经验和要点以及人工智能未来的发展问题。 翻译了一下这个视频并且给每个部分加上了时间戳,下面是简要的文字内容介绍: 演讲者Jensen Huang是Nvidia公司的CEO,他在AI及其所需的创新、技术和人力资源方面具有前瞻性的见解。 Jensen分享了他的个人经历,从九岁移民美国到成为Nvidia公司CEO的过程。他强调了教育和技术创新的重要性。Nvidia公司通过重塑计算,将深度学习的计算成本降至接近零,使AI能够从互联网提取和理解人类知识成为可能。 Jensen认为,AI是21世纪最重要的技术发明。Nvidia开发的GPU芯片和架构,大幅提升了深度学习和AI的计算能力,并广泛应用于各行业的数据中心。未来,AI计算机将能进行持续学习、合成数据生成和强化学习,并通过真实世界的经验来完善。 Jensen强调AI要以人类价值观为基础。聊天GPT通过强化学习和人类反馈,将AI与人类价值观联系起来。未来AI需要建立世界模型,理解多模态概念,具备推理和规划能力。他预测5年内AI可能通过各类人类测试,实现类似人类的智能(AGI)。 AI有望帮助人类理解生物学,如蛋白质的功能和意义。它将改变人类获取信息和知识的方式。未来,人人都能通过自然语言与AI交互,无需掌握编程。各国需要在主权AI领域进行投资,保护自己的数据、智能和文化。 Jensen分享了他的管理理念——通过不断评估、统一激励方式和信息透明来保持员工的积极性。他认为公司文化的塑造需要坚持品质、经历磨砺,重视过程和结果。Nvidia欢迎合作伙伴在其AI生态系统的基础上进行适度的定制化开发。 时间戳及分段标题: 00:00 介绍Jensen Huang及其在AI领域的贡献 01:15 John Shoveon是一位杰出的建筑师和经济学教授 02:02 演讲者欢迎John Shoveon并感谢其贡献 03:17 Jensen的个人经历:从移民到与妻子的爱情故事 04:46 Jensen在技术领域取得的成就和荣誉 05:57 Jensen当选为国家工程院院士 07:02 讨论开场白及晶体管技术的重要性 08:10 技术变革和新型计算方法的发展 09:14 计算成本的降低使AI能够代替人类编写软件 10:11 深度学习推动了计算成本的快速降低 11:03 利用计算机从互联网提取和理解人类知识 12:00 AI能够理解氨基酸序列和蛋白质的结构功能 12:49 AI是21世纪最重要的技术发明 13:51 Nvidia芯片的性能和成本优势 15:04 通过芯片创新将数据中心缩小到一个芯片 16:02 未来计算机的特点:重量重、液冷、持续学习 17:03 AI通过交互数据和合成数据持续学习和想象 18:01 未来AI将结合合成数据生成和强化学习 18:55 计算成本降低带来的可能性和市场变化 19:55 使用AI进行推理的过程和Nvidia GPU的作用 20:50 推理的难点在于吸引更多用户和软件应用 21:44 架构的普及和用户基础是推理问题的关键 22:30 竞争对手和客户带来的竞争威胁 23:31 Nvidia的架构优势:加速算法和可编程性 24:30 Nvidia在计算领域的标准地位和广泛应用 25:27 Nvidia芯片的总运营成本优势 26:27 Nvidia面临的竞争和对AGI的道歉 27:25 多模态学习对AI未来发展的重要性 28:21 AI要建立在人类价值观基础上 29:24 AI需理解多模态概念和掌握推理能力 30:16 AI目前在长时间思考和推理方面的局限性 31:03 未来人机交互方式的变化和AGI的定义问题 31:59 对AGI的测试标准和实现时间的预测 32:56 AI在药物发现和理解蛋白质功能中的作用 33:54 未来与AI对话获取信息的方式 34:56 AI帮助人类理解生物学意义的潜力 35:57 给创业者的建议:拥抱困境和磨砺 37:16 公司品质来自经历苦难而非智慧 38:13 如何保持员工积极性:统一激励和信息透明 39:28 不进行私下沟通,信息快速流动,唯才是用 40:34 每天寻找机会灌输公司文化 41:19 预测未来AI增长对半导体制造能力的需求 42:28 未来计算方式将基于实时生成而非预先录制 43:27 AI将根据个人上下文生成所需信息 44:27 算法改进和技术进步将抵消算力需求增加 45:21 编程和创业格局的变化趋势 46:17 自然语言交互取代传统编程,人人皆可编程 47:16 提示工程的重要性和控制AI的方法 48:10 AI普及将消除技术鸿沟,惠及所有人 49:12 无需编程也能与AI交互,揭示CS的重大贡献 50:10 美国限制AI出口,各国投资主权AI的重要性 51:17 国家需要保护自己的数据、智能和文化 52:19 讨论公司竞争对手和定制化解决方案 53:22 芯片成本高昂的原因:多组件和大量软件 54:14 芯片定制化的意义:安全性和保密性

歸藏(guizang.ai)

250,471 просмотров • 2 лет назад

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上,陶哲轩做了一次 AI 和数学的演讲,非常精彩,从数学使用计算计算机的历史开始讲起,一直讲到大语言模型,干货相当多,尤其适合对数学有兴趣的同学。 (对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看) 先摘录几个冷知识: 1. 我们使用机器做数学计算已经有数千年,最早的机器辅助计算可能是罗马人,然后是中国的算盘 2. 二战时就有人肉“计算机”,计算弹道和其他任务,多位女孩子,因为男士们在打仗,所以那时候的计算基本单位不是GPU,而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在,数学家们使用一种现代化的证明辅助编程语言,叫做 Lean。在 Lean 中有一个核心的数学库,通过众包的方式开发的,本科数学课程中看到的内容,比如微积分基础、群论基础或者拓扑学等等,这些都已经被形式化了,所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程,那就是先编写一个称为“蓝图”的详细证明计划,将整个证明分解为数百个小步骤。每个步骤可以单独形式化,然后再将它们整合在一起,这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图,然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。 去年,陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了,使用了蓝图工具,参与的人中有概率论专家,甚至还有一些并非数学家的人,他们是程序员,但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务,并完成了它。 在数学领域,通常很难这么多人一起合作,一般最多可能五个人合作。因为在大项目上合作时,你必须相信每个人的数学都是正确的。但是,一旦超过一定规模,这就无法实现了。但现在借助 Lean 编译器,它能自动检查。团队成员无法上传任何编译不通过的内容,会被拒绝。因此,你可以与一些从未见过的人合作。 最后是讲大语言模型,首先陶哲轩就打脸了 GPT-4 的论文(我猜是微软那篇《GPT-4,通用人工智能的火花》),论文中号称 GPT-4 能解决国际数学奥林匹克问题,但实际上,这个问题不是 2022 年国际奥数竞赛的原始问题,而是一个简化版本,并且他们测试了几百道国际奥数竞赛问题,成功率只有1%,论文里的这个是精心挑选的恰巧能做对的。 并且陶哲轩提到了基于大语言模型的一些改进的方案: 比如 CoT(Chain of Thought),也就是 LLM 做简单的算术运算都做不对,但是如果让它一步步解释,可能就对了。还可以教 AI 一些解题技巧,比如尝试简单的例子,反证法,尝试逐步证明等。 比如让模型和编程语言或者工具连接,将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证,并且迭代的进行修正和验证,直到得到正确的结果,这可以提升大语言模型生成的效果。 即使借助这些手段,大语言模型还远远不能解决大多数数学问题,更不用说数学研究问题了! 当然陶哲轩也没太过打击大家对于 AI 的信心,表示我们在 AI 上还是在不断的取得进展,还提到了他日常是怎么用 AI 的,比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题,我尝试了几种方法,但都无法解决。于是,我尝试询问 GPT,你建议我使用什么其他方法来解决这个问题?GPT 给我提供了 10 种可能的方法,其中有 5 种我已经尝试过,或者明显没有帮助。的确,有几种方法并不实用。但其中有一种我还没尝试过的方法,那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时,我意识到这就是我漏掉的正确方法。所以,将 GPT 视为一个交流伙伴,它确实具有一定的用处。 还有使用 GitHub Copilot 帮他写代码,让它自动生成下一步的证明结果,Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具,你只需要写下一半的证明,它就会尝试猜测接下来的内容。大概有 20% 的情况下,它能猜到接近正确的答案。然后你就可以说,我接受这个答案。好的,那么在这种情况下,我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行,尽管你可能看不清楚,却真的解决了这个问题。所以,你不能盲目接受它的输入,因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解,这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行,它们就能自动完成。现在已经有了这样的实验,即通过迭代地让 AI 提供证明,然后让编译器进行反馈,如果编译出错,就把错误信息反馈给 AI。通过这种方法,我们开始能够验证四五步长的证明。当然,一个大型的证明可能需要数万行。所以,我们还没有达到能够立即得到一个正式证明的程度。但是,这已经是一个相当有用的工具。 对于大家关心的问题: AI 在数学领域现在到了哪一个阶段?是否未来几年利用 AI 能直接解决数学问题? 陶哲轩也给出了他的看法: > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题,你可以定制专门的 AI 来处理一小部分问题。即便如此,它们也不是完全可靠的,但还是有用的。不过至少在接下来的几年里,它们基本上将是非常有用的辅助工具,超越了我们已经熟悉的暴力计算辅助。 他还提到了一些可能的 AI 能在数学领域提供帮助的方向: - AI 能够非常好地生成有价值的猜想 > 比如,我们已经看到了关于结理论的例子,它们已经可以推测出两个不同的统计量之间的关系。因此,我们希望能够创建大量的数据集,输入到 AI 中,它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点,部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在,因为证明定理是如此繁琐和艰难的过程,我们一次只能证明一个定理,如果你效率很高,可能一次能证明两三个。但是有了 AI,你可以设想一下未来的情况,我们不是试图解决一个问题,而是处理一类类似的1000个问题,然后告诉AI,尝试用这个方法解决这 1000 个问题,然后报告结果,哦,我能用这种技术解决 35% 的问题。那么另一种技术呢?我能解决这个百分比的问题。或者如果结合这些方法,又能解决多少问题?你可以开始探索问题的空间,而不是一个接一个地解决问题。这是你现在根本无法做到的事情,或者是你需要几十年时间,通过数十篇论文慢慢搞清楚各种技术能做什么,不能做什么。但是有了这些工具,你真的可以开始做规模前所未有的数学研究。所以,未来将会非常令人兴奋。 演讲环节结束前的最后一句话说的特别好: > 我们仍然会以传统方式证明定理。事实上,我们必须这样做,因为如果我们自己都不知道如何做这些事情,就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。 这恰恰也是我们现在使用 AI 辅助编程的问题:如果我们自己都不知道如何构建软件,就很难引导好 AI 帮助我们生成高质量的代码。 尽管 AI 在数学和编程领域变得越来越有用,但人类的洞察力和创造力仍然是创作价值的关键。 原始 YT 视频:

宝玉

300,591 просмотров • 1 год назад

白宫加密政策主管David Sacks: 四年内AI 大模型能力将增长一百万倍 ! “我认为目前至少在三个关键维度上,进步的速度都是指数级的。” “首先是算法本身。模型每年提升的速度大概是 3-4 倍。” “它们不仅仅是在速度和性能上更快更好,而且将从量变到质变。” “接着是推理模型。” “我们甚至还没有真正进入智能代理时代,但这将是继推理模型之后的下一个重大飞跃。” “在这个领域,我们才刚刚开始(推理算力增加带来的能力增加也将是倍数增长)。” “接下来是芯片。” “根据多种衡量标准,每一代芯片的性能可能比上一代提高 3-4 倍。” “不只是单个芯片在不断进步,他们还在研究如何将这些芯片联网在一起。” “就像 NVL72 系统,它类似于一个机架系统,可以在数据中心级别大幅提升性能。” “计算能力是第三个你会看到基本上呈指数级进步的领域。” “只需要看看数据中心中部署的 GPU 数量。” “当马斯克最初开始训练 Grok 时,我认为他们大概有 10 万块 GPU。现在已经有 30 万块 GPU,而且正朝着百万块 GPU的目标迈进。OpenAI 的数据中心 Stargate 也是同样的情况。” “在接下来的几年中,他们可能会发展到 500 万、1000 万块 GPU。” 1,000,000 倍的增长是怎么得出的: “算法、芯片和数据中心的扩展和改进速度都是每年 3-4 倍。” “也就是说,每两年进步 10 倍。” “很多人没有理解指数级进步的含义:如果每两年提升 10 倍,并不意味着四年后你只是提升 20 倍。” “这实际上意味着提升 100 倍。” “把这些因素相乘:算法、芯片,以及可用于 AI 的原始计算能力。” 100 倍模型 🧠 × 100 倍芯片 💾 × 100 倍计算能力 ⚡️ = 1,000,000 倍的 AI 大模型🤖 “你所谈论的就是 1,000,000 倍的能力增长。” “但这种变革的影响将是绝对巨大的。” “我觉得人们还没有充分认识到这一点,因为他们不了解指数级进步的意义。”

夜谈

25,895 просмотров • 1 год назад