Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

AI大神Andrej Karpathy的访谈全长2个半小时,大多数人都没听就人云亦云AGI至少还需要10年,我用NotebookLM浓缩了这个访谈内容到6分钟,大家可以听一下:核心结论是如果只沿用现在的模型和训练方法AGI还要10年,人工智能依然带来效率上的革命,低效的工作会被替代,简单模仿人类数据无法替代人的智慧。

65,149 Aufrufe • vor 8 Monaten •via X (Twitter)

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

No Priors 对 Andrej Karpathy 很精彩的一期播客采访!虽然 Andrej 离开 Tesla 许久了,但作为纯视觉 FSD 的开创者,他依然十分看好 Telsa: - Tesla 面临软件问题,Waymo 则面临硬件问题,但软件比硬件问题容易; - Tesla 从基于规则的程序(C++)转向深度学习,端到端神经网络将最终将主导整个自动驾驶技术栈; - Tesla 是一家"大规模机器人公司”,而非汽车公司; - Optimus 只需要在自己的工厂孵化就行,无需依赖第三方的合作,这是巨大的优势; Andrej 认为,LLM 的主要挑战不再是底层架构,而是它们所训练的数据以及训练期间使用的损失函数。Transformer 架构在很多方面实际上优于人脑,它人脑更擅长记忆序列,用于训练神经网络的梯度下降优化比大脑的学习方式更有效,现在主要受限于数据问题;合成数据至关重要,但可能导致"静默崩溃”,为避免这种情况,我们需要在数据中保持“熵”。 如何向训练数据中注入熵呢? - 合成数据:这涉及创建补充真实数据的虚拟数据。然而,重要的是要确保此合成数据与真实世界数据具有相同水平的随机性和丰富性; - 角色数据:这是包含虚构人物背景信息的一种合成数据。在训练模型执行任务时,您可以想象您正在向具有此特定角色的人描述该任务。这迫使模型探索更广泛的可能性并有助于保持熵; 接下来,随着对模型解释性研究的突破,能够提高模型参数的激活效率,可能只需要 10 亿参数的模型就能实现“核心认知”,并不需要把所有的知识都压缩到模型里面,核心认知模型可以调用其他模型或者工具。 未来,高级的 AI 将会成为人类的外脑,贫富差距就是外脑 AI 性能的差距,穷人只能用便宜的开源的外脑 AI 做低级的工作,而且容易被控制;垄断企业和富人则会拥有更高级的人工智能加持。。主持人的科幻话题😄 最后 Andrej 对 AI 教育的看法:教师来设计课程,AI 将成为学生的前端界面,智能时代学习数学、物理和 CS 非常重要,这是逻辑推理的基础,在 AGI 到来之前很重要,但在后 AGI 时代,人类需要提升的就是提问的能力!

indigo

18,536 Aufrufe • vor 1 Jahr

“我们究竟是创造了一个工具还是一个生物?” Sam 在 "机器人之心 "小组讨论会上的发言。 Sam: 但我认为,这无疑是迄今为止人类经历的最重大的更新年份。可能这也是我们将会遭遇的最大变革,因为从现在开始,人们已经接受强大的人工智能将成为现实,并且还会有逐步的更新。就像是第一代 iPhone 面世的那年,以及随后每一代 iPhone 的更新,我们现在能够明显感受到这一代与去年那代的差异。所以,这确实是一个重要的时刻。 我感到欣慰的是,现在人们开始正确地把这些系统当作工具来看待。艺术家尤其如此,但其他人也是一样。 曾经,人们真正恐惧的是,我们究竟是创造了一个工具还是一个生物,这将意味着什么?现在,人们视这些系统为人类工具箱中的新工具,并且正在用它创造一些非常了不起的东西。 模型显然不知道你在说什么,因为这不在它的训练数据里,它也无法从训练数据中学习到这些信息。 这是完全可以预期的。你再问一遍。比如说,你提到“意识”这个概念,模型回答:“是的,我完全明白你的意思,但我之前从未听说过这个词。” 问: “这对我来说就像是一次更新。你认为人工智能会趋向于探索创造性智能和自主性吗?” Sam: 这个问题有多个答案。这取决于激励模型。这是人类的选择。 问: “这将是判断意识的一个很好的测试。因为如果它有自我表达的愿望,并且仅仅为了创作的乐趣而去创作,那不会是偶然的。这绝对有点像生物。” Sam: 这是生物化的。我认为在此之前还有很多步骤。 我们现在要回答问题吗?这真的很棒。

Lei.sea

14,132 Aufrufe • vor 2 Jahren