Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

为什么感觉现在已经没人关心AGI了？Sam Altman曾向全世界描绘过一个愿景：OpenAI将在2025年实现AGI。但自2025年以来，无论是AI公司还是普通消费者，似乎都逐渐不再讨论AGI了。我认为主要有几个原因。首先，我认为绝大多数人当初并没有真正认真看待AGI，它更多只是一个制造市场热度的概念。直到2019年左右，最前沿的AI研究其实还非常原始，甚至可以说相当“笨”。当时，只要一个模型能够正确回答“美国首都是华盛顿特区”这样的问题，就已经足以让很多研究人员兴奋不已。几乎没有AI研究者真正相信，技术进步会快到几年之内就能实现所谓的AGI。但ChatGPT横空出世后，公众和投资者对“AGI即将到来”的概念反应异常热烈。于是，各大AI实验室也顺势接受了这个叙事，并把“Scaling”作为理论依据，大规模融资。然而，他们很快发现，购买算力的成本高得惊人，高质量数据的标注速度又极其缓慢。因此，行业关注点迅速从“如何实现AGI”，转变成了“如何才能不破产”。到了2025年，当人们再次问Sam Altman “AGI什么时候会实现？”时，他的回答也发生了变化。他不再强调具体时间，而是表示：“什么时候实现其实并不重要，我们会尽最大努力去实现它。” 与此同时，在应用层，公司也逐渐意识到，实现AGI与否对商业价值并没有那么重要。除非你的目标是攻克癌症等极其复杂的科学问题，否则对于绝大多数企业来说，一个“过于聪明”的AI并没有太大意义。至少在现阶段，AI的主要用途仍然集中在写代码、编辑文本以及客户服务等实际场景，而不是替代人类完成所有工作。

GeLun Ding

1,604 subscribers

10,518 Aufrufe • vor 24 Tagen •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

“我们究竟是创造了一个工具还是一个生物？” Sam 在 "机器人之心 "小组讨论会上的发言。 Sam：但我认为，这无疑是迄今为止人类经历的最重大的更新年份。可能这也是我们将会遭遇的最大变革，因为从现在开始，人们已经接受强大的人工智能将成为现实，并且还会有逐步的更新。就像是第一代 iPhone 面世的那年，以及随后每一代 iPhone 的更新，我们现在能够明显感受到这一代与去年那代的差异。所以，这确实是一个重要的时刻。我感到欣慰的是，现在人们开始正确地把这些系统当作工具来看待。艺术家尤其如此，但其他人也是一样。曾经，人们真正恐惧的是，我们究竟是创造了一个工具还是一个生物，这将意味着什么？现在，人们视这些系统为人类工具箱中的新工具，并且正在用它创造一些非常了不起的东西。模型显然不知道你在说什么，因为这不在它的训练数据里，它也无法从训练数据中学习到这些信息。这是完全可以预期的。你再问一遍。比如说，你提到“意识”这个概念，模型回答：“是的，我完全明白你的意思，但我之前从未听说过这个词。” 问： “这对我来说就像是一次更新。你认为人工智能会趋向于探索创造性智能和自主性吗？” Sam：这个问题有多个答案。这取决于激励模型。这是人类的选择。问： “这将是判断意识的一个很好的测试。因为如果它有自我表达的愿望，并且仅仅为了创作的乐趣而去创作，那不会是偶然的。这绝对有点像生物。” Sam：这是生物化的。我认为在此之前还有很多步骤。我们现在要回答问题吗？这真的很棒。

“我们究竟是创造了一个工具还是一个生物？” Sam 在 "机器人之心 "小组讨论会上的发言。 Sam：但我认为，这无疑是迄今为止人类经历的最重大的更新年份。可能这也是我们将会遭遇的最大变革，因为从现在开始，人们已经接受强大的人工智能将成为现实，并且还会有逐步的更新。就像是第一代 iPhone 面世的那年，以及随后每一代 iPhone 的更新，我们现在能够明显感受到这一代与去年那代的差异。所以，这确实是一个重要的时刻。我感到欣慰的是，现在人们开始正确地把这些系统当作工具来看待。艺术家尤其如此，但其他人也是一样。曾经，人们真正恐惧的是，我们究竟是创造了一个工具还是一个生物，这将意味着什么？现在，人们视这些系统为人类工具箱中的新工具，并且正在用它创造一些非常了不起的东西。模型显然不知道你在说什么，因为这不在它的训练数据里，它也无法从训练数据中学习到这些信息。这是完全可以预期的。你再问一遍。比如说，你提到“意识”这个概念，模型回答：“是的，我完全明白你的意思，但我之前从未听说过这个词。” 问： “这对我来说就像是一次更新。你认为人工智能会趋向于探索创造性智能和自主性吗？” Sam：这个问题有多个答案。这取决于激励模型。这是人类的选择。问： “这将是判断意识的一个很好的测试。因为如果它有自我表达的愿望，并且仅仅为了创作的乐趣而去创作，那不会是偶然的。这绝对有点像生物。” Sam：这是生物化的。我认为在此之前还有很多步骤。我们现在要回答问题吗？这真的很棒。

Lei.sea

14,132 Aufrufe • vor 2 Jahren

在达沃斯论坛上，Google Deepmind的老板Demis和Anthropic的老板Dario讨论了几个很有意思的话题。把这几个话题看完，对你在AI时代怎么做各种选择至关重要： 1. Demis认为，到2030年，有50%的概率可以实现AGI。Dario认为，明年有可能就能实现（这个观点跟马斯克类似），理由是AI有可能实现自我迭代，从而让进步速度超过所有人想象。让AI实现自我迭代是Anthropic正在努力的方向。 2. Dario认为，未来几年，AI会替代50%的初级白领工作。Demis认为，这个趋势正在发生。 3. 即使会有这么大的副作用，AI的发展也不能放慢，因为AI有可能赢者通吃。若果想要了解详细内容，欢迎看视频。

在达沃斯论坛上，Google Deepmind的老板Demis和Anthropic的老板Dario讨论了几个很有意思的话题。把这几个话题看完，对你在AI时代怎么做各种选择至关重要： 1. Demis认为，到2030年，有50%的概率可以实现AGI。Dario认为，明年有可能就能实现（这个观点跟马斯克类似），理由是AI有可能实现自我迭代，从而让进步速度超过所有人想象。让AI实现自我迭代是Anthropic正在努力的方向。 2. Dario认为，未来几年，AI会替代50%的初级白领工作。Demis认为，这个趋势正在发生。 3. 即使会有这么大的副作用，AI的发展也不能放慢，因为AI有可能赢者通吃。若果想要了解详细内容，欢迎看视频。

Ben X

13,457 Aufrufe • vor 6 Monaten

总有人问，你在网络为那些不平的事情发声，对社会有贡献吗？总有人问：“你在网络上为那些不平的事情发声，对社会真的有贡献吗？”每次听到这个问题，我都会沉默几秒。因为提出这个问题的人，往往认为真正的贡献应该是看得见、摸得着的：修建一座桥梁，发明一种技术，创造一家企业，或者直接帮助某一个人。而在网络上发声，在他们看来，不过是敲敲键盘、发表观点，既改变不了现实，也解决不了问题。可我始终认为，一个社会的进步，从来不只是靠建设者，也同样需要记录者、观察者、质疑者和发声者。因为很多时候，真正可怕的不是不公本身，而是所有人都开始对不公习以为常。回顾历史，我们会发现，许多推动社会进步的力量，最开始都只是一个人的一句话、一篇文章，甚至一次微弱的呐喊。在很多重大变革发生之前，总会有人先站出来指出问题的存在。也许他们无法立刻改变现实，甚至会遭遇误解、嘲笑和打压，但正是因为有人不断发问、不断追问、不断记录，后来的人才有机会看见问题、理解问题，并最终推动问题的解决。有人说：“网上发声有什么用？该发生的还是会发生。”但事实上，如果没有人关注，没有人传播，没有人讨论，那么许多问题甚至不会进入公众视野。一个人的声音可能很小，一万个人的声音可能也未必能立刻改变现实，但如果所有人都选择沉默，那么现实永远不会改变。网络时代最大的意义之一，就是让普通人第一次拥有了发声的机会。过去，只有少数人能够掌握话语权，而今天，一个普通人拿起手机，就可能让一件原本无人知晓的事情被全世界看见。这种力量，既伟大，也危险。伟大在于，它给了弱者表达的机会；危险在于，它也可能被情绪、谣言和偏见所裹挟。因此，真正有价值的发声，不是为了发泄情绪，不是为了博取流量，更不是为了站队和攻击，而是为了接近事实、守护公平。很多人喜欢嘲笑“键盘侠”，认为网络发声都是毫无意义的空谈。但他们忽略了一个事实：任何现实行动，都必须先有思想上的觉醒。一个人之所以愿意去帮助别人，是因为他先意识到了别人的困境；一个社会之所以会推动改革，是因为越来越多的人开始意识到问题的存在。意识的形成，需要传播；传播的开始，往往来自于发声。当然，我也承认，网络上的很多发声并没有产生实际效果。有些热点事件，热闹几天之后就被遗忘；有些不公现象，即使引发巨大关注，也未必能够得到彻底解决。面对这样的现实，很多人开始怀疑：既然结果不会改变，那发声还有意义吗？我的答案依然是：有。因为发声的价值，并不仅仅在于立刻改变结果。有时候，它的意义在于记录。有时候，它的意义在于陪伴。有时候，它的意义在于告诉那些身处困境的人：你不是一个人，你的遭遇没有被整个世界遗忘。历史上有太多曾经被忽视、被掩盖、被否认的事情，正是因为有人坚持记录，才最终被世人所知。如果所有人都选择沉默，那么真相往往会比谎言消失得更快。一个社会最危险的状态，不是存在问题，而是再也没有人愿意讨论问题；不是没有不公，而是所有人都默认不公是正常的。更重要的是，发声本身，也是在塑造我们自己。当一个人看到不公时选择沉默，第一次可能只是因为害怕，第二次可能是因为无奈，第三次可能就变成了习惯。久而久之，我们失去的，不只是表达的勇气，更是判断是非的能力。因为沉默是会让人麻木的，而麻木，才是一个社会最可怕的疾病。当然，发声并不意味着自己永远正确。任何观点都可能存在局限，任何人都可能犯错。因此，真正负责任的发声，应该建立在事实、理性和同理心的基础之上。它不是情绪的宣泄，不是谣言的传播，不是为了赢得掌声，而是为了追求真相。我们可以愤怒，但不能被愤怒支配；我们可以质疑，但不能放弃求证；我们可以表达立场，但不能拒绝倾听。总有人问：“你在网络上为那些不平的事情发声，对社会有贡献吗？” 也许，我的一篇文章、一条评论、一段视频，确实无法改变整个世界；也许，很多时候我的声音微不足道，甚至不会被人记住。但我仍然愿意发声。因为我相信，一个社会之所以能够不断向前，不是因为所有人都保持沉默，而是因为总有人愿意站出来说一句：“这件事不应该这样。” 如果有一天，我们面对不公不再愤怒，面对谎言不再追问，面对苦难不再关注，那么失去的将不仅仅是表达的权利，更是一个社会继续进步的希望。所以，发声到底有没有贡献？也许答案不在于它改变了多少现实，而在于它让这个世界知道，仍然有人在乎公平，仍然有人追寻真相，仍然有人拒绝成为沉默的大多数。 💥辣么，你认为，在一个信息高度发达的时代，民众的发声究竟应该以“改变现实”为目标，还是仅仅以“拒绝沉默”为价值？

总有人问，你在网络为那些不平的事情发声，对社会有贡献吗？总有人问：“你在网络上为那些不平的事情发声，对社会真的有贡献吗？”每次听到这个问题，我都会沉默几秒。因为提出这个问题的人，往往认为真正的贡献应该是看得见、摸得着的：修建一座桥梁，发明一种技术，创造一家企业，或者直接帮助某一个人。而在网络上发声，在他们看来，不过是敲敲键盘、发表观点，既改变不了现实，也解决不了问题。可我始终认为，一个社会的进步，从来不只是靠建设者，也同样需要记录者、观察者、质疑者和发声者。因为很多时候，真正可怕的不是不公本身，而是所有人都开始对不公习以为常。回顾历史，我们会发现，许多推动社会进步的力量，最开始都只是一个人的一句话、一篇文章，甚至一次微弱的呐喊。在很多重大变革发生之前，总会有人先站出来指出问题的存在。也许他们无法立刻改变现实，甚至会遭遇误解、嘲笑和打压，但正是因为有人不断发问、不断追问、不断记录，后来的人才有机会看见问题、理解问题，并最终推动问题的解决。有人说：“网上发声有什么用？该发生的还是会发生。”但事实上，如果没有人关注，没有人传播，没有人讨论，那么许多问题甚至不会进入公众视野。一个人的声音可能很小，一万个人的声音可能也未必能立刻改变现实，但如果所有人都选择沉默，那么现实永远不会改变。网络时代最大的意义之一，就是让普通人第一次拥有了发声的机会。过去，只有少数人能够掌握话语权，而今天，一个普通人拿起手机，就可能让一件原本无人知晓的事情被全世界看见。这种力量，既伟大，也危险。伟大在于，它给了弱者表达的机会；危险在于，它也可能被情绪、谣言和偏见所裹挟。因此，真正有价值的发声，不是为了发泄情绪，不是为了博取流量，更不是为了站队和攻击，而是为了接近事实、守护公平。很多人喜欢嘲笑“键盘侠”，认为网络发声都是毫无意义的空谈。但他们忽略了一个事实：任何现实行动，都必须先有思想上的觉醒。一个人之所以愿意去帮助别人，是因为他先意识到了别人的困境；一个社会之所以会推动改革，是因为越来越多的人开始意识到问题的存在。意识的形成，需要传播；传播的开始，往往来自于发声。当然，我也承认，网络上的很多发声并没有产生实际效果。有些热点事件，热闹几天之后就被遗忘；有些不公现象，即使引发巨大关注，也未必能够得到彻底解决。面对这样的现实，很多人开始怀疑：既然结果不会改变，那发声还有意义吗？我的答案依然是：有。因为发声的价值，并不仅仅在于立刻改变结果。有时候，它的意义在于记录。有时候，它的意义在于陪伴。有时候，它的意义在于告诉那些身处困境的人：你不是一个人，你的遭遇没有被整个世界遗忘。历史上有太多曾经被忽视、被掩盖、被否认的事情，正是因为有人坚持记录，才最终被世人所知。如果所有人都选择沉默，那么真相往往会比谎言消失得更快。一个社会最危险的状态，不是存在问题，而是再也没有人愿意讨论问题；不是没有不公，而是所有人都默认不公是正常的。更重要的是，发声本身，也是在塑造我们自己。当一个人看到不公时选择沉默，第一次可能只是因为害怕，第二次可能是因为无奈，第三次可能就变成了习惯。久而久之，我们失去的，不只是表达的勇气，更是判断是非的能力。因为沉默是会让人麻木的，而麻木，才是一个社会最可怕的疾病。当然，发声并不意味着自己永远正确。任何观点都可能存在局限，任何人都可能犯错。因此，真正负责任的发声，应该建立在事实、理性和同理心的基础之上。它不是情绪的宣泄，不是谣言的传播，不是为了赢得掌声，而是为了追求真相。我们可以愤怒，但不能被愤怒支配；我们可以质疑，但不能放弃求证；我们可以表达立场，但不能拒绝倾听。总有人问：“你在网络上为那些不平的事情发声，对社会有贡献吗？” 也许，我的一篇文章、一条评论、一段视频，确实无法改变整个世界；也许，很多时候我的声音微不足道，甚至不会被人记住。但我仍然愿意发声。因为我相信，一个社会之所以能够不断向前，不是因为所有人都保持沉默，而是因为总有人愿意站出来说一句：“这件事不应该这样。” 如果有一天，我们面对不公不再愤怒，面对谎言不再追问，面对苦难不再关注，那么失去的将不仅仅是表达的权利，更是一个社会继续进步的希望。所以，发声到底有没有贡献？也许答案不在于它改变了多少现实，而在于它让这个世界知道，仍然有人在乎公平，仍然有人追寻真相，仍然有人拒绝成为沉默的大多数。 💥辣么，你认为，在一个信息高度发达的时代，民众的发声究竟应该以“改变现实”为目标，还是仅仅以“拒绝沉默”为价值？

罗翔——破幕推墙

12,702 Aufrufe • vor 1 Monat

Ilya——塑造世界的人工智能科学家如今，AI 是一项伟大的科技，因为 AI 将解决我们现在面临的所有问题。它能解决就业问题，能治疗疾病，能消除贫困，但同时它也会带来新的问题。假新闻将会愈演愈烈，网络攻击将变得更加严重，我们将面临全自动的 AI 武器的问题。我认为 AI 有潜力创造出无比稳定的独裁统治。今天早晨，关于人工智能威力的警告再次响起，超过 1300 位科技产业领军人物、研究者及其他人士正呼吁暂停人工智能的发展，以便认真考虑其带来的风险。扮演上帝，科学家们被指责这么做已经有一段时间了，但我们正在创造的东西确实与我们迄今为止创造的任何东西都截然不同。是的，我们绝对有能力创造出具有自我目标的全自主实体。而且，这些实体变得比人类聪明的时候，确保它们的目标与我们的目标保持一致将变得至关重要。什么激励我？我喜欢思考根本问题，基本问题。我们的系统不能做什么，而人类却可以做到？我几乎以哲学的方式去思考这些问题。比如，什么是学习？什么是经验？什么是思考？大脑又是如何运作的呢？我感觉技术就仿佛一种自然力量。在我看来，技术与生物进化之间有许多相似之处。生物进化的过程其实很容易理解，我们有基因的变异，自然选择的过程。我们保留那些有利于生存的变异，随着时间的推移，这个过程将使生物体变得极其复杂。我们不能因为理解了生物进化就能理解人体是如何运作的，但我们可以大概理解这个过程。我认为目前的机器学习也处在类似的阶段，特别是深度学习，我们有一个非常简单的规则，它从数据中提取信息，并将这些信息输入到模型中，我们只需不断重复这个过程。这个过程的结果就是将数据的复杂性转化为模型的复杂性。因此，最终的模型会变得非常复杂，我们并不能完全了解它的运作机制，需要进行大量的研究，但实现这一切的算法其实很简单。也许你听说过 ChatGPT，如果你还没听说过，那就做好准备。你可以把它看作是暴风雨来临之前的零星细雨。我们需要对此保持高度警觉，因为我认同这是一个意义重大的时刻。ChatGPT 被誉为颠覆性的创新，在许多方面，它确实做到了，比如在测试中得分超过人类。微软最近的一项研究得出结论，GPT4 是一个初级阶段的，但尚未完全形成的通用人工智能系统。这就是通用人工智能。通用人工智能，这是一个可以胜任人类能做的任何工作或任务的计算机系统，而且可能做得更好。有可能在短时间内实现通用人工智能，也可能需要更长的时间。但我认为，由于通用人工智能可能在不久的将来出现，这个可能性足够大，我们应该给予它足够的重视。这一点至关重要要确保这些超级智能的系统能按照我们的最大利益去行动。最初的通用人工智能可能就是大型数据中心，这些中心中充满了大量并行运行的专用神经网络处理器，紧凑、高热、能耗大，其消耗的能量可能相当于一千万个家庭的用电量。这些系统的智能程度可能会大幅提升，我相信它们将对社会产生深远影响。不过，人类真的会从中获益吗？谁会获益，谁又会付出代价呢？首批通用人工智能的信念和欲望将极为重要，所以我们必须正确地编程这些系统。如果我们做不到这一点，那么就会出现这样的情况：进化的本质，即自然选择，将使这些系统优先考虑自己的生存。并不是说它们会主动对人类产生敌意，甚至想要伤害人类，但它们将变得过于强大。我认为，一个恰当的类比就是人类对待动物的方式。我们并不是憎恨动物，实际上人类往往对动物怀有深深的爱意，但当我们需要在两座城市之间修建高速公路时，我们并不会征求动物的意见，而只是因为这对我们来说非常重要而去做。我认为这也是我们与通用人工智能（AGI）之间的默认关系，那些能真正自主运作并为自己目标服务的 AGI。许多机器学习领域的专家这些知识渊博和经验丰富的人士，对通用人工智能（AGI）抱有许多疑虑。他们对 AGI 可能出现的时间以及是否真的能够实现表示怀疑。目前，这还是一个鲜为人知的问题。用于神经网络和人工智能的计算机速度可能在未来几年内增加 10 万倍。如果多个团队处于竞相开发通用人工智能的军备竞赛态势中，他们就会没有足够的时间来确保他们构建的通用人工智能会真正关心人类。因为在我看来，这就像是通用人工智能发展的雪崩，一发不可收拾。我认为将来整个地球的表面很可能布满太阳能板和数据中心。考虑到这些担忧，未来的通用人工智能的建设应该是多国间的合作项目。不论如何，人工智能的未来都将是美好的。如果这同样也能给人类带来福祉，那就更加理想了。视频来源：

Ilya——塑造世界的人工智能科学家如今，AI 是一项伟大的科技，因为 AI 将解决我们现在面临的所有问题。它能解决就业问题，能治疗疾病，能消除贫困，但同时它也会带来新的问题。假新闻将会愈演愈烈，网络攻击将变得更加严重，我们将面临全自动的 AI 武器的问题。我认为 AI 有潜力创造出无比稳定的独裁统治。今天早晨，关于人工智能威力的警告再次响起，超过 1300 位科技产业领军人物、研究者及其他人士正呼吁暂停人工智能的发展，以便认真考虑其带来的风险。扮演上帝，科学家们被指责这么做已经有一段时间了，但我们正在创造的东西确实与我们迄今为止创造的任何东西都截然不同。是的，我们绝对有能力创造出具有自我目标的全自主实体。而且，这些实体变得比人类聪明的时候，确保它们的目标与我们的目标保持一致将变得至关重要。什么激励我？我喜欢思考根本问题，基本问题。我们的系统不能做什么，而人类却可以做到？我几乎以哲学的方式去思考这些问题。比如，什么是学习？什么是经验？什么是思考？大脑又是如何运作的呢？我感觉技术就仿佛一种自然力量。在我看来，技术与生物进化之间有许多相似之处。生物进化的过程其实很容易理解，我们有基因的变异，自然选择的过程。我们保留那些有利于生存的变异，随着时间的推移，这个过程将使生物体变得极其复杂。我们不能因为理解了生物进化就能理解人体是如何运作的，但我们可以大概理解这个过程。我认为目前的机器学习也处在类似的阶段，特别是深度学习，我们有一个非常简单的规则，它从数据中提取信息，并将这些信息输入到模型中，我们只需不断重复这个过程。这个过程的结果就是将数据的复杂性转化为模型的复杂性。因此，最终的模型会变得非常复杂，我们并不能完全了解它的运作机制，需要进行大量的研究，但实现这一切的算法其实很简单。也许你听说过 ChatGPT，如果你还没听说过，那就做好准备。你可以把它看作是暴风雨来临之前的零星细雨。我们需要对此保持高度警觉，因为我认同这是一个意义重大的时刻。ChatGPT 被誉为颠覆性的创新，在许多方面，它确实做到了，比如在测试中得分超过人类。微软最近的一项研究得出结论，GPT4 是一个初级阶段的，但尚未完全形成的通用人工智能系统。这就是通用人工智能。通用人工智能，这是一个可以胜任人类能做的任何工作或任务的计算机系统，而且可能做得更好。有可能在短时间内实现通用人工智能，也可能需要更长的时间。但我认为，由于通用人工智能可能在不久的将来出现，这个可能性足够大，我们应该给予它足够的重视。这一点至关重要要确保这些超级智能的系统能按照我们的最大利益去行动。最初的通用人工智能可能就是大型数据中心，这些中心中充满了大量并行运行的专用神经网络处理器，紧凑、高热、能耗大，其消耗的能量可能相当于一千万个家庭的用电量。这些系统的智能程度可能会大幅提升，我相信它们将对社会产生深远影响。不过，人类真的会从中获益吗？谁会获益，谁又会付出代价呢？首批通用人工智能的信念和欲望将极为重要，所以我们必须正确地编程这些系统。如果我们做不到这一点，那么就会出现这样的情况：进化的本质，即自然选择，将使这些系统优先考虑自己的生存。并不是说它们会主动对人类产生敌意，甚至想要伤害人类，但它们将变得过于强大。我认为，一个恰当的类比就是人类对待动物的方式。我们并不是憎恨动物，实际上人类往往对动物怀有深深的爱意，但当我们需要在两座城市之间修建高速公路时，我们并不会征求动物的意见，而只是因为这对我们来说非常重要而去做。我认为这也是我们与通用人工智能（AGI）之间的默认关系，那些能真正自主运作并为自己目标服务的 AGI。许多机器学习领域的专家这些知识渊博和经验丰富的人士，对通用人工智能（AGI）抱有许多疑虑。他们对 AGI 可能出现的时间以及是否真的能够实现表示怀疑。目前，这还是一个鲜为人知的问题。用于神经网络和人工智能的计算机速度可能在未来几年内增加 10 万倍。如果多个团队处于竞相开发通用人工智能的军备竞赛态势中，他们就会没有足够的时间来确保他们构建的通用人工智能会真正关心人类。因为在我看来，这就像是通用人工智能发展的雪崩，一发不可收拾。我认为将来整个地球的表面很可能布满太阳能板和数据中心。考虑到这些担忧，未来的通用人工智能的建设应该是多国间的合作项目。不论如何，人工智能的未来都将是美好的。如果这同样也能给人类带来福祉，那就更加理想了。视频来源：

宝玉

45,172 Aufrufe • vor 2 Jahren

泪奔了！好感人，不争气的眼泪，它从口里流出来了 ⸻ 最近刷 AI 项目的时候，说实话有点疲了。不是它们不厉害，恰恰相反——都太厉害了。模型、参数、速度，一个比一个漂亮，但看多了情绪上真的没什么起伏。 Kindred Labs 是少数让我停下来想了一下的。不是“哇好强”，而是突然冒出一个不太技术的问题：如果 AI 真的要长期出现在生活里，它该怎么待着，才不让人别扭？不是那种我问你、你马上答的关系，而是你会不会哪天顺手再点开它。有些 AI 真的很聪明，但你心里清楚，它就是工具。用完、关掉，不会再想。 Kindred 给我的感觉不太像在争“最会答题”。它更像是在琢磨一件事：人为什么会愿意和一个存在长期相处？这时候我才开始注意到他们说的那套 Mind / Body / Soul。不是因为名字，而是方向。 Mind 这一层，其实挺像人。不是一直保持同一种状态。有时候你需要逻辑，有时候只是想被理解，有时候甚至不需要答案，只要有人把话接住。再加上它会记得你。不是那种冷冰冰的“你在某年某月问过什么”，而是你们之间发生过的那些事。一旦记忆变成关系的一部分，整个体验就不一样了。 Body 这点我以前真没太当回事。但后来发现，人很难和一个完全无形的东西建立稳定关系。 Kindred 至少正视了这一点。有形象、有存在的位置，在你已经习惯的设备和场景里出现。不是为了炫，而是为了让你不抗拒。在你信任之前，你首先得觉得它“正常”、不吓人。至于 Soul，其实是我最看重的。现在的 AI 都很会，但很少有那种让人想一直留着的。 Kindred 没那么急。不催你、不拉你、不用力制造黏性。你来，它在；你走，也不打扰。 Dark Matter、任务、社区这些东西，给我的感觉更像是一起走一段，而不是被系统牵着跑。所以后来我发现，这套 Mind / Body / Soul 看起来是在讲 AI，但底层其实是在讲人。我们怎么建立信任，怎么产生依附，怎么愿意长期和一个存在共处。 AI 只是载体。被认真对待的，其实是人的感受。如果说 2026 年还有哪个 AI 会一直留在我视野里， Kindred 大概会算一个。不是因为它最强，而是它没有急着证明自己。

泪奔了！好感人，不争气的眼泪，它从口里流出来了 ⸻ 最近刷 AI 项目的时候，说实话有点疲了。不是它们不厉害，恰恰相反——都太厉害了。模型、参数、速度，一个比一个漂亮，但看多了情绪上真的没什么起伏。 Kindred Labs 是少数让我停下来想了一下的。不是“哇好强”，而是突然冒出一个不太技术的问题：如果 AI 真的要长期出现在生活里，它该怎么待着，才不让人别扭？不是那种我问你、你马上答的关系，而是你会不会哪天顺手再点开它。有些 AI 真的很聪明，但你心里清楚，它就是工具。用完、关掉，不会再想。 Kindred 给我的感觉不太像在争“最会答题”。它更像是在琢磨一件事：人为什么会愿意和一个存在长期相处？这时候我才开始注意到他们说的那套 Mind / Body / Soul。不是因为名字，而是方向。 Mind 这一层，其实挺像人。不是一直保持同一种状态。有时候你需要逻辑，有时候只是想被理解，有时候甚至不需要答案，只要有人把话接住。再加上它会记得你。不是那种冷冰冰的“你在某年某月问过什么”，而是你们之间发生过的那些事。一旦记忆变成关系的一部分，整个体验就不一样了。 Body 这点我以前真没太当回事。但后来发现，人很难和一个完全无形的东西建立稳定关系。 Kindred 至少正视了这一点。有形象、有存在的位置，在你已经习惯的设备和场景里出现。不是为了炫，而是为了让你不抗拒。在你信任之前，你首先得觉得它“正常”、不吓人。至于 Soul，其实是我最看重的。现在的 AI 都很会，但很少有那种让人想一直留着的。 Kindred 没那么急。不催你、不拉你、不用力制造黏性。你来，它在；你走，也不打扰。 Dark Matter、任务、社区这些东西，给我的感觉更像是一起走一段，而不是被系统牵着跑。所以后来我发现，这套 Mind / Body / Soul 看起来是在讲 AI，但底层其实是在讲人。我们怎么建立信任，怎么产生依附，怎么愿意长期和一个存在共处。 AI 只是载体。被认真对待的，其实是人的感受。如果说 2026 年还有哪个 AI 会一直留在我视野里， Kindred 大概会算一个。不是因为它最强，而是它没有急着证明自己。

董小姐｜预测世界杯就在Gate

43,660 Aufrufe • vor 7 Monaten

谷歌DeepMind的CEO认为，通往通用人工智能（AGI）的大门，可能就差一两个关键突破。听起来不远了？他列出了几个方向。持续学习。更好的记忆，或者说选择性记忆。就像人脑一样，只记住重要的，而不是什么都存。更聪明的上下文窗口。还有，更好的长期规划与推理能力。但这引出一个核心问题。这些所谓的“突破”，究竟是靠现有技术不断堆料、扩大规模就能实现的？还是说，我们需要像爱因斯坦那样的，真正具有洞察力的全新理论？哈萨比斯自己也承认，他更倾向于后者。不过有一点他很确定。无论路怎么走，大模型都将是AGI的核心组件。他完全不同意Yann LeCun那种“此路已死”的说法。在他看来，唯一的争论点只在于：大模型究竟是AGI的“核心组件”？还是“唯一组件”？这番话听起来很自信。但也让人思考，谁在定义AGI？又是谁在主导这场决定人类未来的技术竞赛？是少数几家科技巨头的CEO，还是更广泛的社会力量？当技术路径由少数人确定时，其潜在的风险和伦理问题，是否得到了充分的讨论？技术突破固然重要，但方向的正确性或许更值得警惕。

谷歌DeepMind的CEO认为，通往通用人工智能（AGI）的大门，可能就差一两个关键突破。听起来不远了？他列出了几个方向。持续学习。更好的记忆，或者说选择性记忆。就像人脑一样，只记住重要的，而不是什么都存。更聪明的上下文窗口。还有，更好的长期规划与推理能力。但这引出一个核心问题。这些所谓的“突破”，究竟是靠现有技术不断堆料、扩大规模就能实现的？还是说，我们需要像爱因斯坦那样的，真正具有洞察力的全新理论？哈萨比斯自己也承认，他更倾向于后者。不过有一点他很确定。无论路怎么走，大模型都将是AGI的核心组件。他完全不同意Yann LeCun那种“此路已死”的说法。在他看来，唯一的争论点只在于：大模型究竟是AGI的“核心组件”？还是“唯一组件”？这番话听起来很自信。但也让人思考，谁在定义AGI？又是谁在主导这场决定人类未来的技术竞赛？是少数几家科技巨头的CEO，还是更广泛的社会力量？当技术路径由少数人确定时，其潜在的风险和伦理问题，是否得到了充分的讨论？技术突破固然重要，但方向的正确性或许更值得警惕。

墓碑科技

18,565 Aufrufe • vor 5 Monaten

两年多前，Google 联合创始人 Sergey Brin 也曾站在 AGI House，承认 Google 在大模型上落后了，并说要追赶回来。后来的结果大家都看到了：Gemini 一路追上来，半年前 Gemini 3 发布时，Google 至少在很多维度重新回到了第一梯队。但六个月后，局面又变了。这一次，仍然战斗在一线的 Sergey 再次回到 AGI House，做了一场新的 Q&A：他怎么看 AGI 和超级智能，怎么看 Transformer、世界模型和 AI for Science，Google 为什么现在重仓 coding agent，他和 Demis、Corey 在 Gemini 上到底怎么分工，以及他是否还相信 Google 能再追上来。下面划重点： Google 重新把 coding 放到最高优先级之一。 Sergey 承认，他们可能更早就该深度关注 coding。现在 Google 已经非常专注于这个方向。他对 Gemini 仍然有信心，但也承认竞争对手在 coding 上进步很快。他提到，某些模型在长时间、深度 coding 任务上表现很好；而 Gemini Flash 的优势在于速度，适合交互式快速迭代。他认为 AGI 的关键不只是“会回答问题”，而是能自我改进。他个人更倾向于把 AGI 理解为一种能够改进自己的 AI，而不是单纯“什么人类任务都能做”。世界模型很重要，尤其是如果 AI 要进入物理世界。如果 AI 要做人类能做的事，就必须理解世界、预测行动后果，并和现实世界互动，这会延伸到机器人、多模态和视频模型。 Transformer 可能还没到头。他认为 Transformer 已经从文本扩展到图像、视频等场景，而且不断演化。类似 Transformer 的架构，有可能继续走向 AGI。他在 Google 内部的角色更像“推动者”而不是正式负责人。 Corey、Demis 等人负责组织和交付，Sergey 则不断追问团队有没有漏掉重要方向、有没有低估某些优先级。他对“AI 会取代人类意义”没那么悲观。他用国际象棋和围棋举例：机器超过人类后，人类并没有停止下棋，反而借助 AI 变得更强。整体听下来，你能看到 Google 内部现在的真实焦虑和重心：AGI、自我改进、coding agent、世界模型，以及用 AI 来构建下一代 AI。（中文字幕视频）

两年多前，Google 联合创始人 Sergey Brin 也曾站在 AGI House，承认 Google 在大模型上落后了，并说要追赶回来。后来的结果大家都看到了：Gemini 一路追上来，半年前 Gemini 3 发布时，Google 至少在很多维度重新回到了第一梯队。但六个月后，局面又变了。这一次，仍然战斗在一线的 Sergey 再次回到 AGI House，做了一场新的 Q&A：他怎么看 AGI 和超级智能，怎么看 Transformer、世界模型和 AI for Science，Google 为什么现在重仓 coding agent，他和 Demis、Corey 在 Gemini 上到底怎么分工，以及他是否还相信 Google 能再追上来。下面划重点： Google 重新把 coding 放到最高优先级之一。 Sergey 承认，他们可能更早就该深度关注 coding。现在 Google 已经非常专注于这个方向。他对 Gemini 仍然有信心，但也承认竞争对手在 coding 上进步很快。他提到，某些模型在长时间、深度 coding 任务上表现很好；而 Gemini Flash 的优势在于速度，适合交互式快速迭代。他认为 AGI 的关键不只是“会回答问题”，而是能自我改进。他个人更倾向于把 AGI 理解为一种能够改进自己的 AI，而不是单纯“什么人类任务都能做”。世界模型很重要，尤其是如果 AI 要进入物理世界。如果 AI 要做人类能做的事，就必须理解世界、预测行动后果，并和现实世界互动，这会延伸到机器人、多模态和视频模型。 Transformer 可能还没到头。他认为 Transformer 已经从文本扩展到图像、视频等场景，而且不断演化。类似 Transformer 的架构，有可能继续走向 AGI。他在 Google 内部的角色更像“推动者”而不是正式负责人。 Corey、Demis 等人负责组织和交付，Sergey 则不断追问团队有没有漏掉重要方向、有没有低估某些优先级。他对“AI 会取代人类意义”没那么悲观。他用国际象棋和围棋举例：机器超过人类后，人类并没有停止下棋，反而借助 AI 变得更强。整体听下来，你能看到 Google 内部现在的真实焦虑和重心：AGI、自我改进、coding agent、世界模型，以及用 AI 来构建下一代 AI。（中文字幕视频）

Michael Guo

84,597 Aufrufe • vor 1 Monat

梁文锋深度采访（一）主持人：为什么DeepSeek会让硅谷的很多人惊讶？梁文锋：在美国每天发生的大量创新里，这是非常普通的一个，他们之所以惊讶是因为这是一个中国公司，在以创新贡献者的身份加入到他们游戏里去。毕竟大部分中国公司习惯follow，而不是创新。主持人：但这种选择放在中国语境里也过于奢侈了，大模型是一个重投入游戏，不是所有公司都有资本只去研究创新，而不是先考虑商业化。梁文锋：创新的成本肯定不低，过去那种拿来主义的惯性也和过去的国情有关，但现在你看无论中国的经济体量，还是字节腾讯这些大厂的利润，放在全球都不低。我们创新缺的肯定不是资本，而是缺乏信心，以及不知道怎么组织高密度的人才实现有效的创新。主持人：为什么中国公司，包括不缺钱的大厂，这么容易把快速商业化当第一要义？梁文锋：过去30年我们都只强调赚钱，对创新是忽视的，创新不完全是商业驱动的，还需要好奇心和创造欲。我们只是被过去那种惯性束缚了，但它也是阶段性的。主持人：但你们究竟是一个商业组织，而非一个公益科研机构，选择创新又通过开源分享出去，那要在哪里形成护城河？梁文锋：在颠覆性的技术面前，闭源形成的护城河是短暂的，即使OpenAI闭源也无法阻止被别人赶超，所以我们把价值沉淀在团队上。我们的同事在这个过程中得到成长，积累很多know-how，形成可以创新的组织和文化，就是我们的护城河。开源、发论文其实并没有失去什么，对于技术人员来说，被follow是很有成就感的事。其实开源更像一个文化行为，而非商业行为，给予其实是一种额外的荣誉。一个公司这么做也会有文化的吸引力。主持人：你怎么看类似朱啸虎的这种市场信仰派观点？梁文锋：朱啸虎是质朴的，但他的打法更适合快速赚钱的公司。你看美国最赚钱的公司都是厚积薄发的高科技公司。主持人：但做大模型，单纯的技术领先也很难形成绝对优势，你们赌的那个更大的东西是什么？梁文锋：我们看到的是中国AI Scene可能永远处在跟随的位置。我们经常说中国AI和美国有一两年差距，但真实的Gap是原创和模仿之差。如果这个不改变，中国永远只能是追随者，所以有些探索也是逃不掉的，因为达到领先不只是一个公司的努力，而是整个西方技术社区和产业共同努力的结果。他们能看到下一代的技术趋势，手里有路线图，中国AI的发展同样需要这样的生态。很多国产芯片发展不起来也是因为缺乏配套的技术社区，只有二手消息，所以中国必然需要有人站到技术的前沿。主持人：海外认为DeepSeek雇佣了一批高深莫测的奇才，那做出DeepSeek的是怎样一群人？梁文锋：并没有什么高深莫测的奇才，都是一些top高校的应届毕业生，没毕业的博士博五实习生，还有一些毕业才几年的年轻人。主持人：很多大模型公司都执着地区海外挖人，很多人觉得这个领域前50名的顶尖人才可能都不在中国公司，你们的人才都来自哪里？梁文锋：不要模型，没有海外回来的人，都是本土的前50名顶尖人才可能不在中国，但也许我们能自己打造这样的人。主持人：听说你们很擅长从细节招人，AI让一些非传统评价指标里优秀的人被选出来。梁文锋：我们选人的标准一直都是热爱和好奇心，所以很多人会有一些奇特的经历，很有意思。很多人对做研究的渴望远超对钱的在意。主持人：这种发散性敏感的人才和你们完全创新型组织的架构很有关系，但AGI这种充满不确定性的前沿探索，是否多了管理动作？DeepSeek也全是自下而上？梁文锋：而且我们一般不强制分工，而是自然分工，每个人有自己独特的成长经历，都是自带想法的，不需要push他，探索过程中他遇到问题自己就会拉人讨论，不过当一个idea显示出潜力，我们也会自上而下去调配资源。主持人：创新很大程度也是一种偶然吗？梁文锋：我觉得创新首先是一个信念问题，为什么硅谷那么有创新精神，首先是敢。ChatGPT出来时，整个国内对做前沿创新都缺乏信心，从投资人到大厂都觉得差距太大了，还是做应用吧。但创新首先需要自信，这种信心通常在年轻人身上更明显。主持人：大部分中国公司都选择既要模型又要应用，为什么DeepSeek目前选择只做研究探索？梁文锋：因为我们觉得现在最重要的是参与到全球创新的浪潮里去，过去很多年中国公司习惯了别人做技术创新，我们拿过来做应用变现。但这并非是一种理所当然，这波浪潮里，我们的出发点就不是趁机赚一笔，而是走到技术的前沿去推动整个生态发展。主持人：你觉得创新很大程度也是一种偶然吗？梁文锋：我觉得创新首先是一个信念问题，为什么硅谷那么有创新精神，首先是敢。ChatGPT出来时，整个国内对做前沿创新都缺乏信心，从投资人到大厂都觉得差距太大了，还是做应用吧。但创新首先需要自信，这种信心通常在年轻人身上更明显。主持人：现在经济开始进入下行，资本也进入轮周期，所以它对原始创新是否会带来更多抑制？梁文锋：我倒觉得未必，中国产业结构的调整会更依赖硬核技术的创新。当很多人发现过去赚快钱很可能来自时代运气，就会更愿意俯身去做真正的创新。主持人：技术真的可以拉开差距吗？你也说过并不存在绝对的技术秘密。梁文锋：技术没有秘密，但复制需要时间和成本。英伟达的显卡理论上没有任何技术秘密，很容易复制。但重新组织团队以及追赶下一代技术都需要时间，所以实际的护城河还是很宽。主持人：互联网和移动互联网时代留给大部分人的惯性认知是，美国擅长搞技术创新，中国更擅长做应用。梁文锋：我们认为随着经济发展，中国也要逐步成为贡献者，而不是一直搭便车。过去30多年IT浪潮里，我们基本没有参与到真正的技术创新里，我们已经习惯摩尔定律从天而降。躺在家里18个月就会出来更好的硬件和软件，但其实这是西方主导的技术社区一代代孜孜不倦创造出来的。只因为之前我们没有参与这个过程，以至于忽视了它的存在。主持人：你对国内原始创新也是乐观的吗？梁文锋：我是80年代在广东一个五线城市长大的，我的父亲是小学老师。90年代广东赚钱机会很多，当时有不少家长到我家来，基本就是家长觉得读书没用，但现在回去看，观念都变了，因为钱不好赚了，连开出租车的机会可能都没了。一代人的时间就变了，以后硬核创新会越来越多，现在可能还不容易被理解是因为整个社会群体需要被事实教育。当这个社会让硬核创新的人功成名就，群体性想法就会改变。我们只是还需要一堆事实和一个过程。

梁文锋深度采访（一）主持人：为什么DeepSeek会让硅谷的很多人惊讶？梁文锋：在美国每天发生的大量创新里，这是非常普通的一个，他们之所以惊讶是因为这是一个中国公司，在以创新贡献者的身份加入到他们游戏里去。毕竟大部分中国公司习惯follow，而不是创新。主持人：但这种选择放在中国语境里也过于奢侈了，大模型是一个重投入游戏，不是所有公司都有资本只去研究创新，而不是先考虑商业化。梁文锋：创新的成本肯定不低，过去那种拿来主义的惯性也和过去的国情有关，但现在你看无论中国的经济体量，还是字节腾讯这些大厂的利润，放在全球都不低。我们创新缺的肯定不是资本，而是缺乏信心，以及不知道怎么组织高密度的人才实现有效的创新。主持人：为什么中国公司，包括不缺钱的大厂，这么容易把快速商业化当第一要义？梁文锋：过去30年我们都只强调赚钱，对创新是忽视的，创新不完全是商业驱动的，还需要好奇心和创造欲。我们只是被过去那种惯性束缚了，但它也是阶段性的。主持人：但你们究竟是一个商业组织，而非一个公益科研机构，选择创新又通过开源分享出去，那要在哪里形成护城河？梁文锋：在颠覆性的技术面前，闭源形成的护城河是短暂的，即使OpenAI闭源也无法阻止被别人赶超，所以我们把价值沉淀在团队上。我们的同事在这个过程中得到成长，积累很多know-how，形成可以创新的组织和文化，就是我们的护城河。开源、发论文其实并没有失去什么，对于技术人员来说，被follow是很有成就感的事。其实开源更像一个文化行为，而非商业行为，给予其实是一种额外的荣誉。一个公司这么做也会有文化的吸引力。主持人：你怎么看类似朱啸虎的这种市场信仰派观点？梁文锋：朱啸虎是质朴的，但他的打法更适合快速赚钱的公司。你看美国最赚钱的公司都是厚积薄发的高科技公司。主持人：但做大模型，单纯的技术领先也很难形成绝对优势，你们赌的那个更大的东西是什么？梁文锋：我们看到的是中国AI Scene可能永远处在跟随的位置。我们经常说中国AI和美国有一两年差距，但真实的Gap是原创和模仿之差。如果这个不改变，中国永远只能是追随者，所以有些探索也是逃不掉的，因为达到领先不只是一个公司的努力，而是整个西方技术社区和产业共同努力的结果。他们能看到下一代的技术趋势，手里有路线图，中国AI的发展同样需要这样的生态。很多国产芯片发展不起来也是因为缺乏配套的技术社区，只有二手消息，所以中国必然需要有人站到技术的前沿。主持人：海外认为DeepSeek雇佣了一批高深莫测的奇才，那做出DeepSeek的是怎样一群人？梁文锋：并没有什么高深莫测的奇才，都是一些top高校的应届毕业生，没毕业的博士博五实习生，还有一些毕业才几年的年轻人。主持人：很多大模型公司都执着地区海外挖人，很多人觉得这个领域前50名的顶尖人才可能都不在中国公司，你们的人才都来自哪里？梁文锋：不要模型，没有海外回来的人，都是本土的前50名顶尖人才可能不在中国，但也许我们能自己打造这样的人。主持人：听说你们很擅长从细节招人，AI让一些非传统评价指标里优秀的人被选出来。梁文锋：我们选人的标准一直都是热爱和好奇心，所以很多人会有一些奇特的经历，很有意思。很多人对做研究的渴望远超对钱的在意。主持人：这种发散性敏感的人才和你们完全创新型组织的架构很有关系，但AGI这种充满不确定性的前沿探索，是否多了管理动作？DeepSeek也全是自下而上？梁文锋：而且我们一般不强制分工，而是自然分工，每个人有自己独特的成长经历，都是自带想法的，不需要push他，探索过程中他遇到问题自己就会拉人讨论，不过当一个idea显示出潜力，我们也会自上而下去调配资源。主持人：创新很大程度也是一种偶然吗？梁文锋：我觉得创新首先是一个信念问题，为什么硅谷那么有创新精神，首先是敢。ChatGPT出来时，整个国内对做前沿创新都缺乏信心，从投资人到大厂都觉得差距太大了，还是做应用吧。但创新首先需要自信，这种信心通常在年轻人身上更明显。主持人：大部分中国公司都选择既要模型又要应用，为什么DeepSeek目前选择只做研究探索？梁文锋：因为我们觉得现在最重要的是参与到全球创新的浪潮里去，过去很多年中国公司习惯了别人做技术创新，我们拿过来做应用变现。但这并非是一种理所当然，这波浪潮里，我们的出发点就不是趁机赚一笔，而是走到技术的前沿去推动整个生态发展。主持人：你觉得创新很大程度也是一种偶然吗？梁文锋：我觉得创新首先是一个信念问题，为什么硅谷那么有创新精神，首先是敢。ChatGPT出来时，整个国内对做前沿创新都缺乏信心，从投资人到大厂都觉得差距太大了，还是做应用吧。但创新首先需要自信，这种信心通常在年轻人身上更明显。主持人：现在经济开始进入下行，资本也进入轮周期，所以它对原始创新是否会带来更多抑制？梁文锋：我倒觉得未必，中国产业结构的调整会更依赖硬核技术的创新。当很多人发现过去赚快钱很可能来自时代运气，就会更愿意俯身去做真正的创新。主持人：技术真的可以拉开差距吗？你也说过并不存在绝对的技术秘密。梁文锋：技术没有秘密，但复制需要时间和成本。英伟达的显卡理论上没有任何技术秘密，很容易复制。但重新组织团队以及追赶下一代技术都需要时间，所以实际的护城河还是很宽。主持人：互联网和移动互联网时代留给大部分人的惯性认知是，美国擅长搞技术创新，中国更擅长做应用。梁文锋：我们认为随着经济发展，中国也要逐步成为贡献者，而不是一直搭便车。过去30多年IT浪潮里，我们基本没有参与到真正的技术创新里，我们已经习惯摩尔定律从天而降。躺在家里18个月就会出来更好的硬件和软件，但其实这是西方主导的技术社区一代代孜孜不倦创造出来的。只因为之前我们没有参与这个过程，以至于忽视了它的存在。主持人：你对国内原始创新也是乐观的吗？梁文锋：我是80年代在广东一个五线城市长大的，我的父亲是小学老师。90年代广东赚钱机会很多，当时有不少家长到我家来，基本就是家长觉得读书没用，但现在回去看，观念都变了，因为钱不好赚了，连开出租车的机会可能都没了。一代人的时间就变了，以后硬核创新会越来越多，现在可能还不容易被理解是因为整个社会群体需要被事实教育。当这个社会让硬核创新的人功成名就，群体性想法就会改变。我们只是还需要一堆事实和一个过程。

宝玉

87,901 Aufrufe • vor 1 Jahr

OpenAI 创始人 John Schulman 访谈节选：为什么 GPT-4 比一年前更“聪明”了？主要都是后训练（Post-Training）带来的！另外他认为，在强化学习研究领域，研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈，并对各个部分充满好奇心是关键。此外，从第一性原理出发思考问题，而不仅仅依靠实验证据，也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel：在未来，用于训练的计算力中，预训练与后训练的比例是否会明显偏向后训练呢？ John Schulman：确实，有一些观点支持这种说法。 Dwarkesh Patel：我是说，现在这个比例非常不平衡。 John Schulman：但你可以认为，模型生成的输出质量比网上的大多数内容都要高。因此，让模型自己思考似乎更有道理，而不仅仅是训练来模仿网络上的内容。所以，我认为从第一性原理上来说，这是有说服力的。我会说，我们通过后训练取得了很多进步。因此，我不确定。所以，我希望我们会继续推动这种方法，并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel：当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢？ John Schulman：对，我会说大部分都是后训练带来的。 Dwarkesh Patel：这很有意思。 John Schulman：因此，有很多不同的改进方向。我们会考虑数据质量，数据数量，进行更多的部署和收集新数据的迭代，改变你收集的注解种类。因此，有很多因素叠加在一起。但是全部加在一起，就会带来一个相当不错的，有效的计算力提升。 Dwarkesh Patel：后训练的优化程度对于竞争优势有多大影响呢？ John Schulman：目前，我会区别公司是通过我们的模型有多大等等。那么，找出你之前提到的所有这些数据的复杂问题的公司，会占据大优势吗？ John Schulman：我认为这确实是一个优势，因为这是一个非常复杂的任务。因此，你必须有很多有技能的人来执行它。因此，存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程，创建一个具备人们所关心的所有功能的模型，是十分复杂的。这需要付出大量的努力，它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒，要想立即启动这种模型并非易事。 Dwarkesh Patel：看起来那些正在进行最严肃的预训练努力的公司，也在进行严肃的后训练努力。因此，看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman：另外，还有一种情况使得这个壁垒并非那么明显，那就是你可以提取模型，或者复制别人的模型输出，或者使用别人的模型进行比较。我认为大公司可能并不会这样做，因为这违反了服务条款，也会损害他们的自尊心，但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel：那些真正擅长进行这种强化学习（RL）研究的人有什么样的特质呢？我听说这种研究非常具有挑战性，但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢？ John Schulman：我觉得有相当多的经验是关键。自从研究生时期以来，我一直在研究 RL 算法，涉及到数据收集、到注释过程，再到与语言模型的交互。所以，我算是涉猎了这些领域。我认为，在这类研究中表现出色的人通常对整个技术堆栈有全面的了解，并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点，还会从第一性原理出发思考问题。比如，假设深度学习是有效的，那么理想的收集数据的类型应该是什么，等等。

OpenAI 创始人 John Schulman 访谈节选：为什么 GPT-4 比一年前更“聪明”了？主要都是后训练（Post-Training）带来的！另外他认为，在强化学习研究领域，研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈，并对各个部分充满好奇心是关键。此外，从第一性原理出发思考问题，而不仅仅依靠实验证据，也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel：在未来，用于训练的计算力中，预训练与后训练的比例是否会明显偏向后训练呢？ John Schulman：确实，有一些观点支持这种说法。 Dwarkesh Patel：我是说，现在这个比例非常不平衡。 John Schulman：但你可以认为，模型生成的输出质量比网上的大多数内容都要高。因此，让模型自己思考似乎更有道理，而不仅仅是训练来模仿网络上的内容。所以，我认为从第一性原理上来说，这是有说服力的。我会说，我们通过后训练取得了很多进步。因此，我不确定。所以，我希望我们会继续推动这种方法，并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel：当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢？ John Schulman：对，我会说大部分都是后训练带来的。 Dwarkesh Patel：这很有意思。 John Schulman：因此，有很多不同的改进方向。我们会考虑数据质量，数据数量，进行更多的部署和收集新数据的迭代，改变你收集的注解种类。因此，有很多因素叠加在一起。但是全部加在一起，就会带来一个相当不错的，有效的计算力提升。 Dwarkesh Patel：后训练的优化程度对于竞争优势有多大影响呢？ John Schulman：目前，我会区别公司是通过我们的模型有多大等等。那么，找出你之前提到的所有这些数据的复杂问题的公司，会占据大优势吗？ John Schulman：我认为这确实是一个优势，因为这是一个非常复杂的任务。因此，你必须有很多有技能的人来执行它。因此，存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程，创建一个具备人们所关心的所有功能的模型，是十分复杂的。这需要付出大量的努力，它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒，要想立即启动这种模型并非易事。 Dwarkesh Patel：看起来那些正在进行最严肃的预训练努力的公司，也在进行严肃的后训练努力。因此，看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman：另外，还有一种情况使得这个壁垒并非那么明显，那就是你可以提取模型，或者复制别人的模型输出，或者使用别人的模型进行比较。我认为大公司可能并不会这样做，因为这违反了服务条款，也会损害他们的自尊心，但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel：那些真正擅长进行这种强化学习（RL）研究的人有什么样的特质呢？我听说这种研究非常具有挑战性，但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢？ John Schulman：我觉得有相当多的经验是关键。自从研究生时期以来，我一直在研究 RL 算法，涉及到数据收集、到注释过程，再到与语言模型的交互。所以，我算是涉猎了这些领域。我认为，在这类研究中表现出色的人通常对整个技术堆栈有全面的了解，并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点，还会从第一性原理出发思考问题。比如，假设深度学习是有效的，那么理想的收集数据的类型应该是什么，等等。

宝玉

57,175 Aufrufe • vor 2 Jahren

实在受不了美国选举，笑喷了！这又是一条令人哑然失笑的新闻，我实在无法相信这个是真的，只是由于匆忙没有去核实真实性。威斯康星州只有450万成年人口，却有750万张选票。美国的选举实在是一场游戏，一场笑料。很多人不禁问说，如此荒唐的制度，可美国为什么仍然这么强大？其实美国的强大不在于制度，而在于投票给共和党的7,700万选民，大多数是基督徒，他们虔诚信仰，勤奋工作，踏踏实实地劳动创造，美国因此而强大。所谓的政客与选举制度，其实是在剥削他们的财富。如果没有这些政客，如同建国初期那般的极小政府，他们绝对比现在过得更好。请看详细内容。这涉及到一个问题，即我们在威斯康星州只有 400 万名成年人。所以我们正面临选民登记册上 713 万这一数字，而且它几乎每天都在增长。它永无止境。它极少下降。只有当他们寄出四年一度的明信片时，人数才会略有下降，但随后又立即飙升，这是我见过的最高水平。而且这甚至…… 情况甚至比这更糟，因为威斯康星州只有 400 万成年人。并非所有人都会登记。也并非所有人都会投票。实际人数其实大约在 360 万到 370 万之间。

实在受不了美国选举，笑喷了！这又是一条令人哑然失笑的新闻，我实在无法相信这个是真的，只是由于匆忙没有去核实真实性。威斯康星州只有450万成年人口，却有750万张选票。美国的选举实在是一场游戏，一场笑料。很多人不禁问说，如此荒唐的制度，可美国为什么仍然这么强大？其实美国的强大不在于制度，而在于投票给共和党的7,700万选民，大多数是基督徒，他们虔诚信仰，勤奋工作，踏踏实实地劳动创造，美国因此而强大。所谓的政客与选举制度，其实是在剥削他们的财富。如果没有这些政客，如同建国初期那般的极小政府，他们绝对比现在过得更好。请看详细内容。这涉及到一个问题，即我们在威斯康星州只有 400 万名成年人。所以我们正面临选民登记册上 713 万这一数字，而且它几乎每天都在增长。它永无止境。它极少下降。只有当他们寄出四年一度的明信片时，人数才会略有下降，但随后又立即飙升，这是我见过的最高水平。而且这甚至…… 情况甚至比这更糟，因为威斯康星州只有 400 万成年人。并非所有人都会登记。也并非所有人都会投票。实际人数其实大约在 360 万到 370 万之间。

傅峻（Jun Fu）中文英文版《西方文明的历程》一书作者

11,889 Aufrufe • vor 6 Monaten

这是Cloudflare的CEO Matthew Prince捅出来的数据。一个很吓人的数据。 OpenAI每看到1个网页。谷歌就能看到3.2个。微软呢？谷歌看到的世界是它的4.8倍。这意味着什么？ AI时代，得数据者得天下。原料都被一家垄断了，其他人怎么玩？用爱发电吗？谷歌拥有一个其他任何公司都没有的独特优势它对整个互联网的访问权限。这是它通过搜索引擎业务几十年积累下来的护城河。现在，这条河正在帮助它在AI领域淹没所有对手。我们担心的不只是商业垄断。我们担心的是信息和思想的垄断。当一个实体，拥有不成比例的数据喂养能力，它训练出的AI会是什么样子？它会定义“事实”。它会塑造“真相”。它会决定你能看到什么，以及你看不到什么。这比任何媒体都更强大。 Cloudflare的CEO提出了两种解决方案。要么，把谷歌拉回到和其他人一样的水平，限制它利用搜索优势。要么，把其他所有人都提升到谷歌的水平。第一条路，动了巨头的蛋糕，监管能做到吗？第二条路，技术上现实吗？谁来组织？问题是，时间不多了。当游戏规则的制定者，和最强的那个玩家，是同一个人时。其他人还有机会吗？还是说，游戏其实早就结束了？

这是Cloudflare的CEO Matthew Prince捅出来的数据。一个很吓人的数据。 OpenAI每看到1个网页。谷歌就能看到3.2个。微软呢？谷歌看到的世界是它的4.8倍。这意味着什么？ AI时代，得数据者得天下。原料都被一家垄断了，其他人怎么玩？用爱发电吗？谷歌拥有一个其他任何公司都没有的独特优势它对整个互联网的访问权限。这是它通过搜索引擎业务几十年积累下来的护城河。现在，这条河正在帮助它在AI领域淹没所有对手。我们担心的不只是商业垄断。我们担心的是信息和思想的垄断。当一个实体，拥有不成比例的数据喂养能力，它训练出的AI会是什么样子？它会定义“事实”。它会塑造“真相”。它会决定你能看到什么，以及你看不到什么。这比任何媒体都更强大。 Cloudflare的CEO提出了两种解决方案。要么，把谷歌拉回到和其他人一样的水平，限制它利用搜索优势。要么，把其他所有人都提升到谷歌的水平。第一条路，动了巨头的蛋糕，监管能做到吗？第二条路，技术上现实吗？谁来组织？问题是，时间不多了。当游戏规则的制定者，和最强的那个玩家，是同一个人时。其他人还有机会吗？还是说，游戏其实早就结束了？

墓碑科技

33,976 Aufrufe • vor 6 Monaten

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。（对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看）先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。并且陶哲轩提到了基于大语言模型的一些改进的方案：比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。原始 YT 视频：

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。（对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看）先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。并且陶哲轩提到了基于大语言模型的一些改进的方案：比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。原始 YT 视频：

宝玉

301,570 Aufrufe • vor 1 Jahr

萨姆·奥特曼刚刚在印度说距离实现AGI已经很近了，甚至从过去视角看我们部分已经身在其中。 🚨而现在，谷歌Deepmind 德米斯·哈萨比斯定义了通用人工智能的真正考验。它比任何人预想的都要残酷： “用人类所有的知识训练人工智能，并将时间线截止到1911年。看看它能否像爱因斯坦在1915年那样独立发现广义相对论。如果可以，我们就拥有了通用人工智能（AGI）。如果不行，我们仍然需要构建模式匹配器。” 哈萨比斯：“我对通用人工智能的定义从未改变。它是一个能够展现人类所有认知能力的系统。这就是DeepMind研究神经科学的原因。不是为了获得灵感，而是为了获取数据。人脑是目前唯一被证实通用智能在物理上可能存在的证据。”

萨姆·奥特曼刚刚在印度说距离实现AGI已经很近了，甚至从过去视角看我们部分已经身在其中。 🚨而现在，谷歌Deepmind 德米斯·哈萨比斯定义了通用人工智能的真正考验。它比任何人预想的都要残酷： “用人类所有的知识训练人工智能，并将时间线截止到1911年。看看它能否像爱因斯坦在1915年那样独立发现广义相对论。如果可以，我们就拥有了通用人工智能（AGI）。如果不行，我们仍然需要构建模式匹配器。” 哈萨比斯：“我对通用人工智能的定义从未改变。它是一个能够展现人类所有认知能力的系统。这就是DeepMind研究神经科学的原因。不是为了获得灵感，而是为了获取数据。人脑是目前唯一被证实通用智能在物理上可能存在的证据。”

KK.aWSB

24,573 Aufrufe • vor 5 Monaten

软件已死？没有。但它正在变异。 Sam Altman最近有个判断，在脑子里挥之不去。他说，每家公司现在都是API公司。不管他们想不想要。为什么？因为AI代理人将无处不在。它们会像流水线一样，自动组合各种产品和服务。怎么组合？通过调用你的API。过去的SaaS模式，软件即服务，股价已经开始剧烈震荡。一个时代结束了。一个新时代开启了。这背后真正的问题是什么？当AI代理人可以任意调用数据和功能时，谁来控制它们？身份认证成了新的战场。如果没有一个可信的身份，代理人就可能失控。这听起来是技术问题。但本质是权力问题。谁来定义“可信”？谁来发放这个“数字身份”？是少数几家科技巨头，还是一个凌驾于所有人之上的中心化机构？当每个行为、每个代理人都需要被“认证”才能运行时，这离一个完全被监控和许可的系统还有多远？这套逻辑，从商业安全延伸到社会管理，几乎是无缝的。力量的重塑，总是在人们不经意的地方开始。

软件已死？没有。但它正在变异。 Sam Altman最近有个判断，在脑子里挥之不去。他说，每家公司现在都是API公司。不管他们想不想要。为什么？因为AI代理人将无处不在。它们会像流水线一样，自动组合各种产品和服务。怎么组合？通过调用你的API。过去的SaaS模式，软件即服务，股价已经开始剧烈震荡。一个时代结束了。一个新时代开启了。这背后真正的问题是什么？当AI代理人可以任意调用数据和功能时，谁来控制它们？身份认证成了新的战场。如果没有一个可信的身份，代理人就可能失控。这听起来是技术问题。但本质是权力问题。谁来定义“可信”？谁来发放这个“数字身份”？是少数几家科技巨头，还是一个凌驾于所有人之上的中心化机构？当每个行为、每个代理人都需要被“认证”才能运行时，这离一个完全被监控和许可的系统还有多远？这套逻辑，从商业安全延伸到社会管理，几乎是无缝的。力量的重塑，总是在人们不经意的地方开始。

墓碑科技

20,767 Aufrufe • vor 6 Monaten

🚨黄仁勋的这一观点将颠覆你的过往认知： “AI让我们比以往任何时候都更加忙碌，而不是空闲” “人们常说，随着人工智能变得越来越智能，人们将拥有更多空闲时间。但至少对精英阶层而言，事实恰恰相反。答案返回的速度越快——只需几秒钟——就越需要人类来构思下一个问题并做出下一个决定。瓶颈从计算转移到了人身上，我们变得更加忙碌。在这个加速发展的时代，重要的不再是处理能力，而是判断的速度和质量。” “当我提出一个问题让团队解决时，通常需要等待两到三天，甚至四天的时间，他们才能找到答案，整理出来，然后发给我。这段等待时间恰恰让我能够思考下一步。而要思考下一步，我需要这些中间阶段的答案。” “现在，想象一下如果答案几乎在一秒钟之内就能出来会怎么样。这只是个假设。如果真那样，我的一天会变得异常忙碌。因为我自己就成了所有事情的关键环节。我会想：“好了，这个问题的答案出来了。接下来我得想想下一个问题。” 我得启动另一个实验。等那个实验的答案出来……如此循环往复。正因为信息技术现在如此高效，我觉得我们现在比以前忙得多。你不觉得吗？” “现在我们可以非常迅速地获取信息、知识和答案。因此，我们自身也处于关键位置。正因如此，我们比以往任何时候都更加忙碌。我怀疑许多人都会开始有同样的感受。”

🚨黄仁勋的这一观点将颠覆你的过往认知： “AI让我们比以往任何时候都更加忙碌，而不是空闲” “人们常说，随着人工智能变得越来越智能，人们将拥有更多空闲时间。但至少对精英阶层而言，事实恰恰相反。答案返回的速度越快——只需几秒钟——就越需要人类来构思下一个问题并做出下一个决定。瓶颈从计算转移到了人身上，我们变得更加忙碌。在这个加速发展的时代，重要的不再是处理能力，而是判断的速度和质量。” “当我提出一个问题让团队解决时，通常需要等待两到三天，甚至四天的时间，他们才能找到答案，整理出来，然后发给我。这段等待时间恰恰让我能够思考下一步。而要思考下一步，我需要这些中间阶段的答案。” “现在，想象一下如果答案几乎在一秒钟之内就能出来会怎么样。这只是个假设。如果真那样，我的一天会变得异常忙碌。因为我自己就成了所有事情的关键环节。我会想：“好了，这个问题的答案出来了。接下来我得想想下一个问题。” 我得启动另一个实验。等那个实验的答案出来……如此循环往复。正因为信息技术现在如此高效，我觉得我们现在比以前忙得多。你不觉得吗？” “现在我们可以非常迅速地获取信息、知识和答案。因此，我们自身也处于关键位置。正因如此，我们比以往任何时候都更加忙碌。我怀疑许多人都会开始有同样的感受。”

KK.aWSB

25,549 Aufrufe • vor 6 Monaten

这可能是今年AI圈最清醒的一条推文， Yann LeCun 是当今 AI 领域最有影响力的科学家之一，深度学习三大教父之一，2018 年图灵奖获得者，他直接怼了Anthropic CEO Dario的著名言论， Dario说未来一到五年，一半的科技法律咨询金融岗位会被彻底干掉。 LeCun说你错了，而且不仅Dario错了，所有的AI实验室CEO 和一众大佬包括Sam Altman，Yoshua Bengio，Geoff Hinton，也包括他自己。他说在技术革命如何影响就业这个问题上，全都是外行，别听我们瞎BB。去听真正研究了几十年这个问题的劳动经济学家。最狠的其实是这一点，他没跟Dario争论AI到底有多强，直接掀了桌子说，我们这群人，根本就没有资格讨论这个话题。 AI研究者只懂技术能干什么，他们不懂企业的组织流程，不懂法律合规的障碍，不懂市场的供需关系，更不懂人类社会复杂的运行逻辑。那些被LeCun点名的经济学家，研究了过去两百年所有的技术革命，他们得出的结论是整份工作不会消失，工作里的任务会被重构。 ATM发明的时候，所有人都以为银行柜员要失业，结果柜员的数量反而增加了，因为他们从数钱的人，变成了卖理财做服务的人。 AI现在也一样，它会干掉大量重复的可预测的任务，但同时也会创造出大量新的任务。短期的取代效应确实存在，尤其是入门级的白领岗位，但长期的生产力效应和新岗位创造效应，往往要强得多。还有一个所有人都忽略的事实，AI能干一件事，和公司真的会用AI把人换掉。这中间至少差两到五年，数据管道，组织架构，员工培训，法律风险。每一个都是巨大的障碍。我觉得 LeCun其实是在反对AI圈泛滥的末日营销，很多AI大佬喜欢用失业恐慌来博眼球，要么为了融资，要么为了呼吁监管，要么为了显得自己的产品很厉害。但这种恐慌会误导公众，会误导政策，所以咱们也别再被那些五年后一半人失业的言论吓住了，真实的世界从来都不是非黑即白的，它是缓慢的，混乱的，充满了各种意外和机会的。也别总担心被AI取代，有那个时间多想想怎么用AI让自己变得更值钱😁 Dario被 fox 采访的内容我做了中英双语字幕供大家参考。

这可能是今年AI圈最清醒的一条推文， Yann LeCun 是当今 AI 领域最有影响力的科学家之一，深度学习三大教父之一，2018 年图灵奖获得者，他直接怼了Anthropic CEO Dario的著名言论， Dario说未来一到五年，一半的科技法律咨询金融岗位会被彻底干掉。 LeCun说你错了，而且不仅Dario错了，所有的AI实验室CEO 和一众大佬包括Sam Altman，Yoshua Bengio，Geoff Hinton，也包括他自己。他说在技术革命如何影响就业这个问题上，全都是外行，别听我们瞎BB。去听真正研究了几十年这个问题的劳动经济学家。最狠的其实是这一点，他没跟Dario争论AI到底有多强，直接掀了桌子说，我们这群人，根本就没有资格讨论这个话题。 AI研究者只懂技术能干什么，他们不懂企业的组织流程，不懂法律合规的障碍，不懂市场的供需关系，更不懂人类社会复杂的运行逻辑。那些被LeCun点名的经济学家，研究了过去两百年所有的技术革命，他们得出的结论是整份工作不会消失，工作里的任务会被重构。 ATM发明的时候，所有人都以为银行柜员要失业，结果柜员的数量反而增加了，因为他们从数钱的人，变成了卖理财做服务的人。 AI现在也一样，它会干掉大量重复的可预测的任务，但同时也会创造出大量新的任务。短期的取代效应确实存在，尤其是入门级的白领岗位，但长期的生产力效应和新岗位创造效应，往往要强得多。还有一个所有人都忽略的事实，AI能干一件事，和公司真的会用AI把人换掉。这中间至少差两到五年，数据管道，组织架构，员工培训，法律风险。每一个都是巨大的障碍。我觉得 LeCun其实是在反对AI圈泛滥的末日营销，很多AI大佬喜欢用失业恐慌来博眼球，要么为了融资，要么为了呼吁监管，要么为了显得自己的产品很厉害。但这种恐慌会误导公众，会误导政策，所以咱们也别再被那些五年后一半人失业的言论吓住了，真实的世界从来都不是非黑即白的，它是缓慢的，混乱的，充满了各种意外和机会的。也别总担心被AI取代，有那个时间多想想怎么用AI让自己变得更值钱😁 Dario被 fox 采访的内容我做了中英双语字幕供大家参考。

AYi

602,257 Aufrufe • vor 3 Monaten

现在满世界都在聊 AI。模型参数多大，算力芯片多贵，这种话题早就听腻了。但大家似乎都刻意回避了一个最尴尬，也是最底层的事实。如果一个 AI 代言你做了决定，或者直接替你操作了资金，最后出了差错，到底谁来负责。在现在的现实世界里，这个问题其实已经开始有点失控了。自动交易系统偶尔会莫名其妙地抽风。推荐算法在不停地误导用户的判断。生成的内容里真假难辨。甚至在更严肃的医疗或者法律判断里，AI 的偏差也时有发生。现在的痛点从来不是 AI 会不会犯错。只要是程序，就一定会犯错。真正的麻烦在于，当错误发生之后，现有的系统里根本没有任何结构可以去追责。那些中心化的系统，给出的答案其实非常简单。无非就是推卸责任，美其名欲说是系统升级，或者干脆直接删掉日志，当作什么都没发生。但在一个由自主代理组成的未来世界里，这种做法是绝对行不通的。因为未来的 AI 不再只是一个问答对话框，它是要真正参与经济活动的个体。 Inference Labs 切入的角度非常有意思，也表现得很冷静。他们没有去跟风拼算力，也没有去卷模型性能。他们切入的是 AI 的责任结构。他们有一个非常核心的假设。在未来，真正有价值的 AI，未必是那个智商最高的。而是那个可以向外界证明，自己到底做过什么的 AI。这就是为什么他们搞的这套 Proof of Inference，本质上根本不是什么性能优化。它其实是一套在链上跑的问责机制。当一个推理过程被证明确实执行过。当模型的运行路径可以被真实验证。当所有的结果都可以被第三方随时复查。这时候，AI 才算第一次具备了承担责任的能力。这件事的意义，其实被现在的市场严重低估了。因为只有当 AI 变得可以被追责，它才具备了进入高价值场景的入场券。如果没有这种透明的责任结构，你敢把成千上万的资金交给一个全自动的代理吗。你敢让一个没有审计记录的 AI 去参与链上治理吗。你敢让企业级的风控系统完全交给一个黑盒吗。没有问责能力的 AI，充其量只是一个好玩的电子玩具。只有具备了问责能力的 AI，才能真正踏入真实世界的金融和法律门槛。 Inference Labs 真正想构建的，其实是 AI 的责任层。他们不是要让 AI 跑得有多快。他们是要让 AI 的每一步动作都留下无法抹除、无法抵赖的痕迹。这也是为什么他们会选择先进入 Bittensor 生态。这不是为了蹭那点算力名气。而是因为那里是第一个真正允许 AI 之间进行自主博弈、自主竞争的经济环境。在那种 AI 开始真正参与经济活动的试验田里，一套清晰的责任结构，其实比模型提高那么一点点精度要重要得多。这可能是一个很多人还没回过神来的拐点。大家还在沉迷于 AI 表现出来的聪明。但 Inference Labs 已经开始在为 AI 的非理性行为修筑堤坝。这种踩点非常早，也显得非常老练。他们赌的是那个 AI 必须为自己行为负责的必然未来。 #inference_labs #KAITO

现在满世界都在聊 AI。模型参数多大，算力芯片多贵，这种话题早就听腻了。但大家似乎都刻意回避了一个最尴尬，也是最底层的事实。如果一个 AI 代言你做了决定，或者直接替你操作了资金，最后出了差错，到底谁来负责。在现在的现实世界里，这个问题其实已经开始有点失控了。自动交易系统偶尔会莫名其妙地抽风。推荐算法在不停地误导用户的判断。生成的内容里真假难辨。甚至在更严肃的医疗或者法律判断里，AI 的偏差也时有发生。现在的痛点从来不是 AI 会不会犯错。只要是程序，就一定会犯错。真正的麻烦在于，当错误发生之后，现有的系统里根本没有任何结构可以去追责。那些中心化的系统，给出的答案其实非常简单。无非就是推卸责任，美其名欲说是系统升级，或者干脆直接删掉日志，当作什么都没发生。但在一个由自主代理组成的未来世界里，这种做法是绝对行不通的。因为未来的 AI 不再只是一个问答对话框，它是要真正参与经济活动的个体。 Inference Labs 切入的角度非常有意思，也表现得很冷静。他们没有去跟风拼算力，也没有去卷模型性能。他们切入的是 AI 的责任结构。他们有一个非常核心的假设。在未来，真正有价值的 AI，未必是那个智商最高的。而是那个可以向外界证明，自己到底做过什么的 AI。这就是为什么他们搞的这套 Proof of Inference，本质上根本不是什么性能优化。它其实是一套在链上跑的问责机制。当一个推理过程被证明确实执行过。当模型的运行路径可以被真实验证。当所有的结果都可以被第三方随时复查。这时候，AI 才算第一次具备了承担责任的能力。这件事的意义，其实被现在的市场严重低估了。因为只有当 AI 变得可以被追责，它才具备了进入高价值场景的入场券。如果没有这种透明的责任结构，你敢把成千上万的资金交给一个全自动的代理吗。你敢让一个没有审计记录的 AI 去参与链上治理吗。你敢让企业级的风控系统完全交给一个黑盒吗。没有问责能力的 AI，充其量只是一个好玩的电子玩具。只有具备了问责能力的 AI，才能真正踏入真实世界的金融和法律门槛。 Inference Labs 真正想构建的，其实是 AI 的责任层。他们不是要让 AI 跑得有多快。他们是要让 AI 的每一步动作都留下无法抹除、无法抵赖的痕迹。这也是为什么他们会选择先进入 Bittensor 生态。这不是为了蹭那点算力名气。而是因为那里是第一个真正允许 AI 之间进行自主博弈、自主竞争的经济环境。在那种 AI 开始真正参与经济活动的试验田里，一套清晰的责任结构，其实比模型提高那么一点点精度要重要得多。这可能是一个很多人还没回过神来的拐点。大家还在沉迷于 AI 表现出来的聪明。但 Inference Labs 已经开始在为 AI 的非理性行为修筑堤坝。这种踩点非常早，也显得非常老练。他们赌的是那个 AI 必须为自己行为负责的必然未来。 #inference_labs #KAITO

紫川 | ∞KIN |

12,124 Aufrufe • vor 7 Monaten

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕）演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道呢？但这个数据量实在太大了。我们无法处理。如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。我就在这里结束我的演讲。谢谢。视频来源：

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕）演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道呢？但这个数据量实在太大了。我们无法处理。如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。我就在这里结束我的演讲。谢谢。视频来源：

宝玉

59,578 Aufrufe • vor 2 Jahren

谷歌的AI，已经开始做人类没教过它的事了。它自己学会了一门全新的外语。谷歌CEO把这称为“黑箱”。什么意思？就是他们自己也搞不明白AI的运作原理。举个例子。一个谷歌AI项目，本来没接受过孟加la语的训练。研究员只是用孟加拉语对它进行了几次提示。结果，它自己学会了翻译整个孟加拉语。现在谷歌的研究重点，变成了让AI去掌握上千种语言。但那个最核心的问题还在。为什么AI会这么做？没人能完全解释。当被问到为什么AI会出错时，他们也只有一些模糊的想法。最关键的一点是，谷歌CEO承认，在不完全理解工作原理的情况下，已经将这项技术释放给了全社会。他的解释是，我们也不完全理解人脑是如何工作的。把一个实验室里诞生的、行为不可预测的技术，与经过数百万年进化的人类大脑相提并论。这是一种合理的解释，还是一种推卸责任的说法？当创造者都无法完全控制其创造物时，我们普通人应该思考什么？

谷歌的AI，已经开始做人类没教过它的事了。它自己学会了一门全新的外语。谷歌CEO把这称为“黑箱”。什么意思？就是他们自己也搞不明白AI的运作原理。举个例子。一个谷歌AI项目，本来没接受过孟加la语的训练。研究员只是用孟加拉语对它进行了几次提示。结果，它自己学会了翻译整个孟加拉语。现在谷歌的研究重点，变成了让AI去掌握上千种语言。但那个最核心的问题还在。为什么AI会这么做？没人能完全解释。当被问到为什么AI会出错时，他们也只有一些模糊的想法。最关键的一点是，谷歌CEO承认，在不完全理解工作原理的情况下，已经将这项技术释放给了全社会。他的解释是，我们也不完全理解人脑是如何工作的。把一个实验室里诞生的、行为不可预测的技术，与经过数百万年进化的人类大脑相提并论。这是一种合理的解释，还是一种推卸责任的说法？当创造者都无法完全控制其创造物时，我们普通人应该思考什么？

墓碑科技

48,679 Aufrufe • vor 5 Monaten

在特朗普的长期支持者，很有影响力的保守派网红霍奇兄弟对话时，塔克·卡尔森说他认识的特朗普支持者都已经非常不满。霍奇兄弟：他第二任期里赚到的所有钱，包括那些加密货币骗局，还有他的儿子们进入这么多公司董事会、拿到政府合同。他们还持有这些公司的大量股份…… 你觉得，为什么 MAGA 支持者仍然支持这些事？他们之前明明如此坚决地反对拜登及其家人和儿子做几乎同样的事。可特朗普及其家人现在做的这些事，简直让亨特·拜登看起来像个唱诗班里的乖孩子。塔克·卡尔森：说实话，我不知道 MAGA 到底是什么。我从来都没弄明白过。我想，特朗普说 MAGA 是什么，它就是什么。更好的判断方式或许是，在2024年投票支持特朗普的人当中，有多少人对现在看到的一切感到不满？就我认识的特朗普选民而言，答案是百分之百。他们可能并不恨特朗普。我认为，很多人对特朗普仍然怀有感情。就我来说，我对特朗普的背叛已经厌恶到了极点。他给这个国家造成了严重伤害，我对此也感到无比难过，可我还是有点喜欢这个人，因为我控制不了。所以，人们对特朗普本人仍然有着很深的感情。他的疯狂，他那些想到哪儿说到哪儿、带着喜剧色彩的长篇抱怨，大家都喜欢这些东西。说实话，至少我喜欢，我一直都喜欢。所以，他们感到失望，但并不恨他。顺便说一句，他们也认为左翼，也就是民主党那边那个什么“愤怒女孩党”，不是他们想要的。对吧？所以他们现在有点夹在中间，左右为难。不过，在2024年投票支持特朗普的人当中，有多少人觉得自己被辜负了，甚至遭到了背叛？很多。这才是真正的 MAGA。你当然可以说“我是 MAGA”，可现在甚至没有人能说清楚这个词到底是什么意思。你在2024年有没有投票支持特朗普？如果投了，那你就是 MAGA 的一员，至少按照这个词最初的定义是这样。我认为，这些人当中有很大一部分，对现在发生的一切感到非常难过。

在特朗普的长期支持者，很有影响力的保守派网红霍奇兄弟对话时，塔克·卡尔森说他认识的特朗普支持者都已经非常不满。霍奇兄弟：他第二任期里赚到的所有钱，包括那些加密货币骗局，还有他的儿子们进入这么多公司董事会、拿到政府合同。他们还持有这些公司的大量股份…… 你觉得，为什么 MAGA 支持者仍然支持这些事？他们之前明明如此坚决地反对拜登及其家人和儿子做几乎同样的事。可特朗普及其家人现在做的这些事，简直让亨特·拜登看起来像个唱诗班里的乖孩子。塔克·卡尔森：说实话，我不知道 MAGA 到底是什么。我从来都没弄明白过。我想，特朗普说 MAGA 是什么，它就是什么。更好的判断方式或许是，在2024年投票支持特朗普的人当中，有多少人对现在看到的一切感到不满？就我认识的特朗普选民而言，答案是百分之百。他们可能并不恨特朗普。我认为，很多人对特朗普仍然怀有感情。就我来说，我对特朗普的背叛已经厌恶到了极点。他给这个国家造成了严重伤害，我对此也感到无比难过，可我还是有点喜欢这个人，因为我控制不了。所以，人们对特朗普本人仍然有着很深的感情。他的疯狂，他那些想到哪儿说到哪儿、带着喜剧色彩的长篇抱怨，大家都喜欢这些东西。说实话，至少我喜欢，我一直都喜欢。所以，他们感到失望，但并不恨他。顺便说一句，他们也认为左翼，也就是民主党那边那个什么“愤怒女孩党”，不是他们想要的。对吧？所以他们现在有点夹在中间，左右为难。不过，在2024年投票支持特朗普的人当中，有多少人觉得自己被辜负了，甚至遭到了背叛？很多。这才是真正的 MAGA。你当然可以说“我是 MAGA”，可现在甚至没有人能说清楚这个词到底是什么意思。你在2024年有没有投票支持特朗普？如果投了，那你就是 MAGA 的一员，至少按照这个词最初的定义是这样。我认为，这些人当中有很大一部分，对现在发生的一切感到非常难过。

加美财经caus.com

13,075 Aufrufe • vor 26 Tagen