Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

OpenAI CEO Sam Altman警告,递归自我改进可能令AI发展迅速加速,导致人类无法理解其进展或在必要时干预。他表示,行业不能以竞争为由冒险;OpenAI过去曾主动放慢进度,未来也会这样做,并应避免开发无法保证对齐、可监控性和安全性的系统。

22,133 görüntüleme • 3 gün önce •via X (Twitter)

2 Yorum

Mia profil fotoğrafı
Mia3 gün önce

棋高一着(技高一筹)

86高返weex小鹿 profil fotoğrafı
86高返weex小鹿3 gün önce

又在画大饼 累了

Benzer Videolar

AI亿万富翁CEO表示,在脑机接口准备就绪之前,他不想生孩子。 他说:“我想等到我们弄清楚 Neuralink 或其他——它被称为脑机接口。所以大脑与其他方式与计算机互联,直到它们开始工作。 “因为有几个原因。首先,在你生命的前七年左右,你的大脑比任何其他时期都更具神经可塑性。所以如果你要获得这些其他技术,那些出生时就带有它们的孩子将以疯狂、疯狂的方式学习如何使用它们。就像它实际上会成为他们大脑的一部分,这种方式对一个成年人在大脑中植入 Neuralink 或其他东西来说永远不会是真的。人类只以一定的速度进化。人类会随着时间变得更聪明。只是这是在数百万年的时间尺度上,因为自然选择和进化真的很慢。所以如果你把这个向前推演,你必须有 AI 继续变得更聪明,继续改进——就像它们会真的很快继续改进。而且你知道,生物学只会以那么快的速度改进。我们在某个点上需要的是最终自己接入 AI 的能力。我认为我们将需要一些互联或连接,让我们的大脑直接连接到 AI、在互联网中,所有这些东西。” “而且它——它可能很危险,而且可能,你知道,正如你所说,可怕和吓人。但我们只是必须去做。就像 AI 将像这样发展,人类将以慢得多的速度改进。我们将需要接入那种能力。”

KK.aWSB

47,549 görüntüleme • 9 ay önce

斯坦福2023年公开课CS25 - 大语言模型与人类对齐(中英文字幕) 这是斯坦福2023年公开课CS25的第二课:《Language and Human Alignment》,讲师是OpenAI的Jan,他目前领导OpenAI的对齐(Alignment)团队,并曾在DeepMind担任研究员。他拥有强化学习理论博士学位,并且在过去的10年里一直在思考对齐问题。 这节课的主要内容是探讨AI的对齐问题,也就是如何让AI系统符合人类的意图和偏好,以及如何构建能遵循人类意图的AI系统? 遵循人类意图意味着:对于明确的意图,能遵循指令,成为一个可靠的助手;对于不明确的意图,需要通过后续问题明确,不要编造,不要做有害的事情。 现在使用的主要技术是强化学习反馈,这是用来训练InstructGPT和ChatGPT的技术。首先需要训练一个奖励模型,然后要用人类标注员去标注数据,来告诉模型哪些结果更是人类想要的。虽然每个人类标注员都有自己的偏好,甚至可能有不一致的地方,但模型会多结果进行平均。 从成本上来说,人类反馈的成本要远低于预训练的成本,不到预训练计算量的2%。基于人类反馈的强化学习(RLHF)可以让模型做任何它想做的事情,它可以自己找出最好的方法来做事情,你只需要对它的结果进行评估就好了。 “评估比生成容易” 很多任务虽然人类不擅长,但是可以很容易的给出评估。 RLHF也有一些限制,比如当人工智能进化到一定程度,其可以完成的任务难度也会提升,但是人类评估任务的水平却无法提高,这时候人类将无法再给AI有效的反馈。所以未来我们需要AI来辅助人类进行评估,让AI帮助指出结果中的问题,人类对AI评估的结果进行评估。 课程页面: 参考材料: - ChatGPT: - InstructGPT: - Language Models are Few-Shot Learners (GPT-3):

宝玉

149,159 görüntüleme • 3 yıl önce