Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

这是Google DeepMind 新掌门人 Koray Kavukcuoglu 接管团队后的首次访谈。如果以前不太熟悉 Koray,看完这 27 分钟,大概就能理解,为什么Google会选他来领导世界上最大的 AI 实验室之一。 在访谈中, Logan 提到的一个小故事:当年 Google 收购 DeepMind,做技术尽调时,Jeff Dean 会拿着代码库里各个角落的问题找 Koray。因为所有代码他都 review 过,问到哪里,他都能解释。 他年轻时在 Yann LeCun 的实验室做研究,后来成为 DeepMind 第一位深度学习研究员,组建了深度学习团队。那时研究团队只有十来个人,大家决定找一个足够有挑战的任务一起攻,最后选了 Atari 游戏,也就有了后来的 DQN。今天我们熟悉的深度学习+强化学习训练智能体,他是从早期就亲手参与其中的人。 这集访谈也谈到 Google 今天的处境,他的回答也相当直接。Google 到底还追不追 frontier?他先承认,当前模型的质量确实略落后于最前沿。但目标没有变,研究方向怎么选、资源如何排序,都是为了回到前沿。 还有一个很有意思的问题:如果有一根魔杖,可以直接给模型增加任何能力,他最想要什么?他的答案很简单:让模型更聪明。更聪明以后,很多事情都会做得更好、更自然。 加了中文字幕,值得花 27 分钟看看。

42,453 görüntüleme • 25 gün önce •via X (Twitter)

5 Yorum

Jesse | 一人独角兽 profil fotoğrafı
Jesse | 一人独角兽24 gün önce

我一直笃定 Google 是 AI 生态里面最健全的一家公司。Koray 说的这个观点非常有意思, 值得我们做 startup 的朋友们来思考。 "抛弃静态 Benchmark,走向协同智能体:Koray 强调,编程不仅是写代码,更是复杂的软件工程。未来 AI 的核心目标是将模型彻底转变为能够与人类深度协同、使用各种工具和函数的“智能体” "

Michael Guo profil fotoğrafı
Michael Guo24 gün önce

说的很到位。👍 谷歌是唯一一家拥有从底层硬件到模型到云到应用全生态链的AI公司

TruthSeeker profil fotoğrafı
TruthSeeker24 gün önce

Of course another Indian in Google, hopeless

Michael Guo profil fotoğrafı
Michael Guo24 gün önce

I think he is Iranian

TruthSeeker profil fotoğrafı
TruthSeeker24 gün önce

Oh, but anyway he is no comparison to Hassabis.

Benzer Videolar

OpenAI 创始人 John Schulman 访谈节选:为什么 GPT-4 比一年前更“聪明”了?主要都是后训练(Post-Training)带来的! 另外他认为,在强化学习研究领域,研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈,并对各个部分充满好奇心是关键。此外,从第一性原理出发思考问题,而不仅仅依靠实验证据,也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel:在未来,用于训练的计算力中,预训练与后训练的比例是否会明显偏向后训练呢? John Schulman:确实,有一些观点支持这种说法。 Dwarkesh Patel:我是说,现在这个比例非常不平衡。 John Schulman:但你可以认为,模型生成的输出质量比网上的大多数内容都要高。因此,让模型自己思考似乎更有道理,而不仅仅是训练来模仿网络上的内容。所以,我认为从第一性原理上来说,这是有说服力的。我会说,我们通过后训练取得了很多进步。因此,我不确定。所以,我希望我们会继续推动这种方法,并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel:当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢? John Schulman:对,我会说大部分都是后训练带来的。 Dwarkesh Patel:这很有意思。 John Schulman:因此,有很多不同的改进方向。我们会考虑数据质量,数据数量,进行更多的部署和收集新数据的迭代,改变你收集的注解种类。因此,有很多因素叠加在一起。但是全部加在一起,就会带来一个相当不错的,有效的计算力提升。 Dwarkesh Patel:后训练的优化程度对于竞争优势有多大影响呢? John Schulman:目前,我会区别公司是通过我们的模型有多大等等。那么,找出你之前提到的所有这些数据的复杂问题的公司,会占据大优势吗? John Schulman:我认为这确实是一个优势,因为这是一个非常复杂的任务。因此,你必须有很多有技能的人来执行它。因此,存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程,创建一个具备人们所关心的所有功能的模型,是十分复杂的。这需要付出大量的努力,它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒,要想立即启动这种模型并非易事。 Dwarkesh Patel:看起来那些正在进行最严肃的预训练努力的公司,也在进行严肃的后训练努力。因此,看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman:另外,还有一种情况使得这个壁垒并非那么明显,那就是你可以提取模型,或者复制别人的模型输出,或者使用别人的模型进行比较。我认为大公司可能并不会这样做,因为这违反了服务条款,也会损害他们的自尊心,但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel:那些真正擅长进行这种强化学习(RL)研究的人有什么样的特质呢?我听说这种研究非常具有挑战性,但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢? John Schulman:我觉得有相当多的经验是关键。自从研究生时期以来,我一直在研究 RL 算法,涉及到数据收集、到注释过程,再到与语言模型的交互。所以,我算是涉猎了这些领域。我认为,在这类研究中表现出色的人通常对整个技术堆栈有全面的了解,并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点,还会从第一性原理出发思考问题。比如,假设深度学习是有效的,那么理想的收集数据的类型应该是什么,等等。

宝玉

57,189 görüntüleme • 2 yıl önce

2020年,李想在他之前创立的公司汽车之家做了一场内部分享,开场就讲到他2019年在湖畔大学的一个重要收获。 (开头提到的投资人是李想在湖畔大学2019期同学是云锋基金合伙人李娜。) 以下为使用Typeless 转视频语音为文字: “这时候,我们有一位同学问这位做投资的姓李的同学(李姐)一个非常有意思的问题,我认为这是我过去一年里听到的最好的问题。 他问:“在你过去投资成功的企业,以及你喜欢的创业者、企业家和你最认可的这些人里,他们有什么共同的特质?” 她很快回答了这个问题。她说,【无论是她过去投资成功的企业,还是她个人喜欢的创业者,确实都有一个共同点,但这是事后才能验证的: 这些人无论在多么复杂的环境下、在多么艰难的处境和压力下,面对再多人的质疑,永远能在最关键的时刻看清问题的本质,并从而有效地去解决。 而这件事情跟性格没关系: 1. 他可能是一个平常说话都不太清楚、不利索的人,但每到关键时刻,他永远能做出看清本质的选择。 2. 他也可能是一个脾气很暴躁、让你觉得情商很低的人,但他仍然能在关键时刻看清本质并做出选择。】 听完这段话,我就发生了一个很重要的转变。我告诉很多人:你去买特斯拉股票吧。 之前我和身边的朋友在买特斯拉股票时,始终有一个疑问,就是 Elon 的脾气不太好,他的私人生活也比较复杂,一年内公司的高管和 VP 甚至会离职十几个。 但当听完这个回答后,我们改变了观点。因为 Elon Musk 在最关键的时刻点,从来没有做错过选择: * 什么时候去做电池 * 什么时候做自己的底层操作系统 * 什么时候去做芯片 * 什么时候裁员 * 什么时候来中国建厂 在所有的关键时刻,他都做出了正确的选择。这就是他讲的“第一性原理”:抛开所有情绪,只做最本质的选择。哪怕这个本质的选择再难都会去选择。 视频82分钟,链接: ———————————— 2021年看过好几次,但今天再次看,依旧启发很大。

lufei

57,208 görüntüleme • 7 ay önce

我们必须彻底终结“政治庇护”这套玩法。 为什么? 因为你家的大门,不是为全世界的失败者敞开的。 有人说,我们得接纳他们啊! 我说不。 他们说,那这些人怎么办?他们会死的! 首先,这怎么就成了我的问题? 其次,地球上其他国家都消失了吗? 非洲的庇护申请者,为什么不去非洲国家? 阿拉伯人,为什么不去阿拉伯国家? 如果连文化最相近、血缘最亲密的国家都拒绝他们…… 那我们为什么要当这个冤大头? 打个比方。 想象一下,一个从几十公里外的小镇来的19岁小伙。 你从没见过他,不知道他是谁。 他没敲门,直接闯进你家,对着你大喊: “嘿!我饿了!给我吃的!” 他不是请求,是命令。 没有谦卑,只有索取。 你会怎么做? 你大概会拿出枪,指着他,让他滚出你的房子。 就算你愿意跟他多说一句,你第一个问题肯定是: “你为什么来我家?” “你为什么不去找你的邻居?” 他可能有两个回答。 第一种:“我问了,我所有的邻居都拒绝帮我。” 那你就要怀疑了。 所有认识你的人都不帮你,问题在谁? 是他们几百号人都是混蛋,还是你才是那个唯一的混蛋? 第二种:“我压根没问过我邻居,我直接就来找你了。” 这就更可疑了。 你为什么偏要跳过所有熟人,跑到一个完全不了解你的陌生人家里,提出要求? 所以,你只会关上门,告诉他: “两秒钟内,从我的地盘上滚出去,否则我就开枪了。” 一个四肢健全的成年男人,连饭都找不到,那是他自己的无能和懒惰。 那不是你的问题。 现在,把这个场景放大到一个国家。 完全一样。 一群又一群的陌生人,从天知道什么地方冒出来,要求我们帮助。 他们绕开了所有和他们文化、语言更接近的国家。 径直来到我们的边境。 这不值得怀疑吗? 但我们甚至不需要解释。 这是我们的国家,不是你的。离开。

墓碑科技

15,294 görüntüleme • 9 ay önce

🤯电影都拍不出的桥段👺 庭审前究竟发生了什么⁉️⁉️⁉️ 文贵世纪大案量刑庭审: 庭审前吐血、昏倒、现 #神秘黑衣女子 ! 庭上还继续磕血!🥺 #文贵先生 指检察官 #撒谎: 你不用相信我的话,请调看今天的监控!🤯 全世界都在等待真相‼️‼️‼️ 正文: 一直到3:55左右呢,他们才出来,也就将近一个小时,他们在房间里不知道在说什么。然后出来之后呢,很快就在这个安排下呢,我们就开始了这个啊,开始开庭。 然后这个时候呢,文贵先生才啊,最后一个从这个庭审的地方、从门口出来。然后啊,看到文贵先生的第一眼,我是觉得文贵先生有些苍白,脸庞非常的苍白,但是也不知道为什么。 后来呢,我们终于在啊最后,就是整个快结束的时候,文贵先生呢,最后啊,当这个法官问到文贵先生说:“被告,你有没有什么话要陈述?”那这个时候,文贵先生呢就站了起来,然后他才把今天为什么我们的庭审会往后拖的这个时间呢,通过翻译传递给了这个法院法官,也传递给了法庭。 也是这个时候,我们才了解到,为什么我们今天会等待这么长的时间。 那在这个很简短的文贵先生的这个发言里面,他啊就讲到,他自己原本没有打算要发言,但是因为今天发生的种种的原因,所以他决定要在这个时候站起来说几句话。 那他的话里面就讲到了啊,就是说,他今天早上5点钟起来的时候呢,他有昏过去。昏过去了之后呢,起来就啊开始呃有血,吐血。然后呢,他的血呢,把他的脸,还有他的衣服上都啊都都弄到了血。然后这个MDC呢就叫了——对,一条胳膊上都是血——然后MDC呢就叫了这个911,也就是急救车。 然后急救车呢,就把他送到了这个医院。医院的这个啊医生呢,啊,认为他需要打针,给他打了两针。我不知道打的具体什么针,但是给了他注射了两针,告诉他:“你需要stay,你需要在医院里面休息。” 但是文贵先生是说:“我要去,我要去法庭,我要去法庭。” 但是呢,后来他们把文贵先生带回了MDC,让他先在那边啊等候医生。后来呢,的确有医生来看了他,但是在MDC的医生。但是医生呢又走了。 过了一会呢,又有一位啊,不知道呃是什么、是不知道身份的女生啊。他说是文贵先生描述,是一位神秘的女士,然后在穿黑衣服,穿着黑色的衣服,在1点半的时候进来,说:“我要带你去法院。” 然后这个时候就啊,他们在走的时候呢,在他上车之前呢,把他的衣服剪换掉了,剪开了,然后用布让他擦干净脸上的血,然后换上了他在我们法庭上看到的一件黄色的、米色的这个呃这个囚犯的这个衣服。也就是他刚才在庭审上,我们大家都看到的这件衣服,她才出来带走了他。 但是这位女士很神秘。为什么呢?她没有跟七哥的法警一起坐在这个车上。一般的话,从MDC出发的会有两名法警。那今天很奇葩啊,这位神秘的女士坐上了一辆——嗯,七哥描述是BMW,坐了另外一辆车,也就是宝马车——然后跟他一起来到法院的。 这个只有车上只有一位法警。所以这个事实呢,也被在今天的庭审的时候,检方描述的时候所歪曲。所以说七哥在他的讲话里面有澄清。 那我具体的内容,我们几位啊,可以补充我们细节的话。大概今天为什么晚到这么长时间,让所有的战友啊,就在等候这个结果的原因,就是这样的一个原因。 那刚才我们收到啊,七哥的律师说,呃,七哥现在没有事儿,他应该快到MDC了啊,应该快回到MDC了。所以说我们也啊,看看待会七哥有没有办法给我们打电话。 嗯,刚才那个我补充一下。Ava其实说到一个很关键的,就是这个庭审和之前完全就不一样。首先她没有让我们上去,第二,她没有——她就是很多情况下的这种没有告知的延期,从这个1点到3点半,到3点,然后又到4点,是吧?这样的延期。 事实上这个,后来我们是通过文贵先生,他真的是口述,所有大家才知道,就是那一刻之前,早上到那一刻发生了什么。 那正常这种情况来说,用文贵先生他描述的说:“我晕过去了,然后吐血,而且医院已经给出了这个回应,说你需要留在这里。”在这种情况下,一般情况这个sentence应该不进行,他应该住院,今天的开庭应该是被延期的。也就是说,正常来说,今天不应该再继续开庭了。 对,但是文贵先生在庭上讲,他在10点半的时候,就是接到了MDC这个狱警电话。MDC接到那个狱警接到MDC电话,说要把他带回去。然后带回去之后又要这个看医生。看医生之后,然后说,唉,我还是要治疗的。结果下午1点半的时候,又有了这个神秘女士的出现,带着mask说:“我现在带你去上庭。” 而且这个过程中,事实上,刚才Ava还讲了一个很关键一点,就是其实我们知道,前几天七哥打电话,他说过,说:“我这个不想说什么话。”但是他今天,其实说,本来他说:“我就说两句话,是吧?”但是他今天是临时——大家在那个看,在这个15D和这个视频上,大家都能看到,七哥站起来时候,说话的声音是哑的。 对,他完全在那一刻之前,甚至就是在这个开庭的时候,可能他还没有想过说要说这个话。他完全是没有准备,完全是这个自己就说今天的当时经历。 但是我相信,就是这个当时的这个检察官他说的这个话,触动了七哥,也触动了我们。 因为在前面大家知道,整个的这个sentence它是有一个过程的。它有这个呃,检察官要发言,辩方律师要发言,所谓受害者陈述要发言,然后法官要去这个梳理整个的一个她量刑的标准PSR,然后最后给出一个量刑标准。这是一个大概的一个程序。 那么七哥的他的权利是可以说话,你也可以不说话。很多有的时候,就是有些犯人,他为什么选择不说话呢?因为他这个觉得“我说的话可能会影响我的上诉”,所以他就选择不说话,这些都是可以的。 但是今天,七哥今天在这个,也就是这个辩方他在发言的时候,他就说了一句,说这个呃:“郭文贵是个骗子,这个骗子他到今天都不思悔改,以至于他到现在还在装病,来故意地拖延这个庭审。所以说法官大人,我建议你重判他,因为他到现在还不思悔改。” 所以这个细节,我相信是触动了这个文贵先生。然后文贵先生站起来,他就讲说这个——他说的刚才说到这些细节的时候,他说:“你都不需要相信我,这些这个MDC医院,还有我们在这个SDNY,就是这个南区法院,都有摄像头,都有监控。你都可以去问这些警察,我说的是不是事实,是吧?” 然后这个,包括刚才那个Ava讲到,就是呃,事实上他那个被带到SDNY的时候,带到这个南区法院的时候,他还想用洗手间。他还说:“我不行,我肚子痛,我还想吐血。”然后这个呃,就不让他用,然后又给他放到另外一个房间。而且当时就说,这个神秘女士一直都在啊。 然后这个呃,同时呢,七哥也说了,说他为什么今天我要说出这些。因为现在检方,你今天就是个很好的例子。他说的没有一件事是真的。说一个法警跟着,其实是两个法警,对,说是一个,然后事实上是有两个人。 那么他同时他又说:“你作为检察官,到今天为止,你又当法官,你又当警察,你又当医生,你什么——你说什么就是什么。” 对,然后呢,那这个我法官大人,我今天想说的,我和我的律师,在822文件里面都已经阐述了。我相信美国的法律啊。但是就说,我过去因为我这个灭共的事业,我全家有270个人被抓,我失去了几十亿的上百亿的资产啊。然后我失去这些钱,但是我谢谢咱们法庭和法官所做的一切的努力。然后最后一句话,说:“我要上诉,我要上诉。” 对,其实七哥今天脸,确实脸色进来的时候是白,加上有一点黄,其实。嗯,但是呢,七哥就是我觉得也是看到战友了,他在强打起来精神,一直在和战友们去对视啊。包括有咱们战友里面有小朋友,然后七哥也是一直在做合十的手势,一直在和大家点头微笑。 嗯,很多战友们也都是在这个呃,给他回手势,对,给他回手势,嗯。 然后我觉得,嗯,其实刚刚除了——七哥其实在庭上也有咳血,然后嗯,就是拿那个白色的卫生纸,他不是整吐血,是拿这个卫生纸一擦,这就是都是血。然后七哥把这个纸也对着检察官这样晃了晃。 这是在七哥去讲完了这么多话的时候,之后去呃做的一个动作。然后呃,其他的法警就把垃圾桶拿过来。七哥我看到擦了好几张,因为有法警挡住了,我觉得四五次。嗯,对,嗯,也对,就是我们都是看到了的,这些都是我们是都是看到了的。 嗯,然后我觉得今天其实战友们,我觉得表现的应该可以让七哥很放心,因为战友们非常的冷静,非常的淡定。

喜马拉雅日本勇者村

31,295 görüntüleme • 2 ay önce

两年多前,Google 联合创始人 Sergey Brin 也曾站在 AGI House,承认 Google 在大模型上落后了,并说要追赶回来。 后来的结果大家都看到了:Gemini 一路追上来,半年前 Gemini 3 发布时,Google 至少在很多维度重新回到了第一梯队。 但六个月后,局面又变了。 这一次,仍然战斗在一线的 Sergey 再次回到 AGI House,做了一场新的 Q&A:他怎么看 AGI 和超级智能,怎么看 Transformer、世界模型和 AI for Science,Google 为什么现在重仓 coding agent,他和 Demis、Corey 在 Gemini 上到底怎么分工,以及他是否还相信 Google 能再追上来。 下面划重点: Google 重新把 coding 放到最高优先级之一。 Sergey 承认,他们可能更早就该深度关注 coding。现在 Google 已经非常专注于这个方向。 他对 Gemini 仍然有信心,但也承认竞争对手在 coding 上进步很快。 他提到,某些模型在长时间、深度 coding 任务上表现很好;而 Gemini Flash 的优势在于速度,适合交互式快速迭代。 他认为 AGI 的关键不只是“会回答问题”,而是能自我改进。 他个人更倾向于把 AGI 理解为一种能够改进自己的 AI,而不是单纯“什么人类任务都能做”。 世界模型很重要,尤其是如果 AI 要进入物理世界。 如果 AI 要做人类能做的事,就必须理解世界、预测行动后果,并和现实世界互动,这会延伸到机器人、多模态和视频模型。 Transformer 可能还没到头。 他认为 Transformer 已经从文本扩展到图像、视频等场景,而且不断演化。类似 Transformer 的架构,有可能继续走向 AGI。 他在 Google 内部的角色更像“推动者”而不是正式负责人。 Corey、Demis 等人负责组织和交付,Sergey 则不断追问团队有没有漏掉重要方向、有没有低估某些优先级。 他对“AI 会取代人类意义”没那么悲观。 他用国际象棋和围棋举例:机器超过人类后,人类并没有停止下棋,反而借助 AI 变得更强。 整体听下来,你能看到 Google 内部现在的真实焦虑和重心:AGI、自我改进、coding agent、世界模型,以及用 AI 来构建下一代 AI。 (中文字幕视频)

Michael Guo

92,976 görüntüleme • 2 ay önce

中南海的工作人员把事情搞砸了。 现在网上传得最多的就是这个视频,我都看了几十遍了。川普的座位明显低了,很显然有人在川普的坐椅上做了手脚。有人分析是因为川普体重更大,这是很牵强的。他和习应该属于同一重量级,川普100公斤左右,习从未公布。但他身高将近1.80米,比我略矮一点。但他比我胖多了。我都有85公斤左右。就算有一点差别,也不至于差那么多,除非中南海的坐垫是次品😂。大家对照一下他与其他人会面的照片就知道了。比如这张去年习和白俄罗斯总统卢卡申科在中南海会面时的照片,就显示他们的座椅高度完全一致,没有因为人的体重不同而高低不一样。更卢卡申科也就牛高马大。因此他们三人体重应该都差不多。 我为什么对这事如此认真?大家看了我发的这个当年川普在一次地方政府论坛上抱怨主持人给他安排的座椅不舒服就知道了。他当时调控这是他的竞选对手哈里斯给他设的陷阱,目的是让他从椅子上摔下来😂。此后他就一直站着。他是一个做事极为认真的人,对这种事情特别在意。不要说他不会相信这不是有意为之,相信大多数平时不注重细节的人也不会相信这是工作失误,尤其是中国人深知中共在这方面要求极为严格,连人民大会堂女服务员倒茶水的动作都要经过严格训练,更何况提供给来访的美国领导人坐的椅子。根本不可能出这种质量上的差错。 因此只能有一个解释,有意而为之。从视频中可以看出,川普一坐下去就感到不对劲,还连续试了几次坐舒服。他心里肯定1万草泥马在奔腾!俗话说,魔鬼在细节。通过这件小事,会让他更加认清中共是个什么玩意。表明看这是坏事,实则是件大好事!

唐柏桥

74,864 görüntüleme • 4 ay önce