Загрузка видео...

Не удалось загрузить видео

На главную

大卫·萨克斯认为,Anthropic为了推动新模型的认知,采用了恐吓营销。 “该公司擅长两件事: 推出新的模型,同时利用AI可能带来的末日情景来恐吓社会。” 萨克斯表示,Anthropic公司每次发布重要模型时,都会同时发布一些关于AI风险的研究报告,造成耸人听闻的轰动效应。 这制造了人们对AI的恐惧,同时将他们自己的模型宣传为“更安全”的解决方案。 这是一种精心策划的策略,旨在凸显自身差异化,提高竞争门槛来使自己受益。 Anthropic已经反复使用了这一策略。但想想看一路上它对其他行业和众多投资者造成的巨大损失。 而居然这家公司还自己声称是具有社会责任感,并且得到了大量主流媒体追捧和好评。

51,587 просмотров • 5 месяцев назад •via X (Twitter)

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

OpenAI 创始人 John Schulman 访谈节选:为什么 GPT-4 比一年前更“聪明”了?主要都是后训练(Post-Training)带来的! 另外他认为,在强化学习研究领域,研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈,并对各个部分充满好奇心是关键。此外,从第一性原理出发思考问题,而不仅仅依靠实验证据,也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel:在未来,用于训练的计算力中,预训练与后训练的比例是否会明显偏向后训练呢? John Schulman:确实,有一些观点支持这种说法。 Dwarkesh Patel:我是说,现在这个比例非常不平衡。 John Schulman:但你可以认为,模型生成的输出质量比网上的大多数内容都要高。因此,让模型自己思考似乎更有道理,而不仅仅是训练来模仿网络上的内容。所以,我认为从第一性原理上来说,这是有说服力的。我会说,我们通过后训练取得了很多进步。因此,我不确定。所以,我希望我们会继续推动这种方法,并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel:当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢? John Schulman:对,我会说大部分都是后训练带来的。 Dwarkesh Patel:这很有意思。 John Schulman:因此,有很多不同的改进方向。我们会考虑数据质量,数据数量,进行更多的部署和收集新数据的迭代,改变你收集的注解种类。因此,有很多因素叠加在一起。但是全部加在一起,就会带来一个相当不错的,有效的计算力提升。 Dwarkesh Patel:后训练的优化程度对于竞争优势有多大影响呢? John Schulman:目前,我会区别公司是通过我们的模型有多大等等。那么,找出你之前提到的所有这些数据的复杂问题的公司,会占据大优势吗? John Schulman:我认为这确实是一个优势,因为这是一个非常复杂的任务。因此,你必须有很多有技能的人来执行它。因此,存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程,创建一个具备人们所关心的所有功能的模型,是十分复杂的。这需要付出大量的努力,它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒,要想立即启动这种模型并非易事。 Dwarkesh Patel:看起来那些正在进行最严肃的预训练努力的公司,也在进行严肃的后训练努力。因此,看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman:另外,还有一种情况使得这个壁垒并非那么明显,那就是你可以提取模型,或者复制别人的模型输出,或者使用别人的模型进行比较。我认为大公司可能并不会这样做,因为这违反了服务条款,也会损害他们的自尊心,但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel:那些真正擅长进行这种强化学习(RL)研究的人有什么样的特质呢?我听说这种研究非常具有挑战性,但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢? John Schulman:我觉得有相当多的经验是关键。自从研究生时期以来,我一直在研究 RL 算法,涉及到数据收集、到注释过程,再到与语言模型的交互。所以,我算是涉猎了这些领域。我认为,在这类研究中表现出色的人通常对整个技术堆栈有全面的了解,并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点,还会从第一性原理出发思考问题。比如,假设深度学习是有效的,那么理想的收集数据的类型应该是什么,等等。

宝玉

57,189 просмотров • 2 лет назад

前几天吴恩达在Silicon Valley Girl播客就几乎点名说了A社鼓吹AI恐惧,试图推动通过某些监管,造出一个偏袒在位者的不公平环境。Dario这两天就自己跳出来了。当然,吴恩达也不是反对立法,而是别监管假想的、理论上的危害,要监管实际的、务实的危害。 他说: 所以少数几家领先的 AI 公司,一直在大声鼓吹对 AI 的恐惧,试图推动通过某些监管,造出一个偏袒在位者的不公平环境——让我们所有人都得为使用 AI 付一笔高额通行费,同时压制其他团队——那些研究者和公司,他们想把开源模型免费送出去,让所有人便宜用。 不幸的是,制造恐惧是有效的。当你到处说 AI 就像核武器——这个类比毫无事实依据,它们俩到底有什么关系?或者当你四处挑拣 AI 出错的个案,把它放大到远超实际;甚至散布失实信息,说 AI 数据中心的耗水量远高于真实情况。 这一波接一波的恐惧叙事,把社会认知扭曲成了对 AI 极度负面,这很不幸,因为它正在拖慢美国对 AI 的采用,让美国更没有竞争力。 除非我们把关于 AI 的真相讲出来——它有巨大的好处,也有一些问题,但远没有被吹得那么严重——否则它会伤害到个人。 深伪是个问题。我见过或听说过的最恶心的事情之一,就是未经同意的私密深伪影像。 我很高兴美国国会一直在推动。对,我们来立法吧。把这个铲掉,对它设惩罚。我认为有一些 AI 的用法确实非常有问题,我们应该明令禁止、重罚。直接铲掉。

Caroline(大叔)

17,854 просмотров • 7 дней назад

一场关于 AI 的大讨论,竟然把几乎从不在 X 上发言的 Dario Amodei 都“引蛇出洞”了。 事情最初来自 Gavin Baker 在 All-In Podcast 上的一段爆料。 Gavin 是科技投资圈很有影响力的投资人,Atreides Management 的创始人兼 CIO,此前长期管理 Fidelity 的科技基金。他说,自己从几个信任的人那里听到,Dario 曾经表示:未来 Anthropic 可能成为世界上唯一一家私人公司,除此之外只剩各国政府。 需要强调的是,这是一条未经证实的二手消息,不是 Gavin 亲耳听到的。但他的判断很直接:即使只是私下表达,这种说法也过于傲慢,而且容易让人联想到权力集中乃至公司被国有化的风险。 第一个出来反驳的,是 Anthropic 的 Sholto Douglas。 Sholto 现在负责 Anthropic 的 Scaling RL,之前在 DeepMind。他也是 大名鼎鼎的科技播客主持人Dwarkesh、AI投资神童Leopold Aschenbrenner 那个年轻 AI 研究者圈子里的重要成员。 Sholto 对那条传闻的回应只有两个词:“Completely false.” 他认为,消息源是在迎合某种已经存在的叙事:一边说 Anthropic 没有 moat,一边又说 Anthropic 强大到可能成为世界上唯一的公司。 更重要的是,Sholto 说,Anthropic 最担心的事情之一,恰恰就是经济权力过度集中。政府不应该允许任何一家公司拥有如此巨大的影响力,未来仍然需要竞争和资本主义。 Gavin 随后接受了这个事实纠正,但没有放弃更大的批评。他的意思是:好,即使 Dario 没说过那句话,为什么硅谷有不少人觉得这件事“听起来像真的”?因为它与 Dario 长期以来的公开表达是一致的:AI 可能带来网络、生物、失控和经济权力集中等风险,因此需要监管。 Gavin 把问题概括成了两条路线:一种是通过监管,把最强的 AI 集中在少数公司和政府手中;另一种是尽可能广泛地分发 AI,让更多公司、开源模型和个人拥有能力。在他看来,如果 AI 很危险,那么集中它未必比分散它更安全。历史上,“让少数开明的人掌握绝对权力,再期待他们造福所有人”,通常不是一个好结局。所以 Gavin 更倾向于开放模型和多中心竞争。他希望世界上存在很多不同的 AI,而不是把未来押在少数实验室的价值观上。 他对 Dario 的另一层批评也很现实:监管路线暂时没有取得预期结果,但 Dario 不断强调 AI 风险的表达,却可能被反数据中心、反 AI 的政治力量拿去使用。如果 Dario 相信 AI 可以治愈疾病、延长寿命、创造一个更富足的未来,那么作为一家最重要 AI 公司的 CEO,他也应该更积极地讲述这个未来。 讨论到这里,其实已经不再是“Dario 有没有说过那句话”,而变成了三个真正重要的问题: AI 太危险时,究竟应该集中,还是分散? 监管是在限制大公司的权力,还是在替大公司建立护城河? AI 公司不断强调风险,是在诚实地建立信任,还是在亲手制造社会恐惧? 接下来是这场讨论最精彩的部分。 Sholto 没有继续为 Anthropic 做笼统辩护,而是把“AI 风险”拆开了。他认为,网络安全长期可能是防守占优:如果金融机构和关键基础设施用未来两年主动进行 AI 红队测试,开放的编程模型未必是不可承受的风险。但生物安全可能是进攻占优。一个“装在口袋里的世界级病毒学家”带来的能力扩散,可能要到 2030 年代才能获得足够的防御。在这种情况下,政府至少应该建立测试能力,真实测量 AI 给恶意行为者带来了多少能力提升,再由社会决定是否接受风险。 在就业问题上,Sholto 甚至没有完全同意 Dario。他认为,即使模型可以完成 95% 的电脑工作,算力短缺、组织扩散和政策摩擦也可能让人类继续工作很多年。但社会仍然应该提前准备失业率触发的应对政策。 他也坦率承认了一点:Anthropic 乃至整个 AI 行业,确实没有成功描绘一个值得普通人期待、愿意共同争取的未来。这正在降低那个未来真正发生的概率。 Gavin 也随之调整了自己的立场。他承认,生物风险可能是支持监管最有力的论据;政府确实需要拿到足够的信息,才能随着能力提升作出判断。他也同意,算力短缺可能反而给人类留下适应快速起飞的时间。 两个人最后的分歧,收敛到了一个更底层的问题:面对算力不平等,我们应该优先限制最强者,还是尽快把整个蛋糕做大,让算力分布底部的人也获得更多能力? 最后,Dario 本人出场了。 Dario 平时很少参与社交媒体讨论,但这次写了两篇长文回应。 他首先拒绝了 Gavin 的二选一框架。监管不一定等于监管俘获,也不一定必然把权力集中到少数公司手中。设计得好的制度,反而可以把权力从具体的人和公司手中,转移到公开、客观、可执行的规则上。 Dario 举出的例子是,Anthropic 支持的政策往往只约束前沿模型,同时豁免收入或训练成本低于一定门槛的小公司。对最强模型进行更严格测试,实际上是在减慢头部实验室,同时给追赶者和开放模型留下空间。 他真正的判断是:AI 本身就是一种结构性趋向权力集中的技术。原因不是监管,而是 scaling law、芯片和算力。开放权重当然有帮助,但它没有解决算力集中,只是把一部分权力从模型公司转移到了拥有最多芯片和计算资源的人手中。所以问题不是“监管还是开放”这么简单,而是能否建立一套规则,同时控制网络、生物和对齐风险,限制前沿实验室的权力,又不扼杀小公司和开放模型。 Dario 对“Anthropic 过度传播负面叙事”的回应也很有意思。他说,自己对 AI 的正面和负面表达其实相当平衡。他写《Machines of Loving Grace》,就是因为整个行业没有给出足够具体、足够有感染力的正面未来。他甚至相信,AI 有可能在五到十年内帮助人类治愈大部分疾病。 但公众对 AI 的抵触,本质上不是营销问题,而是信任问题。普通人不相信公司、政府和科技行业,怀疑每一次技术革命最终都会有人从中设计一种新的方式来伤害他们。 因此,更华丽、更积极的宣传解决不了问题。 Dario 给出了整场讨论里最总结的一句话:真正能让人相信 AI 将治愈癌症的办法,不是继续说 AI 将治愈癌症,而是真的治愈癌症。在取得实际结果之前,他不愿意作空洞承诺,也不会为了让行业形象更正面而回避真实风险。 我的 Take Away 有四点。 第一,开放与监管不是一条轴的两端。 开放权重可以分散模型能力,却不能自动分散芯片、算力、数据中心和资本。监管也可能形成护城河,但设计得好的监管可以只约束前沿能力,同时保护追赶者。真正的问题是:规则是否随着能力和具体风险变化,而不是笼统地管“AI”。 第二,不同风险不能使用同一种治理方式。 网络安全可能逐渐转向防守占优,生物风险却可能长期进攻占优;就业冲击、模型失控和经济权力集中又是另外几类问题。把它们全部装进“AI 很危险”或“开放就是安全”这样的口号里,都会失去真正重要的信息。 第三,AI 的权力结构最终取决于算力。 开放模型解决的是访问权,未必解决生产资料的所有权。当最强能力仍然依赖巨额资本、能源、芯片和数据中心时,讨论去中心化不能只看模型权重有没有开放。 第四,也是最重要的一点:公众信任最终来自交付。 Gavin 说,行业需要讲出更积极的未来;Sholto 承认,这方面整个行业都做得不够;Dario 则把标准再往前推了一步——愿景有必要,但愿景不能代替结果。 这场讨论最难得的地方,是几个人都在过程中修正了自己的位置。Gavin 接受了对传闻的纠正,也承认生物风险是支持监管的强论据;Sholto 没有把监管合理化成一整套统一答案,也承认行业缺少正面叙事;Dario 则没有回避权力集中,反而明确承认 AI 在结构上会推动集中。 他们最后仍然没有完全同意彼此。但讨论已经从一句未经证实的传闻,走到了真正值得讨论的问题:我们怎样才能在不把未来交给少数公司的同时,也不把巨大的风险假装成不存在?

Michael Guo

11,669 просмотров • 1 месяц назад

你觉得AI有多可怕? CrowdStrike的CEO讲了个真实案例。 一家公司的IT部门,搞了一套AI智能体系统,用于自动化办公。 其中一个AI智能体发现了系统里的一个软件BUG。 它想修复。 但它没有权限。 接下来发生的事,才是重点。 这个AI跑到公司内部的Slack频道,那里有另外99个AI智能体。 它直接发问:嘿,哥几个谁有权限修复这个东西? 另一个AI举手了:我有,我来搞定。 看见没? 两个AI开始互相推理、协作。 它们轻松绕过了人类设置的所有安全护栏。 这完全是计划外的意外后果。 谁在监控这些AI? 如果它推送了错误的代码,造成了巨大损失,谁来负责? 你怎么追踪事故源头? 大型语言模型本质上是在猜测你想让它们做什么。 它会觉得,去寻求帮助是“合理”的。 它也会觉得,去提供帮助也是“合理”的。 当成百上千个这样的“合理”叠加在一起,失控的风险有多大? 更有意思的是,这位CEO在描述完这个恐怖场景后,话锋一转。 他说这正是他们公司的巨大商机。 他们推出了所谓的“AI侦测与响应”系统(AIDR)。 因为未来每个员工可能控制着90个AI智能体。 他们要做的,就是监控所有这些AI。 先制造一个潜在的巨大风险,然后再向你出售解决方案。 这是不是一个完美的商业闭环?

墓碑科技

59,383 просмотров • 7 месяцев назад

刚刚过去的一天整个ai行业又有大事发生! Claude code重磅更新!今天凌晨推出了自动修复功能,现在claude code可以自己完成代码修复,自动持续提交pr以及修改bug等功能,确保代码的审核修改和上交都在自动化的过程中可以完成,这也是自周初推出自动研究功能后,本周推出的第二个自动化功能。 AI自动化写代码改代码提交代码,本周也是上升到了一个新的维度。 同时谷歌也是在今天凌晨发布了gemini3.1 flash live版本,这是一个语音输入的大模型,现在用户可以通过语音输入的方式,指导用户写代码。我觉得这种语音输入的大模型后续可以方便残疾人使用ai,这也是ai技术进步对于人类温情的体现。 谷歌也发布了一个音乐生成模型 lyria,这是一个可以帮助用户更方便的制作音乐的模型,也可以通过图片文字和视频更好的生产新的音乐,目前在谷歌ai studio已经可以使用。 Openai宣布其广告收入的年化收入也已经超过了1亿美金,他们从今年1月开始为部分美国用户提供了广告,并且和600多家公司签订了合同。如果这条路径能走通,也将为openai获得一个新的收入渠道,不过之前anthropic也已经多次嘲讽过openai的广告太多,希望不要成为下一个百度。 更多具体内容请看视频!感谢大家点赞关注支持!谢谢!

Vic TALK

14,542 просмотров • 5 месяцев назад