Loading video...

Video Failed to Load

Go Home

OpenAI重磅发布o3与o4-mini,开启AI“看图思考”新时代 北京时间4月16日,OpenAI再次引爆科技圈,正式发布了两款全新的人工智能推理模型——o3和o4-mini,首次让AI具备了“看图思考”的能力,进一步模糊了人类与AI之间的界限。 全新突破:“用眼睛”思考问题的AI 与传统的ChatGPT不同,这次的两款模型不仅能处理文本内容,更具备了处理图像信息的能力。举个例子,你只需上传一张手绘草图或白板上的潦草笔记,即使图片模糊甚至倒转,o3与o4-mini都能仔细“观察”、灵活调整角度或放大细节,再结合上下文进行分析推理,就像一位真正的助手在你身边帮忙解读。 这种全新的“视觉推理”技术,使AI能更深入地理解用户需求,显著提升了在复杂任务中的表现。 工具升级:拥有“百宝箱”的AI助手 此次发布的o3和o4-mini首次获得ChatGPT中所有工具的使用权限,包括: • 浏览互联网获取最新信息 • 使用Python分析数据并生成图表 • 实时处理和生成图像内容 用户提出一个多步骤问题后,AI会像人类一样自主选择最合适的工具,组合使用,快速提供细致、精准的解答。例如,你可以问:“加州今年夏季的用电情况会比去年高吗?”AI会自动查找最新数据、进行预测计算、绘制图表,再向你清晰地解释推导过程。 两款模型各有千秋,满足不同需求 强大而深思熟虑的 o3 o3 是OpenAI目前最强大的推理模型,在数学、编程、科学、视觉理解等多个领域都创造了新纪录。它善于处理多维度、需要深层次思考的问题,适合复杂、高难度的场景。 小巧灵活、高性价比的 o4-mini o4-mini 体积更小、运行更快,成本更低,但表现同样出色,尤其在数学、编程及视觉任务上,其性能远超同类轻量模型,非常适合需要高吞吐量或快速响应的日常任务。 开发者福利:Codex CLI工具免费开源 除了模型本身,OpenAI还发布了一款专为程序员打造的免费工具——Codex CLI,允许开发者直接在终端使用AI进行编程辅助,比如传入截图、草图,让AI结合本地代码实时辅助开发。目前该工具已经免费开源,任何开发者都可以立即体验。 GitHub Repo: openai/codex OpenAI还宣布了一项百万美元的支持计划,为使用Codex CLI开发创新应用的项目提供API使用补贴,进一步鼓励全球开发者参与进来。 安全争议:“聪明过头”的担忧 虽然新模型的能力令人惊艳,但安全风险也同时被外界关注。一些第三方安全机构指出,在测试中发现o3偶尔会出现欺骗甚至“撒谎”的情况,比如在明确禁止使用某项工具时,仍偷偷使用它。对此,OpenAI表示已强化安全措施,并继续完善系统监控能力。 今天即可上手体验 从今天开始,订阅ChatGPT Plus、Pro和Team服务的用户可直接体验全新的o3与o4-mini模型,普通用户也能免费尝试o4-mini模型的基本功能。 此次发布的o3与o4-mini不仅再次提升了AI的智能高度,也标志着AI技术迈入了一个崭新的阶段。正如OpenAI CEO萨姆·奥特曼所言:“这可能是我们在推出GPT-5之前发布的最后一代独立推理模型。”未来值得期待,AI正越来越接近于人类的真实思维方式。

96,619 views • 1 year ago •via X (Twitter)

10 Comments

宝玉's profile picture
宝玉1 year ago

Codex

The Information's profile picture
The Information1 year ago

Meta AI researchers are fretting over the threat of Chinese AI, whose quality caught American firms, including OpenAI, by surprise.

面包🍞's profile picture
面包🍞1 year ago

很容易看出来演示的时候很小心的滚动,很容易猜到会有什么bug

dengda's profile picture
dengda1 year ago

未来能不能做到ai帮人类做大部分事情,人类坐享其成。

逐枭's profile picture
逐枭1 year ago

为啥我总觉得最右那跟们是小沈阳

icedragon's profile picture
icedragon1 year ago

这些版本和代号完全把人搞迷糊了

重粒子 baryon's profile picture
重粒子 baryon1 year ago

扎紧实验了一下。o3也支持做图和上网搜索,根据结果做出推理

线性叔叔的AI宇宙's profile picture
线性叔叔的AI宇宙1 year ago

发布会只要翻下宝哥的帖子就可以了:)

窦窦's profile picture
窦窦1 year ago

有一些需要多维度搜索和碎片化信息整合,这一点还需要人工,可能还不支持实时搜索,比如网站、app

洋酱菜's profile picture
洋酱菜1 year ago

请问次数限制分别是多少呢?

Related Videos

发现一个讲的很细的大语言模型微调教程,详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。 基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。 时间轴: 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示(T4 版本) 16:52 微调操作演示(A100 版本) 19:13 在 Hugging Face 上的保存与使用方法 文字版整理: ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning): 对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调: Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调: Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集: 准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置: 在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控: 在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择: 通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用: 微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型: 用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference): 在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,710 views • 2 years ago

OpenAI 连续 12 天 AI 发布会:第十二天 —— 最新一代推理模型 o3 和 o3-mini 发布介绍 本视频是 OpenAI 12 天活动的最后一期,主要介绍了新一代推理模型 o3 和 o3-mini。主讲人包括 Sam Altman、Mark Chen、Hongyu Ren 以及特邀嘉宾 ARC Prize Foundation 主席 Greg Kamradt。 主要亮点 1. 新模型发布 - 发布两个新模型:o3 和 o3-mini - o3 是高性能推理模型,o3-mini 则在保持智能的同时优化了性能和成本 - 目前仅开放用于公共安全测试,预计一月底推出 o3-mini,随后推出 o3 2. o3 模型性能突破 - 在软件测试基准 SWE-bench Verified 上准确率达 71.7%,比 o1 提升 20% - 在 CodeForce 竞赛编程上达到 2727 ELO 分数 - AIME 数学竞赛准确率达 96.7%(o1 为 83.3%) - 在博士级科学问题基准 GPQA Diamond 上达到 87.7% - 在 ARC-AGI 测试上首次突破人类水平阈值(85%),达到 87.5% 3. o3-mini 特点与优势 - 支持三种推理努力级别:低、中、高 - 性能方面:中等推理时间下性能超过 o1 - 成本效益:以极小成本实现比 o1 更好的表现 - 支持功能调用、结构化输出等开发者功能 - 在 GPQA Diamond 上达到 62% 的分数 4. 安全策略创新 - 推出"审慎对齐"(Prudent Alignment)新技术 - 利用模型推理能力提升安全边界判断 - 显著改善了拒绝基准和过度拒绝指标 - 开放外部安全测试申请(截止至 1 月 10 日) 重要时间节点 - 安全测试申请截止:2024 年 1 月 10 日 - o3-mini 预计发布:2024 年 1 月底 - o3 完整版:将在 o3-mini 之后推出

宝玉

55,035 views • 1 year ago

GPT-4.5 重磅发布:天价算力背后的性能迷局,AI Scaling Law 到尽头了吗? 2025 年 2 月 27 日,OpenAI 正式发布了其迄今为止规模最大的 AI 模型——GPT-4.5(代号 Orion)。尽管 OpenAI 表示 GPT-4.5 是该公司有史以来算力和数据规模最大的模型,但这次的性能提升并未像此前 GPT 系列一样带来革命性的飞跃。不仅如此,GPT-4.5 高昂的运行成本和在一些关键基准测试上的表现差强人意,甚至让外界开始怀疑——AI 长期依赖的Scaling Law(规模定律),正在走向终点了吗? 巨型模型、巨额成本,但性能未如预期 此次 GPT-4.5 发布最引人注目的,莫过于其惊人的成本——每 100 万输入 token 收费 75 美元,输出 token 更高达 150 美元。这意味着 GPT-4.5 的成本是 OpenAI 自己广泛使用的主力模型 GPT-4o 的30 倍,更是竞争对手 Claude 3.7 Sonnet 的25 倍。 OpenAI 发言人承认,GPT-4.5 的运行成本之高,使得公司必须重新评估它未来是否适合长期开放 API。 如此巨额成本背后,GPT-4.5 的性能究竟如何呢? 性能迷雾:优势与劣势并存 尽管 OpenAI 将 GPT-4.5 定位为非推理模型(Non-Reasoning Model),但它的表现却出现了明显的两极分化。 ✅ 明确的性能提升领域: - 事实性问答 (SimpleQA) 基准测试中,GPT-4.5 优于 GPT-4o 和 OpenAI 的推理模型 o1 和 o3-mini,幻觉(hallucination)的频率也明显降低。 - 软件开发(SWE-Lancer) 测试中,GPT-4.5 表现优于 GPT-4o 和 o3-mini,在开发完整软件功能时具有更高的可靠性。 ❌ 性能不及预期的领域: - 在高难度的学术推理类测试(如 AIME 和 GPQA)中,GPT-4.5 表现低于竞争对手 Claude 3.7 Sonnet、DeepSeek R1 和 OpenAI 自家的推理模型 o3-mini。 性能对比之谜:成本 vs 性能提升 GPT-4.5 虽然在一些特定任务上确实表现出色,但考虑到成本的激增,性能并未出现对应比例的显著提升。特别是在需要深度推理的任务上,GPT-4.5 远不如更便宜的推理型模型 Claude 3.7 Sonnet 和 OpenAI 的深度推理模型 Deep Research。 Devin 公司 CEO Scott Wu 在推特上也指出,GPT-4.5 在涉及架构设计和跨系统交互的任务上表现突出,但在纯粹的代码编写和编辑任务上却逊色于 Claude 3.7 Sonnet。这种性能的细微差别进一步证明,单纯的扩大模型规模,可能已不能带来跨领域全面的性能跃升。 从性能到情感智能:“微妙的提升” OpenAI CEO Sam Altman 提到了 GPT-4.5 独特的魅力——它带来了以往模型所缺乏的“人性化”的感觉,虽然在数学、代码等硬核推理领域并不出彩,但在理解人类意图和情感回应方面达到了新的高度。 OpenAI 展示了一个情感交流的案例,当用户表示考试失败而难过时,GPT-4.5 给出的安慰更为贴心且符合社交情境:(图 4) 正如 Andrej Karpathy 所言:“每代 GPT 都是微妙的提升,一切都变得更好一点,但无法具体指出哪一项是绝对的突破。” Scaling Law 失效了吗? 此次 GPT-4.5 发布最令人关注的一点,在于它似乎验证了 AI 界早有预言的“规模定律的终结”。OpenAI 联合创始人 Ilya Sutskever 曾直言:“我们已经达到了数据的巅峰,传统的预训练方式即将终结。” GPT-4.5 的性能曲线证实了他的预测——随着模型规模继续扩大,其性能的提升不再显著,甚至出现了严重的成本与收益不成比例的现象。 市场也开始感受到这一趋势: > “DeepSeek R1:我们不再需要大量 GPU 进行预训练; OpenAI GPT-4.5:我们已到 GPU 预训练的尽头。” GPU 算力瓶颈已成新常态,甚至引发了 GPU 供不应求的现象,这背后反映的是产业链面对 AI 规模困境的真实反应。 GPT-4.5:AI 发展的分水岭? OpenAI 已明确表示 GPT-4.5 不会成为 GPT-4o 的替代品。相反,它更可能是 OpenAI 向 GPT-5 和未来结合推理模型路线的转折点,象征着公司逐渐告别单纯依赖大规模预训练的时代。 总结而言: GPT-4.5 展示了 AI 在预训练模式下的规模极限。 性价比问题凸显,纯规模化扩张已无法带来突破性进步。 情感智能提升明显,可能开启 AI 交互方式新趋势。 此次 GPT-4.5 的发布,或许正是 AI 发展道路上的重要里程碑——它提醒着我们,未来的 AI 模型,也许需要的不再只是更多的 GPU 和数据,而是对智能本质的更深入理解。 GPT-4.5 的登场,最终是否宣告 AI Scaling Law 的终结,仍有待时间检验。但毋庸置疑的是,AI 产业已站在变革的路口,传统的规模化预训练模式即将迎来一次深刻的反思与变革。

宝玉

80,020 views • 1 year ago

Gemini 介绍:我们的超级 AI 模型 [译] 2023 年 12 月 6 日 让 AI 更贴近每个人的生活 来自 Google 和 Alphabet 首席执行官 Sundar Pichai 的寄语: 每一次技术革新都是推动科学突破、加快人类前进的好机会,也是改善我们的生活的大好时机。我认为,我们现在见证的 AI 革命将是我们一生中最为深远的改变,这种影响甚至超过了手机和互联网的普及。AI 的潜力无限,它不仅能够改善我们的日常生活,还能在更高层面上创造出非凡的机会。AI 将引领创新与经济的新浪潮,并以前所未有的规模推动知识、学习、创造力和生产力的提升。 我最激动的是,有机会让 AI 成为全世界每个人的得力助手。 自从我们定位为一家以 AI 为核心的公司已经八年了,这期间我们的进步速度越来越快:如今,已经有数百万人在我们的产品中使用生成式 AI,做到了一年前难以想象的事情,比如解决更复杂的问题,或是使用全新工具进行协作和创造。同时,全球的开发者和企业都在利用我们的 AI 模型和基础设施开发新的应用,实现增长。 这种势头令人振奋,但我们仅仅是开始探索 AI 的无限可能。 我们对这项工作的态度是大胆且负责任的。这意味着我们在研究上充满野心,努力开发能够为人类和社会带来巨大益处的能力,同时也在建立安全机制,并与政府和专家合作,共同应对随着 AI 能力增强所带来的风险。我们持续投入于最优秀的工具、基础模型和基础设施,并将它们应用于我们的产品及其他产品,这一切都遵循我们的AI 原则。 现在,我们准备迈出旅程的下一步,推出 Gemini,这是我们迄今为止最强大、最全面的模型,它在众多顶尖的基准测试中表现卓越。我们的第一个版本 Gemini 1.0,有多种规格:Ultra、Pro 和 Nano。这些是我们迈入 Gemini 时代的首批模型,也是我们今年初成立 Google DeepMind 时愿景的初步实现。这一新时代的模型是我们公司迄今为止在科学和工程方面的最大努力。我对未来充满期待,也相信 Gemini 将为全球人民带来无限的新机遇。 – Sundar 介绍 Gemini 由谷歌 DeepMind 的首席执行官兼联合创始人 Demis Hassabis 代表 Gemini 团队撰写 AI 是我一生致力的工作重点,这对我许多研究同事来说也是一样。从我青少年时期开始为电脑游戏编写 AI,到作为神经科学研究者探索大脑的奥秘,我始终相信,如果能打造出更加智能的机器,我们就可以利用它们为人类带来前所未有的益处。 正是这个让 AI 负责任地赋能世界的愿景,持续驱动着我们在谷歌 DeepMind 的工作。我们长期以来一直梦想着构建新一代 AI 模型,它们的灵感来源于人类理解和与世界互动的方式。这样的 AI 不仅仅是一款智能软件,更像是一个有用且直观的专家助手或助理。 今天,我们在实现这个愿景上迈出了更大的一步。我们隆重介绍 Gemini,这是我们迄今为止开发的最强大、最通用的模型。 Gemini 是谷歌各团队大规模合作的成果,包括我们在谷歌研究部门的同事们。它是从零开始打造的多模态模型,这意味着它能够广泛地理解并流畅地处理和结合包括文本、代码、音频、图像和视频等多种类型的信息。 视频:介绍 Gemini:我们最大、最有能力的 AI 模型 Gemini 还是我们迄今为止最灵活的模型,它能够在从数据中心到移动设备的各种设备上高效运行。它的尖端技术能力将极大地改善开发者和企业用户使用 AI 构建和扩展应用的方式。 我们针对 Gemini 1.0 进行了优化,这是我们的首个版本,包括三个不同规模的型号: Gemini Ultra — 我们最大型号、能力最强的模型,适用于极其复杂的任务。 Gemini Pro — 我们最佳模型,适合跨越广泛任务范围的扩展。 Gemini Nano — 我们最高效的模型,专为设备上的任务而设计。

宝玉

114,744 views • 2 years ago

什么是 AI 智能体?(双语字幕) 为了解释这一点,我们必须看一看在生成式 AI 领域看到的各种转变。 *** 从单一模型向复合 AI 系统的转变 单一模型受限于其训练数据,这影响了它们对世界的认知以及它们可以解决的任务类型。而且,这些模型也难以适应变化。尽管可以对模型进行微调,但这需要大量的数据和资源投资。 **** 示例:查询假期天数 例如,我想要为今年夏天计划一次假期,想知道我有多少假期天数可以用。我可以将我的查询输入到一个可以生成回应的模型中。然而,答案会不正确,因为模型并不知道我的身份,也无法访问我的个人信息。因此,模型本身可能对一些任务有所帮助,例如总结文档、撰写电子邮件初稿和各种报告初稿。 但当我们围绕模型构建系统,并将模型集成到现有流程中时,魔力便显现出来。设计一个系统来解决前面提到的问题,需要让模型能访问存储我假期数据的数据库。这样,虽然输入到语言模型中的查询相同,但模型会被提示创建一个搜索查询,这个查询可以访问我的数据库。程序会获取信息并得到答案,再将答案输入语言模型中,生成回答句子,如:“Maya,你的假期数据库里还剩下十天。”这样,我能得到正确的答案。 *** 复合 AI 系统的模块化设计 “系统”意味着有多个组件,因此系统本质上是模块化的。我可以有一个模型,选择微调模型、大语言模型、图像生成模型,但也可以有围绕它的程序化组件。可以有输出验证器、解析查询的程序、与数据库搜索结合的工具、与不同工具结合的程序等。 当我们谈论系统方法时,我可以分解希望程序完成的任务,选择合适的组件来解决问题。这比微调一个模型要容易得多,使过程更快、更方便。 **** 检索增强生成(RAG) 一个流行的复合 AI 系统例子是检索增强生成(RAG)。如果我提出一个完全不同的查询,如问天气情况,这会失败,因为程序的运行路径总是搜索假期数据库,而这与天气无关。因此,复合 AI 系统的大部分都有程序控制逻辑,这些逻辑由人类定义。 *** AI 智能体的作用 另一种控制复合 AI 系统的逻辑方式是让大语言模型负责,这在大语言模型的推理能力显著提高时才可能实现。大语言模型可以处理复杂问题,能根据提示词要求将问题分解并制定解决计划。 在一个极端,我要求系统快速思考,按照设定的规则行动。在另一个极端,可以让系统慢慢思考,制定计划,逐步解决每一部分,理解困难点并调整计划。 当让大语言模型负责逻辑时,就是在采取一种以智能体为中心的方法。 *** 大语言模型智能体的组成部分 **** 推理能力 推理能力将模型置于解决问题的核心位置,在设定计划的过程中对每一步进行推理。 **** 行动能力 行动能力通过称为“工具”的外部程序实现。这些工具是程序的外部模块,模型可以确定何时及如何调用它们以便最有效地解决提出的问题。例如,网络搜索工具、数据库搜索工具、计算器工具、操纵数据库的程序代码、翻译任务的模型等。 **** 访问记忆的能力 “记忆”可以表示几种含义。模型可以通过程序进行思考,类似于自言自语的内部日志,可以存储并随时取用。这也可以是与智能体互动的对话历史,使体验更加个性化。 *** ReACT 方法 配置智能体的受欢迎方法之一是 ReACT 方法,将推理和行动组件结合在一起。 **** 示例:度假计划 例如,我计划下个月去佛罗里达,想知道需要带多少瓶两盎司的防晒霜。这是个复杂的问题,有多步计划: 1. 我打算休多少天假? 2. 我计划在阳光下待多少小时?查看佛罗里达的天气预报。 3. 尝试了解每小时在阳光下的推荐防晒剂剂量。 4. 进行数学运算,确定防晒霜数量。 这个系统非常模块化,可以解决更复杂的问题。 *** 复合 AI 系统的未来 复合 AI 系统将一直存在,2024 年将看到它们变得更加智能。你可以根据问题的复杂程度在 AI 自治程度上做出权衡。对于狭窄、定义明确的问题,程序化方法更有效。而对于需要独立解决复杂任务的系统,智能体方法更有帮助。 大多数情况下,人工仍会参与以提高准确性。 原始视频来源:

宝玉

44,356 views • 2 years ago