Загрузка видео...

Не удалось загрузить видео

На главную

吴恩达开发出一种: 智能体物体检测模型 Agentic Object Detection 无需任何数据标注和模型训练,模型仅通过推理就能在图像中检测到目标物体并进行标记。 你只需提供一个提示(如“找出未成熟的草莓”),AI代理会进行推理后给出准确的检测结果。 类似于OpenAI的O1和DeepSeek R1的推理能力,不过花费时间会长一点,但是准确率更高。

52,203 просмотров • 1 год назад •via X (Twitter)

Комментарии: 9

Фото профиля 小互
小互1 год назад

与传统的大型多模态模型不同,代理性目标检测需要更多的推理时间,但能提供更高质量的结果。 尽管处理时间较长(约20-30秒),但这一方法在内部测试中已显著优于其他系统,且仍在不断改进中。 详细介绍及测评: 在线体验:

Фото профиля Fast Company
Fast Company1 год назад

“We want to enable AI adoption and unlock AI value by providing the guardrails that are necessary to adopting AI in the first place.” @CredoAI Head of Product Susannah Shattuck reveals how @Atlassian helps them streamline business processes and collaborate effectively. #ad

Фото профиля HeisenbergAI
HeisenbergAI1 год назад

功能不错 就是准确度有待提高

Фото профиля 1k1wfznj
1k1wfznj1 год назад

对于形状复杂的东西恐怕没法描述吧

Фото профиля Kevin Lin
Kevin Lin1 год назад

这个功能并不算很新鲜,一些我看到的相关工作👉CVPR 23的vipergpt就开始call multiple tools api for vision tasks. Grounding DINO/Set-of-mark支持带reasoning detection还可以连接GPT,最近的VSearch也用了iterative grounding(zoom-in)和double check(vqa)

Фото профиля quietred
quietred1 год назад

interesting

Фото профиля Su
Su1 год назад

所以好处就是你可以不用去采集大量的数据然后直接训练?提取图片里的每个特征,然后逐个去问推理模型这个特征是不是未成熟的草莓,这样当然会很慢啊,而且不够准确吧。

Фото профиля 小罗放
小罗放1 год назад

还行,切分画面的时候有点蠢

Фото профиля yzld2002
yzld20021 год назад

居然看到了自家公司的产品。。

Похожие видео

OpenAI 连续 12 天 AI 发布会:第十二天 —— 最新一代推理模型 o3 和 o3-mini 发布介绍 本视频是 OpenAI 12 天活动的最后一期,主要介绍了新一代推理模型 o3 和 o3-mini。主讲人包括 Sam Altman、Mark Chen、Hongyu Ren 以及特邀嘉宾 ARC Prize Foundation 主席 Greg Kamradt。 主要亮点 1. 新模型发布 - 发布两个新模型:o3 和 o3-mini - o3 是高性能推理模型,o3-mini 则在保持智能的同时优化了性能和成本 - 目前仅开放用于公共安全测试,预计一月底推出 o3-mini,随后推出 o3 2. o3 模型性能突破 - 在软件测试基准 SWE-bench Verified 上准确率达 71.7%,比 o1 提升 20% - 在 CodeForce 竞赛编程上达到 2727 ELO 分数 - AIME 数学竞赛准确率达 96.7%(o1 为 83.3%) - 在博士级科学问题基准 GPQA Diamond 上达到 87.7% - 在 ARC-AGI 测试上首次突破人类水平阈值(85%),达到 87.5% 3. o3-mini 特点与优势 - 支持三种推理努力级别:低、中、高 - 性能方面:中等推理时间下性能超过 o1 - 成本效益:以极小成本实现比 o1 更好的表现 - 支持功能调用、结构化输出等开发者功能 - 在 GPQA Diamond 上达到 62% 的分数 4. 安全策略创新 - 推出"审慎对齐"(Prudent Alignment)新技术 - 利用模型推理能力提升安全边界判断 - 显著改善了拒绝基准和过度拒绝指标 - 开放外部安全测试申请(截止至 1 月 10 日) 重要时间节点 - 安全测试申请截止:2024 年 1 月 10 日 - o3-mini 预计发布:2024 年 1 月底 - o3 完整版:将在 o3-mini 之后推出

宝玉

55,035 просмотров • 1 год назад

发现一个讲的很细的大语言模型微调教程,详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。 基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。 时间轴: 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示(T4 版本) 16:52 微调操作演示(A100 版本) 19:13 在 Hugging Face 上的保存与使用方法 文字版整理: ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning): 对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调: Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调: Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集: 准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置: 在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控: 在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择: 通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用: 微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型: 用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference): 在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,710 просмотров • 2 лет назад

GPT-4.5 重磅发布:天价算力背后的性能迷局,AI Scaling Law 到尽头了吗? 2025 年 2 月 27 日,OpenAI 正式发布了其迄今为止规模最大的 AI 模型——GPT-4.5(代号 Orion)。尽管 OpenAI 表示 GPT-4.5 是该公司有史以来算力和数据规模最大的模型,但这次的性能提升并未像此前 GPT 系列一样带来革命性的飞跃。不仅如此,GPT-4.5 高昂的运行成本和在一些关键基准测试上的表现差强人意,甚至让外界开始怀疑——AI 长期依赖的Scaling Law(规模定律),正在走向终点了吗? 巨型模型、巨额成本,但性能未如预期 此次 GPT-4.5 发布最引人注目的,莫过于其惊人的成本——每 100 万输入 token 收费 75 美元,输出 token 更高达 150 美元。这意味着 GPT-4.5 的成本是 OpenAI 自己广泛使用的主力模型 GPT-4o 的30 倍,更是竞争对手 Claude 3.7 Sonnet 的25 倍。 OpenAI 发言人承认,GPT-4.5 的运行成本之高,使得公司必须重新评估它未来是否适合长期开放 API。 如此巨额成本背后,GPT-4.5 的性能究竟如何呢? 性能迷雾:优势与劣势并存 尽管 OpenAI 将 GPT-4.5 定位为非推理模型(Non-Reasoning Model),但它的表现却出现了明显的两极分化。 ✅ 明确的性能提升领域: - 事实性问答 (SimpleQA) 基准测试中,GPT-4.5 优于 GPT-4o 和 OpenAI 的推理模型 o1 和 o3-mini,幻觉(hallucination)的频率也明显降低。 - 软件开发(SWE-Lancer) 测试中,GPT-4.5 表现优于 GPT-4o 和 o3-mini,在开发完整软件功能时具有更高的可靠性。 ❌ 性能不及预期的领域: - 在高难度的学术推理类测试(如 AIME 和 GPQA)中,GPT-4.5 表现低于竞争对手 Claude 3.7 Sonnet、DeepSeek R1 和 OpenAI 自家的推理模型 o3-mini。 性能对比之谜:成本 vs 性能提升 GPT-4.5 虽然在一些特定任务上确实表现出色,但考虑到成本的激增,性能并未出现对应比例的显著提升。特别是在需要深度推理的任务上,GPT-4.5 远不如更便宜的推理型模型 Claude 3.7 Sonnet 和 OpenAI 的深度推理模型 Deep Research。 Devin 公司 CEO Scott Wu 在推特上也指出,GPT-4.5 在涉及架构设计和跨系统交互的任务上表现突出,但在纯粹的代码编写和编辑任务上却逊色于 Claude 3.7 Sonnet。这种性能的细微差别进一步证明,单纯的扩大模型规模,可能已不能带来跨领域全面的性能跃升。 从性能到情感智能:“微妙的提升” OpenAI CEO Sam Altman 提到了 GPT-4.5 独特的魅力——它带来了以往模型所缺乏的“人性化”的感觉,虽然在数学、代码等硬核推理领域并不出彩,但在理解人类意图和情感回应方面达到了新的高度。 OpenAI 展示了一个情感交流的案例,当用户表示考试失败而难过时,GPT-4.5 给出的安慰更为贴心且符合社交情境:(图 4) 正如 Andrej Karpathy 所言:“每代 GPT 都是微妙的提升,一切都变得更好一点,但无法具体指出哪一项是绝对的突破。” Scaling Law 失效了吗? 此次 GPT-4.5 发布最令人关注的一点,在于它似乎验证了 AI 界早有预言的“规模定律的终结”。OpenAI 联合创始人 Ilya Sutskever 曾直言:“我们已经达到了数据的巅峰,传统的预训练方式即将终结。” GPT-4.5 的性能曲线证实了他的预测——随着模型规模继续扩大,其性能的提升不再显著,甚至出现了严重的成本与收益不成比例的现象。 市场也开始感受到这一趋势: > “DeepSeek R1:我们不再需要大量 GPU 进行预训练; OpenAI GPT-4.5:我们已到 GPU 预训练的尽头。” GPU 算力瓶颈已成新常态,甚至引发了 GPU 供不应求的现象,这背后反映的是产业链面对 AI 规模困境的真实反应。 GPT-4.5:AI 发展的分水岭? OpenAI 已明确表示 GPT-4.5 不会成为 GPT-4o 的替代品。相反,它更可能是 OpenAI 向 GPT-5 和未来结合推理模型路线的转折点,象征着公司逐渐告别单纯依赖大规模预训练的时代。 总结而言: GPT-4.5 展示了 AI 在预训练模式下的规模极限。 性价比问题凸显,纯规模化扩张已无法带来突破性进步。 情感智能提升明显,可能开启 AI 交互方式新趋势。 此次 GPT-4.5 的发布,或许正是 AI 发展道路上的重要里程碑——它提醒着我们,未来的 AI 模型,也许需要的不再只是更多的 GPU 和数据,而是对智能本质的更深入理解。 GPT-4.5 的登场,最终是否宣告 AI Scaling Law 的终结,仍有待时间检验。但毋庸置疑的是,AI 产业已站在变革的路口,传统的规模化预训练模式即将迎来一次深刻的反思与变革。

宝玉

80,020 просмотров • 1 год назад

白宫加密政策主管David Sacks: 四年内AI 大模型能力将增长一百万倍 ! “我认为目前至少在三个关键维度上,进步的速度都是指数级的。” “首先是算法本身。模型每年提升的速度大概是 3-4 倍。” “它们不仅仅是在速度和性能上更快更好,而且将从量变到质变。” “接着是推理模型。” “我们甚至还没有真正进入智能代理时代,但这将是继推理模型之后的下一个重大飞跃。” “在这个领域,我们才刚刚开始(推理算力增加带来的能力增加也将是倍数增长)。” “接下来是芯片。” “根据多种衡量标准,每一代芯片的性能可能比上一代提高 3-4 倍。” “不只是单个芯片在不断进步,他们还在研究如何将这些芯片联网在一起。” “就像 NVL72 系统,它类似于一个机架系统,可以在数据中心级别大幅提升性能。” “计算能力是第三个你会看到基本上呈指数级进步的领域。” “只需要看看数据中心中部署的 GPU 数量。” “当马斯克最初开始训练 Grok 时,我认为他们大概有 10 万块 GPU。现在已经有 30 万块 GPU,而且正朝着百万块 GPU的目标迈进。OpenAI 的数据中心 Stargate 也是同样的情况。” “在接下来的几年中,他们可能会发展到 500 万、1000 万块 GPU。” 1,000,000 倍的增长是怎么得出的: “算法、芯片和数据中心的扩展和改进速度都是每年 3-4 倍。” “也就是说,每两年进步 10 倍。” “很多人没有理解指数级进步的含义:如果每两年提升 10 倍,并不意味着四年后你只是提升 20 倍。” “这实际上意味着提升 100 倍。” “把这些因素相乘:算法、芯片,以及可用于 AI 的原始计算能力。” 100 倍模型 🧠 × 100 倍芯片 💾 × 100 倍计算能力 ⚡️ = 1,000,000 倍的 AI 大模型🤖 “你所谈论的就是 1,000,000 倍的能力增长。” “但这种变革的影响将是绝对巨大的。” “我觉得人们还没有充分认识到这一点,因为他们不了解指数级进步的意义。”

夜谈

25,895 просмотров • 1 год назад