Загрузка видео...

Не удалось загрузить видео

Возникла проблема при загрузке этого видео. Это может быть связано с временными проблемами сети или видео может быть недоступно.

На главную

🚀太强了！Claude Code 现在可以控制 Workflow 的规模了。目前一共有 4 个选项： unrestricted：不限制规模，由 Claude 根据任务复杂度自行决定 small：少于 5 个 Agent medium：少于 15 个 Agent，也是默认选项 large：少于 50 个 Agent 需要注意的是，这些更像是“规模建议”，而不是硬性上限。如果你的 Prompt 明确要求使用不同数量的 Agent，Claude 仍然可能覆盖当前设置，采用更适合任务的规模。对于担心 Workflow 开太多 Agent、消耗过高，或者想控制执行复杂度的人来说，这个功能非常实用。 #ClaudeCode #Workflows

AI超元域

3,955 subscribers

15,061 просмотров • 1 месяц назад •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

肝了几天,来回打磨了快 30 遍, 一次性把最新的 Claude Code 的 Workflow 给你完全拆解清楚有人说它的伟大程度,不亚于 MCP 和 Skill。第一眼我是不信的,直到拆开看它内部怎么跑：这不是"问一句答一句"的对话,而是一个能自己跑起来的任务系统:后台持续执行、可监控、可保存进度, 还能一口气派出几十上百个 agent 分头干活/合并汇总。核心就三个角色: Claude 拆任务、定计划; Runtime 管调度和状态; 每个 agent 只啃一个子任务,配上并发池和队列,有节奏地推进。它代表的是一种新的工程编排方式:智能负责规划,Runtime 负责执行,状态独立保存,模型按需调度。最反直觉的一点:它能扩展到上百个 agent,靠的不是模型变强,而是"状态外置"—中间结果全交给执行系统保存,主上下文只看摘要和关键判断。这才是复杂任务能跑稳的真正原因。这条视频直接给了你把它搬进自己系统的方法: 先用 Claude Code 做高质量规划、拆任务定阶段; 再把 workflow 转成自己的执行格式,按任务难度路由到不同模型池，简单的走便宜模型，复杂的才上高阶模型。这条视频,值得反复看几遍👇

肝了几天,来回打磨了快 30 遍, 一次性把最新的 Claude Code 的 Workflow 给你完全拆解清楚有人说它的伟大程度,不亚于 MCP 和 Skill。第一眼我是不信的,直到拆开看它内部怎么跑：这不是"问一句答一句"的对话,而是一个能自己跑起来的任务系统:后台持续执行、可监控、可保存进度, 还能一口气派出几十上百个 agent 分头干活/合并汇总。核心就三个角色: Claude 拆任务、定计划; Runtime 管调度和状态; 每个 agent 只啃一个子任务,配上并发池和队列,有节奏地推进。它代表的是一种新的工程编排方式:智能负责规划,Runtime 负责执行,状态独立保存,模型按需调度。最反直觉的一点:它能扩展到上百个 agent,靠的不是模型变强,而是"状态外置"—中间结果全交给执行系统保存,主上下文只看摘要和关键判断。这才是复杂任务能跑稳的真正原因。这条视频直接给了你把它搬进自己系统的方法: 先用 Claude Code 做高质量规划、拆任务定阶段; 再把 workflow 转成自己的执行格式,按任务难度路由到不同模型池，简单的走便宜模型，复杂的才上高阶模型。这条视频,值得反复看几遍👇

huangserva

143,271 просмотров • 3 месяцев назад

感觉跟 Alma 的 Agent Crew 功能差不多，Alma 提供了一些内置的 Agent，同时用户也可以添加 Custom Agent。每个 Agent 都可以指定： 1. 不同的模型/ACP 2. 不同的视角 3. 不同的工具遇到复杂任务时，系统会自动使用 Agent Crew 拆分和分发给不同的 Agent 去完成整个任务。

感觉跟 Alma 的 Agent Crew 功能差不多，Alma 提供了一些内置的 Agent，同时用户也可以添加 Custom Agent。每个 Agent 都可以指定： 1. 不同的模型/ACP 2. 不同的视角 3. 不同的工具遇到复杂任务时，系统会自动使用 Agent Crew 拆分和分发给不同的 Agent 去完成整个任务。

yetone

22,177 просмотров • 5 месяцев назад

开源一个我自用的OpenClaw控制中心！可以一个面板： - 看哪些任务烧了多少 token(百分比) - 看整个 OpenClaw 现在健不健康 - 看每个 Agent 现在在干嘛，有没有卡住 - 看每个 Agent 用的模型、目录、权限 - 直接查看和修改 Agent 的记忆，人设、任务文档 - 看定时任务和心跳任务有没有正常在跑项目地址：

开源一个我自用的OpenClaw控制中心！可以一个面板： - 看哪些任务烧了多少 token(百分比) - 看整个 OpenClaw 现在健不健康 - 看每个 Agent 现在在干嘛，有没有卡住 - 看每个 Agent 用的模型、目录、权限 - 直接查看和修改 Agent 的记忆，人设、任务文档 - 看定时任务和心跳任务有没有正常在跑项目地址：

木子不写代码

368,288 просмотров • 6 месяцев назад

给大家带来 MiniMax-M3 实测! 本次测试包含了复杂前端, 后端 Agentic Coding, Agent 能力测试, 以及我的使用经验总结. 来看结论: 前端能力上, 可以完全适配 KCORES2026p2 的前端测试题目, 无论是空间理解, 建模精确度, 场景美学都十分在线, 其中我最满意的是美学部分, 它的颜色运用非常好. 不足的地方主要体现在复杂需求不能一次性写对(比如光追引擎), 需要迭代一下就可以了. 后端能力测试这次也是突飞猛进, 得分超过了 deepseek-v4-pro 和其他一众国产大模型, 略逊于 GPT-5.4-Pro(xhigh). Agent 能力上表现同样亮眼, 达成了榜单第二的接单量, 证明它的规划能力特别强。下面是我在测试和实际使用中, 总结出来的 M3 使用经验, 供大家参考: 我的体感是 M3 特别喜欢推理, 它可以单次执行超长的推理. 在咱们的这些前端测试中, 它最长的输出甚至达到了我规定的 64k token上限, 所以, 不要上来就写一个超级复杂的 prompt 让它执行, 而是需要先把需求形成 plan, 然后让 agent 蜂群去执行, 这样才能得到理想的效果, 所以 M3 先天适合放在带 plan 模式的 Coding Agent 中使用. 如果把它嵌入到 Agent 框架中使用, 那么 prompt 编排就一定要做好, 不要一股脑把大量的 tool call 或者超大的 system prompt 丢给它. 还是需要下功夫好好编排一下的. 本次 M3 相比之前的 2.7 版本有了大幅度的提升, 模型偏好上来看, M3 是一个规划能力极强的模型, 所以特别适合用在一些规划性质的 Agent 框架中, 比如任务拆分, 日程管理, 流程设计等. 而本次暴露出来的不足则是执行过程中约束不够强, 比如 prompt 中设置的复杂规则, 一定要增加代码级别的 harness 闭环流程来进行约束, 而不能只靠模型本身来管理自己的行为. #minimaxm3 #minimax #agenticcoding #aiagent #harness

给大家带来 MiniMax-M3 实测! 本次测试包含了复杂前端, 后端 Agentic Coding, Agent 能力测试, 以及我的使用经验总结. 来看结论: 前端能力上, 可以完全适配 KCORES2026p2 的前端测试题目, 无论是空间理解, 建模精确度, 场景美学都十分在线, 其中我最满意的是美学部分, 它的颜色运用非常好. 不足的地方主要体现在复杂需求不能一次性写对(比如光追引擎), 需要迭代一下就可以了. 后端能力测试这次也是突飞猛进, 得分超过了 deepseek-v4-pro 和其他一众国产大模型, 略逊于 GPT-5.4-Pro(xhigh). Agent 能力上表现同样亮眼, 达成了榜单第二的接单量, 证明它的规划能力特别强。下面是我在测试和实际使用中, 总结出来的 M3 使用经验, 供大家参考: 我的体感是 M3 特别喜欢推理, 它可以单次执行超长的推理. 在咱们的这些前端测试中, 它最长的输出甚至达到了我规定的 64k token上限, 所以, 不要上来就写一个超级复杂的 prompt 让它执行, 而是需要先把需求形成 plan, 然后让 agent 蜂群去执行, 这样才能得到理想的效果, 所以 M3 先天适合放在带 plan 模式的 Coding Agent 中使用. 如果把它嵌入到 Agent 框架中使用, 那么 prompt 编排就一定要做好, 不要一股脑把大量的 tool call 或者超大的 system prompt 丢给它. 还是需要下功夫好好编排一下的. 本次 M3 相比之前的 2.7 版本有了大幅度的提升, 模型偏好上来看, M3 是一个规划能力极强的模型, 所以特别适合用在一些规划性质的 Agent 框架中, 比如任务拆分, 日程管理, 流程设计等. 而本次暴露出来的不足则是执行过程中约束不够强, 比如 prompt 中设置的复杂规则, 一定要增加代码级别的 harness 闭环流程来进行约束, 而不能只靠模型本身来管理自己的行为. #minimaxm3 #minimax #agenticcoding #aiagent #harness

karminski-牙医

18,950 просмотров • 3 месяцев назад

真心建议每个程序员都去手搓一个自用的 Coding Agent。纯靠写 Prompt 糊文本做 Skill，观测性太差了，你根本摸不到 harness 模型的上限在哪。缺乏 Agent 的状态流转做约束，复杂任务根本控不住。最近用 AI 搓了个 mini 版的 Claude Code，对 Agent 的理解稍微升了点。 PS: 我经常从 Gemini / GPT-5.4 蒸馏 SOP Skill，再下放给 MiniMax (official) 模型来跑任务. 建议可以考虑试试.

真心建议每个程序员都去手搓一个自用的 Coding Agent。纯靠写 Prompt 糊文本做 Skill，观测性太差了，你根本摸不到 harness 模型的上限在哪。缺乏 Agent 的状态流转做约束，复杂任务根本控不住。最近用 AI 搓了个 mini 版的 Claude Code，对 Agent 的理解稍微升了点。 PS: 我经常从 Gemini / GPT-5.4 蒸馏 SOP Skill，再下放给 MiniMax (official) 模型来跑任务. 建议可以考虑试试.

海拉鲁编程客

151,067 просмотров • 5 месяцев назад

偶然看到一个挺实用的开源项目：Agent Watch，在手表上远程控制 Claude Code。在用 Claude Code 写代码时，经常遇到权限需要确认，如果我们离开了座位，在健身或走在路上。有这个项目，就能在手表上实时查看终端输出，遇到权限请求直接点击批准或拒绝。还能通过语音口述给 Claude 发指令，全程不用碰电脑，还是挺实用的。 GitHub：经常用 Claude Code 跑长任务，又不想一直守在电脑前盯着，想要戴着手表随时掌控进度，这个项目可以安装试试。

偶然看到一个挺实用的开源项目：Agent Watch，在手表上远程控制 Claude Code。在用 Claude Code 写代码时，经常遇到权限需要确认，如果我们离开了座位，在健身或走在路上。有这个项目，就能在手表上实时查看终端输出，遇到权限请求直接点击批准或拒绝。还能通过语音口述给 Claude 发指令，全程不用碰电脑，还是挺实用的。 GitHub：经常用 Claude Code 跑长任务，又不想一直守在电脑前盯着，想要戴着手表随时掌控进度，这个项目可以安装试试。

GitHubDaily

13,818 просмотров • 5 месяцев назад

推荐关注一下 BabelCloud 项目，也是一个类似于 Devin 的 AI 开发工程师，能独立完成相对复杂的前后端项目。从演示视频可以看出：它能将复杂的任务分解成合适的功能模块；它能对每一个模块进行测试和验证，对于遇到的错误能自动修复或者需求人类帮助；它能完成没有训练过的任务：实现一个最新发布的Claude 3的API请求；它能完成相对复杂的项目，一个比较完整的后台管理；它在执行过程中能和人互动，例如寻求帮助；它能基于项目增加新的需求（这个其实有点挑战，但我怀疑它需要很多元数据辅助完成）它有个工作平台直观看到结果项目作者：Hailong Zhang

推荐关注一下 BabelCloud 项目，也是一个类似于 Devin 的 AI 开发工程师，能独立完成相对复杂的前后端项目。从演示视频可以看出：它能将复杂的任务分解成合适的功能模块；它能对每一个模块进行测试和验证，对于遇到的错误能自动修复或者需求人类帮助；它能完成没有训练过的任务：实现一个最新发布的Claude 3的API请求；它能完成相对复杂的项目，一个比较完整的后台管理；它在执行过程中能和人互动，例如寻求帮助；它能基于项目增加新的需求（这个其实有点挑战，但我怀疑它需要很多元数据辅助完成）它有个工作平台直观看到结果项目作者：Hailong Zhang

宝玉

30,089 просмотров • 2 лет назад

经常用 Codex、Claude Code 做网页自动化？试试 ego-lite。不是 Playwright 那种另开浏览器，而是你和 Agent 共用一个浏览器：各干各的，互不抢标签页。登录态、Cookie、扩展直接继承，不用反复登录。每个 Agent 有独立 Spaces，支持并行跑多个任务。用 JS 调用，复杂任务最高快 2.5 倍，Token 更少。支持 Codex、Claude Code、Cursor 等。目前 Mac 可用，Win/Linux 在规划。适合操作需要登录的后台、CRM、社媒等。

经常用 Codex、Claude Code 做网页自动化？试试 ego-lite。不是 Playwright 那种另开浏览器，而是你和 Agent 共用一个浏览器：各干各的，互不抢标签页。登录态、Cookie、扩展直接继承，不用反复登录。每个 Agent 有独立 Spaces，支持并行跑多个任务。用 JS 调用，复杂任务最高快 2.5 倍，Token 更少。支持 Codex、Claude Code、Cursor 等。目前 Mac 可用，Win/Linux 在规划。适合操作需要登录的后台、CRM、社媒等。

开发者Hailey

13,199 просмотров • 1 месяц назад

深度使用ox alpha，用了1Btoken ，这其中有一部分做了一个游戏我的评价是可以散了，这个模型不能用来生产，如果你有Grok 4.6、K3级别的模型，不需要用这个模型请大家欣赏用ox alpha + 多workflow agent做了一天半的游戏：

深度使用ox alpha，用了1Btoken ，这其中有一部分做了一个游戏我的评价是可以散了，这个模型不能用来生产，如果你有Grok 4.6、K3级别的模型，不需要用这个模型请大家欣赏用ox alpha + 多workflow agent做了一天半的游戏：

lifcc

25,326 просмотров • 24 дней назад

最近看到一个很值得研究的开源项目：learn-claude-code。它不是在教你怎么堆 prompt、连工作流、搭节点图，而是在教你一件更底层的事：怎么从 0 到 1 搭一个类 Claude Code 的 agent harness。这个项目最有意思的观点是：真正的 Agent 是模型本身，外面的代码只是 harness。所以它讨论的重点，不是“怎么把流程编排得更复杂”，而是怎么给模型准备一个真正能工作的环境。 README 里把 harness 拆成了： Tools Knowledge Observation Action Interfaces Permissions 也就是工具、知识、观察、动作接口和权限边界。说白了，模型负责思考， harness 负责让它看见世界、调用工具、执行动作。我觉得这个视角很重要。因为很多人现在做 Agent，还停留在“拼工作流”和“堆胶水代码”的阶段。但真正决定 Agent 能不能跑起来的，往往是你给它什么环境，而不是你给它多少层 prompt。这个项目现在 GitHub 已经有 36k Stars、5.8k Forks。如果你在关注 AI Agent、Claude Code，或者 agent engineering，这个项目很值得看看。👇

最近看到一个很值得研究的开源项目：learn-claude-code。它不是在教你怎么堆 prompt、连工作流、搭节点图，而是在教你一件更底层的事：怎么从 0 到 1 搭一个类 Claude Code 的 agent harness。这个项目最有意思的观点是：真正的 Agent 是模型本身，外面的代码只是 harness。所以它讨论的重点，不是“怎么把流程编排得更复杂”，而是怎么给模型准备一个真正能工作的环境。 README 里把 harness 拆成了： Tools Knowledge Observation Action Interfaces Permissions 也就是工具、知识、观察、动作接口和权限边界。说白了，模型负责思考， harness 负责让它看见世界、调用工具、执行动作。我觉得这个视角很重要。因为很多人现在做 Agent，还停留在“拼工作流”和“堆胶水代码”的阶段。但真正决定 Agent 能不能跑起来的，往往是你给它什么环境，而不是你给它多少层 prompt。这个项目现在 GitHub 已经有 36k Stars、5.8k Forks。如果你在关注 AI Agent、Claude Code，或者 agent engineering，这个项目很值得看看。👇

axiaisacat

44,334 просмотров • 5 месяцев назад

✨ 发布 Devv Agent Devv Agent 可以提供更准确、更详细的回答，它会理解你的需求，并分解任务，最终输出一个详尽的答案。 Devv Agent 底层基于的是 Multi-agent 的架构，根据不同的需求场景，会采用不同的 Agent 和语言模型。 👇

✨ 发布 Devv Agent Devv Agent 可以提供更准确、更详细的回答，它会理解你的需求，并分解任务，最终输出一个详尽的答案。 Devv Agent 底层基于的是 Multi-agent 的架构，根据不同的需求场景，会采用不同的 Agent 和语言模型。 👇

Jiayuan (JY) Zhang

144,340 просмотров • 2 лет назад

$🚀Anthropic 悄无声息地推出了一项功能：Agent Teams 让 Claude 在 Claude code 内构建自己的 AI 代理团队! 该功能改变了传统的上下级 AI 架构，允许 Claude 构建一个同级代理团队。这些代理可以共享任务列表、直接互相发送消息并审查彼此的工作，实现类似于真人团队的协作模式。在演示中，一个由 QA 工程师、前端开发者和后端开发者组成的 3 人团队展示了这一能力。 QA 代理发现 3 个错误后，直接向前后端开发者发送反馈。开发者修复问题后，应用程序在一轮测试中即成功上线。该功能在 Claude Code v2.1.32 及更高版本中可用。以下是开启方法与运行规则： 1. 启用方法确保版本符合要求。在 settings.json 中添加以下配置： "env": { "CLAUDE_CODE_EXPERIMENTAL_AGENT_TEAMS": "1" } 或者将此内容粘贴给 Claude 并说明“添加到我的设置中”，随后重启。 2. 提示词设定使用纯英文进行提示。开始时需要设定一个明确的目标（代理启动时没有上下文）。提示词示例："使用 Sonnet 创建一个 3 人团队"，并详细描述每个角色的职责、交付物以及完成后需要联系的下一个代理。 3. 运行规则 - 每个代理拥有自己的独立文件。 - 必须定义确切的输出。 - 指定明确的通信链路（谁与谁交谈）。 - 团队规模建议保持在 3-5 个代理。 4. 适用场景与限制该功能适用于有独立部分且可以并行运行的复杂工作。对于简单或顺序任务，不建议使用该功能，因为团队协作会消耗 3-4 倍的 Token。$

🚀Anthropic 悄无声息地推出了一项功能：Agent Teams 让 Claude 在 Claude code 内构建自己的 AI 代理团队! 该功能改变了传统的上下级 AI 架构，允许 Claude 构建一个同级代理团队。这些代理可以共享任务列表、直接互相发送消息并审查彼此的工作，实现类似于真人团队的协作模式。在演示中，一个由 QA 工程师、前端开发者和后端开发者组成的 3 人团队展示了这一能力。 QA 代理发现 3 个错误后，直接向前后端开发者发送反馈。开发者修复问题后，应用程序在一轮测试中即成功上线。该功能在 Claude Code v2.1.32 及更高版本中可用。以下是开启方法与运行规则： 1. 启用方法确保版本符合要求。在 settings.json 中添加以下配置： "env": { "CLAUDE_CODE_EXPERIMENTAL_AGENT_TEAMS": "1" } 或者将此内容粘贴给 Claude 并说明“添加到我的设置中”，随后重启。 2. 提示词设定使用纯英文进行提示。开始时需要设定一个明确的目标（代理启动时没有上下文）。提示词示例："使用 Sonnet 创建一个 3 人团队"，并详细描述每个角色的职责、交付物以及完成后需要联系的下一个代理。 3. 运行规则 - 每个代理拥有自己的独立文件。 - 必须定义确切的输出。 - 指定明确的通信链路（谁与谁交谈）。 - 团队规模建议保持在 3-5 个代理。 4. 适用场景与限制该功能适用于有独立部分且可以并行运行的复杂工作。对于简单或顺序任务，不建议使用该功能，因为团队协作会消耗 3-4 倍的 Token。

Lonely

19,888 просмотров • 3 месяцев назад

一位中国教授最近公开了他的开发团队配置。不是人类员工，而是 170 个 AI Agent。这些 Agent 负责处理公司的各项决策和开发任务。不用睡觉，不需要涨薪，170 个智能体并行工作。看视频里的网络结构，应该是这些 Agent 之间的协作和决策链路。这种全 Agent 化的管理模式，可能是个新趋势。对于想降低人力成本、提高并行处理能力的团队来说，很有参考价值。

一位中国教授最近公开了他的开发团队配置。不是人类员工，而是 170 个 AI Agent。这些 Agent 负责处理公司的各项决策和开发任务。不用睡觉，不需要涨薪，170 个智能体并行工作。看视频里的网络结构，应该是这些 Agent 之间的协作和决策链路。这种全 Agent 化的管理模式，可能是个新趋势。对于想降低人力成本、提高并行处理能力的团队来说，很有参考价值。

Vincent

35,957 просмотров • 3 месяцев назад

蚂蚁百灵刚刚发布了 Ling-3.0-flash：一个AI 执行层的关键拼图刚刚看到 Ling-3.0-flash 正式发布，我觉得这款模型值得认真关注。原因很简单：在 AI 工程越来越深入到实际业务的今天，大家早就不满足于模型“会不会想”了，更关键的是它“能不能持续做”。尤其是在 Agent 工作流中，需要高频调用工具、迭代代码、处理长程任务时，一个响应快、执行稳的执行引擎成了刚需。Ling-3.0-flash 的出现，正好瞄准了这个缺口。 1. Agent 的执行层从我的角度看，它最聪明的一点是没有去硬拼超大模型的深度推理能力，而是把自己定位成一个高速执行引擎——负责把已经规划好的任务快速落地。这在实际应用中特别实用，比如当大模型把方案设计好之后，剩下的代码生成、工具调用、批量处理就需要一个既快又稳的模型来接手。 2. 为什么它能兼顾速度和成本技术细节上，它采用 124B 参数的 MoE 架构，但实际激活参数约 5.1B，在推理速度和运行成本之间找平衡。它还支持混合推理模式：简单任务可以关闭 Reasoning，降低延迟，适合大批量处理；复杂任务则可以开启思考模式，保持逻辑连贯。原生支持 256K 上下文，对需要持续读取历史指令和项目状态的 Agent 工作流也很重要。 3.如何使用我觉得 Ling-3.0-flash 最适合做 Agent 工作流里的执行节点。反复调用 API 或 MCP 工具时，它能根据结构化错误信息自我诊断和修复，不容易在循环调试中卡死，因此适合放进 Loop 或 Graph 架构。 4.结对编程和批量任务结对编程是一个典型场景：人负责架构规划、边界定义和测试，Ling-3.0-flash 负责快速生成代码、调用工具、读取报错，并根据反馈持续修改。批量处理长文档、日志、简历和结构化数据时，它看重的也是速度、格式稳定性和成本控制。直播数字人或高频办公协作，则需要它的低延迟响应来减少体验断层。 5.边界当然，它不是万能模型。复杂系统不能只靠一句指令搞定；缺乏架构和测试环境时，结果可能跑偏；需要深度冷门知识的研究任务，还是更适合交给更大规模的推理模型。更合理的用法是：大模型负责搜索、规划和架构设计，把方案写成规范文档；Ling-3.0-flash 负责高频工具调用、代码执行和批量处理。总结：Ling-3.0-flash 不是来替代所有模型的，而是把 Agent 工作流里“执行层”这件事做得更快、更稳。大模型负责想清楚，它负责做出来。

蚂蚁百灵刚刚发布了 Ling-3.0-flash：一个AI 执行层的关键拼图刚刚看到 Ling-3.0-flash 正式发布，我觉得这款模型值得认真关注。原因很简单：在 AI 工程越来越深入到实际业务的今天，大家早就不满足于模型“会不会想”了，更关键的是它“能不能持续做”。尤其是在 Agent 工作流中，需要高频调用工具、迭代代码、处理长程任务时，一个响应快、执行稳的执行引擎成了刚需。Ling-3.0-flash 的出现，正好瞄准了这个缺口。 1. Agent 的执行层从我的角度看，它最聪明的一点是没有去硬拼超大模型的深度推理能力，而是把自己定位成一个高速执行引擎——负责把已经规划好的任务快速落地。这在实际应用中特别实用，比如当大模型把方案设计好之后，剩下的代码生成、工具调用、批量处理就需要一个既快又稳的模型来接手。 2. 为什么它能兼顾速度和成本技术细节上，它采用 124B 参数的 MoE 架构，但实际激活参数约 5.1B，在推理速度和运行成本之间找平衡。它还支持混合推理模式：简单任务可以关闭 Reasoning，降低延迟，适合大批量处理；复杂任务则可以开启思考模式，保持逻辑连贯。原生支持 256K 上下文，对需要持续读取历史指令和项目状态的 Agent 工作流也很重要。 3.如何使用我觉得 Ling-3.0-flash 最适合做 Agent 工作流里的执行节点。反复调用 API 或 MCP 工具时，它能根据结构化错误信息自我诊断和修复，不容易在循环调试中卡死，因此适合放进 Loop 或 Graph 架构。 4.结对编程和批量任务结对编程是一个典型场景：人负责架构规划、边界定义和测试，Ling-3.0-flash 负责快速生成代码、调用工具、读取报错，并根据反馈持续修改。批量处理长文档、日志、简历和结构化数据时，它看重的也是速度、格式稳定性和成本控制。直播数字人或高频办公协作，则需要它的低延迟响应来减少体验断层。 5.边界当然，它不是万能模型。复杂系统不能只靠一句指令搞定；缺乏架构和测试环境时，结果可能跑偏；需要深度冷门知识的研究任务，还是更适合交给更大规模的推理模型。更合理的用法是：大模型负责搜索、规划和架构设计，把方案写成规范文档；Ling-3.0-flash 负责高频工具调用、代码执行和批量处理。总结：Ling-3.0-flash 不是来替代所有模型的，而是把 Agent 工作流里“执行层”这件事做得更快、更稳。大模型负责想清楚，它负责做出来。

奶牛叔

66,157 просмотров • 1 месяц назад

还没体验过 Pi 或 Craft agent 的朋友，建议现在就去试一次。你会立刻明白我上个月说那句话时是什么心情。我之前就讲过：未来程序员不再主要“做需求”，而是“做 agent”。agent 用来把你的能力蒸馏出来：你只要把需求说清楚，剩下的交给它完成。如果你要研究怎么做一个 code agent，别从 0 开始，直接从 Pi agent 起步。它的可扩展性很好，集成进现有业务会省掉大量时间。如果你要研究怎么做一个类似 codex desktop 的产品，那就从 Craft agent 入手。它基于 Pi agent 和 Claude agent，功能完整、覆盖面也足。觉得复杂也没关系：能裁就裁。Claude agent sdk、messaging-gateway 这些都可以精简掉，留下的就是实打实的核心能力。我已经基于它二开了一个新产品，叫 Echo，接入了技能市场，流程非常顺滑。它现在就是我的独立开发搭子，后续开发、运营我都在它上面跑。

还没体验过 Pi 或 Craft agent 的朋友，建议现在就去试一次。你会立刻明白我上个月说那句话时是什么心情。我之前就讲过：未来程序员不再主要“做需求”，而是“做 agent”。agent 用来把你的能力蒸馏出来：你只要把需求说清楚，剩下的交给它完成。如果你要研究怎么做一个 code agent，别从 0 开始，直接从 Pi agent 起步。它的可扩展性很好，集成进现有业务会省掉大量时间。如果你要研究怎么做一个类似 codex desktop 的产品，那就从 Craft agent 入手。它基于 Pi agent 和 Claude agent，功能完整、覆盖面也足。觉得复杂也没关系：能裁就裁。Claude agent sdk、messaging-gateway 这些都可以精简掉，留下的就是实打实的核心能力。我已经基于它二开了一个新产品，叫 Echo，接入了技能市场，流程非常顺滑。它现在就是我的独立开发搭子，后续开发、运营我都在它上面跑。

Fox

113,893 просмотров • 2 месяцев назад

拿到了之前那个 Dreamer 的邀请，这个在 web 上模拟 macOS 桌面 widget 的交互逻辑，和我想做的东西想法不谋而合。 - 可以创建自定义 widget - 每个 widget 都是一个独立的 agent - 有 agent 市场，可以 fork 用户创建的 agent 这种形态的小龙虾看起来才像是给人用的产品。

拿到了之前那个 Dreamer 的邀请，这个在 web 上模拟 macOS 桌面 widget 的交互逻辑，和我想做的东西想法不谋而合。 - 可以创建自定义 widget - 每个 widget 都是一个独立的 agent - 有 agent 市场，可以 fork 用户创建的 agent 这种形态的小龙虾看起来才像是给人用的产品。

Ding

31,556 просмотров • 6 месяцев назад

最近北大开源的一个项目，我觉得很值得关注。 AI Agent 现在最缺的，可能不是模型，而是一套像 npm 一样可复用的 skill 基础设施。 MagicSkills 做的就是这件事。它不是再去造一个新的 Agent framework，而是想把那些散落在各处的 SKILL.md，变成可安装、可组合、可同步、可调用的共享能力层。 MagicSkills 的思路更像是，先把 skill 从零散文档里抽出来，做成一个本地优先的共享 skill pool，然后再按不同 Agent、不同框架去组合和分发。这样一来，skill 就不再只是 prompt 附件，而是开始变成真正可复用的能力基础设施。说白了，它想推动的一件事就是：让 Agent 的技能，从“写一份文档自己用”，变成“写一次，到处复用”。我觉得这个方向很值得看。因为当 skill 开始像包管理一样被组织起来，多 Agent 工作流才会真正开始像工程系统，而不是一堆 prompt 和脚本的临时拼装。如果你在关注 AI Agent、Multi-Agent、技能复用，或者正在想怎么管理越来越多的 SKILL.md，这个项目值得研究一下。👇

最近北大开源的一个项目，我觉得很值得关注。 AI Agent 现在最缺的，可能不是模型，而是一套像 npm 一样可复用的 skill 基础设施。 MagicSkills 做的就是这件事。它不是再去造一个新的 Agent framework，而是想把那些散落在各处的 SKILL.md，变成可安装、可组合、可同步、可调用的共享能力层。 MagicSkills 的思路更像是，先把 skill 从零散文档里抽出来，做成一个本地优先的共享 skill pool，然后再按不同 Agent、不同框架去组合和分发。这样一来，skill 就不再只是 prompt 附件，而是开始变成真正可复用的能力基础设施。说白了，它想推动的一件事就是：让 Agent 的技能，从“写一份文档自己用”，变成“写一次，到处复用”。我觉得这个方向很值得看。因为当 skill 开始像包管理一样被组织起来，多 Agent 工作流才会真正开始像工程系统，而不是一堆 prompt 和脚本的临时拼装。如果你在关注 AI Agent、Multi-Agent、技能复用，或者正在想怎么管理越来越多的 SKILL.md，这个项目值得研究一下。👇

axiaisacat

46,330 просмотров • 6 месяцев назад

试了一下昨天这个海外产品 MuleRun，发现很牛啊。从理念和效果上看都很厉害，感觉 Agent 产品要有新品类了。我眼睁睁看这个 AI 帮我打完了星穹铁道的每日任务。这个最强的核心能力是，每个用户都会有一个完整的虚拟机可以运行 Agent 帮你操作里面的软件，不只是浏览器。 Agent 创建者可以把完成任务的环境建好，用户就能直接用这些自动化的 Agent。不是 Manus 那种你只能看到有限文件和界面的，你甚至可以自己操作里面的 Windows 电脑，这样想象力就丰富超级多了，Agent 终于拜托了 Office 三件套和网页生成。他可以帮你自动做游戏的日常，能帮你用 Blender 建模。里面甚至还有帮你自动打崩坏星穹铁道的每日任务的 Agent 。我亲眼看着他找到游戏的图标启动引导我登录之后开始自己操作角色和界面打对应的日常任务，太省心了，而且这个不死板，你可以指定任务完成的顺序和轮数以及完成哪些任务。我还用里面的 Blender Agent 让他创建了一个灯塔模型。里面还有帮你做视频的以及刷评论作图的 Agent，要是有邀请可以试试，很好玩。

试了一下昨天这个海外产品 MuleRun，发现很牛啊。从理念和效果上看都很厉害，感觉 Agent 产品要有新品类了。我眼睁睁看这个 AI 帮我打完了星穹铁道的每日任务。这个最强的核心能力是，每个用户都会有一个完整的虚拟机可以运行 Agent 帮你操作里面的软件，不只是浏览器。 Agent 创建者可以把完成任务的环境建好，用户就能直接用这些自动化的 Agent。不是 Manus 那种你只能看到有限文件和界面的，你甚至可以自己操作里面的 Windows 电脑，这样想象力就丰富超级多了，Agent 终于拜托了 Office 三件套和网页生成。他可以帮你自动做游戏的日常，能帮你用 Blender 建模。里面甚至还有帮你自动打崩坏星穹铁道的每日任务的 Agent 。我亲眼看着他找到游戏的图标启动引导我登录之后开始自己操作角色和界面打对应的日常任务，太省心了，而且这个不死板，你可以指定任务完成的顺序和轮数以及完成哪些任务。我还用里面的 Blender Agent 让他创建了一个灯塔模型。里面还有帮你做视频的以及刷评论作图的 Agent，要是有邀请可以试试，很好玩。

歸藏(guizang.ai)

62,627 просмотров • 1 год назад

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕）演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道呢？但这个数据量实在太大了。我们无法处理。如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。我就在这里结束我的演讲。谢谢。视频来源：

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕）演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道呢？但这个数据量实在太大了。我们无法处理。如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。我就在这里结束我的演讲。谢谢。视频来源：

宝玉

59,826 просмотров • 2 лет назад

史上最强原生PPT Skill，更适合中国宝宝使用我创建的这个Skill，一句话即可生成复杂、豪华、可编辑的PPT文件。试一次，要是生成的效果不让你震惊，你来打我。几大特色： 1、能生成信息密度高、排版复杂、看起来高大上的PPT，也支持生成简约、商务风格的PPT。适合国企、互联网大厂使用。 2、兼容所有模型，DeepSeek、小米Mimo、Claude、GPT均实测过，国产模型也能完成的非常好。 3、技能自动更新机制：如果我更新了可选用的PPT模板，使用技能时会自动更新技能。技能像软件一样可以更新使用方法：在当前文件夹安装这个Skill：然后做一个复杂、豪华的PPT，来介绍XXX项目

史上最强原生PPT Skill，更适合中国宝宝使用我创建的这个Skill，一句话即可生成复杂、豪华、可编辑的PPT文件。试一次，要是生成的效果不让你震惊，你来打我。几大特色： 1、能生成信息密度高、排版复杂、看起来高大上的PPT，也支持生成简约、商务风格的PPT。适合国企、互联网大厂使用。 2、兼容所有模型，DeepSeek、小米Mimo、Claude、GPT均实测过，国产模型也能完成的非常好。 3、技能自动更新机制：如果我更新了可选用的PPT模板，使用技能时会自动更新技能。技能像软件一样可以更新使用方法：在当前文件夹安装这个Skill：然后做一个复杂、豪华的PPT，来介绍XXX项目

Gorden Sun

84,525 просмотров • 3 месяцев назад