Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

Anthropic 发布了 Skill Creator 的重大更新 核心变化:内置测试用例生成 写完一个 Claude 技能,怎么知道它到底能不能被正确触发?以前靠手动试,现在 Skill Creator 内置了测试功能,帮你自动跑评估。 你现在可以给技能定义一组测试提示词,描述"什么样的回答算合格",然后让系统自动跑测试、出报告。 不需要写代码,不需要搭测试框架。 具体新增了四个能力: 自动化评估(Evals): 定义测试提示词和预期结果,系统自动运行并追踪通过率、耗时、token 用量。当模型更新或基础设施变化时,你能立刻发现技能是否"退步"了。 多 Agent 并行测试: 测试用例不是排队跑的,而是在独立的 Agent 中并行执行,每条测试互不干扰,各自有独立的 token 和耗时统计。 A/B 对比: 系统用"比较器 Agent"对两个版本的技能做盲测对比,去掉主观偏见。你改了技能描述,想知道新版比旧版好还是差,直接跑一轮对比就有答案。 触发率优化: 这可能是最实用的功能。系统会分析你的技能描述和测试提示词,建议怎么改描述才能减少误触发和漏触发。官方测试中,6 个公开的文档类技能有 5 个的触发准确率得到了提升。

46,969 Aufrufe • vor 4 Monaten •via X (Twitter)

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

Anthropic推出了一项新功能,叫做“提示词改器”(Prompt Console)。 Claude 会使用思路链推理等提示工程技术自动对提示词进行改进,优化你的提示词,让AI的回答更准确、符合预期。 这项功能的主要作用: 1. 自动优化提示词:通过提示词改进工具,开发者可以让Claude模型自动优化现有的提示词(即向AI模型提出的问题或要求),以提高模型回答的质量。例如,工具会增加一个“链式思维”环节,让Claude在回答之前先有条理地思考问题,确保回答更精准。 2. 标准化和丰富示例:工具可以把提示中的示例转成统一的格式,比如XML格式,这样Claude更容易理解和处理。 3.示例增强:对现有示例进行自动补充,使其与结构化后的提示更加契合,包括增加链式思维的逻辑过程。 4.重写:对提示进行重写,明确其结构,并纠正小的语法或拼写错误,以提高提示的质量和易读性。 5.预填充:在Claude的助理消息中预填充内容,帮助引导Claude的行为,并确保输出格式符合需求。 一旦新提示生成,你还可以向Claude提供反馈,说明什么有效,什么不起作用,以进一步改进提示。 实际效果:根据Anthropic的测试数据,使用提示词改进工具后,模型的准确率在多标签分类任务中提升了30%,并且在摘要任务中能够100%完全遵循字数要求。

小互

39,813 Aufrufe • vor 1 Jahr

MiMo推出1000 Token/s超高速模型|体验测评 MiMo 推出了 MiMo V2.5 Pro UltraSpeed 超高速的模型版本,能够实现每秒输出超过 1,000 Token 的速度。 同时,这应该也是全球第一个达到这个速度的万亿(1T)参数模型。 藏师傅提前试了一下,做了三个测试,确实爽。 第一个跑了一个比较复杂的 3D 采矿小游戏测试。在没有素材的情况下,我让它全部用 Three.js 前端代码来生成素材。整体要求比较完整,虽然第一次实践时出了一些小问题,但在跟他沟通修改建议后,非常完美地实现了任务。 这次测试的各项指标如下:思考的 TPS:804 Token/s,峰值速度:810 Token/s,首次响应时间:4.71 秒。 第二个测试给了一个官网,其头部包含一个相对复杂的 3D 动画。 这次的输出速度快了非常多:峰值达到了 1426 Token/s,首次响应只用了 0.83 秒,在 32 秒内输出了 25624 个 Token,总计生成了 1000 行代码。 第三个测试给了一个更复杂的官网。我要求这个官网的 Header 头部包含以下 3D 效果:地球边缘、轨道上的飞船、星际尘埃、航线图、舷窗的 HUD 样式。 这个效果非常好,整体的视觉样式、状态、SVG 动画和驾驶卡片都非常精细,还有滚动的视差效果 这个输出的 TPS 达到了 1136 tokens/s,首次响应是 4.5 秒 官方测试平台下面有个数据展示,会显示相关信息 在流式输出的情况下,当你看着它只用 20 秒就产生一个非常复杂的 3D 游戏时,那种场景还是比较震撼的 之前的这些(比如说 Groq 之类的)超高速推理方案,在模型能力或者是整体水平上都会有所下降,但是 MiMo 这个在测试的时候,我没有看到这种迹象 最近很多公司都开始推出这种超高速的 API 服务,比如之前 OpenAI 和 Anthropic 都有 Fast 模式 在 Agent 场景下,模型输出效率的提升会直接带动每一步 Agent 操作的效率: 如果一个任务预估一分钟完成,你就会盯着它直到结束,然后立刻投入测试。如果需要五分钟才完成,你可能就会去干别的事,然后再回来看,难免会浪费一些时间 这种效率提升在 Sub-Agent 和并发场景下更加明显。因为它可以更快地产出大量结果,想象一下,如果同时启动一两百个 Sub-Agent,在模型能力没有衰减的前提下,速度提高 10 倍,体验是非常爽的 毕竟这本质上是面向那种对效率有极高要求的 To B 客户所推出的 希望后面大家卷起来,优化一下成本,让普通用户也能放开用这种 UltraSpeed 模型

歸藏(guizang.ai)

26,998 Aufrufe • vor 1 Monat

🚨🚗 德州奥斯汀街头实测曝光:$TSLA Robotaxi 已在真实道路运行 奥斯汀被发现出现网约车形态的 $TSLA 自动驾驶车辆。不是封闭场地、不是展示路线,而是真实城市路网中的测试运行。 更关键的是,这并非单点事件。 目前已有 10+ 台 Cybercabs,在 4 个州同步推进测试,意味着这套系统已经进入跨区域一致性验证阶段。 这一步的信号很清晰: 测试重点不再是“能不能跑”,而是规模化前的稳定性与监管可复制性。 为什么选奥斯汀? 因为这里既是 $TSLA 总部所在地,也是美国自动驾驶监管相对友好、道路结构复杂度适中的城市。 如果能在这里稳定运行,向其他州扩展的摩擦成本会明显下降。 从节奏上看,这更像是Robotaxi 商业化前的“静默推进期”: 不大规模宣传,但在真实场景中持续喂数据、压系统、磨边界条件。 市场接下来会盯三件事: 第一,是否出现固定时段/固定区域的常态化运行; 第二,是否与本地监管出现明确的合规信号; 第三,测试车辆数量是否继续上升,而不是停留在象征性规模。 这不是一次新闻点,而是一条长期曲线的中段节点。 真正的变量不是“有没有 Robotaxi”,而是什么时候从测试跃迁到可收费运营。 如果你现在回头看,会把这视为一次普通测试, 还是 $TSLA Robotaxi 商业化前的关键过渡期? 📬我会持续跟踪 $TSLA 在自动驾驶与 Robotaxi 路线上的关键进展,拆解从测试到规模化的真实信号,而不是只看发布会。 $TSLA #Tesla #Robotaxi #AutonomousDriving #FSD #Austin #EV #AI

Wealth Code

21,786 Aufrufe • vor 6 Monaten