正在加载视频...

视频加载失败

Hermes Agent真的比OpenClaw更好吗? 今天我们面对面实测对比! 左OpenClaw,右Hermes Agent, 我们反复问同一个问题, 不断纠错同一个地方: 1. 测试两边的回答质量/消耗token数量 2.显性的要求记住,两者记忆逻辑有何不同 3.隐形的纠错/提要求,谁能主动get到沉淀下来 实测完之后会讲: 原理+如何从OpenClaw迁移到Hermes Agent 👇👇 时间戳 00:00 开场与实验设置 00:50 第一轮实测 01:29 显性记忆测试 02:42 文件对比 03:29 连续纠错测试 05:05 Hermes 学会了 05:56 原理解释 08:50 安装 Hermes Agent 10:08 从 OpenClaw 迁移 10:55 总结

43,196 次观看 • 4 个月前 •via X (Twitter)

0 条评论

暂无评论

原始帖子的评论将显示在这里

相关视频

从国产SOTA走向世界SOTA? GLM-5.1 实测! 给大家带来 GLM-5.1 编程能力实测! 本次测试涵盖了前端, 后端, Agent 能力, 前端主要面向空间建模, 场景, 材质, 粒子效果等, 后端能力主要面向数据结构与算法, 体系结构, 性能优化, 内存和并发管理, 性能热点分析与调优, 面向编辑器方向的Agent能力(因为AI要自己改代码). 直接说结论, 本次测试前端方面粒子效果和光影鲜果略有提升, 剩下空间理解(甚至感觉下降了)和前端美学上没看到有什么提升, 只能说是提升了一点点. 但是后端性能上有巨大的提升, GLM-5.1 在我的 vector-db-bench 中直接秀了一手量化, 把原本32bit精度的数据量化到了8bit, 然后使用SIMD实现了一个指令周期内计算32个向量, 在我测试的其他模型中(包括Claude-opus-4.6, GPT-5.4-Pro(xhigh)) 都没有实现, 直接来到了榜首. 另外Agent能力上也有不小的提升, 同样是我写的让大模型模拟送外卖的硅基骑手测试, 其他大模型的优化还停留在看一个店能不能取两单上, GLM-5.1 已经优化到了我送餐的顺路还能再接一单, 并且仅用了大概GLM-5 1/4的 token 用量就超越了 GLM-5 的测试总分. 当然本次测试过程也很坎坷, 首先是我周末抢了2天都没抢到 coding plan (目前只有coding plan 能用这个模型), 我最后找智谱的同学给我开了个权限. 以及测试中发现白天API不是很稳定, 偶尔输出速度会掉到10tps, 以及会出现乱码文字(我的规避方法是让它输出英文, 然后再找个便宜模型翻译过来). 总结, 各位前端同学估计会失望, 因为无论是从工程还是页面效果上都看不到提升, 甚至可能会有点倒退, 但果写后端代码或者复杂Agent应用可以试试这个新模型, 会有很大的提升. #GLM51 #智谱 #GLM #AIAgent #大模型编程

karminski-牙医

19,683 次观看 • 4 个月前

给大家带来 MiniMax-M3 实测! 本次测试包含了复杂前端, 后端 Agentic Coding, Agent 能力测试, 以及我的使用经验总结. 来看结论: 前端能力上, 可以完全适配 KCORES2026p2 的前端测试题目, 无论是空间理解, 建模精确度, 场景美学都十分在线, 其中我最满意的是美学部分, 它的颜色运用非常好. 不足的地方主要体现在复杂需求不能一次性写对(比如光追引擎), 需要迭代一下就可以了. 后端能力测试这次也是突飞猛进, 得分超过了 deepseek-v4-pro 和其他一众国产大模型, 略逊于 GPT-5.4-Pro(xhigh). Agent 能力上表现同样亮眼, 达成了榜单第二的接单量, 证明它的规划能力特别强。 下面是我在测试和实际使用中, 总结出来的 M3 使用经验, 供大家参考: 我的体感是 M3 特别喜欢推理, 它可以单次执行超长的推理. 在咱们的这些前端测试中, 它最长的输出甚至达到了我规定的 64k token上限, 所以, 不要上来就写一个超级复杂的 prompt 让它执行, 而是需要先把需求形成 plan, 然后让 agent 蜂群去执行, 这样才能得到理想的效果, 所以 M3 先天适合放在带 plan 模式的 Coding Agent 中使用. 如果把它嵌入到 Agent 框架中使用, 那么 prompt 编排就一定要做好, 不要一股脑把大量的 tool call 或者超大的 system prompt 丢给它. 还是需要下功夫好好编排一下的. 本次 M3 相比之前的 2.7 版本有了大幅度的提升, 模型偏好上来看, M3 是一个规划能力极强的模型, 所以特别适合用在一些规划性质的 Agent 框架中, 比如任务拆分, 日程管理, 流程设计等. 而本次暴露出来的不足则是执行过程中约束不够强, 比如 prompt 中设置的复杂规则, 一定要增加代码级别的 harness 闭环流程来进行约束, 而不能只靠模型本身来管理自己的行为. #minimaxm3 #minimax #agenticcoding #aiagent #harness

karminski-牙医

18,950 次观看 • 2 个月前

Qwen3.5实测!来看贺岁档大模型的实力! 贺岁档大模型来啦! Qwen3.5 这次支持了文本、图片、视频多模态输入, 本次准备了全新的后端能力测试! 以及照例带来前端能力、Agent、长上下文能力的全面测试! 来看本次新增的后端编程测试 vector DB Bench: 要求大模型从零实现一个高性能向量数据库, 只给提示词不给实现方案, 配合 coding agent 自动写代码、编译、跑分. 结果 Qwen3.5 直接甩出王炸 —— QPS 1405, 是 Kimi-K2.5 的 4.8 倍, GLM-5 的 25 倍! 关键在于它不仅用了 IVF 倒排索引 + AVX512F 指令集, 还在有限轮次内自主探索出了最优聚类参数 (K=2048, nprobe=30), 每次查询只需扫描约 15000 条数据, 而 Kimi-K2.5 的参数配比要扫描 75000 条, 正好解释了近 5 倍的性能差距. 这波调参堪称神之一手. 前端编程也有进步: 大象牙膏测试终于能正确建模三角烧瓶, 鞭炮连锁爆炸的粒子光影效果不错, 支持多模态后甚至可以对着网站录屏直接克隆. 但空间理解仍是短板, 陀飞轮机芯测试中齿轮设计暴露了差距. 指令遵循: 洛希极限测试中的指令遵循达到 85.9% (Gemini-3.0-Pro 为 90.6%), 主要扣分在未遵循加速曲线公式. Agent 能力: 硅基骑手测试得分 668.43, 仅次于 GLM-5 的 738.69, 也侧面解释了为什么后端编程 Agent 表现这么强. 长文本召回: 256K 上下文召回 99.1%, 但不给原文时四选一蒙对率高达 75.6%, 结果完全不置信. 总结: Qwen3.5 最亮眼的是后端编程能力, 同样的 IVF 算法靠调参拉开 5 倍差距, Agent 能力同样在线. 不过本次测试还发现了点小问题, 输出偶尔不太稳定, 会漏掉 markdown 语法或把答案输出到 thinking 标签里, 这点要注意, 目前我已经反馈给官方了. 这份新年礼物, 大家觉得怎么样? #Qwen #千问大模型 #Qwen35 #阿里千问 #通义实验室 #AIAgent #向量数据库

karminski-牙医

14,591 次观看 • 6 个月前

抱歉我们只有超大杯! GLM-4.7实测! 本次测试覆盖了GLM-4.7的编程能力, Agent/ToolCall能力, 长上下文召回能力, 给大家带来刚发布的 GLM 4.7 的测试结果: 考验Agent能力的硅基骑手测试, 简单讲是让大模型使用工具模拟骑手取外卖送餐. GLM 4.7 在24小时总计300回合的极限送餐中收益达到了 571.91 元, 执行了总计 354 次 tool call, 测试使用了大约 50% 的上下文空间, 直到超过100K后才停止工作. Agent 测试这次是创了新高, 执行效率特别高, 得益于模型可以在一次会话中发起多个 tool call, 节省了时间并能选择收益最大的方案. 然后是考验长上下文召回能力的霍格沃茨测试, 简单来讲就是在长上下文中, 能否记住上下文并准确的回答问题. GLM 4.7 在192K以内召回水平在91%到100%区间, 而200K也有95%, 召回效果同样也很不错. 最后再来看编程能力测试上最大的感受是粒子, 建模, 光影效果都有提升, 尤其是空间能力有了巨大的提升. 当然性能问题仍然存在, 希望下个版本着重优化下生成代码的性能问题. 总结, 这次GLM 4.7 在各个方面都有明显的提升, 作为主力编程模型不是问题, LMArena 和 SWE-bench 等编程测试中都取得了开源大模型 SOTA 的水平. 不过还是要说一句, 测试中我发现API速度时快时慢, 是不是因为大家都在用新版本导致的? 希望官方赶紧加机器. #GLM47 #智谱AI #智谱GLM #AIAgent #ai编程 #大模型 #开源 #KCORES大模型竞技场

karminski-牙医

19,592 次观看 • 7 个月前

让AI连续工作10小时不崩溃?揭秘Anthropic官方推崇的“Harness工程”! 很多人用Claude Code跑长任务,跑着跑着AI就变傻、甚至罢工。 原因很简单:上下文窗口爆了。 今天分享一套让AI“无限续航”的系统级方案(Harness Engineering),不仅能让AI干活,还能让它自我进化。 1⃣ 核心原理:重置上下文 AI的记性有限。官方Anthropic的思路是:把大任务拆碎,每次只让AI在一个全新的、干净的上下文里干一件小事。 ❌ 错误做法:把所有需求一次性塞给AI。 ✅ 正确做法:拆解任务 -> 独立会话执行 -> 记录进度 -> 下一个循环。 2⃣ 方案对比:Ralph vs 多智能体 方案A(Ralph循环): 用Bash脚本写个while循环,强制重启新会话。简单粗暴,适合极客。 方案B(多智能体协同 - 推荐): 我在用的方案。更灵活,更像真实团队。 主Agent(Coordinator): 只负责调度,绝不写代码(保持上下文极其干净)。 子Agent(Workers): 计划、开发、测试(布局/美观/动画)。各司其职,独立上下文。 3⃣ 工作流设计(关键!) 我的实战工作流: 主Agent 接收需求 -> 丢给 计划Agent 出排期。 主Agent 拿到计划 -> 派给 开发Agent 写代码(只传文件路径,不传大段代码!)。 开发完 -> 派给 测试Agent 找Bug。 Bug修复闭环: 测试挂了?用 resume 参数唤醒同一个开发Agent修Bug(保留现场上下文),而不是开新号! 4⃣ 让AI自我进化的Secret Sauce Lessons Learned: 建一个经验库文件。每次踩坑,强制AI把错误写进去。下一次开发,先读这个文件,避免重复犯错。 文件通信: Agent之间只传文件路径(Path),不传具体内容。主Agent的上下文永远只有几行字,永不爆窗。 这套系统我跑了一个通宵,生成了20多页PPT,质量极高。 真正的Harness不是让AI更聪明,而是设计一套不依赖AI记性的流程。

Vincent

28,508 次观看 • 3 个月前