Loading video...

Video Failed to Load

Go Home

Claude上线Computer Use功能 能完全自动化操作你的电脑,这还只是第一个版本,效果就已经非常稳了。 有MCP的应用,优先通过MCP来操作;没有MCP的,直接截屏一步步通过GUI操作,理论上讲能操作任意应用。 单次执行任务可以长达几十分钟,而且是真的能完成。 牛,太牛了。 我下达的命令:打开微信,根据微信群“Gorden的AI交流群”里的最近30条消息,写一段话承接群里的消息,然后抛出新的可以讨论的话题,并把以上内容直接发送到群里。 跑了20分钟完成了,我拍了整个过程,视频无删减只有加速。 结合Dispatch,可以实现手机遥控电脑操作其他应用;结合定时任务,可以每天定时操作应用(这2个功能是之前就已经上线的) 目前还有几个明显的缺点: 1、通过截屏操作太慢了,一步步截屏和识别非常费时间;MCP会好很多,以后应用CLI化会更好; 2、费token,上面的任务,费了我Pro订阅的30%的5h额度,就只是发了这么一条消息; 3、权限机制目前比较保守,需要你反复授权;

49,090 views • 3 months ago •via X (Twitter)

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

腾讯新推出的Marvis,真的把AI焊进了操作系统! 我的电脑,终于能听懂人话了。 以前找文件得手动翻,改设置得点半天,定时任务还得自己盯着……现在一句话说完,AI直接帮我干完。 这就是腾讯最新发布的 Marvis(马维斯)— 一个真正叠加在操作系统层面的AI助手。 系统级AI能力,太硬核了 Marvis 不是漂浮在表面的聊天工具,它直接在操作系统层面叠加了一层AI中枢。 这意味着它能全局访问你电脑里的几乎所有资源: - 全部已安装的应用 - 图片文件(还能理解图片内容和文字) - 各种文档数据 一句话就能调动资源干活。 六人AI小队,背后自动协作 它预置了多个Agent协同工作:一个总指挥 + 五个专业特工(文件、系统、应用、浏览器、搜索)。 你说“把最近的发票全找出来做成表格”,它自动拆任务、分配执行,最后直接给你结果。用起来特别顺手。 真正实用的Skills + 一键定时任务 Marvis 内置了丰富实用的Skill,而且每个技能都配了清晰的操作图示,上手非常友好。 文件归类、图片批量处理、系统优化……点开就能用。 定时任务也特别方便: - “检索 GitHub 本周 Trending 中 AI/ML 领域的热门项目,生成中文可视化展示页面。” 说一次就安排好,它准时执行。 最强一点:Token消耗实时透明 这点我特别喜欢—每个任务运行时,都能实时看到Token消耗情况。 一目了然,心里有底。而且每天还有1000万Token免费额度,日常使用完全够用,几乎零成本。 Marvis 把AI真正带到了操作系统层面,让你的电脑从“被你操作的工具”,变成了“能主动帮你干活的智能助手”。 目前支持 Windows、Mac、Android,iOS版本也即将上线。

开发者Hailey

15,921 views • 1 month ago

Codex 操控电脑的三种方式。Codex 团队成员 Jason 今天写了一篇详细指南,把三者的区别和适用场景理清楚了,这里做个精简版。 【1】Computer Use:最广,也最慢 Computer Use 让 Codex 像人一样看屏幕、点鼠标、敲键盘,操作你电脑上的任何图形界面应用。Spotify、Xcode、系统设置、iOS 模拟器,甚至 iPhone Mirroring 都能控制。 代价是慢。结构化插件可以直接调 API,Computer Use 得一步步看界面、找按钮、等响应、再检查结果。但它能搞定没有 API 的应用,这是其他方式做不到的。 Mac 和 Windows 的体验差距很大:Mac 上 Codex 可以在后台静悄悄地操作,你继续用自己的电脑不受影响;Windows 上它必须占据前台,操作期间你没法用那台机器。 Jason 举了个例子:有次他的快递被偷了,Amazon 说要等 25 分钟才能接通客服。他让 Codex 每五分钟检查一次聊天窗口,客服出现后改为每分钟一次,自动完成退款流程。他去洗了个澡,回来退款已经办好了。 【2】Chrome 扩展:带着你的登录状态 Chrome 扩展让 Codex 使用你已登录的浏览器会话,包括 cookies、账号状态和已有标签页。Gmail、LinkedIn、Salesforce、公司内部后台,这些需要登录才能用的工具,Chrome 扩展是对的选择。 它还能同时控制多个标签页,在一个标签里读信息,到另一个标签里对比,再到第三个标签完成操作。Computer Use 也能操作浏览器,但它只认屏幕坐标,Chrome 扩展理解的是浏览器层面的上下文。 Jason 用它跑了一个长期任务:每天让 Codex 通过 Chrome 检查他的 Twitter 私信、浏览相关新闻、收集反馈,把有价值的内容存到本地文件,但不发任何消息。 要注意的是,网站会把 Codex 的点击和表单提交当作你本人的操作。研究、浏览、起草可以自动化,但发送、发布、付款这类操作最好留给自己确认。 【3】内置浏览器:给开发者的沙盒 内置浏览器住在 Codex 的对话线程里,你和 Codex 共享同一个渲染页面。它不带任何登录状态和 cookies,是个完全隔离的环境。 这反而成了开发场景的优势。它的主场是本地开发服务器、文件预览、公共网页、响应式布局检查和视觉 bug 复现。Codex 可以改代码、操作页面、截图、再跑一遍,形成紧密的反馈循环。 Jason 最喜欢的功能是标注:你可以直接在页面上点击某个元素留评论,比如"这个层级反了""这个按钮间距不够",Codex 会拿着截图和元素上下文去改代码,改完重新打开同一个页面等你下一轮标注。比来回传截图和文字描述高效得多。 【选哪个?】 简单记:任务需要登录状态用 Chrome,需要操作桌面应用用 Computer Use,在做前端开发用内置浏览器。如果有现成的插件或 MCP 能完成任务,优先用结构化工具,视觉控制是最后手段。

宝玉

177,735 views • 29 days ago

哎哟卧槽,刚发现 Airtap Airtap Ai 又更新了一个硬核的新功能。 只要发一条 iMessage,就能让 AI 操作 App 去干活。 Airtap通过 iMessage 收到指令后后,就会操作远程手机,完成后再把结果发回来。 我用它来帮我查询 Gmail 里 Anthropic 发来的相关邮件。 只要第一次在 Airtap的远程手机里登录 Gmail 后,后续直接在 iMessage 里发句话就能查询邮件,本机不用再反复挂 VPN、切换网络。 而且在联网状态下,iMessage 走的是网络消息,不按普通运营商短信计费。 在 iMessage 把指令发出去后,就可以在 Airtap 官网看到远程手机开始自己操作。 打开 Gmail、搜索 Anthropic、查看相关邮件,最后把查询结果直接回复到 iMessage。 整个过程我都录成视频了,点开视频你可以看到, Airtap收到任务后如何思考,如何一步步操作并返回结果。 对我来说,这个功能最直接的价值,就是不用打开 Gmail,也能快速确认某家公司最近有没有发来重要邮件。 还有一个更实际的用途,就是排查那些已经不用、却还在自动扣费的 AI 工具。 AI 工具订阅多了以后,很容易忘记取消。有时候偶然翻到付款收据,才发现某个工具又自动续费了一个月。 这时可以直接让 Airtap 搜索 Gmail 里的续费提醒、付款收据和扣款邮件,看看还有哪些订阅没有关。 另外对于我们 AI 博主或者海外内容运营者来说,还可以让它操作 X、YouTube 等 App,查看订阅消息中是否有最近更新的内容,不用自己在挂VPN以及在多个 App 之间来回切换。 这种场景,以前我都是一个个 App 打开操作。 现在只需要发一条消息,让远程手机自己去干活,直接告诉我结果就行。 想体验的,可以直接给这个号码发送 iMessage:+1-650-213-7322 #justtextit #textyourapps #Airtap

李岳

27,651 views • 1 day ago