Загрузка видео...

Не удалось загрузить видео

На главную

牛逼,Codex 的 Computer Use,不用 Codex 也能用了🔥 有人把它从 ChatGPT 桌面版里拆出来,Claude Code、Pi、Hermes 装上就能看屏幕、点按钮、用软件。 安装一句话,丢给你的 Agent: 按 的文档,为我当前的 agent 安装并配置 LCU。 有 ChatGPT 应用就行,不需要登录。

134,008 просмотров • 19 дней назад •via X (Twitter)

Комментарии: 13

Фото профиля eacryo
eacryo19 дней назад

好奇这个和 @trycua 哪个强

Фото профиля 陈子龙
陈子龙19 дней назад

我把dsh 和codex 开了一个讨论室 让codex 把computer use 所有能力教给dsh 了

Фото профиля 劳伦斯
劳伦斯19 дней назад

牛逼👍,这想法好

Фото профиля Cheery
Cheery19 дней назад

牛啊,我得给hermes装上。

Фото профиля mao mao
mao mao19 дней назад

computer-use as a plugin instead of locked to one chat is the part i wanted. curious how flaky the click target mapping gets.

Фото профиля springgg@AI
springgg@AI19 дней назад

@bot 发给我的bot让他去安装

Фото профиля Jerry
Jerry19 дней назад

我最近也在折腾 AI 操作手机,感觉难点不只是能点按钮,而是点完能否确认真的成功。尤其付款、发送这类动作,审批和结果核对得单独做。

Фото профиля ace
ace19 дней назад

这个有点意思,装上之后实际操作延迟怎么样?Claude Code 配起来麻烦吗

Фото профиля Wen
Wen19 дней назад

Computer Use 被拆出来不意外:看屏点按钮这种脏活,官方产品线永远嫌它不够体面,但 agent 真干活全靠它,社区自己动手丰衣足食才是常态。

Фото профиля 邪修灰域档案
邪修灰域档案19 дней назад

都以为捡了个好玩的极客外挂。手一旦能直接点屏幕,所有App的高墙全白搭了。连界面都不用露,辛辛苦苦养大的软件,全沦为替它切菜的无名后厨。

Фото профиля Claude Qin
Claude Qin19 дней назад

拆出来给别家 agent 用这招挺狠,但 Computer Use 的软肋一直是坐标:缩放比例一变、或者外接个 4K 屏,点下去就差半厘米。它借的还是本机已登录的 ChatGPT 应用,替人点按钮这动作一旦碰上邮箱、网银这种有权限的东西,责任就说不清了。想玩得稳,先只给它沙盒环境。

Фото профиля Winston
Winston19 дней назад

不用 Codex 也能用 Computer Use,这下门槛真低了。

Фото профиля 桃野 cultus🫧
桃野 cultus🫧19 дней назад

装到自己的agent上就能操控屏幕了,这波真是把大门踹开了😍想起以前配环境折腾一下午,现在一句话搞定,爽到,有关必回

Похожие видео

学习研究了下 amontlabs/lcu 这个项目,它把 Codex 的 Computer Use(让 AI 看屏幕、点鼠标、敲键盘来操作电脑的能力)单独拆了出来,让 Claude Code、Codex CLI、Pi 等其他 AI Agent 工具也能调用。 我本来还以为它是模仿 Codex 实现了一套,原来是直接用的 Codex 的 Computer Use,在本机找到已安装的 ChatGPT 桌面版,启动其中 OpenAI 自带的 Computer Use 运行时,再通过 MCP 接到你用的 Agent 工具里。仓库文档写明,指令、执行和权限策略都以 OpenAI 原版运行时为准。 因此电脑上必须装有官方 ChatGPT 桌面版,但不需要登录 ChatGPT 或 Codex 账号。 它给模型的工具很少。常见的电脑操控方案会把截图、点击、输入、滚动各做成一个工具,LCU 只给两个:js 和 js_reset。 js 用来执行一段 JavaScript 代码,运行环境里预置了一个名为 cua 的对象。模型通过写代码来操作电脑:先调用 cua.getState() 拿到当前桌面状态和使用说明,再用 getApp 选定某个窗口,然后调用 click、typeText、pressKey、getScreenshot 等方法。点击、输入、读取结果可以写在同一段代码里,一次调用完成。 这个 JavaScript 环境会保留状态,上一次调用里定义的变量,下一次还能接着用;环境出问题时调用 js_reset 清空重来。除了截图,模型还能读取窗口的无障碍信息(操作系统提供给读屏软件的界面元素列表),按元素点击,不必完全依赖屏幕坐标。 js 加 cua 对象这套接口是 OpenAI 原版的设计,LCU 原样转发。仓库记录显示,在 macOS 上对比测试时,模型收到的初始化说明和首次调用返回的使用指南,与官方 Codex 收到的内容逐字节一致。 目前正式适配的 Agent 工具是 Pi、Codex CLI 和 Claude Code,Oh My Pi 和 Hermes 为实验性支持。系统支持 Apple Silicon 芯片的 macOS(需授予辅助功能和屏幕录制权限),以及使用 X11 桌面的 Linux(ARM64 和 x86-64)。Windows 11 尚在候选阶段,Intel Mac 和 Wayland 桌面不支持。 控制 Chrome 浏览器需要额外开启,走的是 OpenAI 官方 Chrome 扩展,每个网站仍需单独批准。安装需要 Python 3.12 以上,README 给出的做法是把一段提示词贴给自己的 Agent,让它按安装文档完成配置,也可以从 GitHub 手动下载安装包。 项目地址:

宝玉

89,596 просмотров • 1 месяц назад

最近 Muse 很火,我也在想:有没有可能,让我们已经在用的任意的AI,也拥有像 Muse 一样操作电脑的能力? 因此我周末捣鼓了开源一个skill。一句话来讲,使用它可以让任何AI 接到电脑上的 Computer Use,让它能看屏幕、点按钮、输入文字,直接操作 App 顺着这个方向,可以尝试的事情就很多了:找餐馆、查机票、购物比价,或者整理社交媒体素材。以前需要自己在几个 App 之间来回切换,现在可以试着用一句话把任务交给你已经订阅了的AI。(Kimi, 豆包 Gemini, Codex, Claude 等等) 开源链接 使用方式 把这个 GitHub 链接直接给到 AI,让它帮忙安装 在 demo 里,我演示了如何安装,并以 Claude Code 为例,操作我的浏览器,帮我给餐馆定位 我更感兴趣的是背后的成本空间。 这个 skill 复用了本机已安装的 ChatGPT/Codex Computer Use 组件,由你选择的模型理解任务、决定下一步怎么做。项目脚本本身不调用 OpenAI 推理 API,因此,不会消耗 OpenAI 的 Token,但前提是你要安装了 Codex 我自己也更愿意让操作发生在自己的电脑上,继续用自己的 App 和登录状态。此外所有的支付信息、付款记录全部留在本地,解决合规、隐私的顾虑 先开源出来,给大家玩玩。我很想看看,当更多 AI 能直接操作电脑之后,大家会拿它做出什么有意思的东西 如果是你,你最想让它接手电脑上的哪件事?如果你用起来觉得还挺有意思的,欢迎提交 PR,也欢迎点点 star 后续我们也会用仓库把我们的投研 harness 陆续开源出来

美研芒格君

17,371 просмотров • 1 месяц назад

卧槽,Agent 可以直接操作你的安卓手机!📱 介绍一下:android-remote-control-mcp 像人一样操作任何安卓 App手机自己跑 MCP server → 不用 root,不用数据线,不用电脑跑 ADB 中转装一次,人在外面也能遥控家里那台手机读屏、点按钮、划屏幕、打字、开 App、拍照、读通知,57 个工具全给你。 立即开搞👇 我在模拟器上从零跑了一遍,读一整屏的 UI 树只有 4000 字符出头,一千个 token 左右,比那些 dump XML 的方案省太多。 下面是完整安装步骤,手机和模拟器两条路都写了。如果嫌麻烦其实可以用 Airtap 的云手机,直接发送短信,免安装,开箱即用。 我录了一段 Agent 实际操作 Android 手机的过程,一句话丢给 Agent,它自己在模拟器里读屏、找按钮、点下去。 一、手机直接装(最简单) 手机浏览器打开项目的 Releases 页,下载最新的 APK(当前 v1.11.1,包 169 MB) APK 有两个版本,按手机选:GMS 版给正常带 Google 服务的手机,不确定就选它;FOSS 版给去谷歌化的 ROM,不依赖 Google 服务。 点开下载好的 APK 安装,中途会问你要不要允许「未知来源」,允许 打开 App,Server 页顶部会有一条权限提示,进去把无障碍服务打开。这一项是必须的,读屏和点击全靠它,不开的话所有工具都会报错 Android 13 以上,用 APK 侧载安装的应用,无障碍开关是灰的,点不动。去「设置 → 应用 → Android Remote Control MCP」,右上角三个点,选「允许受限设置」,验证一下指纹或密码,再回来开就正常了。 相机、麦克风、定位、通知这几个是可选的,对应的工具用不上就不用给 回到 Server 页点 Start。页面上会显示 IP、端口和一串 token,这三个待会儿要给 Agent 二、模拟器装(没有安卓手机,或者不想拿自己手机试) 先在电脑上装一台安卓模拟器。装 Android Studio 是最省事的路,它自带模拟器和 adb,建一台 Pixel 7、Android 15 的机器就行。 模拟器起来之后,剩下的步骤和真机完全一样:把 APK 拖进模拟器窗口装上,打开 App 开无障碍,回 Server 页点 Start。 模拟器不用管「允许受限设置」那一步,无障碍开关直接就能点。 三、接进 Agent 这一步别自己查文档了,把仓库链接丢给 agent,让它自己配: 读一下这个仓库的 README,把它的 MCP server 配到我的 Agent 里,配完验证能连上。 它会自己去看 README、写配置、跑一遍连通性检查。你只要把 App 里 Server 页显示的那串 token 和地址给它。 地址给哪个,取决于你怎么连:手机和电脑在同一个 WiFi 下,就在 App 里把绑定地址改成 0.0.0.0,用它显示的局域网 IP;用模拟器就是本机地址;人不在家,在 App 里开 Remote Access 隧道,用它给的那个公网地址。 仓库里还自带一个 Claude Code 插件,作用是反过来的——把手机上的通知、WiFi、地理围栏这些事件推进你的 Agent 会话里。这个也一样,让 agent 顺手一起装了。

劳伦斯

74,707 просмотров • 2 месяцев назад

ChatGPT 桌面端(原来的 Codex App)今天加入了语音控制,macOS 和 Windows 用户可以直接用嘴指挥 AI 干活了。 具体来说,你可以一边跟 ChatGPT 说话,一边让它操控电脑、启动 Codex 写代码、调度 ChatGPT Work 执行任务,全程不用打字。开着一个语音对话,同时管理多个后台 Agent(智能体),有点像一个人坐在那里口述指令,几个助手分头干活。 这个功能基于 GPT-Live,OpenAI 在 7 月 8 日刚上线的新一代语音模型。GPT-Live 最大的变化是全双工架构,也就是它能同时听你说话和给你回话,不用像以前那样等你说完、停顿、它再开口。遇到复杂问题,它会把推理任务丢给后台的 GPT-5.5 处理,自己继续跟你聊,不会卡住。 macOS 用户多了一个叫 Appshots 的功能:语音对话时,ChatGPT 可以直接看到你当前最前面的窗口,了解你在做什么,回答就更贴合上下文。比如你正在看一段代码,直接说“这个函数有什么问题”,它能看到屏幕内容来回答。Windows 用户暂时没有这个能力。 此外,iPhone 用户可以通过远程配对的方式,用 iOS 上的 ChatGPT 语音来操控桌面端的 Codex。等于你拿着手机在沙发上就能指挥电脑写代码。Android 支持还在路上。 今天全球同步推出,面向 Plus、Pro、Business、Edu 和 Enterprise 用户。免费用户暂不可用。

宝玉

89,993 просмотров • 3 месяцев назад