正在加载视频...

视频加载失败

iPhone Use - 我这两天在做的一个插件,让 Codex 可以直接操作你自己的手机。 在各种兜底擦屁股之后,现在已经可以稳定满足各种常用 APP 的操作,刷微信朋友圈、总结微信群聊、去淘宝里下单买东西、点个美团外卖、发篇小红书帖子。 项目链接👇

75,385 次观看 • 1 天前 •via X (Twitter)

51 条评论

liulangshanghai 的头像
liulangshanghai1 天前

试一下先

Crio Songo 的头像
Crio Songo1 天前

这个思路挺有意思,让大模型直接接管手机做日常操作,稳定性做到这样已经很不错了,马上去看看项目代码。

末日西东 的头像
末日西东1 天前

牛大了,正需要

钟二信 的头像
钟二信1 天前

赶紧去试试,就是可能需要 Xcode 装下

末日西东 的头像
末日西东1 天前

看起来也不错,我试试,感谢推荐

kindle 的头像
kindle23 小时前

可以试一下XPhoneuse ,windows下都可以操作

Zero Lu 的头像
Zero Lu1 天前

真牛啊哈哈

Deeka Wong 的头像
Deeka Wong1 天前

跟「iPhone镜像」插件有什么不一样?

钟二信 的头像
钟二信1 天前

能读 UI 树,不仅依靠屏幕截图,会更快更稳一些

亚马逊的雪 的头像
亚马逊的雪22 小时前

牛,更需要iphone use

lindavy 的头像
lindavy1 天前

可不可以叫他直接修手机?

钟二信 的头像
钟二信1 天前

可以帮你下单一个修手机

jeons 的头像
jeons1 天前

windows可以用吗?

钟二信 的头像
钟二信1 天前

Windows 上应该还不行

ziziran 的头像
ziziran1 天前

README 里提到超时后先确认实际状态,这点放到外卖场景就很直观:先查订单再决定要不要重试,别让一次断线变成两份午饭😂

钟二信 的头像
钟二信1 天前

哈哈哈 是的 你很懂 Agent Harness

辛安 的头像
辛安1 天前

总结微信群聊时,能一路往前翻到指定日期吗?如果只读到当前加载的消息,“总结今天”可能就漏了前半天。

钟二信 的头像
钟二信1 天前

可以的滚动,结合 日期 label 以及可能兜底到看截图,是能滚到指定日期的

辛安 的头像
辛安1 天前

明白,能按日期往前翻。我刚才担心的是只总结当前加载的那一段。

jiang leon 的头像
jiang leon1 天前

看这个视频 codex 运行速度和 iPhone 镜像操作速度起码 加速 x10

Vincent Zhang 的头像
Vincent Zhang1 天前

试了一下,感觉翻动的速度比较慢 不知道是什么出问题了

钟二信 的头像
钟二信1 天前

我看看 是哪个 App 里 微信里应该还算快

加速师 的头像
加速师1 天前

加油吧

〆醉枫染墨ゾ 的头像
〆醉枫染墨ゾ23 小时前

windows可能做到嗎🧐

钟二信 的头像
钟二信23 小时前

还没试过 现在这个项目还不行

Orion 常青de绵阳 的头像
Orion 常青de绵阳21 小时前

使用 iPhone use 和我直接 让codex 用computer use 通过 IPhone mirror 操作iPhone 有什么区别呢

Evan 的头像
Evan1 天前

你直接让codex操作iphone镜像不就好了

钟二信 的头像
钟二信1 天前

你真去这样试试会遇到很多问题,比如截图会触发 APP 自身的截图引导窗口

Evan 的头像
Evan1 天前

不会,我每天都在用

Yu 的头像
Yu23 小时前

我今天 codex 控制微信 微信都给我退出来了

钟二信 的头像
钟二信23 小时前

是用的这个方案吗

Yu 的头像
Yu22 小时前

不是 直接codex操作

liulangshanghai 的头像
liulangshanghai1 天前

感觉速度有点慢,其他都挺好的

钟二信 的头像
钟二信1 天前

是的 还在继续优化这个,以及最好用更小参数模型

liulangshanghai 的头像
liulangshanghai1 天前

监听四个窗口的新消息本身不难,主要难在: 只处理最终回复,避免把草稿、中间结果重复发出去。 把回复准确对应到微信联系人,并让同一台手机排队操作。 手机锁屏、切页、断线或程序重启后,避免漏发、重发、发错人。 此前的 30–60 分钟估计指接通原型;长期稳定运行还需要处理这些异常。 有被微信发现或限制的可能。本机监听 Codex 记录不直接操作微信,但 WDA 自动点击、输入和发送仍存在风险。微信官方协议第 8.2.1.6 条限制未经授权的第三方自动化操作,第 8.2.2 条允许中止或终止服务。官方协议 我没有证据量化识别概率,也不能保证不会封号。 现在多个聊天对象回复切换有点慢,可以这样吗?跃跃欲试啊

罗里叭说 的头像
罗里叭说1 天前

能否实现管理多台iphone?

钟二信 的头像
钟二信1 天前

技术上看起来应该不难… 本来这个技术其实就是被用在那些灰产批量刷流量的场景里

罗里叭说 的头像
罗里叭说1 天前

成本很高,灰产也要对比

钟二信 的头像
钟二信1 天前

Dots 里勉强可用吧 😅

擎天柱 的头像
擎天柱21 小时前

完美解决了手机过于便携的痛点😂

Hazel 的头像
Hazel22 小时前

mac上面镜像那种吗

woxndmd 的头像
woxndmd22 小时前

是需要usb配对?

钟二信 的头像
钟二信22 小时前

需要,或者是在同一个 Wifi 网络下

小明厂长 的头像
小明厂长1 天前

不错不错,

Feinode 的头像
Feinode1 天前

我更好奇你打码是用啥打的。。😂

钟二信 的头像
钟二信1 天前

哈哈哈 录好视频后,发给给 Claude Code 让它给这些朋友圈的人名打上码 它好像也不会傻傻的每一帧去打,而是会根据运动写一些脚本来

灰灰 的头像
灰灰21 小时前

codex 都能替人刷朋友圈点外卖了 微信风控那关是怎么过的

钟二信 的头像
钟二信21 小时前

富贵险中求

彭敬寅 的头像
彭敬寅1 天前

点外卖那个我先收了 每天纠结吃啥纠结半小时的人终于有救了....

HMLG 的头像
HMLG23 小时前

微信会被踢掉么

wx_eric 的头像
wx_eric22 小时前

真机操作最想看一个插曲测试:点按钮前突然来电、弹通知,或者用户手动切了 App,Agent 会先重读当前页面,还是沿用上一张截图的坐标?这决定它能否跟人的日常使用并存,比单次顺利演示更接近实际。

相关视频

我把某年入百万的博主近一个月朋友圈全扒了下来——47条,分类、提炼、技法拆解,全自动 我在这边工作,一小时后markdown文件就躺在我的电脑上,这是一个商业打法,也是一个skill制作方法 感觉豆包手机可以更新一波绕过各大厂商了,觉得麻烦直接看视频我做了个多牛的事儿⬇️ 我觉得成交最重要的一步是在转化上,我其实也有这部分卡点 朋友圈营销是转化的重要主战场甚至朋友圈营销的课程已经是 588,3 天的训练营 我知道一个博主,他是真的就靠朋友圈营销去做转化,年入百万 我刷了他三个月朋友圈,越刷越觉得不对 他做高客单价,不靠直播,不靠短视频,靠朋友圈 产品卖五位数、六位数,朋友圈就是他的成交主场 并且据说他自己有一套完整的朋友圈转化的逻辑,那我觉得这个东西就完全可以skill化的 重要的卡点在于我如何能够抓取朋友圈的数据,于是我就发现了个产品叫做airtap Airtap Ai 然后我把他的内容整理出来了 你会发现他的每一条朋友圈,背后都有一套完整的转化逻辑:身份标签怎么立、前景对比怎么做、文案怎么克制才让人觉得值、价值观帖怎么埋才能让人主动买单跟进 这些东西,才是真正穿越周期的东西 这就是 Airtap——一个住在你手机里的 AI Agent 后面我打算用 Airtap 把他的朋友圈全提取出来,让 AI 做技法分析,做成了一个skill,后面用起来也会开源给大家 然后我深入了解一下产品我才发现,我限制了airtap的发挥 Airtap 不只是"帮你操作 App",它是"你身边那个不知疲倦的情报员"。 你想研究谁的朋友圈,直接喂给它;它自己提取、自己分类、自己提炼营销技法 写一次 prompt,以后每天自动跑 你干别的事的时候,它替你把活干了。→

叫我阿杭

21,965 次观看 • 4 个月前

最近 Muse 很火,我也在想:有没有可能,让我们已经在用的任意的AI,也拥有像 Muse 一样操作电脑的能力? 因此我周末捣鼓了开源一个skill。一句话来讲,使用它可以让任何AI 接到电脑上的 Computer Use,让它能看屏幕、点按钮、输入文字,直接操作 App 顺着这个方向,可以尝试的事情就很多了:找餐馆、查机票、购物比价,或者整理社交媒体素材。以前需要自己在几个 App 之间来回切换,现在可以试着用一句话把任务交给你已经订阅了的AI。(Kimi, 豆包 Gemini, Codex, Claude 等等) 开源链接 使用方式 把这个 GitHub 链接直接给到 AI,让它帮忙安装 在 demo 里,我演示了如何安装,并以 Claude Code 为例,操作我的浏览器,帮我给餐馆定位 我更感兴趣的是背后的成本空间。 这个 skill 复用了本机已安装的 ChatGPT/Codex Computer Use 组件,由你选择的模型理解任务、决定下一步怎么做。项目脚本本身不调用 OpenAI 推理 API,因此,不会消耗 OpenAI 的 Token,但前提是你要安装了 Codex 我自己也更愿意让操作发生在自己的电脑上,继续用自己的 App 和登录状态。此外所有的支付信息、付款记录全部留在本地,解决合规、隐私的顾虑 先开源出来,给大家玩玩。我很想看看,当更多 AI 能直接操作电脑之后,大家会拿它做出什么有意思的东西 如果是你,你最想让它接手电脑上的哪件事?如果你用起来觉得还挺有意思的,欢迎提交 PR,也欢迎点点 star 后续我们也会用仓库把我们的投研 harness 陆续开源出来

美研芒格君

16,262 次观看 • 5 天前