Sensitive content

This media may contain sensitive content.

Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

AI Agent 开始碰真机了。 不是模拟器 是真 iPhone、真 Android 看屏幕、点按钮、滑动、打字、开设置 开源项目 Mobile Harness 把眼睛和手接到手机上 本地也能跑,云设备也能规模化 Agent 上一阶段主要在写代码 这一阶段开始用你手机上的 App

17,682 görüntüleme • 1 ay önce •via X (Twitter)

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

卧槽,Agent 可以直接操作你的安卓手机!📱 介绍一下:android-remote-control-mcp 像人一样操作任何安卓 App手机自己跑 MCP server → 不用 root,不用数据线,不用电脑跑 ADB 中转装一次,人在外面也能遥控家里那台手机读屏、点按钮、划屏幕、打字、开 App、拍照、读通知,57 个工具全给你。 立即开搞👇 我在模拟器上从零跑了一遍,读一整屏的 UI 树只有 4000 字符出头,一千个 token 左右,比那些 dump XML 的方案省太多。 下面是完整安装步骤,手机和模拟器两条路都写了。如果嫌麻烦其实可以用 Airtap 的云手机,直接发送短信,免安装,开箱即用。 我录了一段 Agent 实际操作 Android 手机的过程,一句话丢给 Agent,它自己在模拟器里读屏、找按钮、点下去。 一、手机直接装(最简单) 手机浏览器打开项目的 Releases 页,下载最新的 APK(当前 v1.11.1,包 169 MB) APK 有两个版本,按手机选:GMS 版给正常带 Google 服务的手机,不确定就选它;FOSS 版给去谷歌化的 ROM,不依赖 Google 服务。 点开下载好的 APK 安装,中途会问你要不要允许「未知来源」,允许 打开 App,Server 页顶部会有一条权限提示,进去把无障碍服务打开。这一项是必须的,读屏和点击全靠它,不开的话所有工具都会报错 Android 13 以上,用 APK 侧载安装的应用,无障碍开关是灰的,点不动。去「设置 → 应用 → Android Remote Control MCP」,右上角三个点,选「允许受限设置」,验证一下指纹或密码,再回来开就正常了。 相机、麦克风、定位、通知这几个是可选的,对应的工具用不上就不用给 回到 Server 页点 Start。页面上会显示 IP、端口和一串 token,这三个待会儿要给 Agent 二、模拟器装(没有安卓手机,或者不想拿自己手机试) 先在电脑上装一台安卓模拟器。装 Android Studio 是最省事的路,它自带模拟器和 adb,建一台 Pixel 7、Android 15 的机器就行。 模拟器起来之后,剩下的步骤和真机完全一样:把 APK 拖进模拟器窗口装上,打开 App 开无障碍,回 Server 页点 Start。 模拟器不用管「允许受限设置」那一步,无障碍开关直接就能点。 三、接进 Agent 这一步别自己查文档了,把仓库链接丢给 agent,让它自己配: 读一下这个仓库的 README,把它的 MCP server 配到我的 Agent 里,配完验证能连上。 它会自己去看 README、写配置、跑一遍连通性检查。你只要把 App 里 Server 页显示的那串 token 和地址给它。 地址给哪个,取决于你怎么连:手机和电脑在同一个 WiFi 下,就在 App 里把绑定地址改成 0.0.0.0,用它显示的局域网 IP;用模拟器就是本机地址;人不在家,在 App 里开 Remote Access 隧道,用它给的那个公网地址。 仓库里还自带一个 Claude Code 插件,作用是反过来的——把手机上的通知、WiFi、地理围栏这些事件推进你的 Agent 会话里。这个也一样,让 agent 顺手一起装了。

劳伦斯

69,242 görüntüleme • 28 gün önce

Phone Harness 最近火了以后,大家开始意识到 Agent 终于可以真的操作手机了。 Phone Harness 的路线过于极客。 它需要 Mac 和本地 iPhone,通过 iPhone Mirroring 把手机画面交给 Claude Code 或 Codex,再通过截图和 OCR 理解屏幕内容,最后模拟点击、滑动和输入去操作这台 iPhone。 但同样是 Phone Agent,我觉得 Airtap 把场景往外扩了一层。 它不只是给 Agent 一个遥控手机的能力,而是真的给 Agent 配了一台完整的云端 Android。 我想看看这台 Android 到底能走多远,就给 Airtap Ai 的公开测试号 +1 (650) 444-9517 发了条 iMessage,让它直接打开 Termux 跑 Python。 这件事有意思的地方在于,Airtap 后面跑的本来就是完整 Android。 所以不只是能打开 TikTok、Amazon、Google 这些 App。 还可以直接装 Termux,Termux 本身就是 Android 上的终端和 Linux 环境。 打开以后运行 pkg install python 就能把 Python 环境装进去。 到这里,这台远程手机就多了一层完全不同的能力。 它不只可以点 App。 还可以直接成为一个远程代码执行环境。 这次我让它用 Python 获取 Hacker News 当前 Top 100 热门帖子,从里面筛出 AI、LLM、Agent、AI Coding 相关内容,再根据 score 和评论数排序,最后生成一份 HTML 报告。 整个过程都发生在远程 Android 里。 Airtap 打开 Termux,跑 Python,获取数据,处理结果,再生成 ai_hn_report.html。 报告完成以后,它还能把 HTML 打开,截图,再直接通过 iMessage 把图片发回来。 这也是我觉得 Airtap 和 Phone Harness 虽然都在做 Phone Agent,但使用边界很不一样的地方。 Phone Harness 更像是让 Claude Code 或 Codex 获得操作本地 iPhone 的能力。 Airtap 更像是直接给 Agent 一台可以自己干活的 Android。 App 是它的 GUI,Termux 是它的命令行,iMessage 是我给这台手机派任务的入口。 它可以去 App 里点,也可以进终端跑 Python。 可以抓数据,可以处理文件,可以生成 HTML,最后还能把图片和结果直接发回消息里。 所以比起 AI 终于会点手机了,我现在更感兴趣的是另一件事。 当 Agent 自己拥有一台完整的手机以后,还有多少原本需要电脑和手机来回切换的工作,可以直接丢给它

白骏知识分享

59,190 görüntüleme • 1 ay önce

过年那段时间和 Neo Reid(AgentReach 作者 Neo)聊天,他给我演示了他怎么用龙虾 OpenClaw 最骚的是他演示的姿势:人在咖啡厅,掏出手机,远程操控他家里那台 PC 跑 OpenClaw 整个过程我看呆了 不是因为 OpenClaw 多强(它确实强),是因为他手机端的操控丝滑到我以为是在本地操作:4K 画面、144 帧、几乎零延迟,还能直接调出远程终端看 agent 跑到哪一步 我问他用的什么远控。他说:UU远程 没想到之前折腾的各种方案(免费的不丝滑、付费的限速)全部都是在凑合,回家立刻装了,用到了现在 说说我搬过去之后的真实工作流: 🔥 核心是 手机端远控电脑 + UU远程的终端功能 我家里那台 24h 在线的老macbook pro上挂着 Claude Code + OpenClaw + agent loop 出门时打开 UU远程 App → 手机里直接进远程命令行入口(不用配 SSH、不用挂穿透) → tmux attach → agent 跑到哪一步、reward 曲线、GPU 利用率,全在手机上看 用下来体感最特别的一点:流量真的省。我经常在地铁上挂 1G 流量包用一上午,等于把"看 agent 跑到哪了"这件事的成本压到接近 0 真要动手改代码的时候,iPad + 蓝牙键盘 / 手机 + UU远程的 4K 桌面远控顶上去,延迟低到我经常忘了不是本地 多屏协作把家里两块屏分别拖到 iPad 上更舒服 一开始我以为这种体验肯定要开会员。装完用了两天后翻了一下设置,发现没找到付费入口,不绑会员、不限画质、不限速、没广告弹窗。后来才知道是网易出品的,安全那边也过了 ISO 27001 + 27701 双认证。 我自己用得最顺手的两个小功能: - 一键远程开机:家里 PC 平时不用开着,出门前忘了启动也没事,要用的时候手机点一下唤醒; - 被控端一键防窥黑屏:咖啡厅里远控的时候,家里那块屏自动黑掉静音,路过的人看不到内容。 最近产品两周年周年庆的时候,预告了一个功能,叫共享文件夹,应该是能在控制端显示被控端的本地磁盘,对Vibe Coding的效率肯定会有明显提升。 如果你也在搭家里那套 always-on AI 工作机,这是 Neo 给我打开新世界的工具,原原本本传给你

Jason Zhu

204,804 görüntüleme • 3 ay önce