正在加载视频...

视频加载失败

深扒豆包AI手机的技术实现原理

56,891 次观看 • 9 个月前 •via X (Twitter)

17 条评论

Bruce Van 的头像
Bruce Van9 个月前

文字稿总结一下,豆包手机系统底层机制分析 一、核心技术:系统级特权 豆包手机的自动化能力源于一系列高权限的系统进程: AI kernel: 作为端侧AI的“大脑”,其 native堆占用高达160M,远超一般应用。这表明它是一个本地AI框架,承担着复杂的计算任务,并通过大量RPC调用向其他进程提供系统级服务。 底层读屏: AI并非通过普通的截屏API获取画面,而是利用 read frame buffer 权限,直接从 GPU渲染的图形缓冲区中获取最原始的 Bitmap 数据。它甚至拥有 Capture Secure video output 权限,可以绕过银行App等受保护视频的截图限制。 模拟操作: AI操作屏幕不走无障碍服务,而是使用 注入输入事件权限。这是一个系统签名级的权限,允许它直接向手机控制输入事件。 “后台”运行: 自动化任务在一个 AI专享的虚拟屏幕中运行。这个屏幕拥有与物理屏相同的分辨率,但亮度始终为零,且焦点独立,保证AI在后台工作时,不干扰用户在物理屏幕上的操作。 二、云端决策与本地执行的分工 豆包手机的“思考”过程是云端和本地协同的结果: 云端是真正的“大脑”。手机每隔三到五秒,会向服务器发送约 250K 的数据包,这被推断为单帧屏幕图片。 云端负责所有的推理和路径规划。云端分析图像后,返回约 1K 的数据包,包含七种执行指令(如点击、滑动、打开应用或提取信息)。 总结来说,本地轻执行,云端重推理,所有的决策和路径规划都在云端完成。

普达特 的头像
普达特9 个月前

这手机币圈的千万不能用

Andy Stewart 的头像
Andy Stewart9 个月前

博主信息:微信视频号搜索 ZEALER

Justin Hu 的头像
Justin Hu9 个月前

那句fucku tencent听得出是发自内心的

Sunny 的头像
Sunny9 个月前

确实会更加中心化,掌握所有人数据的垄断,很恐怖。

Andy Stewart 的头像
Andy Stewart9 个月前

可以用我家懒猫微服来对抗中心化,可以看我置顶帖介绍

Just for fun 的头像
Just for fun9 个月前

扒完了,上哪搞豆包手机?🤣

Anthony W. 的头像
Anthony W.9 个月前

他講得很好

allen 的头像
allen9 个月前

如果没理解错的话,那相关app上的数据,比如美团上的购买记录,地址配置等等,都会被字节获取,因为截屏走了啊;这挺可怕,这个豆包手机上操作的app上用户的数据,对豆包透明了

Xu 的头像
Xu9 个月前

@GetXBot

harold finch 的头像
harold finch9 个月前

应该是字节的 UI-TARS 吧 . 估计是 3.0+

海叔 的头像
海叔9 个月前

🐂🍺(👍ᐛ)

4x9 的头像
4x99 个月前

这个豆包官方回复了,大部分解析是错误的

Jerry 的头像
Jerry9 个月前

@grok 这个博主是谁? 在哪个平台可以看他的视频?

bdtgzj 的头像
bdtgzj9 个月前

@grok 总结下视频内容

timyao888 的头像
timyao8889 个月前

@GetXBot

变态闪肥 的头像
变态闪肥9 个月前

精彩精彩

相关视频