正在加载视频...

视频加载失败

UI-TARS:字节跳动开源一种能够自我学习的GUI Agent 它能模拟人类操作手机和电脑并完成任务 并具备高级的感知、推理和交互能力 与传统依赖模块化框架或手工提示优化的系统不同,UI-TARS采用端到端架构,依赖纯视觉输入,实现了对复杂任务的全面自动化。 UI-TARS 的特点: - 看得懂界面:能理解界面上的按钮、输入框等元素,还能精准找到它们的位置。 - 多平台通用:不管是手机、电脑还是网页,UI-TARS 都能轻松适应。 - 高级推理能力:支持复杂任务的分解与多步决策,能自己规划步骤,遇到问题会反思并修正错误。 - 不断学习:通过反思和在线采集更多任务数据,它可以不断优化和适应新的任务场景,变得越来越聪明。

46,108 次观看 • 1 年前 •via X (Twitter)

8 条评论

小互 的头像
小互1 年前

在10多个GUI代理基准测试中达到最先进水平(SOTA)。 在复杂的动态交互场景中,其性能优于主流模型(如GPT-4o和Claude Computer Use)。 由于 不依赖手动设计规则和模块化框架,适应性和泛化能力更强。 重复性任务:如表单填写、批量处理等任务中,显著提升效率。 复杂交互场景:如在线预订、数据录入等多步骤流程,UI-TARS展现卓越适应能力。 跨平台自动化:支持在网页、桌面和移动端上的统一操作。

小互 的头像
小互1 年前

字节还顺便提供了在桌面和网页端运行 UI-TARS 的开发框架。 可以体验:UI-TARS-desktop:

小互 的头像
小互1 年前

UI-TARS详细介绍:

小互 的头像
小互1 年前

更多更全场景演示视频 ↓

UserInterface 的头像
UserInterface2 年前

Unveiling the Future of Prompt Engineering for Better AI Interactions #tech

Midscene AI 的头像
Midscene AI1 年前

下面网页视频的操作来自 Midscene ,欢迎👏关注我们~

Le Blue 的头像
Le Blue1 年前

怎么那么多字节的ai产品,豆包marscode、coze、trae..

小互 的头像
小互1 年前

他们是赛马模式,自己人都搞不清有多少个项目在同时进行,而且互相不知道对方在干什么!效率非常高!🤣

相关视频

阿里刚刚放出了其首个千问具身智能体通用模型:Qwen-Robot ,也开始搞具身智能了! Qwen-Robot由三个模型组成机器人的手+脚+大脑,三个模型可以独立用,也可以组合用 比如,用它可以组成一个既能动手端盘子,又能走路送餐,还能预判端着热汤拐弯儿会不会洒的服务机器人 Qwen-RobotManip: 其采用80维统一动作表征,把不同机器人的动作翻译成同一种通用语言,并基于摄像头画面的相对位置操作,不再依赖繁琐的绝对坐标计算,解决了换个机械臂、换个场景数据不通用的情况 Qwen-RobotNav: 核心思路是把视觉分配策略本身参数化,而非固定,具体解法是把记多少、怎么记变成可调参数,根据任务类型自动配置,不同任务按需配置,比如目标追踪只关注最近几帧省算力,指令跟随保留长程上下文不迷路 因为记忆策略参数化了,一套权重即统一五类导航任务 在双层智能体系统(上层规划器+Qwen-RobotNav)中,EXPRESS-Bench提升15.4%,导航步数减少了77% 通用接口设计,其他上层AI可以直接调用它的导航能力,无需再为每个任务单独训练一个导航模型,原生支持多种智能体框架 Qwen-RobotWorld:相当于机器人的想象力 基于对物理规律的理解,可推理和模拟下一时间点的合理动作和状态;能生成视频数据用于训练,缓解训练数据不足问题;可以在执行前推演未来动作轨迹,使操作更精准 Qwen-Robot相当于是一套模块化的具身智能系统,把导航、操作、世界预测三个专业的能力解耦又协同,让通用模型像调用软件工具一样,调用物理世界的行动能力 #QwenRobot #robot #具身智能

AIGCLINK

11,106 次观看 • 1 个月前