正在加载视频...
视频加载失败
UI-TARS:字节跳动开源一种能够自我学习的GUI Agent 它能模拟人类操作手机和电脑并完成任务 并具备高级的感知、推理和交互能力 与传统依赖模块化框架或手工提示优化的系统不同,UI-TARS采用端到端架构,依赖纯视觉输入,实现了对复杂任务的全面自动化。 UI-TARS 的特点: - 看得懂界面:能理解界面上的按钮、输入框等元素,还能精准找到它们的位置。 - 多平台通用:不管是手机、电脑还是网页,UI-TARS 都能轻松适应。 - 高级推理能力:支持复杂任务的分解与多步决策,能自己规划步骤,遇到问题会反思并修正错误。 - 不断学习:通过反思和在线采集更多任务数据,它可以不断优化和适应新的任务场景,变得越来越聪明。
8 条评论

小互1 年前
在10多个GUI代理基准测试中达到最先进水平(SOTA)。 在复杂的动态交互场景中,其性能优于主流模型(如GPT-4o和Claude Computer Use)。 由于 不依赖手动设计规则和模块化框架,适应性和泛化能力更强。 重复性任务:如表单填写、批量处理等任务中,显著提升效率。 复杂交互场景:如在线预订、数据录入等多步骤流程,UI-TARS展现卓越适应能力。 跨平台自动化:支持在网页、桌面和移动端上的统一操作。

小互1 年前
字节还顺便提供了在桌面和网页端运行 UI-TARS 的开发框架。 可以体验:UI-TARS-desktop:

小互1 年前
UI-TARS详细介绍:

小互1 年前
更多更全场景演示视频 ↓

UserInterface2 年前
Unveiling the Future of Prompt Engineering for Better AI Interactions #tech

Midscene AI1 年前
下面网页视频的操作来自 Midscene ,欢迎👏关注我们~

Le Blue1 年前
怎么那么多字节的ai产品,豆包marscode、coze、trae..

小互1 年前
他们是赛马模式,自己人都搞不清有多少个项目在同时进行,而且互相不知道对方在干什么!效率非常高!🤣
相关视频
2:56
Sensitive content
一个相当牛的开源项目 Windows-Use,让任何大语言模型直接控制操作 Windows 系统。 支持打开应用、按钮点击、文字输入等基础交互,可自动化执行命令,实现系统级别的自动化操作。 GitHub: 同时可实时捕获和理解界面状态,智能判断下一步操作,不依赖传统的计算机视觉模型。 支持 Windows 7 到 Windows 11 全系列系统,可直接语音输入,动动嘴皮就能控制电脑。
GitHubDaily
35,658 次观看 • 10 个月前
