Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

在 GitHub 看到 MobiAgent 这个开源框架，相当厉害，它能让 AI 像真人一样操控手机完成各种复杂任务。提供开箱即用 App，输入指令即可自动执行任务，支持记住我们的使用偏好、自定义执行流程，同时可多任务并行处理。更厉害的是，框架内置了经验检索模块，会根据历史任务自动优化规划，就像 AI 在不断学习进化一样。 GitHub：框架核心内容全部开源，包含专门训练的 MobiMind 智能体模型（分为决策、定位、规划三个专用模型），还有 AgentRR 加速框架和 MobiFlow 评测基准。值得一提的是，它还提供了完整的数据收集、标注和处理工具链，能帮助开发者基于自己的需求训练定制化的手机智能体。可直接下载 APP 在手机上体验，或者通过 Python 脚本配合 ADB 来深度控制手机。想要尝试做移动端自动化 AI 智能体的开发者，可以好好学习研究一下，相信对大家有所帮助。

GitHubDaily

84,090 subscribers

35,066 Aufrufe • vor 9 Monaten •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

3 Kommentare

Profilbild von 轻轻地来🕯️🕯️🕯️-2 （Pray for Charlie Kirk ! )

轻轻地来🕯️🕯️🕯️-2 （Pray for Charlie Kirk ! )vor 9 Monaten

留存一个，这是一个好项目。

Profilbild von 数字狂徒

数字狂徒vor 9 Monaten

也就是说可以自动点外卖？

Profilbild von dobe 🔆

dobe 🔆vor 9 Monaten

好牛逼的样子，苹果可以吗

Ähnliche Videos

UI-TARS：字节跳动开源一种能够自我学习的GUI Agent 它能模拟人类操作手机和电脑并完成任务并具备高级的感知、推理和交互能力与传统依赖模块化框架或手工提示优化的系统不同，UI-TARS采用端到端架构，依赖纯视觉输入，实现了对复杂任务的全面自动化。 UI-TARS 的特点： - 看得懂界面：能理解界面上的按钮、输入框等元素，还能精准找到它们的位置。 - 多平台通用：不管是手机、电脑还是网页，UI-TARS 都能轻松适应。 - 高级推理能力：支持复杂任务的分解与多步决策，能自己规划步骤，遇到问题会反思并修正错误。 - 不断学习：通过反思和在线采集更多任务数据，它可以不断优化和适应新的任务场景，变得越来越聪明。

UI-TARS：字节跳动开源一种能够自我学习的GUI Agent 它能模拟人类操作手机和电脑并完成任务并具备高级的感知、推理和交互能力与传统依赖模块化框架或手工提示优化的系统不同，UI-TARS采用端到端架构，依赖纯视觉输入，实现了对复杂任务的全面自动化。 UI-TARS 的特点： - 看得懂界面：能理解界面上的按钮、输入框等元素，还能精准找到它们的位置。 - 多平台通用：不管是手机、电脑还是网页，UI-TARS 都能轻松适应。 - 高级推理能力：支持复杂任务的分解与多步决策，能自己规划步骤，遇到问题会反思并修正错误。 - 不断学习：通过反思和在线采集更多任务数据，它可以不断优化和适应新的任务场景，变得越来越聪明。

小互

46,108 Aufrufe • vor 1 Jahr

在做浏览器自动化脚本时，我们常常需要编写大量代码来处理复杂的网页交互，不仅耗时耗力，还难以调试和优化，要是出错更是难以精准定位问题所在。最近在 GitHub 上我发现了一款强大的开源自动化浏览器智能体：Index。它能够在浏览器上自动执行复杂的网页任务，无需编写代码脚本，简单描述任务需求即可完成各种网页操作。 GitHub：主要功能 - 基于 Claude 3.7 Sonnet 提供强大的 AI 能力，后续将支持更多模型 - 提供 API 和可视化操作 UI 界面，也支持完全自托管部署使用 - 能执行复杂的网页任务，如数据收集、表单填写和内容分析 - 支持自定义浏览器窗口大小和远程 CDP 连接安装部署简单，几行代码即可开始使用，也可直接使用托管 API 服务。

在做浏览器自动化脚本时，我们常常需要编写大量代码来处理复杂的网页交互，不仅耗时耗力，还难以调试和优化，要是出错更是难以精准定位问题所在。最近在 GitHub 上我发现了一款强大的开源自动化浏览器智能体：Index。它能够在浏览器上自动执行复杂的网页任务，无需编写代码脚本，简单描述任务需求即可完成各种网页操作。 GitHub：主要功能 - 基于 Claude 3.7 Sonnet 提供强大的 AI 能力，后续将支持更多模型 - 提供 API 和可视化操作 UI 界面，也支持完全自托管部署使用 - 能执行复杂的网页任务，如数据收集、表单填写和内容分析 - 支持自定义浏览器窗口大小和远程 CDP 连接安装部署简单，几行代码即可开始使用，也可直接使用托管 API 服务。

GitHubDaily

35,779 Aufrufe • vor 1 Jahr

OWL团队刚刚又开源了一款多智能体Manus类工具：Eigent，通过多智能体协作，来更高效的处理更复杂任务从效果看具备整合多种工具和数据的能力，生成的报告内容相对专业全面其处理任务时有清晰的任务拆解和执行过程，它把任务拆解成多个子任务，并会清晰展示出每个子任务的执行状态 Eigent支持根据任务创建或灵活调用workforce，多智能体并行处理执行速度更快支持worker间任务的并行，worker下子任务的并行，子任务执行过程中工具调用的并行可以根据需求定制AI团队，组建一个特定的项目组有Human-in-the-Loop机制，可以在关键节点进行人工干预决策内置200+MCP工具，也支持上传常用的MCP工具 #AI员工 #多智能体团队 #Eigent

OWL团队刚刚又开源了一款多智能体Manus类工具：Eigent，通过多智能体协作，来更高效的处理更复杂任务从效果看具备整合多种工具和数据的能力，生成的报告内容相对专业全面其处理任务时有清晰的任务拆解和执行过程，它把任务拆解成多个子任务，并会清晰展示出每个子任务的执行状态 Eigent支持根据任务创建或灵活调用workforce，多智能体并行处理执行速度更快支持worker间任务的并行，worker下子任务的并行，子任务执行过程中工具调用的并行可以根据需求定制AI团队，组建一个特定的项目组有Human-in-the-Loop机制，可以在关键节点进行人工干预决策内置200+MCP工具，也支持上传常用的MCP工具 #AI员工 #多智能体团队 #Eigent

AIGCLINK

16,164 Aufrufe • vor 1 Jahr

阿里刚刚放出了其首个千问具身智能体通用模型：Qwen-Robot ，也开始搞具身智能了！ Qwen-Robot由三个模型组成机器人的手+脚+大脑，三个模型可以独立用，也可以组合用比如，用它可以组成一个既能动手端盘子，又能走路送餐，还能预判端着热汤拐弯儿会不会洒的服务机器人 Qwen-RobotManip：其采用80维统一动作表征，把不同机器人的动作翻译成同一种通用语言，并基于摄像头画面的相对位置操作，不再依赖繁琐的绝对坐标计算，解决了换个机械臂、换个场景数据不通用的情况 Qwen-RobotNav：核心思路是把视觉分配策略本身参数化，而非固定，具体解法是把记多少、怎么记变成可调参数，根据任务类型自动配置，不同任务按需配置，比如目标追踪只关注最近几帧省算力，指令跟随保留长程上下文不迷路因为记忆策略参数化了，一套权重即统一五类导航任务在双层智能体系统（上层规划器+Qwen-RobotNav）中，EXPRESS-Bench提升15.4%，导航步数减少了77% 通用接口设计，其他上层AI可以直接调用它的导航能力，无需再为每个任务单独训练一个导航模型，原生支持多种智能体框架 Qwen-RobotWorld：相当于机器人的想象力基于对物理规律的理解，可推理和模拟下一时间点的合理动作和状态；能生成视频数据用于训练，缓解训练数据不足问题；可以在执行前推演未来动作轨迹，使操作更精准 Qwen-Robot相当于是一套模块化的具身智能系统，把导航、操作、世界预测三个专业的能力解耦又协同，让通用模型像调用软件工具一样，调用物理世界的行动能力 #QwenRobot #robot #具身智能

阿里刚刚放出了其首个千问具身智能体通用模型：Qwen-Robot ，也开始搞具身智能了！ Qwen-Robot由三个模型组成机器人的手+脚+大脑，三个模型可以独立用，也可以组合用比如，用它可以组成一个既能动手端盘子，又能走路送餐，还能预判端着热汤拐弯儿会不会洒的服务机器人 Qwen-RobotManip：其采用80维统一动作表征，把不同机器人的动作翻译成同一种通用语言，并基于摄像头画面的相对位置操作，不再依赖繁琐的绝对坐标计算，解决了换个机械臂、换个场景数据不通用的情况 Qwen-RobotNav：核心思路是把视觉分配策略本身参数化，而非固定，具体解法是把记多少、怎么记变成可调参数，根据任务类型自动配置，不同任务按需配置，比如目标追踪只关注最近几帧省算力，指令跟随保留长程上下文不迷路因为记忆策略参数化了，一套权重即统一五类导航任务在双层智能体系统（上层规划器+Qwen-RobotNav）中，EXPRESS-Bench提升15.4%，导航步数减少了77% 通用接口设计，其他上层AI可以直接调用它的导航能力，无需再为每个任务单独训练一个导航模型，原生支持多种智能体框架 Qwen-RobotWorld：相当于机器人的想象力基于对物理规律的理解，可推理和模拟下一时间点的合理动作和状态；能生成视频数据用于训练，缓解训练数据不足问题；可以在执行前推演未来动作轨迹，使操作更精准 Qwen-Robot相当于是一套模块化的具身智能系统，把导航、操作、世界预测三个专业的能力解耦又协同，让通用模型像调用软件工具一样，调用物理世界的行动能力 #QwenRobot #robot #具身智能

AIGCLINK

11,106 Aufrufe • vor 2 Monaten

和AI Agent一起工作是一种什么样的体验？扣子空间详细体验评测（下面有邀请码）🧵↓ 字节跳动发布新一代 AI Agent 平台：扣子空间，Slogan为：在扣子空间，和 Agent 一起开始你的工作。也就是你可以像和真人协作一样，和AI一起完成特定任务。通过自然语言交流直接交付结果🫡 例如这个↓ 这个测试是模拟你通过AI来简化你的工作或者提高你的工作效率或者成果，例如假如你是一个幼儿园老师就可以通过AI生成一个交互式的英语学习应用。提高孩子们学习英语的乐趣。它支持调用MCP，这个测试调用了两个MCP，一个是图像生成一个是语音生成。扣子空间，它可以是： ✅「通用实习生」：可以处理各种基础任务，比如整理资料、写文案、查数据等。 ✅「领域专家」：针对具体行业或专业的问题（如法律、医学、设计等）有深入理解，能给出专业建议或完成复杂任务。你可以根据自己的需要选择不同AI来协助你完成任务。它不只是回答问题，AI还能主动帮你做事：比如生成报告、整理数据、写代码、规划日程等。支持两种工作方式：自动模式：AI自动帮你完成任务。协作模式：你可以一步步与AI互动，逐步推进任务，更适合复杂工作。

和AI Agent一起工作是一种什么样的体验？扣子空间详细体验评测（下面有邀请码）🧵↓ 字节跳动发布新一代 AI Agent 平台：扣子空间，Slogan为：在扣子空间，和 Agent 一起开始你的工作。也就是你可以像和真人协作一样，和AI一起完成特定任务。通过自然语言交流直接交付结果🫡 例如这个↓ 这个测试是模拟你通过AI来简化你的工作或者提高你的工作效率或者成果，例如假如你是一个幼儿园老师就可以通过AI生成一个交互式的英语学习应用。提高孩子们学习英语的乐趣。它支持调用MCP，这个测试调用了两个MCP，一个是图像生成一个是语音生成。扣子空间，它可以是： ✅「通用实习生」：可以处理各种基础任务，比如整理资料、写文案、查数据等。 ✅「领域专家」：针对具体行业或专业的问题（如法律、医学、设计等）有深入理解，能给出专业建议或完成复杂任务。你可以根据自己的需要选择不同AI来协助你完成任务。它不只是回答问题，AI还能主动帮你做事：比如生成报告、整理数据、写代码、规划日程等。支持两种工作方式：自动模式：AI自动帮你完成任务。协作模式：你可以一步步与AI互动，逐步推进任务，更适合复杂工作。

小互

27,254 Aufrufe • vor 1 Jahr

Ling-3.0-flash ：一个更适合实际工作的 AI 执行助手过去一段时间，大模型的发展重点一直集中在能力提升上。模型能回答什么问题、能处理多复杂的任务，成为行业关注的焦点。但随着 AI 开始进入真实工作流程，用户对于模型的期待也在发生变化：除了能够提供高质量答案，更希望它能够稳定、高效地完成具体任务。在日常工作中，真正消耗时间的往往不是复杂问题，而是大量重复性的处理工作。例如整理资料、分析数据、生成文档、处理代码、执行流程任务。这些事情需要投入大量精力，但其中有很多环节都可以通过 AI 进行优化。 Ling-3.0-flash 的定位正是在这一方向展开。它并不是单纯追求更大的模型规模，而是聚焦 Agent 工作流中的执行效率，帮助用户将明确的任务快速推进完成。官方介绍，该模型面向长程 Agent 工作流设计，重点提升响应速度、工具调用能力以及任务执行稳定性。从实际体验来看，它最大的特点是能够很好地融入已有工作流程，让 AI 从一个问答工具变成一个真正参与任务执行的助手。实测一：资料整理效率明显提升第一个测试场景是长文档处理。在实际工作中，经常会遇到需要快速阅读大量资料的情况，例如行业报告、会议记录、产品文档等。如果完全依靠人工整理，需要花费大量时间筛选重点、提取信息，再重新组织内容。测试过程中，我将一批较长的资料交给 Ling-3.0-flash 处理，让它完成信息提取、重点归纳和结构化整理。整个过程比较符合实际工作习惯。它能够快速抓取文档中的核心内容，并按照任务要求整理成更加清晰的结构。尤其是在面对大量相似信息时，它可以帮助用户减少重复阅读和手动整理的时间。这类能力对于内容运营、产品分析、市场研究等岗位非常实用。很多时候，用户并不是需要 AI 替自己完成最终判断，而是希望它先完成信息整理，把大量基础工作处理好，让人可以把精力放在更重要的分析和决策上。实测二：代码协作更加高效第二个体验场景是代码辅助。 AI 编程已经成为大模型应用的重要方向，但真正影响开发效率的，不只是生成代码的速度，更重要的是能否持续参与开发过程。在测试中，我让 Ling-3.0-flash 协助完成一个简单工具开发任务，包括生成基础代码、调整功能逻辑以及根据反馈进行优化。我需要做一个AI 会议纪要整理助手，请帮我生成代码，把会议录音转文字或会议记录，自动生成：会议摘要、决策事项、待办任务、负责人、截止时间首字耗时：337ms·完成耗时：68984ms·每秒 token 数：371 ，Ling-3.0-flash生成的会议纪要整理助手功能完整、专业美观，支持录音转文字、AI自动生成摘要/决策/待办任务，并支持导出和多种交互功能。实际体验下来，它更适合成为开发过程中的协作助手。开发者可以先确定整体需求和功能方向，再让 AI 快速完成代码生成、修改和补充。这样一来，开发者不需要把大量时间花在重复编码和基础调整上，而可以更多关注产品逻辑和技术方案。这种协作方式更接近真实开发场景。人负责判断方向，AI 负责提高执行效率。实测三：批量任务处理展现执行优势除了开发场景，批量信息处理也是 Ling-3.0-flash 比较适合的方向。例如整理用户反馈、分析业务数据、处理文本分类等任务，通常具有数据量大、格式相对固定的特点。在测试中，我模拟了用户反馈整理场景，让模型对大量文本进行分类，并提炼其中的主要问题。从结果来看，它能够快速完成信息归类，并输出较为清晰的结构化结果。这类任务的价值在于帮助用户减少大量机械操作。以前需要人工逐条查看和整理的信息，现在可以先由 AI 完成初步处理，再由人工进行确认和优化。对于企业团队来说，这种能力可以应用在客服分析、市场调研、内部知识整理等多个环节。速度和效率，是 Flash 模型的重要优势随着 AI 应用逐渐深入业务流程，模型的效率同样成为重要指标。很多实际任务并不需要每一次都进行复杂推理，而更需要快速响应和稳定执行。例如信息分类、内容整理、数据转换等工作，如果能够以更高效率完成，就能明显提升整体生产力。 Ling-3.0-flash 支持混合思考模式，可以根据任务复杂程度调整处理方式，在响应速度和任务能力之间进行平衡。这种设计让它更适合高频使用场景。用户可以将更多日常任务交给 AI 处理，而不必担心流程效率受到影响。从使用体验来看，它更像一个高效执行伙伴经过几个场景测试后，Ling-3.0-flash 给我的整体感受是，它并不是单纯提升聊天体验，而是在帮助用户重新分配工作时间。它可以处理大量信息整理工作，可以辅助开发过程，也可以参与自动化任务执行。对于普通用户来说，它能够减少重复操作，提高工作效率。对于开发者来说，它能够加快开发流程，降低基础工作的时间成本。对于企业来说，它能够帮助更多业务流程实现自动化。未来 AI 的价值，不只是回答问题，而是逐渐参与到真实工作流程中，帮助人完成更多具体任务。 Ling-3.0-flash 所体现的方向，就是让 AI 从一个提供答案的工具，进一步成为一个能够执行任务、提升效率的工作伙伴。官推：感兴趣可以自己试试 👉

Ling-3.0-flash ：一个更适合实际工作的 AI 执行助手过去一段时间，大模型的发展重点一直集中在能力提升上。模型能回答什么问题、能处理多复杂的任务，成为行业关注的焦点。但随着 AI 开始进入真实工作流程，用户对于模型的期待也在发生变化：除了能够提供高质量答案，更希望它能够稳定、高效地完成具体任务。在日常工作中，真正消耗时间的往往不是复杂问题，而是大量重复性的处理工作。例如整理资料、分析数据、生成文档、处理代码、执行流程任务。这些事情需要投入大量精力，但其中有很多环节都可以通过 AI 进行优化。 Ling-3.0-flash 的定位正是在这一方向展开。它并不是单纯追求更大的模型规模，而是聚焦 Agent 工作流中的执行效率，帮助用户将明确的任务快速推进完成。官方介绍，该模型面向长程 Agent 工作流设计，重点提升响应速度、工具调用能力以及任务执行稳定性。从实际体验来看，它最大的特点是能够很好地融入已有工作流程，让 AI 从一个问答工具变成一个真正参与任务执行的助手。实测一：资料整理效率明显提升第一个测试场景是长文档处理。在实际工作中，经常会遇到需要快速阅读大量资料的情况，例如行业报告、会议记录、产品文档等。如果完全依靠人工整理，需要花费大量时间筛选重点、提取信息，再重新组织内容。测试过程中，我将一批较长的资料交给 Ling-3.0-flash 处理，让它完成信息提取、重点归纳和结构化整理。整个过程比较符合实际工作习惯。它能够快速抓取文档中的核心内容，并按照任务要求整理成更加清晰的结构。尤其是在面对大量相似信息时，它可以帮助用户减少重复阅读和手动整理的时间。这类能力对于内容运营、产品分析、市场研究等岗位非常实用。很多时候，用户并不是需要 AI 替自己完成最终判断，而是希望它先完成信息整理，把大量基础工作处理好，让人可以把精力放在更重要的分析和决策上。实测二：代码协作更加高效第二个体验场景是代码辅助。 AI 编程已经成为大模型应用的重要方向，但真正影响开发效率的，不只是生成代码的速度，更重要的是能否持续参与开发过程。在测试中，我让 Ling-3.0-flash 协助完成一个简单工具开发任务，包括生成基础代码、调整功能逻辑以及根据反馈进行优化。我需要做一个AI 会议纪要整理助手，请帮我生成代码，把会议录音转文字或会议记录，自动生成：会议摘要、决策事项、待办任务、负责人、截止时间首字耗时：337ms·完成耗时：68984ms·每秒 token 数：371 ，Ling-3.0-flash生成的会议纪要整理助手功能完整、专业美观，支持录音转文字、AI自动生成摘要/决策/待办任务，并支持导出和多种交互功能。实际体验下来，它更适合成为开发过程中的协作助手。开发者可以先确定整体需求和功能方向，再让 AI 快速完成代码生成、修改和补充。这样一来，开发者不需要把大量时间花在重复编码和基础调整上，而可以更多关注产品逻辑和技术方案。这种协作方式更接近真实开发场景。人负责判断方向，AI 负责提高执行效率。实测三：批量任务处理展现执行优势除了开发场景，批量信息处理也是 Ling-3.0-flash 比较适合的方向。例如整理用户反馈、分析业务数据、处理文本分类等任务，通常具有数据量大、格式相对固定的特点。在测试中，我模拟了用户反馈整理场景，让模型对大量文本进行分类，并提炼其中的主要问题。从结果来看，它能够快速完成信息归类，并输出较为清晰的结构化结果。这类任务的价值在于帮助用户减少大量机械操作。以前需要人工逐条查看和整理的信息，现在可以先由 AI 完成初步处理，再由人工进行确认和优化。对于企业团队来说，这种能力可以应用在客服分析、市场调研、内部知识整理等多个环节。速度和效率，是 Flash 模型的重要优势随着 AI 应用逐渐深入业务流程，模型的效率同样成为重要指标。很多实际任务并不需要每一次都进行复杂推理，而更需要快速响应和稳定执行。例如信息分类、内容整理、数据转换等工作，如果能够以更高效率完成，就能明显提升整体生产力。 Ling-3.0-flash 支持混合思考模式，可以根据任务复杂程度调整处理方式，在响应速度和任务能力之间进行平衡。这种设计让它更适合高频使用场景。用户可以将更多日常任务交给 AI 处理，而不必担心流程效率受到影响。从使用体验来看，它更像一个高效执行伙伴经过几个场景测试后，Ling-3.0-flash 给我的整体感受是，它并不是单纯提升聊天体验，而是在帮助用户重新分配工作时间。它可以处理大量信息整理工作，可以辅助开发过程，也可以参与自动化任务执行。对于普通用户来说，它能够减少重复操作，提高工作效率。对于开发者来说，它能够加快开发流程，降低基础工作的时间成本。对于企业来说，它能够帮助更多业务流程实现自动化。未来 AI 的价值，不只是回答问题，而是逐渐参与到真实工作流程中，帮助人完成更多具体任务。 Ling-3.0-flash 所体现的方向，就是让 AI 从一个提供答案的工具，进一步成为一个能够执行任务、提升效率的工作伙伴。官推：感兴趣可以自己试试 👉

冰糖雪梨

15,661 Aufrufe • vor 1 Monat

MAI-UI：阿里通义开源的手机GUI智能体可以实现豆包手机助手的效果，自动化操作手机。特色是采用了本地模型+云端模型协作的方式，兼顾性能和准确度，在多项手机操作评分中排名第一。目前2B模型和8B模型已开源。 Github：

MAI-UI：阿里通义开源的手机GUI智能体可以实现豆包手机助手的效果，自动化操作手机。特色是采用了本地模型+云端模型协作的方式，兼顾性能和准确度，在多项手机操作评分中排名第一。目前2B模型和8B模型已开源。 Github：

Gorden Sun

64,434 Aufrufe • vor 8 Monaten

推荐关注一下 BabelCloud 项目，也是一个类似于 Devin 的 AI 开发工程师，能独立完成相对复杂的前后端项目。从演示视频可以看出：它能将复杂的任务分解成合适的功能模块；它能对每一个模块进行测试和验证，对于遇到的错误能自动修复或者需求人类帮助；它能完成没有训练过的任务：实现一个最新发布的Claude 3的API请求；它能完成相对复杂的项目，一个比较完整的后台管理；它在执行过程中能和人互动，例如寻求帮助；它能基于项目增加新的需求（这个其实有点挑战，但我怀疑它需要很多元数据辅助完成）它有个工作平台直观看到结果项目作者：Hailong Zhang

推荐关注一下 BabelCloud 项目，也是一个类似于 Devin 的 AI 开发工程师，能独立完成相对复杂的前后端项目。从演示视频可以看出：它能将复杂的任务分解成合适的功能模块；它能对每一个模块进行测试和验证，对于遇到的错误能自动修复或者需求人类帮助；它能完成没有训练过的任务：实现一个最新发布的Claude 3的API请求；它能完成相对复杂的项目，一个比较完整的后台管理；它在执行过程中能和人互动，例如寻求帮助；它能基于项目增加新的需求（这个其实有点挑战，但我怀疑它需要很多元数据辅助完成）它有个工作平台直观看到结果项目作者：Hailong Zhang

宝玉

30,089 Aufrufe • vor 2 Jahren

课程视频翻译：《“多AI智能体系统”（Multi AI Agent Systems）》这门课程由 CrewAI 的创始人兼CEO João Moura打造。在这门课程中，你将学习如何将复杂任务分解为多个AI智能体的子任务，每个智能体都扮演一个特定的角色并执行相应的任务。例如，生成一份研究报告时，你可能会有研究员智能体、撰写智能体和质量保证智能体进行协作。你需要像管理团队一样，定义这些智能体的角色、期望和交互方式。课程将涵盖关键的AI智能体技术，包括角色扮演、工具使用、记忆管理、保护机制以及跨智能体协作。你还将学习如何构建自己的多智能体系统，以便解决复杂任务。我相信你会发现设计智能体并观察它们协作完成任务既高效又有趣。多智能体架构将在推动AI系统的发展方面起到重要作用。课程地址：

课程视频翻译：《“多AI智能体系统”（Multi AI Agent Systems）》这门课程由 CrewAI 的创始人兼CEO João Moura打造。在这门课程中，你将学习如何将复杂任务分解为多个AI智能体的子任务，每个智能体都扮演一个特定的角色并执行相应的任务。例如，生成一份研究报告时，你可能会有研究员智能体、撰写智能体和质量保证智能体进行协作。你需要像管理团队一样，定义这些智能体的角色、期望和交互方式。课程将涵盖关键的AI智能体技术，包括角色扮演、工具使用、记忆管理、保护机制以及跨智能体协作。你还将学习如何构建自己的多智能体系统，以便解决复杂任务。我相信你会发现设计智能体并观察它们协作完成任务既高效又有趣。多智能体架构将在推动AI系统的发展方面起到重要作用。课程地址：

宝玉

90,542 Aufrufe • vor 2 Jahren

阿里刚刚放出了其GUI Agent第三代框架：Mobile-Agent-v3，在10+GUI基准测试中取得了SOTA性能在AndroidWorld上达到73.3，在OSWorld上达到37.7 Mobile-Agent-v3是一款基于GUI-Owl的跨平台多智能体框架，GUI-Owl也同时被开源，这是一款多模态跨平台GUI虚拟层模型 GUI-Owl作为GUI自动化基础模型，具备GUI感知、落地、端到端操作能力可以理解GUI界面布局、元素，把指令转化为具体的屏幕坐标和操作，完成完整的GUI操作流程 Mobile-Agent-v3利用GUI-Owl能力与GUI交互，具备任务分解、规划以及进度管理、异常处理和反射能力、关键信息记录能力比如，完成特定目标制定行动计划，跟踪任务执行进度，反馈调整行动。具备关键信息记录能力，支持跨应用任务 #MobileAgentv3 #GUIAgent #AIagent

阿里刚刚放出了其GUI Agent第三代框架：Mobile-Agent-v3，在10+GUI基准测试中取得了SOTA性能在AndroidWorld上达到73.3，在OSWorld上达到37.7 Mobile-Agent-v3是一款基于GUI-Owl的跨平台多智能体框架，GUI-Owl也同时被开源，这是一款多模态跨平台GUI虚拟层模型 GUI-Owl作为GUI自动化基础模型，具备GUI感知、落地、端到端操作能力可以理解GUI界面布局、元素，把指令转化为具体的屏幕坐标和操作，完成完整的GUI操作流程 Mobile-Agent-v3利用GUI-Owl能力与GUI交互，具备任务分解、规划以及进度管理、异常处理和反射能力、关键信息记录能力比如，完成特定目标制定行动计划，跟踪任务执行进度，反馈调整行动。具备关键信息记录能力，支持跨应用任务 #MobileAgentv3 #GUIAgent #AIagent

AIGCLINK

16,734 Aufrufe • vor 1 Jahr

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 Aufrufe • vor 2 Jahren

卧槽，Codex 可以使用你的 iPhone！📲 介绍一下：phone-harness > 像人类一样自动化任何 iOS 应用 > 原生 iPhone 控制 → 无需 API，无需越狱 > 连接一次，随时控制只需一个提示即可设置。立即开搞👇 这个和 Airtap Ai 相比，只能本地运行。 Airtap 是直接给 AI Agent 配了一台长期在线、已经登录各种 App 的安卓手机，可以随时随地执行“手机自动化”。 Airtap更好玩👇

卧槽，Codex 可以使用你的 iPhone！📲 介绍一下：phone-harness > 像人类一样自动化任何 iOS 应用 > 原生 iPhone 控制 → 无需 API，无需越狱 > 连接一次，随时控制只需一个提示即可设置。立即开搞👇 这个和 Airtap Ai 相比，只能本地运行。 Airtap 是直接给 AI Agent 配了一台长期在线、已经登录各种 App 的安卓手机，可以随时随地执行“手机自动化”。 Airtap更好玩👇

前端哥Liam

305,186 Aufrufe • vor 1 Monat