Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

复刻Manus，无需邀请码，开源版Manus！支持在电脑上完成很多任务，包括网页浏览、文件操作、写代码等 OpenManus使用了传统的ReAct模式，优势是基于当前的状态进行决策，上下文和记忆方便管理，无需单独处理，需要注意，Manus有使用Plan进行规划 OpenManus目前也已初步加入了具有 Plan&ReAct的功能，正在优化调试，大家也可以尝试更改System Prompt 让OpenManus学会记录文档和Todo List的习惯主要依赖的几个工具： 1. PythonExecute：执行Python代码与电脑系统交互，可以进行文件操作、数据处理、自动化任务等 2. FileSaver：保存文件到本地，比如txt、python、html等 3. BrowserUseTool：打开、浏览和控制浏览器 4. GoogleSearch：进行网络信息检索开源链接见下条

AIGCLINK

36,999 subscribers

348,888 Aufrufe • vor 1 Jahr •via X (Twitter)

Wissenschaft & Technologie

Anya Rossi• Live Now

Private livecam show

7 Kommentare

Profilbild von AIGCLINK

AIGCLINKvor 1 Jahr

github：

Profilbild von HUDI

HUDIvor 2 Jahren

🚀 Just released: our groundbreaking documentation update for HUDI! 🐸 Dive deep into the innovative DataMask features and explore the future of decentralized data with our new Data Apps, including the revolutionary Health app. Secure, private, and now truly usable—welcome to the next level of Web3 data management! 🌐🔐 👉🔗 #Web3 #DataPrivacy #DataApps #HUDI #DeFi

Profilbild von Zhaoyang Yu

Zhaoyang Yuvor 1 Jahr

感谢宣传！我们会不断完善后续版本🥰

Profilbild von 币安高返佣注册申请 (Parody)

币安高返佣注册申请 (Parody)vor 1 Jahr

很酷啊

Profilbild von Leon

Leonvor 1 Jahr

开源很好。但是开源软件最大的问题就是产品体验确实不适合小白。我还算有一点经验，配置之后也是各种报错。 manus这种产品的最大好处就是开箱即用。

Profilbild von zbzbzbzb1234

zbzbzbzb1234vor 1 Jahr

好人啊

Profilbild von Lora Girl ✪

Lora Girl ✪vor 1 Jahr

会不会把你的钱都黑走

Ähnliche Videos

在做浏览器自动化脚本时，我们常常需要编写大量代码来处理复杂的网页交互，不仅耗时耗力，还难以调试和优化，要是出错更是难以精准定位问题所在。最近在 GitHub 上我发现了一款强大的开源自动化浏览器智能体：Index。它能够在浏览器上自动执行复杂的网页任务，无需编写代码脚本，简单描述任务需求即可完成各种网页操作。 GitHub：主要功能 - 基于 Claude 3.7 Sonnet 提供强大的 AI 能力，后续将支持更多模型 - 提供 API 和可视化操作 UI 界面，也支持完全自托管部署使用 - 能执行复杂的网页任务，如数据收集、表单填写和内容分析 - 支持自定义浏览器窗口大小和远程 CDP 连接安装部署简单，几行代码即可开始使用，也可直接使用托管 API 服务。

在做浏览器自动化脚本时，我们常常需要编写大量代码来处理复杂的网页交互，不仅耗时耗力，还难以调试和优化，要是出错更是难以精准定位问题所在。最近在 GitHub 上我发现了一款强大的开源自动化浏览器智能体：Index。它能够在浏览器上自动执行复杂的网页任务，无需编写代码脚本，简单描述任务需求即可完成各种网页操作。 GitHub：主要功能 - 基于 Claude 3.7 Sonnet 提供强大的 AI 能力，后续将支持更多模型 - 提供 API 和可视化操作 UI 界面，也支持完全自托管部署使用 - 能执行复杂的网页任务，如数据收集、表单填写和内容分析 - 支持自定义浏览器窗口大小和远程 CDP 连接安装部署简单，几行代码即可开始使用，也可直接使用托管 API 服务。

GitHubDaily

35,779 Aufrufe • vor 1 Jahr

一个放在桌面上或者户外的 AI Agent 控制小方盒：用语音、按键、小屏，去控制电脑/远程服务器、调用所有工具、执行任务在做这个产品的时候有做过调研，现在市面上大都是纯对话的语音AI Hermes Studio 小方盒可以做什么？（视频演示） 1. 控制电脑 /远程服务器小方盒本身是 ESP32，但它可以作为入口，把指令交给 Hermes Studio 在电脑 /远程服务器上执行。（它就是Hermes Agent）可以做：打开/关闭本地应用或网页在电脑/远程服务器上运行命令读取、搜索、整理本地文件上传文件给 Agent 分析下载 Agent 生成的文件控制浏览器访问网页、查资料、填表、抓取信息调用本地 Coding Agent，让它改代码、跑测试、生成项目查看运行日志、任务状态、错误信息用语音触发“帮我总结这个文件夹”“打开今天的任务”“跑一下测试” 2. 调用工具（生产力有待研究） Hermes Studio 的核心优势是 Agent 工具链。小方盒可以作为物理触发器，让 Agent 调用工具。文件工具：浏览文件、搜索文件、读取内容、上传下载、重命名、复制、移动、删除。终端工具：执行 shell 命令、启动服务、查看进程、跑脚本、拉代码、跑测试。浏览器工具：打开网页、搜索资料、读取网页内容、自动化页面操作。代码工具：启动 Codex / Claude Code 等 coding-agent 会话，做代码修改、调试、检查。 MCP 工具：接入外部系统，比如数据库、知识库、Notion、GitHub、邮件、企业内部 API、智能家居等。语音工具：STT 语音转文本，TTS 回复朗读，多种 TTS Provider。自动化工具：定时任务、周期汇报、监控任务、Kanban 工作项。多平台工具：Telegram、Discord、Slack、WhatsApp、Matrix、飞书、微信、企业微信等渠道。一句话：小方盒不是自己完成所有任务，而是唤醒 Hermes Studio 里的工具系统。产品功能：语音唤醒桌面 Agent 实体按键触发本地文件读取、搜索与整理电脑/远程服务器命令执行与任务自动化浏览器自动化与网页信息获取 Coding Agent 启动 MCP 工具扩展，连接外部服务多模型、多 Profile 切换多平台消息接入 TTS/STT 语音输入输出 Nous Research witcheer Teknium 🪽 Hermes community never disappoints! 👀

libapi

31,786 Aufrufe • vor 2 Monaten

字节开源了一套 AI Agent 框架：Agent TARS 支持深度研究、电脑操作、文件编辑、MCP。 🌐高级浏览器操作：通过代理框架执行深度研究和操作员功能等复杂任务，实现全面的规划和执行。 🛠️全面的工具支持：集成搜索、文件编辑、MCP，工具来处理复杂的工作流程。 💻️增强的桌面应用程序：改进的用户界面，带有浏览器显示、多模式元素、会话管理、模型配置、对话流可视化以及浏览器/搜索状态跟踪。 🔄 工作流程编排：无缝连接 GUI 代理工具——搜索、浏览、探索链接并将信息合成最终输出。 ⚙️ 开发人员友好框架：简化与 UI-TARS 的集成以及 GUI 代理项目的自定义工作流程创建。演示视频

字节开源了一套 AI Agent 框架：Agent TARS 支持深度研究、电脑操作、文件编辑、MCP。 🌐高级浏览器操作：通过代理框架执行深度研究和操作员功能等复杂任务，实现全面的规划和执行。 🛠️全面的工具支持：集成搜索、文件编辑、MCP，工具来处理复杂的工作流程。 💻️增强的桌面应用程序：改进的用户界面，带有浏览器显示、多模式元素、会话管理、模型配置、对话流可视化以及浏览器/搜索状态跟踪。 🔄 工作流程编排：无缝连接 GUI 代理工具——搜索、浏览、探索链接并将信息合成最终输出。 ⚙️ 开发人员友好框架：简化与 UI-TARS 的集成以及 GUI 代理项目的自定义工作流程创建。演示视频

Orange AI

76,874 Aufrufe • vor 1 Jahr

强，字节刚刚开源了一款“ChatGPT Pulse”类工具： MineContext，它会主动推送洞察、日/周总结、待办、活动记录等信息以每日总结、每周回顾、关键Tips或待办事项等形式，主动推送到主页 MineContext具有上下文感知能力，它目前基于屏幕截图+内容理解，看到看懂用户数字世界的上下文，再基于底层的上下文工程框架，进行主动推送未来会支持其他来源的多模态信息，文档、图片、视频、代码、外部应用数据等无感收集，开启后，它会在后台自动收集上下文，无需进行任何额外操作智能浮现，当需要创作或查找资料时，它可以智能浮现出相关历史上下文，以辅助创作比ChatGPT Pulse，MineContext所有的数据都会经过压缩后保存在本地，更具安全性 MineContext等于把沉默的电脑数据变成了随时可用的第二大脑，学生或研究者可以用来辅助构建知识体系，内容创作者可以用来提供灵感、优化工作流等 #MineContext #AI信息推送助手

强，字节刚刚开源了一款“ChatGPT Pulse”类工具： MineContext，它会主动推送洞察、日/周总结、待办、活动记录等信息以每日总结、每周回顾、关键Tips或待办事项等形式，主动推送到主页 MineContext具有上下文感知能力，它目前基于屏幕截图+内容理解，看到看懂用户数字世界的上下文，再基于底层的上下文工程框架，进行主动推送未来会支持其他来源的多模态信息，文档、图片、视频、代码、外部应用数据等无感收集，开启后，它会在后台自动收集上下文，无需进行任何额外操作智能浮现，当需要创作或查找资料时，它可以智能浮现出相关历史上下文，以辅助创作比ChatGPT Pulse，MineContext所有的数据都会经过压缩后保存在本地，更具安全性 MineContext等于把沉默的电脑数据变成了随时可用的第二大脑，学生或研究者可以用来辅助构建知识体系，内容创作者可以用来提供灵感、优化工作流等 #MineContext #AI信息推送助手

AIGCLINK

35,881 Aufrufe • vor 11 Monaten

发一下港大数据智能实验室搞的一款4000行代码版“Clawdbot”：nanobot，代码体量较43万行Clawdbot减少99% 体量小但核心智能体功能具足，网页搜索、代码与文件操作、定时任务、记忆等能力都有内置了24h实时行情分析、全栈开发、日程管理、知识库四个场景模板，可以用来做24小时盯盘写行情分析，或者当程序员外挂用已集成Telegram/WhatsApp，Telegram可直接用token，WhatsApp扫码接入下一步会做多模态、长记忆、自改进，以及接入Discord、Slack等更多平台 #ClawdBot #Openclaw #nanobot #MoltBot

发一下港大数据智能实验室搞的一款4000行代码版“Clawdbot”：nanobot，代码体量较43万行Clawdbot减少99% 体量小但核心智能体功能具足，网页搜索、代码与文件操作、定时任务、记忆等能力都有内置了24h实时行情分析、全栈开发、日程管理、知识库四个场景模板，可以用来做24小时盯盘写行情分析，或者当程序员外挂用已集成Telegram/WhatsApp，Telegram可直接用token，WhatsApp扫码接入下一步会做多模态、长记忆、自改进，以及接入Discord、Slack等更多平台 #ClawdBot #Openclaw #nanobot #MoltBot

AIGCLINK

59,692 Aufrufe • vor 6 Monaten

GitHub Copilot大更新，增加了MCP支持，推出Copilot Agent模式，面向所有VS Code用户开放 1、Agent模式不仅仅是回答问题，而能主动执行任务，它可以理解更复杂的指令，跨多个文件进行修改，建议终端命令、调用工具等，可以自动识别或生成所需的文件，并执行必要的步骤实现开发目标，还能分析运行时错误并进行自我修复 2、提供了一个本地MCP服务器，这个MCP服务为agent模式提供了强大的功能，比如跨代码库搜索代码、管理issues 以及创建 PR等 3、增加了对Claude 3.5/3.7、Google Gemini 2.0 Flash、OpenAI o3-mini等的支持推出了GitHub Copilot Pro+订阅计划，$39/月 4、Copilot的代码审查Agent正式发布，新增了个"下一步编辑建议"功能 #AI编程助手 #GitHubCopilot

GitHub Copilot大更新，增加了MCP支持，推出Copilot Agent模式，面向所有VS Code用户开放 1、Agent模式不仅仅是回答问题，而能主动执行任务，它可以理解更复杂的指令，跨多个文件进行修改，建议终端命令、调用工具等，可以自动识别或生成所需的文件，并执行必要的步骤实现开发目标，还能分析运行时错误并进行自我修复 2、提供了一个本地MCP服务器，这个MCP服务为agent模式提供了强大的功能，比如跨代码库搜索代码、管理issues 以及创建 PR等 3、增加了对Claude 3.5/3.7、Google Gemini 2.0 Flash、OpenAI o3-mini等的支持推出了GitHub Copilot Pro+订阅计划，$39/月 4、Copilot的代码审查Agent正式发布，新增了个"下一步编辑建议"功能 #AI编程助手 #GitHubCopilot

AIGCLINK

39,362 Aufrufe • vor 1 Jahr

Manus 开源替代又又又又又又又来啦！ kortix-ai 新发布了一个开源 Agent 平台，Suna，完全对标 Manus。集成了浏览器自动化，文件管理，网络爬虫，扩展搜索，命令行执行，网站部署以及与各种 API 和服务的集成。这些功能都能在AI的操作下协同工作，最终实现通过简单的对话解决复杂的问题并自动化工作流程。地址：

Manus 开源替代又又又又又又又来啦！ kortix-ai 新发布了一个开源 Agent 平台，Suna，完全对标 Manus。集成了浏览器自动化，文件管理，网络爬虫，扩展搜索，命令行执行，网站部署以及与各种 API 和服务的集成。这些功能都能在AI的操作下协同工作，最终实现通过简单的对话解决复杂的问题并自动化工作流程。地址：

karminski-牙医

22,716 Aufrufe • vor 1 Jahr

Claude 在Cowork 推出了中内置浏览器当你的任务涉及网站时，浏览器会在 Cowork 的侧边栏中打开，Claude 会进行导航、填写表单并完成任务这个浏览器属于 Claude 自己，与你的个人浏览器（历史、书签、标签页、密码）完全隔离。你可以按需选择性同步部分网站的登录状态（支持 macOS 上的 Chrome/Edge/Firefox 以及 Windows/Linux 上的 Firefox），但银行、邮箱和单点登录（SSO）等敏感站点默认排除适用场景：适合将完整的网页任务直接“外包”给 Claude，例如跨平台收集竞品调研数据、从供应商后台批量下载当月账单，或在没有 API 接口的系统里自动填表面向 Pro、Max 和 Team 订阅用户陆续推送；Enterprise 企业管理员即日起可在后台开启跨设备支持：内置浏览器依附于桌面端运行只要你的电脑端桌面应用保持打开并联网，即使从手机端或网页端向 Claude 发送任务，它依然能调用桌面端的内置浏览器完成操作。若之前已安装 Chrome 插件，默认仍优先使用插件；其他情况下默认启用内置浏览器（可在 Settings → Cowork → Preferred browser 中自由切换）。

Claude 在Cowork 推出了中内置浏览器当你的任务涉及网站时，浏览器会在 Cowork 的侧边栏中打开，Claude 会进行导航、填写表单并完成任务这个浏览器属于 Claude 自己，与你的个人浏览器（历史、书签、标签页、密码）完全隔离。你可以按需选择性同步部分网站的登录状态（支持 macOS 上的 Chrome/Edge/Firefox 以及 Windows/Linux 上的 Firefox），但银行、邮箱和单点登录（SSO）等敏感站点默认排除适用场景：适合将完整的网页任务直接“外包”给 Claude，例如跨平台收集竞品调研数据、从供应商后台批量下载当月账单，或在没有 API 接口的系统里自动填表面向 Pro、Max 和 Team 订阅用户陆续推送；Enterprise 企业管理员即日起可在后台开启跨设备支持：内置浏览器依附于桌面端运行只要你的电脑端桌面应用保持打开并联网，即使从手机端或网页端向 Claude 发送任务，它依然能调用桌面端的内置浏览器完成操作。若之前已安装 Chrome 插件，默认仍优先使用插件；其他情况下默认启用内置浏览器（可在 Settings → Cowork → Preferred browser 中自由切换）。

小互

11,109 Aufrufe • vor 7 Tagen

想让 AI 帮我们自动操作浏览器，比如抓取数据或填写表单，过去需要编写复杂的 Selenium 或 Puppeteer 代码，门槛确实不低。最近在 GitHub 发现 BrowserWing 这个开源项目，可以充当了 LLM 大模型与本地浏览器之间的桥梁。支持可视化脚本录制，能像按录像机一样记录我们在浏览器的操作，随后可直接回放或转为脚本，无需我们手写代码。并且支持 MCP 和 Skills 协议，可以让 Claude 等 AI 助手直接接管浏览器，用自然语言指令完成“打开网页、搜索内容、提取数据” 等任务。另外还支持智能数据提取，利用模型做内容分析，兼容 OpenAI、Claude 等多个模型。并且提供稳定的会话管理，能处理 Cookie 和数据存储，可以一直保持登录状态。提供 npm、pnpm 安装方式，也有 Linux、macOS、Windows 的一键安装脚本，或者直接下载预编译包运行。

想让 AI 帮我们自动操作浏览器，比如抓取数据或填写表单，过去需要编写复杂的 Selenium 或 Puppeteer 代码，门槛确实不低。最近在 GitHub 发现 BrowserWing 这个开源项目，可以充当了 LLM 大模型与本地浏览器之间的桥梁。支持可视化脚本录制，能像按录像机一样记录我们在浏览器的操作，随后可直接回放或转为脚本，无需我们手写代码。并且支持 MCP 和 Skills 协议，可以让 Claude 等 AI 助手直接接管浏览器，用自然语言指令完成“打开网页、搜索内容、提取数据” 等任务。另外还支持智能数据提取，利用模型做内容分析，兼容 OpenAI、Claude 等多个模型。并且提供稳定的会话管理，能处理 Cookie 和数据存储，可以一直保持登录状态。提供 npm、pnpm 安装方式，也有 Linux、macOS、Windows 的一键安装脚本，或者直接下载预编译包运行。

GitHubDaily

20,035 Aufrufe • vor 7 Monaten

兄弟们这个有点 6 Manus 发布 Manus Browser Operator 一个浏览器扩展，可以将任何浏览器变成 AI 浏览器它能够自动化各种复杂的浏览器操作支持访问受保护的网站和系统，如研究平台和 CRM 工具 AI 的操作行为被系统视为来自用户本地的浏览器与 IP，因此：不会触发额外登录验证或验证码；可直接访问受信任的内部系统；能长期保持会话活跃，避免过期中断。

兄弟们这个有点 6 Manus 发布 Manus Browser Operator 一个浏览器扩展，可以将任何浏览器变成 AI 浏览器它能够自动化各种复杂的浏览器操作支持访问受保护的网站和系统，如研究平台和 CRM 工具 AI 的操作行为被系统视为来自用户本地的浏览器与 IP，因此：不会触发额外登录验证或验证码；可直接访问受信任的内部系统；能长期保持会话活跃，避免过期中断。

小互

22,977 Aufrufe • vor 9 Monaten

兄弟们，终极写代码工具来了 Bolt․new：AI 帮你自动写代码自动运行并自动部署而且全部在浏览器中完成你只需撰写简单的提示，它即可帮你自动编写代码、并可一键编辑、运行和自动部署复杂的全栈应用。而且全部在浏览器中完成，不需要安装额外的任何软件。真正的零基础小白也可开发产品... bolt․new 依托于 WebContainers 技术，这是一种能够在浏览器中运行完整开发环境的微型操作系统。它支持现代开发工具链，如 npm、Vite 和 Next.js，让用户无需额外的开发环境配置，即可直接在浏览器中编写、运行、调试和部署应用。这些环境在毫秒内启动并立即在线可分享——只需点击一次

兄弟们，终极写代码工具来了 Bolt․new：AI 帮你自动写代码自动运行并自动部署而且全部在浏览器中完成你只需撰写简单的提示，它即可帮你自动编写代码、并可一键编辑、运行和自动部署复杂的全栈应用。而且全部在浏览器中完成，不需要安装额外的任何软件。真正的零基础小白也可开发产品... bolt․new 依托于 WebContainers 技术，这是一种能够在浏览器中运行完整开发环境的微型操作系统。它支持现代开发工具链，如 npm、Vite 和 Next.js，让用户无需额外的开发环境配置，即可直接在浏览器中编写、运行、调试和部署应用。这些环境在毫秒内启动并立即在线可分享——只需点击一次

小互

88,879 Aufrufe • vor 1 Jahr

在对前端网页应用进行性能优化时，经常会打开 Chrome DevTools 分析加载时间、网络请求，以及排查问题，整个过程耗时耗力。现在 Chrome DevTools 推出了 MCP 并且代码已开源，可以直接让 AI 完成网页自动化测试、调试以及优化整套开发流程。比如将其安装到 Gemini CLI 等支持 MCP 的 AI 编程工具中，就能够自动进行网页导航、性能分析、截图调试等复杂操作，简化开发流程。 GitHub：甚至可以模拟真人操作，比如页面点击、填写表单、元素拖拽等各种交互，可应用于自动化测试以及爬虫等场景。除此之外，还可以模拟不同设备 CPU 性能、网络和屏幕尺寸，同时支持直接在网页中运行 JavaScript 代码并查看结果。项目代码已完全开源，开发者可以根据需求扩展更多能力，感兴趣的同学可以安装到任意支持 MCP 的 AI 助手中使用。

在对前端网页应用进行性能优化时，经常会打开 Chrome DevTools 分析加载时间、网络请求，以及排查问题，整个过程耗时耗力。现在 Chrome DevTools 推出了 MCP 并且代码已开源，可以直接让 AI 完成网页自动化测试、调试以及优化整套开发流程。比如将其安装到 Gemini CLI 等支持 MCP 的 AI 编程工具中，就能够自动进行网页导航、性能分析、截图调试等复杂操作，简化开发流程。 GitHub：甚至可以模拟真人操作，比如页面点击、填写表单、元素拖拽等各种交互，可应用于自动化测试以及爬虫等场景。除此之外，还可以模拟不同设备 CPU 性能、网络和屏幕尺寸，同时支持直接在网页中运行 JavaScript 代码并查看结果。项目代码已完全开源，开发者可以根据需求扩展更多能力，感兴趣的同学可以安装到任意支持 MCP 的 AI 助手中使用。

GitHubDaily

15,551 Aufrufe • vor 11 Monaten

OWL团队刚刚又开源了一款多智能体Manus类工具：Eigent，通过多智能体协作，来更高效的处理更复杂任务从效果看具备整合多种工具和数据的能力，生成的报告内容相对专业全面其处理任务时有清晰的任务拆解和执行过程，它把任务拆解成多个子任务，并会清晰展示出每个子任务的执行状态 Eigent支持根据任务创建或灵活调用workforce，多智能体并行处理执行速度更快支持worker间任务的并行，worker下子任务的并行，子任务执行过程中工具调用的并行可以根据需求定制AI团队，组建一个特定的项目组有Human-in-the-Loop机制，可以在关键节点进行人工干预决策内置200+MCP工具，也支持上传常用的MCP工具 #AI员工 #多智能体团队 #Eigent

OWL团队刚刚又开源了一款多智能体Manus类工具：Eigent，通过多智能体协作，来更高效的处理更复杂任务从效果看具备整合多种工具和数据的能力，生成的报告内容相对专业全面其处理任务时有清晰的任务拆解和执行过程，它把任务拆解成多个子任务，并会清晰展示出每个子任务的执行状态 Eigent支持根据任务创建或灵活调用workforce，多智能体并行处理执行速度更快支持worker间任务的并行，worker下子任务的并行，子任务执行过程中工具调用的并行可以根据需求定制AI团队，组建一个特定的项目组有Human-in-the-Loop机制，可以在关键节点进行人工干预决策内置200+MCP工具，也支持上传常用的MCP工具 #AI员工 #多智能体团队 #Eigent

AIGCLINK

16,164 Aufrufe • vor 1 Jahr

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 Aufrufe • vor 2 Jahren