正在加载视频...

视频加载失败

加载此视频时出现问题。这可能是由于临时网络问题，或视频可能不可用。

手把手教你让 Claude Code 更好的爬取内容：抓取任意网站数据学完这篇教程，你可以让 Claude Code 直接搜索网页、抓取数据，甚至自己造一个爬虫部署到云端，全程不写一行代码。

小互

113,058 subscribers

236,420 次观看 • 5 个月前 •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

0 条评论

暂无评论

原始帖子的评论将显示在这里

相关视频

Firecrawl 推出了一个 AI 驱动的数据爬虫Agent 无需提供任何信息不需要你提供网址，不用写爬虫，不怕反爬机制只要输入你的需求它就能自动爬取任何你想要的信息它会自动搜索、浏览、提取网站内容（包括深层网页），整合信息，然后给你返回结构化结果。支持并发抓取多个网站，自动爬取并深入网站结构，能找到”隐藏”或难以直接访问的网页数据。

Firecrawl 推出了一个 AI 驱动的数据爬虫Agent 无需提供任何信息不需要你提供网址，不用写爬虫，不怕反爬机制只要输入你的需求它就能自动爬取任何你想要的信息它会自动搜索、浏览、提取网站内容（包括深层网页），整合信息，然后给你返回结构化结果。支持并发抓取多个网站，自动爬取并深入网站结构，能找到”隐藏”或难以直接访问的网页数据。

小互

41,547 次观看 • 7 个月前

兄弟们这个牛P啊写网络爬虫的时代结束了 Firecrawl Extract：只需文字提示，即可爬取任意网络数据它只需通过简单的自然语言提示，就能将整个网站转换为结构化数据，完全省去手动写脚本的麻烦。无论你需要的是一页内容，还是整个网站的信息，都可以轻松爬取。支持复杂数据提取，像从网页提取联系人信息、任务描述、动态价格等。

兄弟们这个牛P啊写网络爬虫的时代结束了 Firecrawl Extract：只需文字提示，即可爬取任意网络数据它只需通过简单的自然语言提示，就能将整个网站转换为结构化数据，完全省去手动写脚本的麻烦。无论你需要的是一页内容，还是整个网站的信息，都可以轻松爬取。支持复杂数据提取，像从网页提取联系人信息、任务描述、动态价格等。

小互

183,750 次观看 • 1 年前

你现在只需要写一个提示词，就能克隆任何网站。只要把新的Firecrawl MCP服务器加到你的AI编码工具里，就能提升网页数据提取能力，然后让Claude帮你写代码。具体操作看这里↓

你现在只需要写一个提示词，就能克隆任何网站。只要把新的Firecrawl MCP服务器加到你的AI编码工具里，就能提升网页数据提取能力，然后让Claude帮你写代码。具体操作看这里↓

阿西_出海

53,668 次观看 • 1 年前

这期视频我们用Cursor做了一个浏览器插件用来爬取Coze模板 + 新浪财经中概股的数据，一键保存csv。我们会学到：如何让AI解析网页结构并给出获取数据代码、如何实现表格自动翻页逻辑等知识。源码+更详细的手把手教学视频👇👇👇

这期视频我们用Cursor做了一个浏览器插件用来爬取Coze模板 + 新浪财经中概股的数据，一键保存csv。我们会学到：如何让AI解析网页结构并给出获取数据代码、如何实现表格自动翻页逻辑等知识。源码+更详细的手把手教学视频👇👇👇

Yihui

57,889 次观看 • 1 年前

用 BrowserWing 抓取小红书/知乎内容只需一句话！再也不用写爬虫了🐍 🧠 BrowserWing：让 AI 轻松自动执行网页任务，不再写复杂代码 🧩 脚本录制 + 回放 + 可视化编辑，网页自动化不再靠手搓流程 👉 #开源 #BrowserWing #AIAgent

用 BrowserWing 抓取小红书/知乎内容只需一句话！再也不用写爬虫了🐍 🧠 BrowserWing：让 AI 轻松自动执行网页任务，不再写复杂代码 🧩 脚本录制 + 回放 + 可视化编辑，网页自动化不再靠手搓流程 👉 #开源 #BrowserWing #AIAgent

ahhhhfs

34,186 次观看 • 7 个月前

最近在开发圈很火的 GitHub 项目 Firecrawl，一个专门给 AI 用的智能爬虫，已经 7万+ Star 了。一句话总结：它可以把任何网站，直接变成 AI 能用的数据。只要给它一个 URL，它就会自动： - 抓取整站页面 - 清洗网页内容 - 解析结构信息 - 输出 Markdown / JSON 也就是说：网站 → 结构化数据 → 直接喂给 LLM。现在很多 AI 项目的数据流程其实都是：网站 → Firecrawl → 向量库 → RAG → AI 应用如果你在做： - AI Agent - RAG 知识库 - 自动化数据采集这个工具基本算是 AI 开发的基础设施了

最近在开发圈很火的 GitHub 项目 Firecrawl，一个专门给 AI 用的智能爬虫，已经 7万+ Star 了。一句话总结：它可以把任何网站，直接变成 AI 能用的数据。只要给它一个 URL，它就会自动： - 抓取整站页面 - 清洗网页内容 - 解析结构信息 - 输出 Markdown / JSON 也就是说：网站 → 结构化数据 → 直接喂给 LLM。现在很多 AI 项目的数据流程其实都是：网站 → Firecrawl → 向量库 → RAG → AI 应用如果你在做： - AI Agent - RAG 知识库 - 自动化数据采集这个工具基本算是 AI 开发的基础设施了

开发者Hailey

140,294 次观看 • 5 个月前

今天用Cursor做了一个上传HTML文件秒变网页的工具站，并且把从写代码到部署服务器绑定域名全流程录成了视频教程，我全程一行代码没写，全靠Cursor在输出完整的图文教程链接：大家周末可以动手跟着我一起实践下了😄 示例网站：

今天用Cursor做了一个上传HTML文件秒变网页的工具站，并且把从写代码到部署服务器绑定域名全流程录成了视频教程，我全程一行代码没写，全靠Cursor在输出完整的图文教程链接：大家周末可以动手跟着我一起实践下了😄 示例网站：

Truman

21,767 次观看 • 1 年前

autocli v0.3 重磅更新 🎉🎉🎉 精准的、AI自动化的抓取任何网站的数据！ - 使用 autocli 的 chrome 插件精准选择网站中你要的核心数据 - 的 AI 引擎自动帮你扩展相关数据并生成适配器规则（AI 大模型调用完全免费） - autocli 自动同步规则，直接使用 - 理论上可精准抓取所有网站数据，不再受固定规则和有限的内建网站支持限制。不再依赖不稳定的自动解析和不精准的数据获取，通过极度简化的人工辅助操作，让 autocli 可以精准获取任何网站的结构化数据。共享社区：项目地址：

autocli v0.3 重磅更新 🎉🎉🎉 精准的、AI自动化的抓取任何网站的数据！ - 使用 autocli 的 chrome 插件精准选择网站中你要的核心数据 - 的 AI 引擎自动帮你扩展相关数据并生成适配器规则（AI 大模型调用完全免费） - autocli 自动同步规则，直接使用 - 理论上可精准抓取所有网站数据，不再受固定规则和有限的内建网站支持限制。不再依赖不稳定的自动解析和不精准的数据获取，通过极度简化的人工辅助操作，让 autocli 可以精准获取任何网站的结构化数据。共享社区：项目地址：

nash_su - e/acc

75,170 次观看 • 4 个月前

在Claude的帮助下，终于完成了借助coze的API能力和Chrome浏览器插件的结合使用~ 另外这么做可以无风险的爬取任何网站的数据，无论这个网页内容加载是动态加载还是静态加载，而且永远不会被拉黑IP；教程已经在写了，立个flag，周五早上发教程！

在Claude的帮助下，终于完成了借助coze的API能力和Chrome浏览器插件的结合使用~ 另外这么做可以无风险的爬取任何网站的数据，无论这个网页内容加载是动态加载还是静态加载，而且永远不会被拉黑IP；教程已经在写了，立个flag，周五早上发教程！

dangjin

196,881 次观看 • 2 年前

谷歌给了一个基于FunctionGemma 270M构建本地手机AI助手的官方教程，想手机端部署模型的可以试一下你可以让AI手机助手帮你执行建日程、把联系人添加到通讯录、发邮件、开Wi-Fi、地图定位等等操作教程从数据准备、模型微调、评估到部署整套流程都齐了，操作即可 #AI手机助手教程 #AI手机助手

谷歌给了一个基于FunctionGemma 270M构建本地手机AI助手的官方教程，想手机端部署模型的可以试一下你可以让AI手机助手帮你执行建日程、把联系人添加到通讯录、发邮件、开Wi-Fi、地图定位等等操作教程从数据准备、模型微调、评估到部署整套流程都齐了，操作即可 #AI手机助手教程 #AI手机助手

AIGCLINK

10,669 次观看 • 7 个月前

发现了！Claude Code 目前最牛逼的用法就是把最新的动态工作流和 /goal 一起用，动态工作流是新出的功能，Claude 可自动规划、调动数十至数百个并行子代理，完成超大规模工程任务，/goal 会督促claude一直工作直到完成先进入 Claude Code，输入 /effort 选 ultracode，再输入 /goal ，后面写上你想做的具体目标完成了！你甚至可以先去健身，Claude code会自己一直工作、自己验证、自己迭代，直到目标达成你只需要考虑Token账单问题就可以了😂

发现了！Claude Code 目前最牛逼的用法就是把最新的动态工作流和 /goal 一起用，动态工作流是新出的功能，Claude 可自动规划、调动数十至数百个并行子代理，完成超大规模工程任务，/goal 会督促claude一直工作直到完成先进入 Claude Code，输入 /effort 选 ultracode，再输入 /goal ，后面写上你想做的具体目标完成了！你甚至可以先去健身，Claude code会自己一直工作、自己验证、自己迭代，直到目标达成你只需要考虑Token账单问题就可以了😂

梭哈.AI

17,533 次观看 • 2 个月前

你以为全网全平台抓取数据需要写代码或者找不靠谱的网址网站？其实你只需要一个浏览器插件。我发现了一个近乎作弊的宝藏工具，可以直接爬取上百上千条小红书，抖音，快手，tiktok平台数据。不需要你会 Python，也不需要求助技术大牛。有些朋友在使用这个插件的时候遇见了一些问题，我会在这个视频里详细讲述了这个插件的使用方法和防风控的技巧。有需要可以收藏备用~

你以为全网全平台抓取数据需要写代码或者找不靠谱的网址网站？其实你只需要一个浏览器插件。我发现了一个近乎作弊的宝藏工具，可以直接爬取上百上千条小红书，抖音，快手，tiktok平台数据。不需要你会 Python，也不需要求助技术大牛。有些朋友在使用这个插件的时候遇见了一些问题，我会在这个视频里详细讲述了这个插件的使用方法和防风控的技巧。有需要可以收藏备用~

天不生邹子Zihan

98,267 次观看 • 6 个月前

OpenAI Realtime API 结合网络爬虫可以和任何网站进行对话爬虫使用的是 Firecrawl FireCrawl：能够抓取任何网站的所有可访问子页面，而且无需站点地图，并将这些页面的内容转换成干净、格式化的Markdown文档。即使网站使用JavaScript动态生成其内容，FireCrawl 也能有效地抓取这些内容。详细介绍： GitHub：

OpenAI Realtime API 结合网络爬虫可以和任何网站进行对话爬虫使用的是 Firecrawl FireCrawl：能够抓取任何网站的所有可访问子页面，而且无需站点地图，并将这些页面的内容转换成干净、格式化的Markdown文档。即使网站使用JavaScript动态生成其内容，FireCrawl 也能有效地抓取这些内容。详细介绍： GitHub：

小互

36,294 次观看 • 1 年前

这个开源项目是真屌，一比一复刻任何网站可以配合Claude Code使用，我是用的cursor，给 Agent 提供目标网站的 URL，它会自动帮你克隆整个网站。它会自动去撸目标网站, 然后把整个网站一块一块地拆解重建。试了试我自己当时用Wordpress做的导航网站，一模一样🤡，数据都完完整整爬了下来。

这个开源项目是真屌，一比一复刻任何网站可以配合Claude Code使用，我是用的cursor，给 Agent 提供目标网站的 URL，它会自动帮你克隆整个网站。它会自动去撸目标网站, 然后把整个网站一块一块地拆解重建。试了试我自己当时用Wordpress做的导航网站，一模一样🤡，数据都完完整整爬了下来。

知识分享官

159,228 次观看 • 3 个月前

GitHub 上这款 Browserbase MCP Server 浏览器爬虫 MCP 服务器有点强大！通过它能够让 Claude 直接控制网页浏览器，除了可以爬取页面上内容外，还能网页导航、截图、点击和内容填写等操作。 GitHub：主要功能： - 创建和管理云浏览器会话 - 网页导航和内容提取 - 网页全屏或元素截图 - 点击元素和填写表单 - 执行 JavaScript 代码 - 支持并行浏览器会话拉取代码到本地并安装依赖，支持 Windsurf、Claude 和 Cursor 等 MCP 客户端，配置启动后即可使用。

GitHub 上这款 Browserbase MCP Server 浏览器爬虫 MCP 服务器有点强大！通过它能够让 Claude 直接控制网页浏览器，除了可以爬取页面上内容外，还能网页导航、截图、点击和内容填写等操作。 GitHub：主要功能： - 创建和管理云浏览器会话 - 网页导航和内容提取 - 网页全屏或元素截图 - 点击元素和填写表单 - 执行 JavaScript 代码 - 支持并行浏览器会话拉取代码到本地并安装依赖，支持 Windsurf、Claude 和 Cursor 等 MCP 客户端，配置启动后即可使用。

GitHubDaily

24,181 次观看 • 1 年前

发现一个被低估的 AI 基建：XCrawl XCrawl是一个网页抓取和数据采集的API，它让 Agent 拥有了真正意义上的"上网能力"。它提供几个核心能力： - Scrape：抓单个页面 - Crawl：批量跑整个站点 - Map：摸清网站结构 - Search：拿搜索结果从单页到整站，从搜索到整理，一步打通。用下来最直接的感受： - 不给一堆原始HTML，直接输出Markdown、JSON、摘要、链接 - 基本不用二次清洗，拿来就能用 - 动态页面（JS渲染）也能处理 - 地区、语言、结构化提取都支持 - 成功率稳定如果你在用OpenClaw，会发现很多Agent卡住不是因为模型不行，而是数据不好用。 XCrawl正好解决这块——让Agent自己搜、抓、读，继续执行下去。OpenClaw负责决策，XCrawl负责把信息接进来。能落地的场景： - 电商选品、竞品整理 - 招聘、社交、新闻信息汇总 - SEO关键词跟踪 - 自动整理资料、生成报告原本需要人工收集的数据，现在跑个流程就行。它遵循公开网页+合规采集的原则，自带规则约束。这不是更强的爬虫，而是把"获取数据"变成可以直接接进Agent的能力。做Agent或自动化，XCrawl 是一个趁手的工具。

发现一个被低估的 AI 基建：XCrawl XCrawl是一个网页抓取和数据采集的API，它让 Agent 拥有了真正意义上的"上网能力"。它提供几个核心能力： - Scrape：抓单个页面 - Crawl：批量跑整个站点 - Map：摸清网站结构 - Search：拿搜索结果从单页到整站，从搜索到整理，一步打通。用下来最直接的感受： - 不给一堆原始HTML，直接输出Markdown、JSON、摘要、链接 - 基本不用二次清洗，拿来就能用 - 动态页面（JS渲染）也能处理 - 地区、语言、结构化提取都支持 - 成功率稳定如果你在用OpenClaw，会发现很多Agent卡住不是因为模型不行，而是数据不好用。 XCrawl正好解决这块——让Agent自己搜、抓、读，继续执行下去。OpenClaw负责决策，XCrawl负责把信息接进来。能落地的场景： - 电商选品、竞品整理 - 招聘、社交、新闻信息汇总 - SEO关键词跟踪 - 自动整理资料、生成报告原本需要人工收集的数据，现在跑个流程就行。它遵循公开网页+合规采集的原则，自带规则约束。这不是更强的爬虫，而是把"获取数据"变成可以直接接进Agent的能力。做Agent或自动化，XCrawl 是一个趁手的工具。

开发者Hailey

29,330 次观看 • 4 个月前

这个帖子应该叫「讲人话就能让 AI 帮你爬海量数据」😍 Firecrawl 这款AI驱动的网页数据采集工具，让复杂的爬虫任务变得超简单: 🧠 AI助手智能生成爬虫规则 👁️ 可视化界面，无需编码经验 ⚡ 轻松处理动态加载内容 📊 自动格式化输出，CSV、JSON 随心选链接见评论👇

这个帖子应该叫「讲人话就能让 AI 帮你爬海量数据」😍 Firecrawl 这款AI驱动的网页数据采集工具，让复杂的爬虫任务变得超简单: 🧠 AI助手智能生成爬虫规则 👁️ 可视化界面，无需编码经验 ⚡ 轻松处理动态加载内容 📊 自动格式化输出，CSV、JSON 随心选链接见评论👇

MapleShaw

29,492 次观看 • 1 年前

一个项目，同时抓取小红书、抖音、快手、B站、微博、贴吧和知乎的公开内容。 MediaCrawler 是一个功能强大的多平台自媒体数据采集工具，在 GitHub 已经拿到 5.89 万 Star。有 3 种不同的使用方法： 1. 输入关键词，批量抓取相关帖子和评论。 2. 指定帖子 ID，直接获取这条内容和评论，评论还能继续抓到二级回复。 3. 指定创作者主页，采集这个账号发布的内容。抓下来的数据可以保存为 CSV、JSON、JSONL、Excel，也可以直接写入 SQLite 或 MySQL。项目还带 WebUI，可以配置参数、查看运行状态、预览和导出数据。 100% 开源，完全免费。

一个项目，同时抓取小红书、抖音、快手、B站、微博、贴吧和知乎的公开内容。 MediaCrawler 是一个功能强大的多平台自媒体数据采集工具，在 GitHub 已经拿到 5.89 万 Star。有 3 种不同的使用方法： 1. 输入关键词，批量抓取相关帖子和评论。 2. 指定帖子 ID，直接获取这条内容和评论，评论还能继续抓到二级回复。 3. 指定创作者主页，采集这个账号发布的内容。抓下来的数据可以保存为 CSV、JSON、JSONL、Excel，也可以直接写入 SQLite 或 MySQL。项目还带 WebUI，可以配置参数、查看运行状态、预览和导出数据。 100% 开源，完全免费。

柴郡🔔｜Crypto+AI Plus

33,289 次观看 • 8 天前

想让 AI 帮我们自动操作浏览器，比如抓取数据或填写表单，过去需要编写复杂的 Selenium 或 Puppeteer 代码，门槛确实不低。最近在 GitHub 发现 BrowserWing 这个开源项目，可以充当了 LLM 大模型与本地浏览器之间的桥梁。支持可视化脚本录制，能像按录像机一样记录我们在浏览器的操作，随后可直接回放或转为脚本，无需我们手写代码。并且支持 MCP 和 Skills 协议，可以让 Claude 等 AI 助手直接接管浏览器，用自然语言指令完成“打开网页、搜索内容、提取数据” 等任务。另外还支持智能数据提取，利用模型做内容分析，兼容 OpenAI、Claude 等多个模型。并且提供稳定的会话管理，能处理 Cookie 和数据存储，可以一直保持登录状态。提供 npm、pnpm 安装方式，也有 Linux、macOS、Windows 的一键安装脚本，或者直接下载预编译包运行。

想让 AI 帮我们自动操作浏览器，比如抓取数据或填写表单，过去需要编写复杂的 Selenium 或 Puppeteer 代码，门槛确实不低。最近在 GitHub 发现 BrowserWing 这个开源项目，可以充当了 LLM 大模型与本地浏览器之间的桥梁。支持可视化脚本录制，能像按录像机一样记录我们在浏览器的操作，随后可直接回放或转为脚本，无需我们手写代码。并且支持 MCP 和 Skills 协议，可以让 Claude 等 AI 助手直接接管浏览器，用自然语言指令完成“打开网页、搜索内容、提取数据” 等任务。另外还支持智能数据提取，利用模型做内容分析，兼容 OpenAI、Claude 等多个模型。并且提供稳定的会话管理，能处理 Cookie 和数据存储，可以一直保持登录状态。提供 npm、pnpm 安装方式，也有 Linux、macOS、Windows 的一键安装脚本，或者直接下载预编译包运行。

GitHubDaily

20,013 次观看 • 6 个月前