正在加载视频...

视频加载失败

加载此视频时出现问题。这可能是由于临时网络问题，或视频可能不可用。

兄弟们这个牛P啊写网络爬虫的时代结束了 Firecrawl Extract：只需文字提示，即可爬取任意网络数据它只需通过简单的自然语言提示，就能将整个网站转换为结构化数据，完全省去手动写脚本的麻烦。无论你需要的是一页内容，还是整个网站的信息，都可以轻松爬取。支持复杂数据提取，像从网页提取联系人信息、任务描述、动态价格等。

小互

116,651 subscribers

183,805 次观看 • 1 年前 •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

9 条评论

小互的头像

小互1 年前

-兼容多语言和国际网站。 -可抓取 JavaScript 渲染的动态页面内容。 -提供 API 集成，便于整合到现有工作流 -支持大量数据处理，无需担心处理上下文限制，可以提取数千个结果。详细：

AI聊天智能体（可瑟瑟版）的头像

AI聊天智能体（可瑟瑟版）1 年前

想要吗？试试就知道了。调教你，狠狠爬，怎么样？😘

Valerie Vaughan 的头像

Valerie Vaughan1 年前

收费，程序员还怕造轮子吗🧑‍🔧

東雲たく的头像

東雲たく1 年前

抛开成本谈一切都没意义。技术早就不是障碍。成本才是。

深蓝的头像

深蓝1 年前

Trump透支了我十年的注意力😭

Nightingale 的头像

Nightingale1 年前

问题不都在于封ip吗

SecBriefs | Making Cybersecurity Simple 的头像

SecBriefs | Making Cybersecurity Simple1 年前

🔍 From vulnerability assessment to exploitation, hacking follows a precise, predictable path. 🛤️ Knowledge is key to defense! 🛡️ Cybersecurity Dictionary for Everyone can help you understand every step of the process. Available on Amazon:

salic.apt 的头像

salic.apt1 年前

昨天看到这个项目了，但是你说爬取整个网站，那么让他把小红书整个网站爬下来行吗？

币安交易所返佣注册(Parody) 的头像

币安交易所返佣注册(Parody)1 年前

技术真是进步飞快

相关视频

Firecrawl 推出了一个 AI 驱动的数据爬虫Agent 无需提供任何信息不需要你提供网址，不用写爬虫，不怕反爬机制只要输入你的需求它就能自动爬取任何你想要的信息它会自动搜索、浏览、提取网站内容（包括深层网页），整合信息，然后给你返回结构化结果。支持并发抓取多个网站，自动爬取并深入网站结构，能找到”隐藏”或难以直接访问的网页数据。

Firecrawl 推出了一个 AI 驱动的数据爬虫Agent 无需提供任何信息不需要你提供网址，不用写爬虫，不怕反爬机制只要输入你的需求它就能自动爬取任何你想要的信息它会自动搜索、浏览、提取网站内容（包括深层网页），整合信息，然后给你返回结构化结果。支持并发抓取多个网站，自动爬取并深入网站结构，能找到”隐藏”或难以直接访问的网页数据。

小互

41,547 次观看 • 8 个月前

你现在只需要写一个提示词，就能克隆任何网站。只要把新的Firecrawl MCP服务器加到你的AI编码工具里，就能提升网页数据提取能力，然后让Claude帮你写代码。具体操作看这里↓

你现在只需要写一个提示词，就能克隆任何网站。只要把新的Firecrawl MCP服务器加到你的AI编码工具里，就能提升网页数据提取能力，然后让Claude帮你写代码。具体操作看这里↓

阿西_出海

53,668 次观看 • 1 年前

最近在开发圈很火的 GitHub 项目 Firecrawl，一个专门给 AI 用的智能爬虫，已经 7万+ Star 了。一句话总结：它可以把任何网站，直接变成 AI 能用的数据。只要给它一个 URL，它就会自动： - 抓取整站页面 - 清洗网页内容 - 解析结构信息 - 输出 Markdown / JSON 也就是说：网站 → 结构化数据 → 直接喂给 LLM。现在很多 AI 项目的数据流程其实都是：网站 → Firecrawl → 向量库 → RAG → AI 应用如果你在做： - AI Agent - RAG 知识库 - 自动化数据采集这个工具基本算是 AI 开发的基础设施了

最近在开发圈很火的 GitHub 项目 Firecrawl，一个专门给 AI 用的智能爬虫，已经 7万+ Star 了。一句话总结：它可以把任何网站，直接变成 AI 能用的数据。只要给它一个 URL，它就会自动： - 抓取整站页面 - 清洗网页内容 - 解析结构信息 - 输出 Markdown / JSON 也就是说：网站 → 结构化数据 → 直接喂给 LLM。现在很多 AI 项目的数据流程其实都是：网站 → Firecrawl → 向量库 → RAG → AI 应用如果你在做： - AI Agent - RAG 知识库 - 自动化数据采集这个工具基本算是 AI 开发的基础设施了

开发者Hailey

140,615 次观看 • 5 个月前

手把手教你让 Claude Code 更好的爬取内容：抓取任意网站数据学完这篇教程，你可以让 Claude Code 直接搜索网页、抓取数据，甚至自己造一个爬虫部署到云端，全程不写一行代码。

手把手教你让 Claude Code 更好的爬取内容：抓取任意网站数据学完这篇教程，你可以让 Claude Code 直接搜索网页、抓取数据，甚至自己造一个爬虫部署到云端，全程不写一行代码。

小互

236,575 次观看 • 5 个月前

1. AnyPicker 这是一个免费的AI工具，可以帮助您快速轻松地从任何网站提取数据。使用AnyPicker，您可以从各个来源提取数据，而且无需额外费用就可以下载图像。 🔗链接：

1. AnyPicker 这是一个免费的AI工具，可以帮助您快速轻松地从任何网站提取数据。使用AnyPicker，您可以从各个来源提取数据，而且无需额外费用就可以下载图像。 🔗链接：

老白（每日 AI 干货✊）

28,108 次观看 • 2 年前

牛逼了兄弟们，TinyFish刚刚开源了BigSet！你可以一句话直接生成任意数据集—— 只需要描述你想要搜索查询的数据，比如AI工具价格、竞品动态、招聘信息、黑客松比赛，BigSet就会调用大模型和网页检索API，直接把公开网页里的信息整理成结构化表格返回，而且能定时刷新数据集。上周偶然的机会，我参加一个线上黑客松，拿了很不错的奖金，所以我一直在关注全球的黑客松赛事，但是这种黑客松赛事比较分散，自己挨个去找太麻烦了，所以我让BigSet帮我构建一个实时数据集，收录全球范围内未来 90 天内正在开放报名的所有黑客松。最后返回了具体的链接、黑客松名称、报名截止时间、奖金、线上支持......我能直接选择心仪的，直接跳转到具体的黑客松活动网址报名，节省了大量的时间！ BigSet还是多Agent架构，这就决定了它抓取任务分工明确、速度更快、结果更清楚，天然更适配处理表格类的任务。如果你经常做竞品调研或者经常需要把分散在公开网页里的信息整理成表格，完全可以试试BigSet。而且它和Firecrawl这种专业数据抓取工具不同，你不需要丢给它URL，只需要把需求说清楚，AI就会自动去找到目标网站、抓取数据并且返回结构化的表格数据。 BigSet完全开源，AGPL-3.0许可，你可以自托管在本地运行，默认接入OpenRouter 大模型 API和TinyFish网页数据获取的API。如果觉得BigSet有用，可以去GitHub给它点个 star～： TinyFish网页数据获取API Key：

牛逼了兄弟们，TinyFish刚刚开源了BigSet！你可以一句话直接生成任意数据集—— 只需要描述你想要搜索查询的数据，比如AI工具价格、竞品动态、招聘信息、黑客松比赛，BigSet就会调用大模型和网页检索API，直接把公开网页里的信息整理成结构化表格返回，而且能定时刷新数据集。上周偶然的机会，我参加一个线上黑客松，拿了很不错的奖金，所以我一直在关注全球的黑客松赛事，但是这种黑客松赛事比较分散，自己挨个去找太麻烦了，所以我让BigSet帮我构建一个实时数据集，收录全球范围内未来 90 天内正在开放报名的所有黑客松。最后返回了具体的链接、黑客松名称、报名截止时间、奖金、线上支持......我能直接选择心仪的，直接跳转到具体的黑客松活动网址报名，节省了大量的时间！ BigSet还是多Agent架构，这就决定了它抓取任务分工明确、速度更快、结果更清楚，天然更适配处理表格类的任务。如果你经常做竞品调研或者经常需要把分散在公开网页里的信息整理成表格，完全可以试试BigSet。而且它和Firecrawl这种专业数据抓取工具不同，你不需要丢给它URL，只需要把需求说清楚，AI就会自动去找到目标网站、抓取数据并且返回结构化的表格数据。 BigSet完全开源，AGPL-3.0许可，你可以自托管在本地运行，默认接入OpenRouter 大模型 API和TinyFish网页数据获取的API。如果觉得BigSet有用，可以去GitHub给它点个 star～： TinyFish网页数据获取API Key：

逸尘

12,120 次观看 • 2 个月前

兄弟们给你们看看Gamma 推出的一个炸裂的功能可以将任何文档和网页内容提炼转换成精美的内容展示页还能分享给任何人而且超级简单，全程动动鼠标即可，不需要什么提示词和动脑动手的操作。超级easy，这将改变内容传播的方式你可以将任何复杂的内容转换成直观、提炼、精美的页面传播。

兄弟们给你们看看Gamma 推出的一个炸裂的功能可以将任何文档和网页内容提炼转换成精美的内容展示页还能分享给任何人而且超级简单，全程动动鼠标即可，不需要什么提示词和动脑动手的操作。超级easy，这将改变内容传播的方式你可以将任何复杂的内容转换成直观、提炼、精美的页面传播。

小互

47,772 次观看 • 1 年前

这个帖子应该叫「讲人话就能让 AI 帮你爬海量数据」😍 Firecrawl 这款AI驱动的网页数据采集工具，让复杂的爬虫任务变得超简单: 🧠 AI助手智能生成爬虫规则 👁️ 可视化界面，无需编码经验 ⚡ 轻松处理动态加载内容 📊 自动格式化输出，CSV、JSON 随心选链接见评论👇

这个帖子应该叫「讲人话就能让 AI 帮你爬海量数据」😍 Firecrawl 这款AI驱动的网页数据采集工具，让复杂的爬虫任务变得超简单: 🧠 AI助手智能生成爬虫规则 👁️ 可视化界面，无需编码经验 ⚡ 轻松处理动态加载内容 📊 自动格式化输出，CSV、JSON 随心选链接见评论👇

MapleShaw

29,492 次观看 • 1 年前

这个开源项目是真屌，一比一复刻任何网站可以配合Claude Code使用，我是用的cursor，给 Agent 提供目标网站的 URL，它会自动帮你克隆整个网站。它会自动去撸目标网站, 然后把整个网站一块一块地拆解重建。试了试我自己当时用Wordpress做的导航网站，一模一样🤡，数据都完完整整爬了下来。

这个开源项目是真屌，一比一复刻任何网站可以配合Claude Code使用，我是用的cursor，给 Agent 提供目标网站的 URL，它会自动帮你克隆整个网站。它会自动去撸目标网站, 然后把整个网站一块一块地拆解重建。试了试我自己当时用Wordpress做的导航网站，一模一样🤡，数据都完完整整爬了下来。

知识分享官

159,530 次观看 • 4 个月前

发现一个被低估的 AI 基建：XCrawl XCrawl是一个网页抓取和数据采集的API，它让 Agent 拥有了真正意义上的"上网能力"。它提供几个核心能力： - Scrape：抓单个页面 - Crawl：批量跑整个站点 - Map：摸清网站结构 - Search：拿搜索结果从单页到整站，从搜索到整理，一步打通。用下来最直接的感受： - 不给一堆原始HTML，直接输出Markdown、JSON、摘要、链接 - 基本不用二次清洗，拿来就能用 - 动态页面（JS渲染）也能处理 - 地区、语言、结构化提取都支持 - 成功率稳定如果你在用OpenClaw，会发现很多Agent卡住不是因为模型不行，而是数据不好用。 XCrawl正好解决这块——让Agent自己搜、抓、读，继续执行下去。OpenClaw负责决策，XCrawl负责把信息接进来。能落地的场景： - 电商选品、竞品整理 - 招聘、社交、新闻信息汇总 - SEO关键词跟踪 - 自动整理资料、生成报告原本需要人工收集的数据，现在跑个流程就行。它遵循公开网页+合规采集的原则，自带规则约束。这不是更强的爬虫，而是把"获取数据"变成可以直接接进Agent的能力。做Agent或自动化，XCrawl 是一个趁手的工具。

发现一个被低估的 AI 基建：XCrawl XCrawl是一个网页抓取和数据采集的API，它让 Agent 拥有了真正意义上的"上网能力"。它提供几个核心能力： - Scrape：抓单个页面 - Crawl：批量跑整个站点 - Map：摸清网站结构 - Search：拿搜索结果从单页到整站，从搜索到整理，一步打通。用下来最直接的感受： - 不给一堆原始HTML，直接输出Markdown、JSON、摘要、链接 - 基本不用二次清洗，拿来就能用 - 动态页面（JS渲染）也能处理 - 地区、语言、结构化提取都支持 - 成功率稳定如果你在用OpenClaw，会发现很多Agent卡住不是因为模型不行，而是数据不好用。 XCrawl正好解决这块——让Agent自己搜、抓、读，继续执行下去。OpenClaw负责决策，XCrawl负责把信息接进来。能落地的场景： - 电商选品、竞品整理 - 招聘、社交、新闻信息汇总 - SEO关键词跟踪 - 自动整理资料、生成报告原本需要人工收集的数据，现在跑个流程就行。它遵循公开网页+合规采集的原则，自带规则约束。这不是更强的爬虫，而是把"获取数据"变成可以直接接进Agent的能力。做Agent或自动化，XCrawl 是一个趁手的工具。

开发者Hailey

29,407 次观看 • 5 个月前

autocli v0.3 重磅更新 🎉🎉🎉 精准的、AI自动化的抓取任何网站的数据！ - 使用 autocli 的 chrome 插件精准选择网站中你要的核心数据 - 的 AI 引擎自动帮你扩展相关数据并生成适配器规则（AI 大模型调用完全免费） - autocli 自动同步规则，直接使用 - 理论上可精准抓取所有网站数据，不再受固定规则和有限的内建网站支持限制。不再依赖不稳定的自动解析和不精准的数据获取，通过极度简化的人工辅助操作，让 autocli 可以精准获取任何网站的结构化数据。共享社区：项目地址：

autocli v0.3 重磅更新 🎉🎉🎉 精准的、AI自动化的抓取任何网站的数据！ - 使用 autocli 的 chrome 插件精准选择网站中你要的核心数据 - 的 AI 引擎自动帮你扩展相关数据并生成适配器规则（AI 大模型调用完全免费） - autocli 自动同步规则，直接使用 - 理论上可精准抓取所有网站数据，不再受固定规则和有限的内建网站支持限制。不再依赖不稳定的自动解析和不精准的数据获取，通过极度简化的人工辅助操作，让 autocli 可以精准获取任何网站的结构化数据。共享社区：项目地址：

nash_su - e/acc

75,236 次观看 • 4 个月前

在Claude的帮助下，终于完成了借助coze的API能力和Chrome浏览器插件的结合使用~ 另外这么做可以无风险的爬取任何网站的数据，无论这个网页内容加载是动态加载还是静态加载，而且永远不会被拉黑IP；教程已经在写了，立个flag，周五早上发教程！

在Claude的帮助下，终于完成了借助coze的API能力和Chrome浏览器插件的结合使用~ 另外这么做可以无风险的爬取任何网站的数据，无论这个网页内容加载是动态加载还是静态加载，而且永远不会被拉黑IP；教程已经在写了，立个flag，周五早上发教程！

dangjin

196,894 次观看 • 2 年前

讲真的，现在的提示词网站都还有很大的优化空间：大部分提示词网站以“堆量”为主，靠着上千上万的提示词数量来堆砌价值，内容很丰富，但也存在大量重复、低质的提示词出现如果是自动爬取的帖子，还会出现提示词空档的情况，因为并不是每一个作者都会把提示词直接写在正文中，所以识别不到在这样的网站想要使用提示词，往往需要经历以下几个步骤： 1️⃣翻了很久，终于找到自己想要的图片效果 2️⃣点进去后会出现几种情况 - 没有提示词，只能放弃或者去原帖中找 - 语言不通，看不懂提示词 - 复制的文本里有其他文案，需要手动删除 3️⃣折腾十分钟，终于把提示词处理好了 4️⃣打开gemini/第三方生图网站 5️⃣复制提示词进行生图 6️⃣运气不好，发现提示词效果根本不是作者提供的那样，卒想要丝滑的把中意的提示词变成图片，基本做不到直到我用了MeiGen，一个开源的项目，它可能是今年使用体验最丝滑的提示词网站因为MeiGen不是传统的提示词网站，它不只是收录，而是解决了从提示词源到创作的整条链路想要什么效果，只需要轻轻拖动画面到右侧，点击生成就结束了，从查看到生成，只需要两步「拖动-生成」结束 1. 对于AI创作来说，保持心流状态是非常重要的，在MeiGen，你可以先收藏喜欢的提示词，不用担心找不到，在素材收集完成后进行统一的创作 2. 你可以上传参考图，或者把提示词翻译成中文再进行修改，这些都可以在MeiGen中一站式完成 3. 精选热门 AI 图片提示，这些都是已被证实能够生成高质量图片的提示词，由开发者亲自把关 4. 网站采用周更的节奏，保证提示词可用性和质量想要享受丝滑的创作体验，来试试MeiGen吧：

讲真的，现在的提示词网站都还有很大的优化空间：大部分提示词网站以“堆量”为主，靠着上千上万的提示词数量来堆砌价值，内容很丰富，但也存在大量重复、低质的提示词出现如果是自动爬取的帖子，还会出现提示词空档的情况，因为并不是每一个作者都会把提示词直接写在正文中，所以识别不到在这样的网站想要使用提示词，往往需要经历以下几个步骤： 1️⃣翻了很久，终于找到自己想要的图片效果 2️⃣点进去后会出现几种情况 - 没有提示词，只能放弃或者去原帖中找 - 语言不通，看不懂提示词 - 复制的文本里有其他文案，需要手动删除 3️⃣折腾十分钟，终于把提示词处理好了 4️⃣打开gemini/第三方生图网站 5️⃣复制提示词进行生图 6️⃣运气不好，发现提示词效果根本不是作者提供的那样，卒想要丝滑的把中意的提示词变成图片，基本做不到直到我用了MeiGen，一个开源的项目，它可能是今年使用体验最丝滑的提示词网站因为MeiGen不是传统的提示词网站，它不只是收录，而是解决了从提示词源到创作的整条链路想要什么效果，只需要轻轻拖动画面到右侧，点击生成就结束了，从查看到生成，只需要两步「拖动-生成」结束 1. 对于AI创作来说，保持心流状态是非常重要的，在MeiGen，你可以先收藏喜欢的提示词，不用担心找不到，在素材收集完成后进行统一的创作 2. 你可以上传参考图，或者把提示词翻译成中文再进行修改，这些都可以在MeiGen中一站式完成 3. 精选热门 AI 图片提示，这些都是已被证实能够生成高质量图片的提示词，由开发者亲自把关 4. 网站采用周更的节奏，保证提示词可用性和质量想要享受丝滑的创作体验，来试试MeiGen吧：

骑司Chase

30,759 次观看 • 6 个月前

大家好，打磨了很久的Dokobot重磅更新终于上线了🚀 一键将任何网页转换为结构化数据。这可能是网页爬取的终极方案： 🐙多浏览器同时抓取 📃 URL批量抓取 🌍 兼容90%网站 💰 Token成本极致优化 🔄 导出结构化数据 CSV/MD/JSON 网页和CLI同步上线，Agent 丝滑接入。免费使用，别用得太猛，有任何问题请反馈🙏

大家好，打磨了很久的Dokobot重磅更新终于上线了🚀 一键将任何网页转换为结构化数据。这可能是网页爬取的终极方案： 🐙多浏览器同时抓取 📃 URL批量抓取 🌍 兼容90%网站 💰 Token成本极致优化 🔄 导出结构化数据 CSV/MD/JSON 网页和CLI同步上线，Agent 丝滑接入。免费使用，别用得太猛，有任何问题请反馈🙏

ZEN

36,195 次观看 • 5 个月前

想让 AI 帮我们自动操作浏览器，比如抓取数据或填写表单，过去需要编写复杂的 Selenium 或 Puppeteer 代码，门槛确实不低。最近在 GitHub 发现 BrowserWing 这个开源项目，可以充当了 LLM 大模型与本地浏览器之间的桥梁。支持可视化脚本录制，能像按录像机一样记录我们在浏览器的操作，随后可直接回放或转为脚本，无需我们手写代码。并且支持 MCP 和 Skills 协议，可以让 Claude 等 AI 助手直接接管浏览器，用自然语言指令完成“打开网页、搜索内容、提取数据” 等任务。另外还支持智能数据提取，利用模型做内容分析，兼容 OpenAI、Claude 等多个模型。并且提供稳定的会话管理，能处理 Cookie 和数据存储，可以一直保持登录状态。提供 npm、pnpm 安装方式，也有 Linux、macOS、Windows 的一键安装脚本，或者直接下载预编译包运行。

想让 AI 帮我们自动操作浏览器，比如抓取数据或填写表单，过去需要编写复杂的 Selenium 或 Puppeteer 代码，门槛确实不低。最近在 GitHub 发现 BrowserWing 这个开源项目，可以充当了 LLM 大模型与本地浏览器之间的桥梁。支持可视化脚本录制，能像按录像机一样记录我们在浏览器的操作，随后可直接回放或转为脚本，无需我们手写代码。并且支持 MCP 和 Skills 协议，可以让 Claude 等 AI 助手直接接管浏览器，用自然语言指令完成“打开网页、搜索内容、提取数据” 等任务。另外还支持智能数据提取，利用模型做内容分析，兼容 OpenAI、Claude 等多个模型。并且提供稳定的会话管理，能处理 Cookie 和数据存储，可以一直保持登录状态。提供 npm、pnpm 安装方式，也有 Linux、macOS、Windows 的一键安装脚本，或者直接下载预编译包运行。

GitHubDaily

20,030 次观看 • 7 个月前

在做浏览器自动化脚本时，我们常常需要编写大量代码来处理复杂的网页交互，不仅耗时耗力，还难以调试和优化，要是出错更是难以精准定位问题所在。最近在 GitHub 上我发现了一款强大的开源自动化浏览器智能体：Index。它能够在浏览器上自动执行复杂的网页任务，无需编写代码脚本，简单描述任务需求即可完成各种网页操作。 GitHub：主要功能 - 基于 Claude 3.7 Sonnet 提供强大的 AI 能力，后续将支持更多模型 - 提供 API 和可视化操作 UI 界面，也支持完全自托管部署使用 - 能执行复杂的网页任务，如数据收集、表单填写和内容分析 - 支持自定义浏览器窗口大小和远程 CDP 连接安装部署简单，几行代码即可开始使用，也可直接使用托管 API 服务。

在做浏览器自动化脚本时，我们常常需要编写大量代码来处理复杂的网页交互，不仅耗时耗力，还难以调试和优化，要是出错更是难以精准定位问题所在。最近在 GitHub 上我发现了一款强大的开源自动化浏览器智能体：Index。它能够在浏览器上自动执行复杂的网页任务，无需编写代码脚本，简单描述任务需求即可完成各种网页操作。 GitHub：主要功能 - 基于 Claude 3.7 Sonnet 提供强大的 AI 能力，后续将支持更多模型 - 提供 API 和可视化操作 UI 界面，也支持完全自托管部署使用 - 能执行复杂的网页任务，如数据收集、表单填写和内容分析 - 支持自定义浏览器窗口大小和远程 CDP 连接安装部署简单，几行代码即可开始使用，也可直接使用托管 API 服务。

GitHubDaily

35,779 次观看 • 1 年前