Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

Firecrawl 推出了一个 AI 驱动的数据爬虫Agent 无需提供任何信息 不需要你提供网址，不用写爬虫，不怕反爬机制 只要输入你的需求它就能自动爬取任何你想要的信息 它会自动搜索、浏览、提取网站内容（包括深层网页），整合信息，然后给你返回结构化结果。 支持并发抓取多个网站， 自动爬取并深入网站结构，能找到”隐藏”或难以直接访问的网页数据。

xiaohu's profile picture

小互

102,921 subscribers

41,547 görüntüleme • 8 ay önce •via X (Twitter)

Bilim & Teknoloji
LIVE

Anya Rossi• Live Now

Private livecam show

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

兄弟们这个牛P啊 写网络爬虫的时代结束了 Firecrawl Extract：只需文字提示，即可爬取任意网络数据 它只需通过简单的自然语言提示，就能将整个网站转换为结构化数据，完全省去手动写脚本的麻烦。 无论你需要的是一页内容，还是整个网站的信息，都可以轻松爬取。 支持复杂数据提取，像从网页提取联系人信息、任务描述、动态价格等。
1:18

兄弟们这个牛P啊 写网络爬虫的时代结束了 Firecrawl Extract：只需文字提示，即可爬取任意网络数据 它只需通过简单的自然语言提示，就能将整个网站转换为结构化数据，完全省去手动写脚本的麻烦。 无论你需要的是一页内容，还是整个网站的信息，都可以轻松爬取。 支持复杂数据提取，像从网页提取联系人信息、任务描述、动态价格等。

小互

183,805 görüntüleme • 1 yıl önce

最近在开发圈很火的 GitHub 项目 Firecrawl， 一个专门给 AI 用的智能爬虫，已经 7万+ Star 了。 一句话总结： 它可以把任何网站，直接变成 AI 能用的数据。 只要给它一个 URL，它就会自动： - 抓取整站页面 - 清洗网页内容 - 解析结构信息 - 输出 Markdown / JSON 也就是说： 网站 → 结构化数据 → 直接喂给 LLM。 现在很多 AI 项目的数据流程其实都是： 网站 → Firecrawl → 向量库 → RAG → AI 应用 如果你在做： - AI Agent - RAG 知识库 - 自动化数据采集 这个工具基本算是 AI 开发的基础设施了
0:25

最近在开发圈很火的 GitHub 项目 Firecrawl， 一个专门给 AI 用的智能爬虫，已经 7万+ Star 了。 一句话总结： 它可以把任何网站，直接变成 AI 能用的数据。 只要给它一个 URL，它就会自动： - 抓取整站页面 - 清洗网页内容 - 解析结构信息 - 输出 Markdown / JSON 也就是说： 网站 → 结构化数据 → 直接喂给 LLM。 现在很多 AI 项目的数据流程其实都是： 网站 → Firecrawl → 向量库 → RAG → AI 应用 如果你在做： - AI Agent - RAG 知识库 - 自动化数据采集 这个工具基本算是 AI 开发的基础设施了

开发者Hailey

140,615 görüntüleme • 5 ay önce

手把手教你让 Claude Code 更好的爬取内容： 抓取任意网站数据 学完这篇教程，你可以让 Claude Code 直接搜索网页、抓取数据，甚至自己造一个爬虫部署到云端，全程不写一行代码。
7:13

手把手教你让 Claude Code 更好的爬取内容： 抓取任意网站数据 学完这篇教程，你可以让 Claude Code 直接搜索网页、抓取数据，甚至自己造一个爬虫部署到云端，全程不写一行代码。

小互

236,575 görüntüleme • 5 ay önce

你现在只需要写一个提示词，就能克隆任何网站。 只要把新的Firecrawl MCP服务器加到你的AI编码工具里，就能提升网页数据提取能力，然后让Claude帮你写代码。 具体操作看这里↓
0:24

你现在只需要写一个提示词，就能克隆任何网站。 只要把新的Firecrawl MCP服务器加到你的AI编码工具里，就能提升网页数据提取能力，然后让Claude帮你写代码。 具体操作看这里↓

阿西_出海

53,668 görüntüleme • 1 yıl önce

这个开源项目是真屌，一比一复刻任何网站 可以配合Claude Code使用，我是用的cursor，给 Agent 提供目标网站的 URL，它会自动帮你克隆整个网站。它会自动去撸目标网站, 然后把整个网站一块一块地拆解重建。试了试我自己当时用Wordpress做的导航网站，一模一样🤡，数据都完完整整爬了下来。
0:27

这个开源项目是真屌，一比一复刻任何网站 可以配合Claude Code使用，我是用的cursor，给 Agent 提供目标网站的 URL，它会自动帮你克隆整个网站。它会自动去撸目标网站, 然后把整个网站一块一块地拆解重建。试了试我自己当时用Wordpress做的导航网站，一模一样🤡，数据都完完整整爬了下来。

知识分享官

159,530 görüntüleme • 4 ay önce

autocli v0.3 重磅更新 🎉🎉🎉 精准的、AI自动化的抓取任何网站的数据！ - 使用 autocli 的 chrome 插件精准选择网站中你要的核心数据 - 的 AI 引擎自动帮你扩展相关数据并生成适配器规则（AI 大模型调用完全免费） - autocli 自动同步规则，直接使用 - 理论上可精准抓取所有网站数据，不再受固定规则和有限的内建网站支持限制。 不再依赖不稳定的自动解析和不精准的数据获取，通过极度简化的人工辅助操作，让 autocli 可以精准获取任何网站的结构化数据。 共享社区： 项目地址：
1:45

autocli v0.3 重磅更新 🎉🎉🎉 精准的、AI自动化的抓取任何网站的数据！ - 使用 autocli 的 chrome 插件精准选择网站中你要的核心数据 - 的 AI 引擎自动帮你扩展相关数据并生成适配器规则（AI 大模型调用完全免费） - autocli 自动同步规则，直接使用 - 理论上可精准抓取所有网站数据，不再受固定规则和有限的内建网站支持限制。 不再依赖不稳定的自动解析和不精准的数据获取，通过极度简化的人工辅助操作，让 autocli 可以精准获取任何网站的结构化数据。 共享社区： 项目地址：

nash_su - e/acc

75,236 görüntüleme • 4 ay önce

发现一个被低估的 AI 基建：XCrawl XCrawl是一个网页抓取和数据采集的API，它让 Agent 拥有了真正意义上的"上网能力"。 它提供几个核心能力： - Scrape：抓单个页面 - Crawl：批量跑整个站点 - Map：摸清网站结构 - Search：拿搜索结果 从单页到整站，从搜索到整理，一步打通。 用下来最直接的感受： - 不给一堆原始HTML，直接输出Markdown、JSON、摘要、链接 - 基本不用二次清洗，拿来就能用 - 动态页面（JS渲染）也能处理 - 地区、语言、结构化提取都支持 - 成功率稳定 如果你在用OpenClaw，会发现很多Agent卡住不是因为模型不行，而是数据不好用。 XCrawl正好解决这块——让Agent自己搜、抓、读，继续执行下去。OpenClaw负责决策，XCrawl负责把信息接进来。 能落地的场景： - 电商选品、竞品整理 - 招聘、社交、新闻信息汇总 - SEO关键词跟踪 - 自动整理资料、生成报告 原本需要人工收集的数据，现在跑个流程就行。 它遵循公开网页+合规采集的原则，自带规则约束。 这不是更强的爬虫，而是把"获取数据"变成可以直接接进Agent的能力。 做Agent或自动化，XCrawl 是一个趁手的工具。
0:31

发现一个被低估的 AI 基建：XCrawl XCrawl是一个网页抓取和数据采集的API，它让 Agent 拥有了真正意义上的"上网能力"。 它提供几个核心能力： - Scrape：抓单个页面 - Crawl：批量跑整个站点 - Map：摸清网站结构 - Search：拿搜索结果 从单页到整站，从搜索到整理，一步打通。 用下来最直接的感受： - 不给一堆原始HTML，直接输出Markdown、JSON、摘要、链接 - 基本不用二次清洗，拿来就能用 - 动态页面（JS渲染）也能处理 - 地区、语言、结构化提取都支持 - 成功率稳定 如果你在用OpenClaw，会发现很多Agent卡住不是因为模型不行，而是数据不好用。 XCrawl正好解决这块——让Agent自己搜、抓、读，继续执行下去。OpenClaw负责决策，XCrawl负责把信息接进来。 能落地的场景： - 电商选品、竞品整理 - 招聘、社交、新闻信息汇总 - SEO关键词跟踪 - 自动整理资料、生成报告 原本需要人工收集的数据，现在跑个流程就行。 它遵循公开网页+合规采集的原则，自带规则约束。 这不是更强的爬虫，而是把"获取数据"变成可以直接接进Agent的能力。 做Agent或自动化，XCrawl 是一个趁手的工具。

开发者Hailey

29,407 görüntüleme • 5 ay önce

牛逼了兄弟们，TinyFish刚刚开源了BigSet！你可以一句话直接生成任意数据集—— 只需要描述你想要搜索查询的数据，比如AI工具价格、竞品动态、招聘信息、黑客松比赛，BigSet就会调用大模型和网页检索API，直接把公开网页里的信息整理成结构化表格返回，而且能定时刷新数据集。​ ​ 上周偶然的机会，我参加一个线上黑客松，拿了很不错的奖金，所以我一直在关注全球的黑客松赛事，但是这种黑客松赛事比较分散，自己挨个去找太麻烦了，所以我让BigSet帮我构建一个实时数据集，收录全球范围内未来 90 天内正在开放报名的所有黑客松。 最后返回了具体的链接、黑客松名称、报名截止时间、奖金、线上支持......我能直接选择心仪的，直接跳转到具体的黑客松活动网址报名，节省了大量的时间！​ ​ BigSet还是多Agent架构，这就决定了它抓取任务分工明确、速度更快、结果更清楚，天然更适配处理表格类的任务。 如果你经常做竞品调研或者经常需要把分散在公开网页里的信息整理成表格，完全可以试试BigSet。而且它和Firecrawl这种专业数据抓取工具不同，你不需要丢给它URL，只需要把需求说清楚，AI就会自动去找到目标网站、抓取数据并且返回结构化的表格数据。​ ​ BigSet完全开源，AGPL-3.0许可，你可以自托管在本地运行，默认接入OpenRouter 大模型 API和TinyFish网页数据获取的API。​ ​ 如果觉得BigSet有用，可以去GitHub给它点个 star～： TinyFish网页数据获取API Key：
0:34

牛逼了兄弟们，TinyFish刚刚开源了BigSet！你可以一句话直接生成任意数据集—— 只需要描述你想要搜索查询的数据，比如AI工具价格、竞品动态、招聘信息、黑客松比赛，BigSet就会调用大模型和网页检索API，直接把公开网页里的信息整理成结构化表格返回，而且能定时刷新数据集。​ ​ 上周偶然的机会，我参加一个线上黑客松，拿了很不错的奖金，所以我一直在关注全球的黑客松赛事，但是这种黑客松赛事比较分散，自己挨个去找太麻烦了，所以我让BigSet帮我构建一个实时数据集，收录全球范围内未来 90 天内正在开放报名的所有黑客松。 最后返回了具体的链接、黑客松名称、报名截止时间、奖金、线上支持......我能直接选择心仪的，直接跳转到具体的黑客松活动网址报名，节省了大量的时间！​ ​ BigSet还是多Agent架构，这就决定了它抓取任务分工明确、速度更快、结果更清楚，天然更适配处理表格类的任务。 如果你经常做竞品调研或者经常需要把分散在公开网页里的信息整理成表格，完全可以试试BigSet。而且它和Firecrawl这种专业数据抓取工具不同，你不需要丢给它URL，只需要把需求说清楚，AI就会自动去找到目标网站、抓取数据并且返回结构化的表格数据。​ ​ BigSet完全开源，AGPL-3.0许可，你可以自托管在本地运行，默认接入OpenRouter 大模型 API和TinyFish网页数据获取的API。​ ​ 如果觉得BigSet有用，可以去GitHub给它点个 star～： TinyFish网页数据获取API Key：

逸尘

12,120 görüntüleme • 2 ay önce

🎉🎉🎉大的来啦，任何网站一键转 CLI！ opencli-rs v0.2.0 史诗级更新，AI 自动解析网站结构，无限站点支持，CLI 共享社区 正式上线， - 一条命令，AI 将任意网站转化为结构化数据，真正 AI 时代的全自动信息助理 - 基于 opencli-rs 构建，1K+🌟，开源无限 - 共享社区 提供免费AI解析和配置共享，共建内容获取信息中心 - 自动配置搜索，不再限于有限的站点支持，opencli-rs 自动从社区搜索已有配置 CLI IS EVERYTHING！ 现在有了开源社区 ，注册获取永久免费API Token，共同构建AI时代的内容信息中心 立刻加入社区： opencli-rs 开源底座更新：
0:43

🎉🎉🎉大的来啦，任何网站一键转 CLI！ opencli-rs v0.2.0 史诗级更新，AI 自动解析网站结构，无限站点支持，CLI 共享社区 正式上线， - 一条命令，AI 将任意网站转化为结构化数据，真正 AI 时代的全自动信息助理 - 基于 opencli-rs 构建，1K+🌟，开源无限 - 共享社区 提供免费AI解析和配置共享，共建内容获取信息中心 - 自动配置搜索，不再限于有限的站点支持，opencli-rs 自动从社区搜索已有配置 CLI IS EVERYTHING！ 现在有了开源社区 ，注册获取永久免费API Token，共同构建AI时代的内容信息中心 立刻加入社区： opencli-rs 开源底座更新：

nash_su - e/acc

165,969 görüntüleme • 4 ay önce

大家好，打磨了很久的Dokobot重磅更新终于上线了🚀 一键将任何网页转换为结构化数据。 这可能是网页爬取的终极方案： 🐙多浏览器同时抓取 📃 URL批量抓取 🌍 兼容90%网站 💰 Token成本极致优化 🔄 导出结构化数据 CSV/MD/JSON 网页和CLI同步上线，Agent 丝滑接入。 免费使用，别用得太猛，有任何问题请反馈🙏
0:33

大家好，打磨了很久的Dokobot重磅更新终于上线了🚀 一键将任何网页转换为结构化数据。 这可能是网页爬取的终极方案： 🐙多浏览器同时抓取 📃 URL批量抓取 🌍 兼容90%网站 💰 Token成本极致优化 🔄 导出结构化数据 CSV/MD/JSON 网页和CLI同步上线，Agent 丝滑接入。 免费使用，别用得太猛，有任何问题请反馈🙏

ZEN

36,195 görüntüleme • 4 ay önce

酷，阿里出的一个可以让LLM像人类一样在网上搜索信息的多智能体框架：WebWalker，它可以让LLM能自动点击链接、阅读网页、理解信息、最终给出答案，解决传统搜索引擎只能浅层搜索的问题 系统包含两个智能体，一个找信息助手，负责点击链接、浏览网页内容； 一个判断助手，判断找到的信息够不够， 是否需要继续找，给出答案 垂直搜索能力强，能处理复杂问题，可以深入多个网页，找到隐藏的信息 它可以和现有的AI问答系统（比如RAG）结合，比如RAG系统以前只能找到一些简单的答案，加上WebWalker后，可以增强处理复杂网络信息的能力 #AI上网助手 #WebWalker #AI问答助手 #RAG
0:20

酷，阿里出的一个可以让LLM像人类一样在网上搜索信息的多智能体框架：WebWalker，它可以让LLM能自动点击链接、阅读网页、理解信息、最终给出答案，解决传统搜索引擎只能浅层搜索的问题 系统包含两个智能体，一个找信息助手，负责点击链接、浏览网页内容； 一个判断助手，判断找到的信息够不够， 是否需要继续找，给出答案 垂直搜索能力强，能处理复杂问题，可以深入多个网页，找到隐藏的信息 它可以和现有的AI问答系统（比如RAG）结合，比如RAG系统以前只能找到一些简单的答案，加上WebWalker后，可以增强处理复杂网络信息的能力 #AI上网助手 #WebWalker #AI问答助手 #RAG

AIGCLINK

34,435 görüntüleme • 1 yıl önce

你以为全网全平台抓取数据需要写代码或者找不靠谱的网址网站？其实你只需要一个浏览器插件。 我发现了一个近乎作弊的宝藏工具，可以直接爬取上百上千条小红书，抖音，快手，tiktok平台数据。不需要你会 Python，也不需要求助技术大牛。 有些朋友在使用这个插件的时候遇见了一些问题，我会在这个视频里详细讲述了这个插件的使用方法和防风控的技巧。 有需要可以收藏备用~
1:50

你以为全网全平台抓取数据需要写代码或者找不靠谱的网址网站？其实你只需要一个浏览器插件。 我发现了一个近乎作弊的宝藏工具，可以直接爬取上百上千条小红书，抖音，快手，tiktok平台数据。不需要你会 Python，也不需要求助技术大牛。 有些朋友在使用这个插件的时候遇见了一些问题，我会在这个视频里详细讲述了这个插件的使用方法和防风控的技巧。 有需要可以收藏备用~

天不生邹子Zihan

98,598 görüntüleme • 6 ay önce

这个帖子应该叫「讲人话就能让 AI 帮你爬海量数据」😍 Firecrawl 这款AI驱动的网页数据采集工具，让复杂的爬虫任务变得超简单: 🧠 AI助手智能生成爬虫规则 👁️ 可视化界面，无需编码经验 ⚡ 轻松处理动态加载内容 📊 自动格式化输出，CSV、JSON 随心选 链接见评论👇
1:49

这个帖子应该叫「讲人话就能让 AI 帮你爬海量数据」😍 Firecrawl 这款AI驱动的网页数据采集工具，让复杂的爬虫任务变得超简单: 🧠 AI助手智能生成爬虫规则 👁️ 可视化界面，无需编码经验 ⚡ 轻松处理动态加载内容 📊 自动格式化输出，CSV、JSON 随心选 链接见评论👇

MapleShaw

29,492 görüntüleme • 1 yıl önce

4. Browsercopilot人工智能 无缝的浏览器人工智能助手 浏览器副驾驶员了解你在任何网站上的工作背景，并在你需要时提供帮助 [网站链接]
0:56

4. Browsercopilot人工智能 无缝的浏览器人工智能助手 浏览器副驾驶员了解你在任何网站上的工作背景，并在你需要时提供帮助 [网站链接]

老白（每日干货分享✊）

55,693 görüntüleme • 1 yıl önce

在 GitHub 上找到了 Claude For Chrome 的开源平替：AIPex，通过自然语言直接控制浏览器执行各种自动化任务。 集成了 30+ 种自动化工具，能够理解网页内容并精准执行点击、填写、截图、数据提取等复杂操作。 GitHub： 主要功能： - 自然语言控制浏览器，无需编程基础即可实现自动化 - 智能数据提取，自动从网页收集和整理信息 - 精准元素交互，AI 视觉识别页面元素并执行操作 - 表单自动填写，智能匹配字段并批量处理 - 多标签页管理，AI 自动分组和组织浏览器标签 - 内容处理分析，自动高亮总结重要信息并生成笔记 直接在 Chrome 应用商店上搜索安装后，通过按下 Ctrl+M 快捷键即可唤起使用。
0:33

在 GitHub 上找到了 Claude For Chrome 的开源平替：AIPex，通过自然语言直接控制浏览器执行各种自动化任务。 集成了 30+ 种自动化工具，能够理解网页内容并精准执行点击、填写、截图、数据提取等复杂操作。 GitHub： 主要功能： - 自然语言控制浏览器，无需编程基础即可实现自动化 - 智能数据提取，自动从网页收集和整理信息 - 精准元素交互，AI 视觉识别页面元素并执行操作 - 表单自动填写，智能匹配字段并批量处理 - 多标签页管理，AI 自动分组和组织浏览器标签 - 内容处理分析，自动高亮总结重要信息并生成笔记 直接在 Chrome 应用商店上搜索安装后，通过按下 Ctrl+M 快捷键即可唤起使用。

GitHubDaily

29,524 görüntüleme • 11 ay önce

阿里又开源了一个很绝的项目——PageAgent AI 可以直接操作网页。 它最打动我的一点是： 把最烦人的数据录入干掉了。 很多公司每天都在做这种重复工作： 复制数据 → 打开系统 → 填表 → 提交 以后可能只需要一句话： “帮我填写客户信息。” AI 就会自动识别网页结构，把整个流程全部做完。 几个非常实用的场景： 1. 自动填写网页 CRM 表单、注册表单、订单系统 直接让 AI 帮你把网页表单填好。 2. AI 网站助手（Web Copilot） 用户可以直接说： - 帮我找订单 - 生成报表 - 搜索商品 AI 自动在后台页面完成操作。 3. 企业系统自动化 ERP、CMS、内部管理系统 AI 可以直接操作后台 UI，把复杂流程自动化。 4. 无障碍辅助 语音 → 操作网页 用户说话就能完成网页操作。 和很多 Agent 不一样的是，它 不靠截图识别界面，而是直接读取 HTML DOM，所以： - 更快 - 更稳定 - 成本更低 而且整个系统 直接运行在浏览器里，不需要： - Puppeteer - Playwright - Python 自动化 相当于给网站装了一个 AI 操作员。 未来很多网站可能会变成这样： 用户不点按钮，而是直接和 AI 说话。
0:39

阿里又开源了一个很绝的项目——PageAgent AI 可以直接操作网页。 它最打动我的一点是： 把最烦人的数据录入干掉了。 很多公司每天都在做这种重复工作： 复制数据 → 打开系统 → 填表 → 提交 以后可能只需要一句话： “帮我填写客户信息。” AI 就会自动识别网页结构，把整个流程全部做完。 几个非常实用的场景： 1. 自动填写网页 CRM 表单、注册表单、订单系统 直接让 AI 帮你把网页表单填好。 2. AI 网站助手（Web Copilot） 用户可以直接说： - 帮我找订单 - 生成报表 - 搜索商品 AI 自动在后台页面完成操作。 3. 企业系统自动化 ERP、CMS、内部管理系统 AI 可以直接操作后台 UI，把复杂流程自动化。 4. 无障碍辅助 语音 → 操作网页 用户说话就能完成网页操作。 和很多 Agent 不一样的是，它 不靠截图识别界面，而是直接读取 HTML DOM，所以： - 更快 - 更稳定 - 成本更低 而且整个系统 直接运行在浏览器里，不需要： - Puppeteer - Playwright - Python 自动化 相当于给网站装了一个 AI 操作员。 未来很多网站可能会变成这样： 用户不点按钮，而是直接和 AI 说话。

开发者Hailey

85,884 görüntüleme • 5 ay önce