Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

OpenAI Realtime API 结合网络爬虫 可以和任何网站进行对话 爬虫使用的是 Firecrawl FireCrawl：能够抓取任何网站的所有可访问子页面，而且无需站点地图，并将这些页面的内容转换成干净、格式化的Markdown文档。 即使网站使用JavaScript动态生成其内容，FireCrawl 也能有效地抓取这些内容。 详细介绍： GitHub：

imxiaohu's profile picture

小互

71,393 subscribers

36,294 görüntüleme • 1 yıl önce •via X (Twitter)

EğitimHaberler & PolitikaBilim & Teknoloji
LIVE

Anya Rossi• Live Now

Private livecam show

10 Yorum

Nicrow profil fotoğrafı
Nicrow1 yıl önce

@readwise save

tester profil fotoğrafı
tester1 yıl önce

站点直接上验证码……

高藥師 profil fotoğrafı
高藥師1 yıl önce

挺棒的，不知道之後會不會繼續加新功能

SpeeedupHypedpls profil fotoğrafı
SpeeedupHypedpls1 yıl önce

这才是我想象中的AI结合工具

wenhui profil fotoğrafı
wenhui1 yıl önce

备用

Yang Zhang profil fotoğrafı
Yang Zhang1 yıl önce

这个很需要

wwwwg profil fotoğrafı
wwwwg1 yıl önce

@Memdotai mem it #tools @readwise save thread

Li Le profil fotoğrafı
Li Le1 yıl önce

@memdotai mem it

AlfieriChou profil fotoğrafı
AlfieriChou1 yıl önce

@memdotai mem it

Mem profil fotoğrafı
Mem1 yıl önce

@imxiaohu Saved! Here's the compiled thread:

Benzer Videolar

Firecrawl 推出了一个 AI 驱动的数据爬虫Agent 无需提供任何信息 不需要你提供网址，不用写爬虫，不怕反爬机制 只要输入你的需求它就能自动爬取任何你想要的信息 它会自动搜索、浏览、提取网站内容（包括深层网页），整合信息，然后给你返回结构化结果。 支持并发抓取多个网站， 自动爬取并深入网站结构，能找到”隐藏”或难以直接访问的网页数据。
0:50

Firecrawl 推出了一个 AI 驱动的数据爬虫Agent 无需提供任何信息 不需要你提供网址，不用写爬虫，不怕反爬机制 只要输入你的需求它就能自动爬取任何你想要的信息 它会自动搜索、浏览、提取网站内容（包括深层网页），整合信息，然后给你返回结构化结果。 支持并发抓取多个网站， 自动爬取并深入网站结构，能找到”隐藏”或难以直接访问的网页数据。

小互

41,547 görüntüleme • 6 ay önce

兄弟们这个牛P啊 写网络爬虫的时代结束了 Firecrawl Extract：只需文字提示，即可爬取任意网络数据 它只需通过简单的自然语言提示，就能将整个网站转换为结构化数据，完全省去手动写脚本的麻烦。 无论你需要的是一页内容，还是整个网站的信息，都可以轻松爬取。 支持复杂数据提取，像从网页提取联系人信息、任务描述、动态价格等。
1:18

兄弟们这个牛P啊 写网络爬虫的时代结束了 Firecrawl Extract：只需文字提示，即可爬取任意网络数据 它只需通过简单的自然语言提示，就能将整个网站转换为结构化数据，完全省去手动写脚本的麻烦。 无论你需要的是一页内容，还是整个网站的信息，都可以轻松爬取。 支持复杂数据提取，像从网页提取联系人信息、任务描述、动态价格等。

小互

183,596 görüntüleme • 1 yıl önce

最近在开发圈很火的 GitHub 项目 Firecrawl， 一个专门给 AI 用的智能爬虫，已经 7万+ Star 了。 一句话总结： 它可以把任何网站，直接变成 AI 能用的数据。 只要给它一个 URL，它就会自动： - 抓取整站页面 - 清洗网页内容 - 解析结构信息 - 输出 Markdown / JSON 也就是说： 网站 → 结构化数据 → 直接喂给 LLM。 现在很多 AI 项目的数据流程其实都是： 网站 → Firecrawl → 向量库 → RAG → AI 应用 如果你在做： - AI Agent - RAG 知识库 - 自动化数据采集 这个工具基本算是 AI 开发的基础设施了
0:25

最近在开发圈很火的 GitHub 项目 Firecrawl， 一个专门给 AI 用的智能爬虫，已经 7万+ Star 了。 一句话总结： 它可以把任何网站，直接变成 AI 能用的数据。 只要给它一个 URL，它就会自动： - 抓取整站页面 - 清洗网页内容 - 解析结构信息 - 输出 Markdown / JSON 也就是说： 网站 → 结构化数据 → 直接喂给 LLM。 现在很多 AI 项目的数据流程其实都是： 网站 → Firecrawl → 向量库 → RAG → AI 应用 如果你在做： - AI Agent - RAG 知识库 - 自动化数据采集 这个工具基本算是 AI 开发的基础设施了

开发者Hailey

139,269 görüntüleme • 3 ay önce

很早前，我们就可以利用 AI 快速抓取网站内容进行提问和理解，但颇为繁琐且技术小白难以上手。 现在有了开源工具 sitemcp 后，这一应用场景将变得非常简单。 它能一键抓取整个网站内容并将其转化为 MCP 服务器，再搭配 Claude 等 MCP 客户端，就能直接对网站内容进行对话提问。 GitHub： 主要功能： - 支持一次性抓取整个网站，并缓存到本地 - 可设置并发数提高抓取速度 - 支持多种工具命名策略，便于 AI 客户端调用 - 提供路径匹配功能，可选择性抓取特定页面 - 支持内容选择器，确保提取页面中最有价值的内容 可通过命令行一键安装使用，并无缝集成到各种 MCP 客户端。
1:09

很早前，我们就可以利用 AI 快速抓取网站内容进行提问和理解，但颇为繁琐且技术小白难以上手。 现在有了开源工具 sitemcp 后，这一应用场景将变得非常简单。 它能一键抓取整个网站内容并将其转化为 MCP 服务器，再搭配 Claude 等 MCP 客户端，就能直接对网站内容进行对话提问。 GitHub： 主要功能： - 支持一次性抓取整个网站，并缓存到本地 - 可设置并发数提高抓取速度 - 支持多种工具命名策略，便于 AI 客户端调用 - 提供路径匹配功能，可选择性抓取特定页面 - 支持内容选择器，确保提取页面中最有价值的内容 可通过命令行一键安装使用，并无缝集成到各种 MCP 客户端。

GitHubDaily

27,123 görüntüleme • 1 yıl önce

兄弟们 给你们看看Gamma 推出的一个炸裂的功能 可以将任何文档和网页内容提炼转换成精美的内容展示页 还能分享给任何人 而且超级简单，全程动动鼠标即可，不需要什么提示词和动脑动手的操作。 超级easy，这将改变内容传播的方式 你可以将任何复杂的内容转换成直观、提炼、精美的页面传播。
2:20

兄弟们 给你们看看Gamma 推出的一个炸裂的功能 可以将任何文档和网页内容提炼转换成精美的内容展示页 还能分享给任何人 而且超级简单，全程动动鼠标即可，不需要什么提示词和动脑动手的操作。 超级easy，这将改变内容传播的方式 你可以将任何复杂的内容转换成直观、提炼、精美的页面传播。

小互

47,772 görüntüleme • 1 yıl önce

在Claude的帮助下，终于完成了借助coze的API能力和Chrome浏览器插件的结合使用~ 另外这么做可以无风险的爬取任何网站的数据，无论这个网页内容加载是动态加载还是静态加载，而且永远不会被拉黑IP； 教程已经在写了，立个flag，周五早上发教程！
0:28

在Claude的帮助下，终于完成了借助coze的API能力和Chrome浏览器插件的结合使用~ 另外这么做可以无风险的爬取任何网站的数据，无论这个网页内容加载是动态加载还是静态加载，而且永远不会被拉黑IP； 教程已经在写了，立个flag，周五早上发教程！

dangjin

196,667 görüntüleme • 1 yıl önce

Firecrawl 推出一个新功能 /search API 可在后台实现搜索 + 抓取网页内容 并返回Markdown、HTML、截图等给AI，方便模型读取 功能亮点： - 一次 API 调用即可实现搜索 + 抓取网页内容。 - 在后端直接运行自然语言查询，无需借助浏览器或第三方搜索服务。 - 返回内容格式支持：Markdown、HTML、纯链接、网页截图。 - 输出结果对 LLM友好，便于 AI 处理网页内容。
1:01

Firecrawl 推出一个新功能 /search API 可在后台实现搜索 + 抓取网页内容 并返回Markdown、HTML、截图等给AI，方便模型读取 功能亮点： - 一次 API 调用即可实现搜索 + 抓取网页内容。 - 在后端直接运行自然语言查询，无需借助浏览器或第三方搜索服务。 - 返回内容格式支持：Markdown、HTML、纯链接、网页截图。 - 输出结果对 LLM友好，便于 AI 处理网页内容。

小互

18,548 görüntüleme • 1 yıl önce

大家好，打磨了很久的Dokobot重磅更新终于上线了🚀 一键将任何网页转换为结构化数据。 这可能是网页爬取的终极方案： 🐙多浏览器同时抓取 📃 URL批量抓取 🌍 兼容90%网站 💰 Token成本极致优化 🔄 导出结构化数据 CSV/MD/JSON 网页和CLI同步上线，Agent 丝滑接入。 免费使用，别用得太猛，有任何问题请反馈🙏
0:33

大家好，打磨了很久的Dokobot重磅更新终于上线了🚀 一键将任何网页转换为结构化数据。 这可能是网页爬取的终极方案： 🐙多浏览器同时抓取 📃 URL批量抓取 🌍 兼容90%网站 💰 Token成本极致优化 🔄 导出结构化数据 CSV/MD/JSON 网页和CLI同步上线，Agent 丝滑接入。 免费使用，别用得太猛，有任何问题请反馈🙏

ZEN

36,054 görüntüleme • 3 ay önce

知名网页抓取工具 Firecrawl 团队，最近开源了一个功能强大的项目：Open Lovable，短短几天已狂揽了 10.9k Star。 只需输入我们想克隆的任何网站链接，它就能在几秒内基于 React 重新生成一个一模一样的网站。 GitHub： 主要特性： - 一键克隆任何网站为 React 应用，支持复杂布局和交互 - 支持 OpenAI、Anthropic、Gemini、Groq 等 AI 模型 - 基于 Firecrawl 抓取网页结构，准确还原样式与内容 - 支持本地调试与部署，可实时预览生成结果 - E2B 沙盒环境提供安全的代码执行和测试环境 项目基于 MIT 协议完全开源，只需克隆项目代码到本地，配置好相关的 API 密钥即可使用。
0:40

知名网页抓取工具 Firecrawl 团队，最近开源了一个功能强大的项目：Open Lovable，短短几天已狂揽了 10.9k Star。 只需输入我们想克隆的任何网站链接，它就能在几秒内基于 React 重新生成一个一模一样的网站。 GitHub： 主要特性： - 一键克隆任何网站为 React 应用，支持复杂布局和交互 - 支持 OpenAI、Anthropic、Gemini、Groq 等 AI 模型 - 基于 Firecrawl 抓取网页结构，准确还原样式与内容 - 支持本地调试与部署，可实时预览生成结果 - E2B 沙盒环境提供安全的代码执行和测试环境 项目基于 MIT 协议完全开源，只需克隆项目代码到本地，配置好相关的 API 密钥即可使用。

GitHubDaily

146,193 görüntüleme • 10 ay önce

新手如何优雅的玩转GitHub？GitHub 漫游指南告诉你 GitHub 漫游指南，能够让新手学会如何使用 GitHub 网站，从而加入到开源社区。作者从他和 GitHub 的青涩故事写起，全方位地介绍了 GitHub 这个网站，以及如何合理地使用这个网站。 GitHub： 官网：
0:27

新手如何优雅的玩转GitHub？GitHub 漫游指南告诉你 GitHub 漫游指南，能够让新手学会如何使用 GitHub 网站，从而加入到开源社区。作者从他和 GitHub 的青涩故事写起，全方位地介绍了 GitHub 这个网站，以及如何合理地使用这个网站。 GitHub： 官网：

知识分享官

40,070 görüntüleme • 2 yıl önce

GitHub 上这款 Browserbase MCP Server 浏览器爬虫 MCP 服务器有点强大！ 通过它能够让 Claude 直接控制网页浏览器，除了可以爬取页面上内容外，还能网页导航、截图、点击和内容填写等操作。 GitHub： 主要功能： - 创建和管理云浏览器会话 - 网页导航和内容提取 - 网页全屏或元素截图 - 点击元素和填写表单 - 执行 JavaScript 代码 - 支持并行浏览器会话 拉取代码到本地并安装依赖，支持 Windsurf、Claude 和 Cursor 等 MCP 客户端，配置启动后即可使用。
0:33

GitHub 上这款 Browserbase MCP Server 浏览器爬虫 MCP 服务器有点强大！ 通过它能够让 Claude 直接控制网页浏览器，除了可以爬取页面上内容外，还能网页导航、截图、点击和内容填写等操作。 GitHub： 主要功能： - 创建和管理云浏览器会话 - 网页导航和内容提取 - 网页全屏或元素截图 - 点击元素和填写表单 - 执行 JavaScript 代码 - 支持并行浏览器会话 拉取代码到本地并安装依赖，支持 Windsurf、Claude 和 Cursor 等 MCP 客户端，配置启动后即可使用。

GitHubDaily

24,181 görüntüleme • 1 yıl önce

终于有适合咱们文科生的网站搭建方式了 现在你的任何一篇文章都能变成网站 无需任何编程知识 只需要准备好图、文字、链接 YouMind就能把这些变成网站，这种控制方式非常方便，链接都可以跳转 在视频内我准备了多种风格提示词给大家 大家看看有没有你喜欢的风格~~
4:26

终于有适合咱们文科生的网站搭建方式了 现在你的任何一篇文章都能变成网站 无需任何编程知识 只需要准备好图、文字、链接 YouMind就能把这些变成网站，这种控制方式非常方便，链接都可以跳转 在视频内我准备了多种风格提示词给大家 大家看看有没有你喜欢的风格~~

Nicolechan

15,802 görüntüleme • 5 ay önce

手把手教你让 Claude Code 更好的爬取内容： 抓取任意网站数据 学完这篇教程，你可以让 Claude Code 直接搜索网页、抓取数据，甚至自己造一个爬虫部署到云端，全程不写一行代码。
7:13

手把手教你让 Claude Code 更好的爬取内容： 抓取任意网站数据 学完这篇教程，你可以让 Claude Code 直接搜索网页、抓取数据，甚至自己造一个爬虫部署到云端，全程不写一行代码。

小互

235,887 görüntüleme • 3 ay önce

这个帖子应该叫「讲人话就能让 AI 帮你爬海量数据」😍 Firecrawl 这款AI驱动的网页数据采集工具，让复杂的爬虫任务变得超简单: 🧠 AI助手智能生成爬虫规则 👁️ 可视化界面，无需编码经验 ⚡ 轻松处理动态加载内容 📊 自动格式化输出，CSV、JSON 随心选 链接见评论👇
1:49

这个帖子应该叫「讲人话就能让 AI 帮你爬海量数据」😍 Firecrawl 这款AI驱动的网页数据采集工具，让复杂的爬虫任务变得超简单: 🧠 AI助手智能生成爬虫规则 👁️ 可视化界面，无需编码经验 ⚡ 轻松处理动态加载内容 📊 自动格式化输出，CSV、JSON 随心选 链接见评论👇

MapleShaw

29,492 görüntüleme • 1 yıl önce

autocli v0.3 重磅更新 🎉🎉🎉 精准的、AI自动化的抓取任何网站的数据！ - 使用 autocli 的 chrome 插件精准选择网站中你要的核心数据 - 的 AI 引擎自动帮你扩展相关数据并生成适配器规则（AI 大模型调用完全免费） - autocli 自动同步规则，直接使用 - 理论上可精准抓取所有网站数据，不再受固定规则和有限的内建网站支持限制。 不再依赖不稳定的自动解析和不精准的数据获取，通过极度简化的人工辅助操作，让 autocli 可以精准获取任何网站的结构化数据。 共享社区： 项目地址：
1:45

autocli v0.3 重磅更新 🎉🎉🎉 精准的、AI自动化的抓取任何网站的数据！ - 使用 autocli 的 chrome 插件精准选择网站中你要的核心数据 - 的 AI 引擎自动帮你扩展相关数据并生成适配器规则（AI 大模型调用完全免费） - autocli 自动同步规则，直接使用 - 理论上可精准抓取所有网站数据，不再受固定规则和有限的内建网站支持限制。 不再依赖不稳定的自动解析和不精准的数据获取，通过极度简化的人工辅助操作，让 autocli 可以精准获取任何网站的结构化数据。 共享社区： 项目地址：

nash_su - e/acc

75,103 görüntüleme • 2 ay önce

Sider AI 也推出了Deep Research功能 但是和其他家的有一点不一样🙃 它可以自动模拟人类进行研究，访问网络去搜索内容，最重要的是它在搜索内容的同时会自动做笔记，你可以在界面右侧看到它做的笔记内容。左侧是搜索来源。 最重要的是它会在最终给你生成一个可视化的交互式网页。 将报告进行可视化。 它在生成整个报告的同时也会自动创建一些图表、流程图、表格等，比其他家也先进一点。
2:27

Sider AI 也推出了Deep Research功能 但是和其他家的有一点不一样🙃 它可以自动模拟人类进行研究，访问网络去搜索内容，最重要的是它在搜索内容的同时会自动做笔记，你可以在界面右侧看到它做的笔记内容。左侧是搜索来源。 最重要的是它会在最终给你生成一个可视化的交互式网页。 将报告进行可视化。 它在生成整个报告的同时也会自动创建一些图表、流程图、表格等，比其他家也先进一点。

小互

27,663 görüntüleme • 1 yıl önce

大家好，非常激动宣布 Dokobot 重磅更新🚀 本地免费无限抓取！ - 支持任意网站 - 本地模式隐私无忧 - 结构化 Markdown 输出（内容分栏，链接编号引用） - 多浏览器并行抓取
0:22

大家好，非常激动宣布 Dokobot 重磅更新🚀 本地免费无限抓取！ - 支持任意网站 - 本地模式隐私无忧 - 结构化 Markdown 输出（内容分栏，链接编号引用） - 多浏览器并行抓取

ZEN

96,265 görüntüleme • 2 ay önce

最近在折腾内容播客这块，想开个播客频道，把我的Xiaohu AI日报转成每日播客，试了很多，发现扣子空间的「播客音频生成」的功能挺符合我的预期。 它可以将任何内容一键转为语音播客 ，而且使用起来非常的方便 可以说是傻瓜式的 写了一批昂详细的多场景实测与详细使用指南，你们参考下。 你只需要说： 根据「你提供的链接、文档、图像、文字、聊天记录」内容，帮我生成xx分钟的播客内容。 就这样就可以了，没有什么复杂的，它就全自动执行
1:08

最近在折腾内容播客这块，想开个播客频道，把我的Xiaohu AI日报转成每日播客，试了很多，发现扣子空间的「播客音频生成」的功能挺符合我的预期。 它可以将任何内容一键转为语音播客 ，而且使用起来非常的方便 可以说是傻瓜式的 写了一批昂详细的多场景实测与详细使用指南，你们参考下。 你只需要说： 根据「你提供的链接、文档、图像、文字、聊天记录」内容，帮我生成xx分钟的播客内容。 就这样就可以了，没有什么复杂的，它就全自动执行

小互

84,207 görüntüleme • 1 yıl önce