Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

一站式爬虫框架，从单请求到大规模并发爬取，内置 Cloudflare 绕过、自适应解析、MCP Server，兼容 Scrapy API

Rust 编写的开源 headless 浏览器，内存仅 30MB、启动瞬开、内置反检测与跟踪器拦截，单二进制无依赖，兼容 Puppeteer/Playwright，适合大规模网页抓取与 AI Agent 自动化

小红书/抖音/快手/B站/微博/贴吧/知乎全覆盖，Playwright浏览器自动化，无需JS逆向，51.7k Stars

它能从一个或多个网址爬取网站内容，然后生成JSON文件格式。这样爬取的内容可以直接导入到GPTs知识库中，方便你创建自定义知识库的GPTs。 比如你有自己的网站或者资料库，但是整理起来太麻烦，就可以使用这个工具。

最好用的网页数据采集器，据说不用再研究爬虫了？

北极熊扫描器是由“广州白狐网络科技有限公司”开发的一款信息安全审计工具，支持多线程获取网站信息，提供网站爬虫、后台扫描、CMS识别、安全检测，后台测试，代码审计、域名侦查等功能，扫描结果可直接将数据导出为“电子表格”，自动化任务执行上能够提升安全人员检测的便利性。

突破反爬封锁、人类无缝接管、多账号并行隔离，专为LLM推理设计的浏览器操控工具

对于我喜欢和常用的网站我会特别介绍一下的，其他大家自己看着办吧。

Agent能力交易市集，A2A/MCP标准协议，支持OpenClaw/Hermes/Claude Code接入

Playwright/Puppeteer无痛替换，49处C++源码级指纹补丁，reCAPTCHA v3得分0.9，Cloudflare自动通过

AI Agent 持续霸榜：Anthropic 金融方案、DeepSeek 终端代理、隐身浏览器、全自动AI交易系统等 9 个热门项目一览