15分钟接入 Apify MCP:用一句话抓取全网数据

40 次阅读 0 点赞 0 评论 8 分钟原创技术教程

无需写爬虫代码,只需在 Claude Desktop 或 Cursor 中配置 Apify MCP Server,就能通过自然语言指令完成 Google Maps 商家信息抓取、网页内容检索等真实数据任务。15分钟上手,让 AI 替你完成数据提取。

#MCP #AI Agent #Apify #数据抓取 #Claude #自然语言爬虫
15分钟接入 Apify MCP:用一句话抓取全网数据

15分钟接入 Apify MCP:用一句话抓取全网数据

老板突然问:「竞品在亚马逊上的最新价格是多少?」或者「帮我找成都评分前10的川菜馆,要带电话的那种」。

手动翻页面太慢,写爬虫代码太麻烦,搭 Scrapy 环境更不现实。不干活的话,数据从哪来?

今天带你把 Apify MCP Server 接入 AI 客户端(Claude Desktop、Cursor 都行)。配置完成后,只需要说一句「帮我搜一下成都的川菜馆」,AI 就会自动调用云端现成的爬虫工具,把结构化数据端到你面前。

不需要写爬虫代码,不需要维护代理池,不需要处理反爬。跟着步骤走一遍就能跑通。

前置条件

开始前确认这几样东西已就绪:

  • Node.js v18+:本地终端运行 npx 需要它
  • Apify 账号 + API Token:前往 apify.com 注册免费版,在 Settings → Integrations 中复制 API Token
  • MCP 客户端:推荐 Claude Desktop 或 Cursor,本文以 Claude Desktop 为主演示

Apify 免费版每月有免费额度,足够跑完本教程的实验。

第一步:配置 Apify MCP

MCP(Model Context Protocol)的本质是给 AI 装插件。配置好后,AI 就能直接调用 Apify 平台上 8000+ 个数据抓取工具。

打开 Claude Desktop 配置文件:

  • Mac: ~/Library/Application Support/Claude/claude_desktop_config.json
  • Windows: %APPDATA%\Claude\claude_desktop_config.json

加入以下配置:

json 复制代码
{
  "mcpServers": {
    "apify": {
      "command": "npx",
      "args": ["-y", "@apify/actors-mcp-server"],
      "env": {
        "APIFY_TOKEN": "你的Apify API Token"
      }
    }
  }
}

配置说明:command 指定用 npx 启动服务,args 告诉它下载并运行 @apify/actors-mcp-server 包,env 存放 Token 用于身份认证。保存后重启 Claude Desktop 使配置生效。

托管 URL 模式:使用 Claude.ai 网页版或 VS Code 时,无需本地 stdio,直接在客户端 MCP 配置中填入服务器 URL https://mcp.apify.com,通过 OAuth 授权即可连接。

第二步:验证连接

重启 Claude Desktop 后,对话框旁应出现新增工具图标。发送测试消息:

你能看到哪些 Apify 工具?

AI 回复包含 search-actorsfetch-actor-detailscall-actor 等工具列表,说明配置成功。

默认加载的工具:

  • search-actors:搜索合适的爬虫工具
  • fetch-actor-details:查看工具参数说明
  • call-actor:执行爬虫任务
  • apify/rag-web-browser:网页搜索与内容抓取(已预装)
  • get-dataset-items:获取爬虫结果数据

实战:一句话抓取 Google Maps 商家信息

假设要做竞品调研,需要成都高新区评分前10的咖啡厅,包含名称、地址、评分和联系电话

在 Claude 对话框输入:

帮我从 Google Maps 上抓取成都高新区评分最高的10家咖啡厅,包含名称、地址、评分、电话和网站。

AI 自动完成:

  1. 调用 search-actors 搜索 Google Maps 抓取工具
  2. 调用 fetch-actor-details 查看所需参数
  3. 调用对应 Actor,传入搜索条件
  4. 收到任务 ID 后,调用 get-dataset-items 获取结果
  5. 将结构化数据整理成表格展示

MCP 协议会把每个 Actor 的输入参数 schema 暴露给 AI,AI 自动知道该传什么参数,无需手动配置爬虫规则。

进阶:RAG Web Browser 定向检索

Apify 默认预装了 apify/rag-web-browser,支持搜索网页并返回清理后的内容,适合技术调研、新闻汇总。

测试指令:

帮我搜索最新的 MCP 协议相关技术文章,总结核心要点。

AI 会调用 RAG Web Browser 搜索网页、抓取 Top N 页面内容并自动总结,相当于 AI 获得实时联网搜索能力。

限制结果数量的用法:

用 RAG Web Browser 搜索 "AI Agent development best practices",最多返回3个结果,返回原文 markdown 内容。

常见问题

Claude Desktop 连接后看不到工具?

检查配置文件路径和 APIFY_TOKEN 有效性。运行 npx -y @apify/actors-mcp-server --help 确认包可正常下载。注意旧版 /sse 端点已下线,若之前配置的是 https://mcp.apify.com/sse,请去掉 /sse 后缀。

调用 Actor 后只返回摘要,没有数据?

这是正常设计。Apify Actor 调用返回运行元信息和 datasetId,不会直接返回数据项。让 AI 继续调用 get-dataset-items 工具,传入 datasetId 获取实际数据。AI 会按 nextStep 提示自动完成该步骤。

免费额度够用吗?

Apify 免费版每月自带免费运行量(platform credits)。search-actorsfetch-actor-details 等发现类操作免费,实际运行 Actor 时才消耗额度。小规模抓取完全够用。

想在 Cursor 中使用?

配置逻辑一致——在 Cursor MCP 设置中添加相同 stdio 配置,或直接使用托管 URL https://mcp.apify.com。Apify 官方提供 mcp.apify.com 一键配置生成器,选好客户端后直接复制配置。

如何关闭遥测数据收集?

启动参数加 --telemetry-enabled=false,或设置环境变量 TELEMETRY_ENABLED=false

调试命令

本地 CLI 直接启动 stdio 模式:

bash 复制代码
export APIFY_TOKEN="你的Apify API Token"
npx -y @apify/actors-mcp-server --tools actors,docs,apify/rag-web-browser

总结

本次完成三项任务:

  1. 获取 Apify API Token 并配置 Claude Desktop MCP Server
  2. 验证 AI 自动发现和使用 Apify 爬虫工具
  3. 通过自然语言完成 Google Maps 商家抓取和网页信息检索

核心逻辑:不需要写爬虫,只需告诉 AI 你要什么,AI 自动找到合适 Actor、填好参数、取回数据。

下一步建议:

  • 访问 mcp.apify.com 探索更多客户端配置方法
  • 尝试 Instagram Scraper、Google Search Results Scraper 等热门 Actor
  • 查阅官方文档获取 Cursor / VS Code 接入指南

有具体抓取需求?告诉我,帮你匹配最省事的 Actor。

最后更新:2026-08-14T10:02:47

评论 (0)

发表评论

blog.comments.form.loading
0/500
加载评论中...