n8n每周监控AI爬虫对网站的访问权限变化

原文要点

原模板每周一按计划触发器运行，维护一个待监控网站清单和一个监控名；调用Apify演员tidytools/ai-crawler-access-checker评估各站robots.txt、llms.txt与页面信号，Apify按监控名保存基线、只返回新增或有变化的结果；工作流筛出首次监控或状态变化的站点，把各站允许/拦截的爬虫、策略变化、llms.txt或noai信号变化汇总成一条Slack消息发到指定频道。配置需要Apify凭据（API令牌或OAuth）和Slack凭据。

这次做成什么

在n8n里搭一条每周一自动运行的监控流：对自有的几个练习站点检查AI爬虫访问状态，只在有变化时向Slack测试频道发一条汇总消息。采用本站设计的两站点小清单练习，先手动触发验证，再交给计划触发器。

准备什么

• 一个可发布工作流的n8n实例，能使用计划触发器、Apify节点和Slack节点
• Apify账号及API令牌或OAuth凭据，且账号可运行tidytools/ai-crawler-access-checker演员
• 一个Slack工作区凭据和一个可发消息的测试频道（如#seo-alerts-test）
• 两个你拥有或有权监控的站点域名作为练习输入

具体怎么做

1. 建计划触发器与监控清单

   新建工作流，添加Schedule Trigger设为每周一上午触发。在其后加一个设置类节点，定义websites数组（如["https://example-a.com","https://example-b.com"]）和monitorName字段（如"weekly-crawler-watch"）。monitorName是Apify做周与周基线对比的键，定下来后不要随意改，否则会被当作全新基线，所有站点都会报为新增。

2. 接入Apify演员

   在n8n凭据里添加Apify API令牌（或OAuth）。添加Apify节点，选择运行演员tidytools/ai-crawler-access-checker，把上一步的websites和monitorName映射进演员输入。运行一次后该演员按监控名持久化基线，仅返回新增或变化的结果，所以第二次运行同一清单可能返回空，这是正常行为。

3. 过滤变化结果

   在Apify节点后加Filter节点，保留返回项中标记为首次监控或访问状态有变化的站点条目；空数组时让流程自然结束，不发消息。这样平时周一静默，只有变动才告警。

4. 汇总并发Slack

   加一个汇总节点，把每个变化站点拼成一段文字：域名、允许或拦截的爬虫名单变化、策略变化、llms.txt/noai信号变化。配置Slack节点凭据和目标频道，把汇总文本作为一条消息发出。手动执行整条流，确认频道里出现一条包含两个练习站点的消息。

可直接复制的材料

{
  "websites": [
    "https://example-a.com",
    "https://example-b.com"
  ],
  "monitorName": "weekly-crawler-watch",
  "slackChannel": "#seo-alerts-test"
}

你是一个告警消息格式化助手。把下面每条站点变化记录改写成一行中文简报，格式固定为：【域名】变化类型：具体内容。变化类型只从这三种里选：首次纳入监控 / 爬虫允许或拦截名单变化 / llms.txt或noai信号变化。多条记录之间空一行，开头加一行「本周AI爬虫访问状态变化汇总」。不要添加记录里没有的信息。

输入与输出示例

本站虚构演示，输入输出字段互相对应，非Apify演员真实返回、未实际运行。

输入

websites为["https://example-a.com","https://example-b.com"]，monitorName为"weekly-crawler-watch"；本周Apify返回：example-a.com为首次监控且拦截GPTBot，example-b.com的llms.txt新增noai信号。

对应输出

本周AI爬虫访问状态变化汇总

【example-a.com】首次纳入监控：当前拦截GPTBot
【example-b.com】llms.txt或noai信号变化：llms.txt新增noai声明

做完检查这些

• 手动触发后Slack测试频道收到且只收到一条汇总消息，内容覆盖两个练习站点
• 用同一monitorName再跑一次，无变化时不发任何消息，流程在过滤节点后结束
• 修改一个站点的配置模拟变化后再跑，消息里只出现那一个站点
• 把monitorName改成新值后所有站点报为首次监控，能解释这一现象才算理解基线机制

容易卡住的地方

• monitorName一旦更改，Apify按新基线处理，所有站点都会当成首次监控而全量告警
• 第二次运行返回空数组是基线机制的正常表现，不是节点故障，过滤节点后要允许空流程静默结束
• Apify演员运行和Slack消息都可能产生各自平台的用量计费，免费额度以各平台为准
• 仅可监控你有权检查的站点；演员检查结果依赖其抓取时看到的robots.txt与页面信号，站点临时不可达可能导致误判