六个Claude代理爬站做SEO体检

原文要点

原模板为n8n工作流：webhook接收含startUrl与爬取上限的POST后，按队列逐页抓HTML，解析title、meta描述、canonical、robots、标题层级、JSON-LD、字数、图片alt覆盖率与内外链，再分送六个Claude分析（技术、搜索意图、实体主题、内链、内容质量、架构）打分，爬完后汇总页面诊断、全站均分、高频问题与最差页面，以JSON经webhook返回。maxPages、maxDepth、crawlDelaySeconds、薄内容字数阈值、userAgent等均可配置。

这次做成什么

在你有权限抓取的测试站上跑通一次小范围爬取（5页以内），拿到六个维度打分与全站汇总JSON，并学会用一份手工构造的页面信号数据离线练习单个分析提示词。

准备什么

• 一个可登录的n8n实例（自托管或云端均可）
• Anthropic API密钥，用于HTTP Header Auth凭据
• 一个你确认允许抓取的测试网站地址
• 已从n8n.io/workflows/20009页获取该免费模板

具体怎么做

1. 导入模板并配置Anthropic凭据

   在n8n中导入该模板后，新建一个HTTP Header Auth凭据，按模板内Anthropic请求节点的要求填入你的API密钥（请求头名称以模板节点中已配置为准，不要自行改名），并在每个Claude分析节点上选中该凭据。

2. 调整爬取与打分参数

   在配置节点中找到maxPages、maxDepth、crawlDelaySeconds、thinContentWordThreshold、标题与meta长度目标、userAgent，首次练习建议maxPages=5、maxDepth=1、crawlDelaySeconds=2，降低对目标站和API额度的压力。

3. 激活工作流并发送测试POST

   将工作流切换为Active，从Webhook触发节点复制生产环境URL（不是测试URL），用curl或Postman发送{"startUrl":"你的测试站","maxPages":5,"maxDepth":1}的JSON POST，等待响应。

4. 核对返回的全站报告

   响应JSON中应包含每个页面的六维诊断与总分、全站平均分、按严重度排序的高频问题和最差页面列表；若某页抓取失败，先查该页是否返回非200状态或被robots拦截。

可直接复制的材料

你是一名技术SEO审计师。下面是一个网页抓取后解析出的信号JSON。请只依据这些信号评估该页的技术SEO健康度，不要臆造页面内容。\n输出严格为JSON，不要输出任何其他文字，格式：\n{"technicalScore":0到100的整数,"issues":[{"severity":"high|medium|low","field":"出问题的字段名","finding":"问题描述","fix":"可执行的修复建议"}]}\n评分参考：title缺失或长度不在30-60字符扣分；meta描述缺失或不在70-160字符扣分；canonical缺失或与URL不一致扣分；H1缺失或多于1个扣分；图片alt覆盖率低于80%扣分；正文少于300字视为薄内容扣分。\n页面信号JSON如下：\n{{在此粘贴页面信号JSON}}

{"url":"https://demo-shop.example.com/products/tea-set","title":"手工陶瓷茶具套装","metaDescription":null,"canonical":null,"robotsMeta":"index,follow","h1":["手工陶瓷茶具套装"],"h2Count":3,"jsonLdPresent":false,"wordCount":182,"imageAltCoverage":0.4,"internalLinks":12,"externalLinks":1}

{"startUrl":"https://demo-shop.example.com","maxPages":5,"maxDepth":1}

输入与输出示例

本站虚构演示，非模板实际运行结果；真实报告会聚合六个代理输出与全站统计。

输入

POST请求体{"startUrl":"https://demo-shop.example.com","maxPages":5,"maxDepth":1}，以及上面合成的页面信号粘贴进练习提示词。

对应输出

技术维度离线练习示意输出：{"technicalScore":30,"issues":[{"severity":"high","field":"metaDescription","finding":"meta描述缺失","fix":"补写70-160字符、包含核心关键词的描述"},{"severity":"high","field":"canonical","finding":"未声明canonical","fix":"在head中添加指向本页绝对URL的canonical"},{"severity":"medium","field":"title","finding":"title仅9个字符，低于30字符下限","fix":"扩展标题至30-60字符并自然包含核心关键词"},{"severity":"medium","field":"wordCount","finding":"正文182字低于300字薄内容阈值","fix":"补充材质、尺寸、保养等说明文字"},{"severity":"medium","field":"imageAltCoverage","finding":"图片alt覆盖率40%，低于80%参考线","fix":"为所有产品图补alt文本"}]}

做完检查这些

• webhook返回的是完整JSON报告而非错误页或超时
• 报告中每个已爬页面都包含六个维度的诊断条目
• 全站汇总部分包含平均分、高频问题和最差页面三项
• 离线练习提示词对合成信号输出的JSON可被解析且含technicalScore字段

容易卡住的地方

• 测试URL与生产URL不同，未激活工作流时生产webhook不会响应
• 爬取会真实消耗Anthropic API额度，页数越多费用越高
• 目标站若有反爬或登录墙，HTTP请求节点会拿到非预期HTML
• crawlDelaySeconds过短可能对小型站点造成压力，请保持2秒以上并只抓有权限的站点
• 六个代理的输出契约以模板内节点配置为准，本页提示词仅为离线练习替代