监管新闻去重筛选与入库

原文要点

原模板面向监管资讯：手动或 webhook 触发，读取 Google Sheets 来源与可选 FCA RSS，并可用配置清空 Approved Package 与 Articles 台账。它先用 Articles 台账按 URL 去重并登记 pending，再用关键词与来源权重做确定性打分，低分丢弃；幸存者送 Hugging Face Inference API 或 OpenAI Embeddings，按余弦相似度聚类，每组选一篇主文。非强命中主文经 Firecrawl 抓全文，交 TypeSafe JEV 出结构化相关度，最后写回 Approved Package 与 Articles 状态。

这次做成什么

照着本页搭一条可演示的监管新闻去重筛选流水线：输入一批文章链接，产出 Approved Package 与含状态原因的 Articles 台账。本站采用“表格台账→规则粗筛→embedding 聚类→全文复核→回写”的独立练习，不复制原模板文件。

准备什么

• 一个 n8n 实例与原文 workflow 19786 页面，用于导入或核对原模板节点名
• Google Sheets OAuth 凭据，含 Source、Articles、Approved Package 三个测试表
• Hugging Face token 或 OpenAI key 二选一，Firecrawl 与 TypeSafe JEV 的 bearer 凭据可先用占位
• 仅使用合成链接和测试表格，禁止把真实客户、未授权站点全文当输入

具体怎么做

1. 建测试台账

   新建练习用 Google Sheet，三个 tab 固定为 Source、Articles、Approved Package。Source 放 url、source、title、published_at；Articles 放 url、status、reason、cluster_id、updated_at；Approved Package 放 package_id、primary_url、score、reason、created_at。把 materials 的 CSV 导入 Source 与 Articles。

2. 导入模板并改上下文

   在 n8n 打开原文 workflow 19786，用页面导入/复制模板；不要索取本站 JSON。进入模板 context 或设置节点，替换 spreadsheetId、tab 名、阈值、embedding provider；把 Hugging Face/OpenAI、Firecrawl、TypeSafe JEV 凭据改成隔离测试凭据，未配置的支路先禁用。

3. 先跑 URL 去重

   手动执行前确认 Articles 已有一条相同 URL。运行后核对：命中台账的 URL 不进入 pending；新 URL 写入 Articles 为 pending 并带 reason=seen_check。若 RSS 支路开启，FCA 条目要映射成 Source 同字段，否则先关闭 RSS 只练 Sheets 输入。

4. 规则粗筛与聚类

   用独立规则包替换原阈值：关键词命中加权重、来源权重加成、低于 drop_threshold 直接标记 dropped_low_score。幸存者按 embedding 余弦相似度聚类；没有 API 时用 artifact 的本地近似分数模拟，仅作练习。每组 cluster_id 相同只保留 primary=true 一篇，其余写 duplicate_of_cluster。

5. 全文复核与回写

   只对非 hard_win 的主文走 Firecrawl/JEV 支路；练习模式可用 artifact 的复核提示词在任意模型手工打分，再把 structured_relevance 合成 0-1。最终 score=0.45*rule+0.35*cluster_conf+0.20*jev，达到 approve_min 才写 Approved Package；所有状态与 reason 同步回 Articles。

可直接复制的材料

{"drop_threshold":0.34,"approve_min":0.72,"hard_win_min":0.88,"keywords":{"enforcement":0.30,"fca":0.18,"sanction":0.22,"consultation":0.12,"fintech":0.08},"source_weights":{"fca":0.20,"reuters":0.12,"blog":-0.10},"formula":"score=0.45*rule+0.35*cluster_conf+0.20*jev"}
-- Source.csv
url,source,title,published_at
https://example.test/a1,fca,FCA opens consultation on custody rules,2026-09-20
https://example.test/a2,reuters,FCA enforcement action targets payment firm,2026-09-21
https://example.test/dup,reuters,FCA enforcement action targets payment firm,2026-09-21
https://example.test/n1,blog,Weekend crypto meme roundup,2026-09-21
-- Articles.csv 预置一条已见URL
url,status,reason,cluster_id,updated_at
https://example.test/old,approved,seed,C0,2026-09-19

你是监管新闻复核器。只根据给定全文输出 JSON，不要解释。字段：relevance(0-1), category(enforcement|consultation|market|noise), regulator, hard_win(true|false), reason(不超过80字)。判定：与金融监管处罚、征求意见、牌照/合规义务直接相关且含明确监管机构时 relevance 不低于0.70；仅为广告、舆情闲谈或无监管行动时 hard_win=false 且 relevance 不高于0.30。输入：URL={{url}} 标题={{title}} 全文={{body_text}}。

输入与输出示例

本站虚构演示，未调用 Hugging Face/OpenAI/Firecrawl/TypeSafe JEV；数字由示例公式算出，不声称原作者运行结果。

输入

Source 含 a1=FCA custody consultation、a2=reuters enforcement、dup 与 a2 同题不同URL、n1=blog meme；Articles 预置 old=approved。规则包如上；rule 分=关键词命中权重之和+来源权重：a1=fca(0.18)+consultation(0.12)+fca来源(0.20)=0.50，a2=enforcement(0.30)+fca(0.18)+reuters来源(0.12)=0.60，n1=无命中+blog(-0.10)=-0.10。cluster_conf 给 a1 单篇簇=1.0、a2/dup=0.96；jev 给 a1=0.74、a2=0.90。

对应输出

Articles：old 保持 approved；a1=approved reason=consultation_score_0.72 cluster=C1（0.45*0.50+0.35*1.0+0.20*0.74≈0.72，达到 approve_min）；a2=approved reason=primary_score_0.79 cluster=C2（0.45*0.60+0.35*0.96+0.20*0.90≈0.79，低于 hard_win_min 故走全文复核）；dup=duplicate_of_cluster reason=cosine_0.96 cluster=C2；n1=dropped_low_score reason=rule_-0.10_below_0.34。Approved Package：P-C1 primary_url=a1 score=0.72；P-C2 primary_url=a2 score=0.79。

做完检查这些

• 重复 URL 已存在于 Articles 时不会再次进入 pending，台账只追加新 URL
• 同主题 a2/dup 必须同 cluster_id，且 Approved Package 中该簇只出现 primary_url=a2 一行
• n1 的 rule 分低于 drop_threshold，状态必须是 dropped_low_score 且不得进入 embedding 批
• 回写行必须同时有 status、reason、updated_at；Approved Package 行含可追溯 cluster/package_id

容易卡住的地方

• RSS 字段与 Sheets 不一致时先关闭 FCA 支路，否则映射错会污染 Articles 台账
• Firecrawl/TypeSafe JEV 凭据未配置时不要假装有全文复核，可将该支路标记 skipped 并降低置信度
• embedding 余弦阈值过低会把不同监管事件并簇；没有依据时不要承诺精确帧数、成本或准确率
• 原模板按钮、节点名、模型名以 n8n 页面导入后为准，本站未提供可导入 workflow JSON