给LLM答案打分并分流低置信结果

原文要点

该免费模板在n8n中手动点击Test Workflow运行，先载入三条问题/回答/参考答案三元组，再调用社区节点包n8n-nodes-judgment的“Grade Answers”动作，从正确性、完整性、有据性、相关性、清晰度五个维度评估，并给出ship/edit/reject的总体决定；随后把每个评审归一化为value、0到1分数和评审置信度，按置信度或与0.5的距离应用信任规则，把可信结果送入“Trusted Grades”出口，其余送入人工复核出口。需先在Settings → Community Nodes安装该社区节点并配置Judgment API密钥。

这次做成什么

在自己n8n里搭一条“给LLM答案批量打分并自动分流低置信结果”的质检流水线；本站用三条虚构的客服问答三元组做独立练习，跑通打分→归一化→分流全过程。

准备什么

• 一个可安装社区节点的自托管n8n实例（社区节点在n8n Cloud上受限）
• Judgment API的密钥，用于创建Judgment API凭据
• 每条待质检数据需包含问题、模型回答、参考答案三个字段
• 对n8n的节点连线与表达式有基础了解

具体怎么做

1. 安装Judgment社区节点

   进入n8n的Settings → Community Nodes，输入包名n8n-nodes-judgment安装；安装完成后在节点面板应能搜到Judgment节点，并出现“Grade Answers”动作。

2. 配置API凭据

   在Credentials中新建Judgment API凭据，粘贴你的API密钥保存；回到工作流，在Grade Answers节点里选中这个凭据，否则节点无法发起评审请求。

3. 准备三元组输入数据

   用Edit Fields或Code节点构造练习数据，每条含question、answer、reference三个字段；正式使用时替换成你的LLM输出表、数据库查询或Google Sheet行。

4. 连接打分与归一化

   把输入数据接入Grade Answers节点，让每条三元组得到五个维度评分和ship/edit/reject决定；其后再接一个处理节点，把每次评审统一成value（决定值）、score（0到1）、confidence（评审置信度）三个字段。

5. 实现信任分流规则

   在Switch或If节点中应用信任规则：置信度足够高（或分数离0.5足够远，即评审立场明确）的标记为trusted，其余标记为needs review；threshold值按你的风险承受度在映射处调整，本站练习取confidence大于等于0.7为可信。

6. 验证两个出口

   手动点击Test Workflow运行，确认trusted行进入Trusted Grades出口、needs review行进入人工复核出口；可故意放入一条明显答非所问的数据，检查它是否被分流到复核出口。

可直接复制的材料

[
  {
    "question": "退货政策是怎样的？",
    "answer": "签收后30天内支持无理由退货，运费由商家承担。",
    "reference": "本店支持签收后30天内无理由退货，退货运费由商家承担。"
  },
  {
    "question": "会员积分怎么计算？",
    "answer": "每消费1元积1分，积分永久有效，可以兑换礼品或抵扣现金。",
    "reference": "每消费1元积1分，积分自获得起12个月内有效，可兑换礼品。"
  },
  {
    "question": "发货时效是多久？",
    "answer": "工作日16点前下单当天发货，其余订单次日发货。",
    "reference": "工作日16点前付款的订单当天发出，其余订单次日发出。"
  }
]

// 输入：Grade Answers节点的每条评审结果
// 输出：统一字段 value / score / confidence，并打上路由标记
const TRUST_CONFIDENCE = 0.7; // 本站练习阈值，按需调整

return items.map((item) => {
  const j = item.json;
  // 字段名以Grade Answers实际输出为准，此处为示意映射
  const score = Number(j.overallScore ?? j.score ?? 0);
  const confidence = Number(j.confidence ?? 0);
  const value = j.verdict ?? j.decision ?? 'unknown';

  const trusted = confidence >= TRUST_CONFIDENCE;

  return {
    json: {
      question: j.question,
      value,
      score,
      confidence,
      route: trusted ? 'trusted' : 'needs_review',
    },
  };
});

输入与输出示例

本站虚构演示的字段与数值，非Judgment API真实返回，未实际调用。

输入

三元组：问题“会员积分怎么计算？”，模型回答称“积分永久有效，可抵扣现金”，参考答案称“积分12个月内有效，仅可兑换礼品”。

对应输出

归一化后该条得到较低score（示意0.35）与confidence（示意0.82），route被标记为needs_review，进入人工复核出口；而第一条退货政策答案与参考一致，示意score 0.95、confidence 0.9，route为trusted，进入Trusted Grades出口。

做完检查这些

• 节点面板能搜到Judgment节点且Grade Answers动作可选中已配置的凭据
• 运行后每条输入都产出value、score（0到1之间）、confidence三个统一字段
• 答案与参考一致的三元组进入Trusted Grades出口，不一致的进入人工复核出口
• 修改信任阈值后，分流结果随之变化，说明规则确实生效

容易卡住的地方

• 社区节点只能在允许安装社区包的n8n环境使用，n8n Cloud默认不支持，需自托管
• Judgment API是第三方服务，调用可能产生费用，密钥需自行申请
• 分流字段名（score/confidence的原始键名）取决于节点实际输出，照搬示例代码可能取不到值，需先运行一次查看输出结构
• 阈值定得太高会把大量结果推入人工复核，失去自动化意义；太低则放过错误答案