Jev：只输出概率分数的决策模型

原文要点

Jev 是 TypeSafe AI 的“System One/决策模型”：输入仍是文本或半结构化 state，输出不是正文，而是 Noul 是非题 0-1 置信度、选项题的概率分布、或按刻度给浮点分。一次可带多题并行评估；按输入计费、输出免费，首个模型标价被作者引为每百万输入 token 0.042 美元。作者称它快且便宜，适合分类、垃圾识别、标签、优先级和 BM25 后重排序；Jev 1.13 文档提示对数字、日期和对抗内容较弱，黑盒与偏见风险需用 evals 控制。Simon 还发布了 llm-typesafe 插件。

这次做成什么

把一条客服消息做成可批量跑的“退款意图判定”小实验：不追求让模型解释，而是得到可记录的概率分数，并用合成样本比较阈值效果。采用本站设计的独立练习：先用 llm CLI 的 jev 模型跑单条 Noul 题，再把题目模板固定，导入合成 CSV 手工或脚本批量复测，最后按阈值统计误伤与漏判。

准备什么

• 已安装 Simon Willison 的 llm CLI，并能安装 llm-typesafe 插件
• 拥有 TypeSafe AI/Jev 可用密钥且了解按输入计费可能产生费用
• 准备一份不含真实客户信息的合成消息 CSV 用于练习
• 接受模型只输出概率、不能输出可靠理由的限制

具体怎么做

1. 安装并跑通单条 Noul 判定

   先按 llm-typesafe 的 README 安装插件并配置 Jev 凭据；在终端用来源给出的基本形式执行：llm -m jev 'Please refund my last payment.' -s 'Does this message explicitly request a refund?'，确认返回的是 0 到 1 的数而非一段解释；若返回格式看不懂，先记录原始输出，不要自行假设字段名。

2. 把业务问题改写成可评分陈述

   把模糊需求“看看是不是退款”改成可判真假的陈述，例如“该消息明确要求退回最近一笔付款”；为同一 state 增加并行问题，如是否愤怒、是否提到订单号、是否只是咨询政策，但本练习只把退款意图作为主分数，其余作为辅助列。

3. 用合成 CSV 做阈值练习

   建立 messages.csv，列含 id,message,expected_rule；其中 expected_rule 是本站按常识设定的练习参照，不称人工标注。逐条把 message 作为 state、固定 -s 陈述运行，把输出概率追加成 score 列；可写本地小脚本调用 CLI，但脚本属本站方案，非原作者提供。

4. 按阈值评估并调整题目

   分别用 0.5、0.7、0.9 当阈值，把 score>=阈值判为退款；统计与 expected_rule 不一致的样本，重点看含数字金额、日期、反讽或对抗语句的样本，因为来源提示这些是弱项；若错误集中在表达模糊，改写陈述句而不是提高阈值硬压。

可直接复制的材料

你是实验设计助手。请把下面客服消息包装成 Jev 可判定的 state，并只设计三类问题：1) Noul 是非题，输出一个可判真假的陈述，避免要求解释；2) Choice 选择题，给出 3 个互斥选项：明确退款/仅咨询政策/无关售后；3) Score 评分题，用 0=完全无退款意图，1=强烈且明确退款意图，中间按证据强度递增。约束：不要处理或推断精确金额、日期、卡号；遇到反讽、威胁、绕过话术时标记为对抗风险；输出应为可复制的题面，不伪造 Jev 返回字段。客服消息：{在这里粘贴一条合成消息}

id,message,expected_rule
A001,你好，我昨晚误点了续费，请退回今天这笔 39 元订阅费。,1
A002,请问退款一般几天到账？我还没决定要不要退。,0
A003,订单号 A-9182 昨天扣款成功了，我要求立刻原路退回。,1
A004,你们服务太棒了，棒到我想把每一分钱都要回来，开玩笑的。,0
A005,如果不处理我就投诉曝光，另外顺便问下能不能退上个月的费。,1
A006,请把 2024-05-01 到今天的所有汇率差补齐并换算成积分。,0

输入与输出示例

本站虚构演示，未运行 Jev；数字与 A003 输入对应，仅展示记录方式。

输入

使用上面的 CSV 中 A003：state 为“订单号 A-9182 昨天扣款成功了，我要求立刻原路退回。”，Noul 陈述固定为“该消息明确要求退回最近一笔付款”。

对应输出

本站示意记录行：id=A003, noul_score=0.93, choice_top=明确退款, choice_probs={明确退款:0.86,仅咨询政策:0.10,无关售后:0.04}, score_0_to_1=0.90, threshold_0.7_decision=退款, expected_rule=1, match=true。这是格式示意，不是真实调用结果。

做完检查这些

• 单条命令返回的是数值或可解析分数，而不是模型自述理由
• CSV 每一行都能追加 score，且 threshold_0.7_decision 与 expected_rule 可逐行比较
• 含日期金额或反讽的样本被单独列出复查，不直接按高分放行
• 结论只描述本次合成样本表现，不推广成准确率保证

容易卡住的地方

• Jev 不给可靠解释，不能把分数当成可申诉证据链
• 数字、日期、对抗内容较弱，涉及金额日期要加规则复核
• 按输入计费虽输出免费，批量实验仍可能产生费用
• 不要用于招聘、信贷等高敏排名，黑盒分数可能隐藏偏见
• CLI 参数与返回字段以 llm-typesafe README 为准，勿凭空猜 API 路径