DESIGN PROTOTYPE演示内容:材料为合成,模型为代号,不是真实测试结果
CHALLENGE—03 · 本期挑战 · 演示

用你常用的模型,复核同一份活动通知

EXP-012 目前只有三个演示代号的结果。本期想收集更多模型、更多次运行的结果,看看漏点是不是稳定,交叉复核是不是真的有用。

拿材料开始

HOW怎么进行

一期只研究一个问题,四步走完

  1. 01 · 已完成

    发布材料

    8 句合成通知、答案表和统一提示词。

  2. 02 · 进行中

    收集结果

    每人用一个模型跑一次,带回原始输出和逐项判断。

  3. 03

    交叉核对

    换一个人复核判断,有分歧的行单独讨论。

  4. 04

    更新结论

    改写 NOTE-004,写明新的适用范围。

WANTED本期需要

不一定要新模型,这几类结果都有用

01

同一个模型再跑几次

看漏点是每次都一样,还是随机出现。

02

表里还没有的模型

写清模型名和版本,结果才能放进对照表。

03

失败和反例

没按格式、改错了,都请原样带回来。

CONTRIBUTION WALL集体结果墙

同题不同结果,先看差异

以下是演示结果,模型用代号,不代表真实模型表现。正式版只放人工核对过的结果。

结果类型

共 3 份

R—01 · 复现记录漏 1 处

模型 D:漏了截止日,其余 4 处都抓到

原材料
第 6 句“报名截止 11 月 9 日中午 12 点”
差异
没发现截止日晚于 11 月 7 日的活动
值得继续
和模型 A 漏的是同一处,可能是常见盲点

贡献者 R—01(示例)演示数据

R—02 · 新做法改了提示词

模型 B:要求“先引用原句再判断”后,5 处全部抓到

改动
提示词第 1 行加“每条先引用原句”
差异
姓名前后不一致这次抓到了
值得继续
只跑了 1 次,要多跑几次排除偶然

贡献者 T—03(示例)演示数据

R—03 · 失败记录无法计分

模型 E:只回了一句“没有发现问题”

原本要求
逐句检查,每个问题一行
实际结果
一句结论,没有清单,也没指出任何错误
下一轮
拆成两步:先逐句复述,再找问题

贡献者 Q—06(示例)演示数据

你有一种不同的结果?

它可能会改变本期的比较表。复现、新做法和失败记录都可以带回来。

带来我的结果

PAST往期挑战

往期留下了什么

CHALLENGE—02

把长标题压到 20 字以内

结果整理进 EXP-005 · 推翻了“提示词越长越准”

已结束示例
CHALLENGE—01

会议记录里“谁答应了什么”

结果整理进 EXP-008 · 形成 NOTE-003(有分歧)

已结束示例