用一条荒诞SVG提示词横向对比多家模型

原文要点

Simon Willison看到Hacker News上一条调侃‘基准测试已饱和，前沿模型考的都是穿渔网袜在火星乱穿马路的犰狳’的评论后，用他自己的llm命令行工具做了实验：同一句提示词‘Generate an SVG of an armadillo in fishnet tights jaywalking on Mars’分别发给claude-opus-5.5、gpt-6.1-sol、gemini-3.8-flash、mistral/mistral-large-4四个模型，都用默认推理档位，再把输出SVG放进markdown-svg-renderer渲染器并排对比。方法要点是固定提示词、固定入口、固定后处理。

这次做成什么

照这个方法做你自己的横向SVG对比练习：选定一句超纲提示词，用llm CLI（或你能访问多个模型的任意统一入口）发给至少三个模型，把输出贴进SVG渲染工具并排看。本站练习不评价Simon原结果优劣，只教你复现这套对比流程并建立自己的评分维度。

准备什么

• 安装llm命令行工具（pip install llm）并配好至少两个模型的API key
• 或任何能统一调用多模型的入口（OpenRouter、各模型官方网页也可凑合）
• 一个SVG预览工具（浏览器直接打开.svg文件即可）
• 各模型API调用会产生少量费用

具体怎么做

1. 安装并配置llm CLI

   终端执行pip install llm，然后llm keys set anthropic、llm keys set openai等按提示粘贴各家API key，llm models确认可用模型列表。Simon用插件支持了Gemini和Mistral，你可以用llm install llm-gemini之类插件扩展，或直接选你已配置好的两三个模型。

2. 固定提示词逐模型跑

   执行 llm -m claude-sonnet-4-5 'Generate an SVG of an armadillo in fishnet tights jaywalking on Mars' > armadillo-claude.svg，把-m换成你的其他模型各跑一遍，提示词一字不改、不加额外参数，保持默认推理档位。输出重定向到不同命名的svg文件。

3. 并排渲染并记录

   把各svg文件拖进浏览器标签页并排看，或粘贴到在线SVG渲染器。用下面材料的评分表记录每个模型在五个维度上的0-2分。关键纪律：只看渲染结果，不看SVG源码长度，避免被代码量误导。

4. 迭代你自己的提示词

   跑通后把提示词换成你关心的场景（比如‘生成一张中文信息图SVG’或‘画一只戴安全帽的柯基’），同样固定条件对比，建立自己的结论。注意SVG生成不是标准基准，单次结果有随机性，重要结论至少跑三次取趋势。

可直接复制的材料

llm -m claude-sonnet-4-5 'Generate an SVG of an armadillo in fishnet tights jaywalking on Mars' > armadillo-claude.svg
llm -m gpt-4o 'Generate an SVG of an armadillo in fishnet tights jaywalking on Mars' > armadillo-gpt.svg
llm -m gemini-2.5-flash 'Generate an SVG of an armadillo in fishnet tights jaywalking on Mars' > armadillo-gemini.svg
# 提示词必须逐字相同；只换 -m 后面的模型名

维度,评分说明
犰狳可辨识度,0=看不出是犰狳 1=像但不准确 2=甲壳和形态准确
渔网袜元素,0=没有 1=暗示但未表现 2=清晰画出网格袜
火星场景,0=无背景 1=红色调暗示 2=有火星地貌/天空
乱穿马路动作,0=静态 1=有马路 2=马路+动态穿越感
SVG有效性,0=无法渲染 1=渲染但有错误 2=干净渲染

输入与输出示例

所有分数为本站虚构演示，不代表这些模型的真实能力；单次结果不构成结论。

输入

用上面命令组对claude-sonnet-4-5、gpt-4o、gemini-2.5-flash三个模型跑同一句犰狳提示词，各得一个svg文件，浏览器并排打开。

对应输出

评分表示意（本站虚构，非真实模型结果）：claude得8分（犰狳2/渔网袜2/火星2/穿越1/有效性1，渲染有一个未闭合标签警告）；gpt-4o得6分（犰狳2/渔网袜2/火星0/穿越1/有效性1，火星背景缺失）；gemini得7分（犰狳1/渔网袜2/火星1/穿越1/有效性2，犰狳形态一般且火星场景只有红色调）。结论写法：‘本次单次采样下claude略优，需再跑两次确认’。

做完检查这些

• 三个模型使用的提示词逐字节相同，可用diff比对命令历史确认
• 每个svg文件都能在浏览器正常打开或被渲染器解析，无效的记入评分表0分
• 评分表五个维度每个模型都填满，没有凭印象跳过
• 任何‘某模型更强’的结论都标注了采样次数，单次结果不写定论

容易卡住的地方

• SVG生成有随机性，同模型同提示词两次结果可能差很多，单次对比容易得出错误结论
• llm CLI的模型名随版本和插件变化，照抄Simon的claude-opus-5.5等名字在你的环境大概率不存在，必须用llm models查本地可用名
• 默认推理档位各不相同，‘都用默认’是公平起点但不等于同等推理强度，结论里要说明
• 部分模型会把SVG包在markdown代码围栏里输出，重定向前先看输出，必要时剥掉```svg围栏再保存