LFM2.5-24B-A2B：在自己硬件上跑的端侧推理智能体模型

原文要点

LiquidAI在Hugging Face发布LFM2.5-24B-A2B：24B总参、每token激活约2B的MoE推理模型，40层、64专家top-4路由，上下文从32K扩到131K，词表65K扩到128K，先输出思考链再作答。官方数据：Apple M5 Max上184 tok/s、Ryzen AI Max+ 395上114 tok/s、单张B300高并发下超21K tok/s输出。LiveClaw 48.09对Qwen3.6-35B-A3B的38.19，AutomationBench 27.69为次名三倍以上；知识类和SWE-Bench类弱于更大模型。支持transformers>=5.0.0、llama.cpp、MLX、vLLM、SGLang、ONNX，可用OpenAI兼容接口接入Hermes Agent等智能体框架。

这次做成什么

在自己电脑上完成两件可验证的事：①用transformers加载LFM2.5-24B-A2B跑一次带思考链的对话；②把模型以OpenAI兼容接口挂到本地端口，并配置Hermes Agent指向它，形成一个可常驻的本地智能体。练习使用本站虚构的提问，不与原文演示结果对照。

准备什么

• Python 3.10+环境与pip，能安装transformers>=5.0.0
• 足够的显存或统一内存（bf16约需48GB级；不够时用MLX/llama.cpp量化版）
• Hugging Face账号及网络可访问LiquidAI/LFM2.5-24B-A2B模型页
• 如需接智能体框架：已安装Hermes Agent并有可用的本地推理后端端口

具体怎么做

1. 升级transformers并确认版本

   在终端运行 pip install -U transformers，然后用 python -c "import transformers; print(transformers.__version__)" 确认输出≥5.0.0。原文明确要求兼容transformers>=5.0.0，低版本会因不认识该模型结构而报错。

2. 用官方参数跑一次对话

   新建run_lfm.py，粘贴下方code材料中的完整脚本并运行 python run_lfm.py。脚本用apply_chat_template构造输入，do_sample=True、temperature=0.1、top_k=50、repetition_penalty=1.05、max_new_tokens=512，并用TextStreamer边生成边打印。成功标志是先打印思考过程、再打印最终回答。

3. 选择本地推理后端并起服务

   按硬件选后端：Mac用MLX、纯CPU/轻量GPU用llama.cpp、数据中心GPU用vLLM或SGLang。各后端默认端口不同：llama.cpp和MLX是8080，vLLM是8000，SGLang是30000，LM Studio是1234。以OpenAI兼容模式启动后，用curl访问 http://localhost:端口/v1/models 应返回模型列表。

4. 把Hermes Agent指向本地端口

   依次执行下方configuration材料中的6条hermes config set命令：provider设为custom、base_url指向你的端口（如http://localhost:8080/v1）、default模型填LFM2.5-24B-A2B、context_length设131072、api_mode设chat_completions、tool_use_enforcement设true。然后在Hermes里发一条需要两步操作的任务（如“列出当前目录文件并统计行数”），确认它走了工具调用。

5. 做一个匹配性自查

   对照原文结论确认用途匹配：工具调用和指令遵循是它的强项；知识密集型问答和复杂代码修复不是强项。如果你的练习涉及事实知识，按官方建议给智能体挂上检索或联网搜索工具，而不是指望模型记忆。

可直接复制的材料

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
    # attn_implementation="flash_attention_2"  # 兼容GPU上取消注释
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "用三句话向初中生解释什么是混合专家模型（MoE）。"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

你是一个运行在本地私有模型上的助手。回答前先简要给出你的推理步骤，再给最终结论。需要读写文件、执行命令或查询信息时，优先调用已提供的工具，不要凭记忆编造文件内容或命令输出。若工具返回失败，说明失败原因并给出下一步建议，不要重复同一调用超过两次。所有回答用中文。

输入与输出示例

本站虚构演示，未实际调用模型；真实输出取决于你的工具实现与模型生成。

输入

在Hermes Agent中发送：请读取当前目录下的notes.txt（内容为三行：买菜、写周报、给路由器重启），告诉我哪一行包含“重启”，并把该行追加到done.txt。

对应输出

思考链示意：需要先读文件→找到含“重启”的行→追加写入。随后工具调用read_file(notes.txt)返回三行；模型判断第3行命中；调用append_file(done.txt, "给路由器重启")；最终答复：已完成，命中的行是“给路由器重启”，已追加到done.txt。

做完检查这些

• python -c "import transformers; print(transformers.__version__)" 输出的版本号大于等于5.0.0
• 运行run_lfm.py后终端先流式打印思考内容、再打印最终回答，且回答为三段式解释
• curl http://localhost:端口/v1/models 返回的JSON中包含LFM2.5-24B-A2B相关条目
• Hermes Agent执行两步任务时日志中出现工具调用记录而不是直接编造答案

容易卡住的地方

• bf16全量权重约需48GB级内存，普通笔记本跑不动时应改用MLX或llama.cpp的量化版，而非硬跑transformers脚本
• 端口号因后端而异，照抄8080却用vLLM（默认8000）会连接失败
• 该模型是reasoning-only，总是先输出思考链，把它当低延迟闲聊模型用会觉得啰嗦
• 知识密集和复杂代码任务是弱项，原文明确建议搭配检索或联网搜索使用
• M5 Max上184 tok/s等速度为作者官方数据，你的硬件不保证复现