Holo4开源电脑操作代理模型发布

原文要点

Hcompany发布Holo4代理模型：27B稠密与35B-A3B MoE两种规格，权重在Hugging Face开放（BF16/FP8/NVFP4/GGUF），也可经H Models API调用；同一模型可在桌面、网页、安卓、代码沙箱、业务API环境操作软件，在GUI点击、写代码、调MCP/API之间切换；作者称OSWorld 2.0上27B得61.7%、35B-A3B得30.9%，Opus 5.5为81.8%；全部公开基准轨迹可在trajectories.hcompany.ai回放或从HF下载；另有基于Nemotron 3 Nano Omni的Holotron4 Nano。

这次做成什么

在本地或API上跑通Holo4的一次'看图操作'代理循环：给它一个隔离虚拟机里的桌面截图任务，观察它输出动作并执行，理解GUI代理的基本工作方式。

准备什么

• Hugging Face账号与已登录的CLI（本地跑权重需要；走H Models API则需其API密钥，计费以官网为准）
• 本地跑27B级别模型需要大显存GPU或量化GGUF加CPU/内存方案，先确认硬件再选规格
• 一台隔离的测试虚拟机或容器桌面（如带浏览器的Linux VM），绝不要在自己主力机上放手让代理操作

具体怎么做

1. 先看轨迹回放建立直觉

   打开trajectories.hcompany.ai，挑一条OSWorld 2.0轨迹逐步回放，观察模型每步收到什么（截图/状态）、输出什么（点击坐标、输入文本、调用工具），理解'观察→动作'循环再动手。

2. 获取模型

   两条路任选：本地路线在Hugging Face的Holo4集合页选GGUF量化版本下载（仓库名以集合页实际为准，下载前核对）；API路线按H Models API的quickstart申请密钥并用其文档指定的模型名调用。不要凭记忆猜仓库路径，以集合页链接为准。

3. 搭建隔离测试环境

   准备一台一次性虚拟机，装好一个浏览器和一个文本编辑器，不放任何真实账号、cookie、密钥。写好截图脚本：每一步把当前屏幕截图保存下来，作为模型输入。

4. 跑一个最小代理任务

   用材料中的任务提示词模板，让模型完成'打开浏览器内置空白页并在地址栏输入指定本地页面'这类无风险任务；每轮把截图和任务目标发给模型，解析它输出的动作，由你的执行脚本（或现成GUI代理框架）真正执行，循环直到完成或超过步数上限。

5. 记录并复盘

   把每步截图、模型输出、执行结果存成日志，统计成功率和步数；失败时对照官方轨迹找差异（记忆管理、步数上限、动作格式）。

可直接复制的材料

你是一个电脑操作代理。你只能通过以下动作操作这台隔离测试机：
1. CLICK x y —— 点击屏幕坐标
2. TYPE "文本" —— 在当前焦点处输入文本
3. KEY "回车/Tab等按键名" —— 按一个键
4. WAIT —— 等待页面加载
5. DONE —— 任务完成时声明
规则：每轮我只给你一张当前屏幕截图和任务目标；你只输出一行动作，不要输出解释；不要尝试访问任何登录页或输入真实凭据；连续3次动作无效果时输出 DONE 并放弃。
任务目标：打开浏览器，在地址栏输入 http://localhost:8080/demo.html 并等待页面出现'演示完成'字样。

<!DOCTYPE html>
<html lang="zh">
<head><meta charset="utf-8"><title>代理练习页</title></head>
<body>
<h1 id="msg">等待输入</h1>
<input id="box" placeholder="输入 42 后点按钮">
<button onclick="if(document.getElementById('box').value==='42'){document.getElementById('msg').textContent='演示完成'}">提交</button>
</body>
</html>

输入与输出示例

本站虚构演示，非Holo4实际运行结果；坐标为示意值，实际取决于截图分辨率

输入

第3轮截图状态：浏览器已打开demo.html，输入框为空，按钮可见；任务目标是让页面显示'演示完成'。

对应输出

模型应输出单行动作，例如：CLICK 512 340（聚焦输入框）；下一轮：TYPE "42"；再下一轮：CLICK 512 420（点提交）；页面h1变为'演示完成'后输出 DONE。整条任务预期4-6步内完成。

做完检查这些

• 能在trajectories.hcompany.ai完整回放至少一条官方轨迹并说出每步输入输出
• 测试虚拟机内不含任何真实账号、cookie或生产凭据
• 模型输出的每行动作能被你的执行脚本解析并真实执行
• demo.html练习在步数上限内出现'演示完成'字样，且有完整日志可查

容易卡住的地方

• 27B模型本地运行硬件门槛高，先用GGUF量化或改走API，别硬上BF16
• 模型权重仓库名、API模型名和调用方式以Hugging Face集合页和quickstart为准，本站未逐一核验
• OSWorld 61.7%等分数是作者在特定harness下的结果，不代表你的环境成功率
• 切勿让代理接触真实浏览器profile、网银或生产系统；原文基准中的任务均在受控环境执行
• 长任务需要可靠的记忆与上下文管理，这是作者自述的关键工程点，自己搭简易循环时步数多了容易漂移