调研覆盖系统自带、传统桌面工具、SaaS 指南生成、agent 浏览器工具链、AI 原生新物种五层。每类玩家的成熟度与 agent 能力见象限分布;右下角是空白带,也是本产品的落点。
人机交互高度成熟;最强能力恰好无法被 agent 复用。Snagit 正在 AI 化。
录制点击 → 自动生成带编号截图的 step-by-step 指南。证明「自动产出可视化指南」是真需求。
快照 + refs 体系成熟,是 agent 的「眼睛」与「驾驶舱」——但不解决「产出」。
唯一认真玩家 Ta(拓):agent 集成工程规范出色,但走「App 优先、agent 附桥」路线。
✓ 已证实支持 · ✗ 已证实不支持 · – 未证实(调研证据标准:仅官方文档、仓库、可靠评测可作断言)。右列为本产品目标——右下五个「✓✓」全市场无人同时具备,即产品骨架。
| 能力 | Snipaste | PixPin | ShareX | Flameshot | CleanShot X | Snagit | Ta(拓) | browser 工具链 | ShotForge 目标 |
|---|---|---|---|---|---|---|---|---|---|
| 区域 / 窗口截图 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ 页面级 | ✓ |
| UI 元素自动检测 | ✓ | ✓ | – | – | – | – | – | ✓ DOM 即元素 | ✓✓ 语义寻址 |
| 滚动长截图 | ✗ | ✓ | ✓ | – | ✓ | – | ✓ | 部分(懒加载易缺失) | ✓ M2 |
| 贴图 Pin | ✓✓ | ✓ | ✓ 基础 | ✓ 基础 | ✓ | – | ✓ | ✗ | ✓ M2 人机共用 |
| 标注编辑器 | ✓ | ✓ | ✓✓ | ✓ | ✓ | ✓ | ✓ | ✗ 临时 CSS/SVG 高亮 | ✓ 声明式·程序化 |
| OCR | ✗ | ✓ | ✓ | – | – | ✓ | ✓✓ 本地优先 | 交给模型视觉 | ✓ M2 本地 |
| 敏感信息脱敏 | ✗ | – 手涂 | – 手涂 | – 手涂 | – | ✓ AI Redact | – | ✗ | ✓✓ 规则+语义·MVP 起 |
| 录屏 / GIF | ✗ | ✓ | ✓ | – | ✓ | ✓ | ✗ | – | ✓ M3 |
| 上传 / 分享目的地 | ✗ | – | ✓✓ 自定义 Uploader | ✓ imgur | ✓ 云链接 | ✓ | ✗ | ✗ | ✓ M3 |
| 截图后自动 Workflow | ✗ | – | ✓✓ | – | – | ✓ Steps Capture | ✗ | ✗ | ✓✓ 声明式管道 |
| AI 参与(识别/翻译/描述) | ✗ | – | – | ✗ | – | ✓ | ✓✓ | 模型自带 | ✓✓ 原生 |
| CLI / 可编程 | ✗ | ✗ | ✓ 触发 workflow | ✓ | ✗ | ✗ | ✓✓ JSON API | ✓✓ | ✓✓ |
| MCP 接口 | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ 自有 Bridge | 自身即 MCP | ✓✓ MVP 起 |
| Agent Skill(官方) | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ | – 社区自建 | ✓✓ 官方维护 |
| 元素级语义截图 | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | 部分(截元素无后续) | ✓✓ 核心 |
| 标注即数据 / 可重放重渲 | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ 雏形 recipe | ✗ | ✓✓ 核心差异化 |
| 资产库 / 来源追溯 / 命名 | ✗ | – 历史 | – | ✗ | – 历史 | – 库 | ✗ | ✗ | ✓✓ 核心 |
| 跨平台(三端) | ✓ | – 双端 | ✗ Win | ✓ | ✗ Mac | ✗ 双端 | ✗ Mac | ✓ | ✓ M3 齐 |
| 开源 | ✗ | ✗ | ✓ | ✓ | ✗ | ✗ | ✓ MIT | 部分 | ✓ open core |
| 基线能力 | macOS 自带 | Win11 Snipping Tool | KDE Spectacle | GNOME 自带 | DevTools / Edge 内建 |
|---|---|---|---|---|---|
| 捕获(区域/窗口/全屏) | ✓ | ✓ | ✓ | ✓ | ✓ 页面/节点/整页 |
| 标注 | ✗ | ✓ 基本+手动模糊 | ✓ | ✗ | ✗ |
| OCR / AI | – Live Text 隐式 | ✓ 端侧 AI Text Extractor | ✗ | ✗ | ✗ |
| 长截图 / 整页 | ✗ | – | ✗ | ✗ | ✓ 懒加载可能缺失 |
| 可编程 / agent 接口 | ✗ | ✗ | – | ✗ | ✗ 纯交互式 |
读表结论:免费基线覆盖到「捕获 + 基本标注 + 端侧 OCR」为止。凡本产品做的事,必须落在「AI 之后的结构化产出」或「agent 接口」上。
把「browser-use 熟悉 Web 系统 → 写产品手册」拆成九个环节逐环检查:九环中七环断裂或半断裂。这不是模型不行,是缺一个把「拍摄」当正经工程做的执行层。点击环节查看断裂详情与对应解法。
定位:本地优先的截图工作台,人机同引擎。agent 经 CLI / MCP / Skill 三种同源接口调用全部能力;人类用同一引擎的快捷键与界面。与直接对标者的本质差异见下表。
| Ta(拓) | SaaS 指南工具 | ShotForge | |
|---|---|---|---|
| 服务对象 | 人为主,agent 附桥 | 人(录操作) | agent 一等公民,人共享引擎 |
| 「AI 原生」的含义 | 截图之后 AI 参与理解 | AI 解析录屏生成步骤 | 产物本身是数据:可编程·可重放·可 diff |
| 接口 | 自有 Bridge + CLI | 无 | CLI + MCP + Skill 三位一体同源 |
| 捕获单位 | 窗口 / 区域(屏幕层) | 点击回放 | 语义元素(DOM/AX 层)+ 屏幕/区域 |
| 平台与开放性 | macOS · MIT | 闭源 SaaS | 跨平台 · open core |
一切指向(截哪里、标哪里)都用元素锚点;引擎把语义解析成像素,DPR/iframe/滚动的坐标换算从 agent 职责中彻底消失。解析失败返回候选列表,agent 一次自纠。
{ "text": "登录", "role": "button" }
// ref > selector > text/role 模糊匹配
// 三级解析,失败返回近邻候选
标注是声明式 Spec(锚点 + 类型 + 样式),渲染是纯函数 render(capture, spec)。Spec 不含任何像素坐标——这是「UI 改版可重渲」的前提,也是全市场无人做的真壁垒。
[
{ "type": "number", "target": { "text": "新建告警" }, "value": 1 },
{ "type": "box", "target": { "role": "combobox" }, "style": "warn" },
{ "type": "blur", "target": { "selector": ".owner-email" }
]
每张图记录来源(URL · 锚点 · 视口 · 版本),Manifest 随文档进 git。UI 改版后按 Manifest 重捕重渲,输出变更报告——「文档过时」从行业老大难变成一条命令。
撰写期 agent 拍摄 5 张图,Spec + 来源写入 shot-manifest.json(进 git)
数月后 产品 UI 改版,手册配图全部过期
一条命令 shot refresh 按锚点重捕获 → 同一 Spec 重渲 → 报告「3/5 图已变更」
衍生能力 视觉回归(QA)、品牌换色重渲、多语言手册(M2+)
MVP 的唯一靶心场景,也是验收剧本。分工原则:驾驶归 browser-use,拍摄归 ShotForge——attach 只读挂载到同一浏览器,复用登录态,零冲突共存。
探索:登录系统、浏览告警中心、梳理功能——驾驶阶段不动手拍图
体检:shot status → attach 到 ego-browser(CDP 9222)
识别:shot inspect 返回结构化区域大纲(导航/表格/表单/分页)
决策:决定拍什么、标什么、脱敏什么(导演是 agent 的视觉与判断)
拍摄:一条命令完成 捕获 → 标注 → 脱敏,命名资产落库
自查:--verify thumb 返回 10KB 缩略图,肉眼确认构图(默认关闭省 token)
嵌入:shot embed 生成 markdown 引用,写入章节
维护(M2):shot refresh 重捕重渲,报告变更——手册永不真正过期
# 探索完成后,接入浏览器 $ shot status # 第一步永远是自检 → ok { attached: false, version: "0.1.0" } $ shot attach --cdp 9222 → ok { browser: "ego-browser", tabs: 3 } # 识别页面结构 $ shot inspect → ok regions: nav[侧边导航] main[告警列表] filter[查询表单] pager[分页] # 拍摄:捕获→标注→脱敏一步完成 $ shot capture \ --name manual/ch4/alarm-list \ --target main --hide ".toast,.guide-mask" \ --annotate spec.json \ --redact "email,internal-domain" --verify thumb → ok { anchors_resolved: 3/3, redacted: [email ×2], path: "shots/manual/ch4/alarm-list.png" } # 嵌入手册 $ shot embed manual/ch4/alarm-list → ![告警列表:新建入口与高级筛选] (shots/manual/ch4/alarm-list.png)
单守护进程持有浏览器连接与会话状态;CLI 与 MCP 都是它的瘦客户端,同一会话混用不打架。引擎层(锚点/标注/资产)不感知捕获来源——桌面捕获只是未来的又一个 Source。
每个被市场验证过的竞品优点都有明确落点,但没有任何里程碑是为「追平竞品」而设——主线始终是「资产可重放」。MVP = M0 + M1,约 4 周业余投入。
只做一件事:agent 驾驶 browser-use + ShotForge 拍摄,产出零返工的手册配图。写下来的「不做」与「要做」同样重要。
真实系统手册一章(≥5 张带标注截图)端到端零人工返工
锚点解析 + 标注落位正确率;失败必返候选而非静默错位
capture + annotate 单次往返(不含可选 verify 缩略图)
与 browser-use 同浏览器并行工作冒烟,无连接冲突、无状态互踩
同一 Spec 重渲两次,输出二进制一致(render 纯函数)
按「概率 × 影响」选取前五项。完整清单见产品设计文档 §10。
ref / selector / 模糊三级解析;候选自愈;命中率是 MVP 验收线(A2),不达标不进 M1
attach 只读纪律;拍摄瞬间 scroll 冻结与还原;连接级互斥锁(A4 冒烟验证)
wait 策略显式化(idle = networkidle + 300ms 无 DOM 变更);freeze-animations;verify 缩略图抽查
OS 永远面向通用场景;纵深是 Spec / 资产 / 重放工作流 + 跨平台中立 + 开源生态
MVP 极小切口;每里程碑独立可用;agent 辅助开发正是本产品自己的核心场景(吃狗粮)
以下每项都给了推荐与理由;确认或改定后即可按 M0 规格开工。
ShotForge(铸影) 为工作名——「铸」取可重锻之意,呼应「标注即数据、可重放」。CLI shot,MCP 前缀 shot_。
private/projects/github/ 下新建 shotforge(代码仓库归 projects,不落 tasks)。调研产物留在本任务目录。
Apache-2.0(含专利授权,对后续商业侧更稳);若追求与 Ta 一致的极简可选 MIT。
用你自己的 Web 系统 + browser-use 写真手册作为 A1 验收场景——最好的需求来源就是自己的痛点。
确认后下一步:建仓 → 按 M0 规格(attach / 锚点解析 / 元素捕获 / 四种标注 / CLI 骨架)搭工程 → fixture 站点联调。