ShotForge · 决策呈现
AI 原生截图工具 · 立项调研与产品设计 · 2026-09-05

ShotForge铸影 —— 让 agent 和人共用同一个引擎的截图工作台。截图不是一次性的像素,是可反复锻造的数据产物。

一句话结论:截图工具市场存在一条清晰的空白带——没有任何一款产品把「agent」当作一等公民用户。系统自带已把「捕获 + 基本标注 + 端侧 AI OCR」做成免费基线(微软已亲自下场),传统工具全部以人类操作为唯一入口;「捕获之后的一切」(识别 · 标注 · 脱敏 · 资产 · 重放)与「agent 接口」无人认领。
24
竞品与信源深评(含系统自带)
4 象限
市场格局 + 1 条免费地板
7/9
agent 写手册链路断裂环节数
3
结构性创新(语义寻址/标注即数据/资产重放)
5
MVP 可验收硬指标
Landscape · 01

市场格局:四类玩家,一条免费地板

调研覆盖系统自带、传统桌面工具、SaaS 指南生成、agent 浏览器工具链、AI 原生新物种五层。每类玩家的成熟度与 agent 能力见象限分布;右下角是空白带,也是本产品的落点。

人类操作为主Agent 操作为主
传统桌面工具

能力深、生态老,零 agent 接口

人机交互高度成熟;最强能力恰好无法被 agent 复用。Snagit 正在 AI 化。

Snipaste PixPin ShareX Flameshot Greenshot CleanShot X Shottr Snagit iShot Xnip
共性短板:无结构化接口、无语义寻址、无可编程标注
SaaS 指南生成

验证了需求,形态全封闭

录制点击 → 自动生成带编号截图的 step-by-step 指南。证明「自动产出可视化指南」是真需求。

ScribeTangoGuiddeDocsHound
短板:闭源 SaaS、数据上云、浏览器插件形态、无 agent API、内网不可用
Agent 浏览器工具链

解决了「agent 看页面」

快照 + refs 体系成熟,是 agent 的「眼睛」与「驾驶舱」——但不解决「产出」。

playwright-mcp browser-use agent-browser ego-browser DevTools 内建
截图只是原始像素:无标注、无脱敏、无构图控制、无资产管理
AI 原生新物种

方向正确,玩家极少,完成度低

唯一认真玩家 Ta(拓):agent 集成工程规范出色,但走「App 优先、agent 附桥」路线。

Ta(拓) 截图 MCP servers app-screenshots skill
ShotForge 落点:agent 一等公民 + 结构化产出
传统桌面能力 ⟶ 流程捕获自动化
免费地板 · 系统自带(横跨全图) macOS ⌘⇧5(无标注/无长截图) Win11 Snipping Tool(含 AI OCR) KDE Spectacle(含标注) GNOME 截图(无标注) Edge Web Capture → 价值纪律:不做与免费基线竞争的功能
Matrix · 02

功能对比矩阵

✓ 已证实支持 · ✗ 已证实不支持 · – 未证实(调研证据标准:仅官方文档、仓库、可靠评测可作断言)。右列为本产品目标——右下五个「✓✓」全市场无人同时具备,即产品骨架。

✓✓ 核心优势/重点投入 支持 未证实/不适用 不支持 悬停表头可高亮整列
能力 SnipastePixPinShareXFlameshotCleanShot XSnagitTa(拓)browser 工具链ShotForge 目标
区域 / 窗口截图✓ 页面级
UI 元素自动检测✓ DOM 即元素✓✓ 语义寻址
滚动长截图部分(懒加载易缺失)✓ M2
贴图 Pin✓✓✓ 基础✓ 基础✓ M2 人机共用
标注编辑器✓✓✗ 临时 CSS/SVG 高亮✓ 声明式·程序化
OCR✓✓ 本地优先交给模型视觉✓ M2 本地
敏感信息脱敏– 手涂– 手涂– 手涂✓ AI Redact✓✓ 规则+语义·MVP 起
录屏 / GIF✓ M3
上传 / 分享目的地✓✓ 自定义 Uploader✓ imgur✓ 云链接✓ M3
截图后自动 Workflow✓✓✓ Steps Capture✓✓ 声明式管道
AI 参与(识别/翻译/描述)✓✓模型自带✓✓ 原生
CLI / 可编程✓ 触发 workflow✓✓ JSON API✓✓✓✓
MCP 接口✗ 自有 Bridge自身即 MCP✓✓ MVP 起
Agent Skill(官方)– 社区自建✓✓ 官方维护
元素级语义截图部分(截元素无后续)✓✓ 核心
标注即数据 / 可重放重渲✗ 雏形 recipe✓✓ 核心差异化
资产库 / 来源追溯 / 命名– 历史– 历史– 库✓✓ 核心
跨平台(三端)– 双端✗ Win✗ Mac✗ 双端✗ Mac✓ M3 齐
开源✓ MIT部分✓ open core

基线对比:系统自带与浏览器内建(免费底线)

基线能力macOS 自带Win11 Snipping ToolKDE SpectacleGNOME 自带DevTools / Edge 内建
捕获(区域/窗口/全屏)✓ 页面/节点/整页
标注✓ 基本+手动模糊
OCR / AI– Live Text 隐式 端侧 AI Text Extractor
长截图 / 整页✓ 懒加载可能缺失
可编程 / agent 接口✗ 纯交互式

读表结论:免费基线覆盖到「捕获 + 基本标注 + 端侧 OCR」为止。凡本产品做的事,必须落在「AI 之后的结构化产出」或「agent 接口」上。

Pain Chain · 03

九环痛点链路:agent 写一本手册

把「browser-use 熟悉 Web 系统 → 写产品手册」拆成九个环节逐环检查:九环中七环断裂或半断裂。这不是模型不行,是缺一个把「拍摄」当正经工程做的执行层。点击环节查看断裂详情与对应解法。

01
发现页面
基本可用
02
识别结构
断裂
03
决定构图
断裂
04
捕获
半断裂
05
标注
断裂
06
脱敏
断裂
07
组织资产
断裂
08
嵌入文档
半断裂
09
变更维护
M2 解

现状

断裂点

ShotForge 解法 
Product · 04

产品定义:三大结构性创新

定位:本地优先的截图工作台,人机同引擎。agent 经 CLI / MCP / Skill 三种同源接口调用全部能力;人类用同一引擎的快捷键与界面。与直接对标者的本质差异见下表。

Ta(拓)SaaS 指南工具ShotForge
服务对象人为主,agent 附桥人(录操作)agent 一等公民,人共享引擎
「AI 原生」的含义截图之后 AI 参与理解AI 解析录屏生成步骤产物本身是数据:可编程·可重放·可 diff
接口自有 Bridge + CLICLI + MCP + Skill 三位一体同源
捕获单位窗口 / 区域(屏幕层)点击回放语义元素(DOM/AX 层)+ 屏幕/区域
平台与开放性macOS · MIT闭源 SaaS跨平台 · open core
创新 ①

语义寻址,拒绝坐标

一切指向(截哪里、标哪里)都用元素锚点;引擎把语义解析成像素,DPR/iframe/滚动的坐标换算从 agent 职责中彻底消失。解析失败返回候选列表,agent 一次自纠。

ops.local/login
用户名 密码 登 录
anchor(人类可读,无需文档)
{ "text": "登录", "role": "button" }
// ref > selector > text/role 模糊匹配
// 三级解析,失败返回近邻候选
调研依据:agent 现状是 PIL/ImageMagick 手工坐标换算,易错且 UI 一改全报废
创新 ②

标注即数据,可重锻

标注是声明式 Spec(锚点 + 类型 + 样式),渲染是纯函数 render(capture, spec)。Spec 不含任何像素坐标——这是「UI 改版可重渲」的前提,也是全市场无人做的真壁垒。

ops.local/告警中心
新建告警1
级别 ▾ 状态 ▾
告警名称级别状态负责人操作
紧急zhang***@corp.com
li***@corp.com
wang***@corp.com
Annotation Spec(产生左图的全部输入)doc-clean
[
  { "type": "number", "target": { "text": "新建告警" }, "value": 1 },
  { "type": "box",    "target": { "role": "combobox" }, "style": "warn" },
  { "type": "blur",   "target": { "selector": ".owner-email" }
]
六种标注原语:box · arrow · number · text · blur · spotlight(MVP 全集)
创新 ③

资产可重放,手册配图即代码

每张图记录来源(URL · 锚点 · 视口 · 版本),Manifest 随文档进 git。UI 改版后按 Manifest 重捕重渲,输出变更报告——「文档过时」从行业老大难变成一条命令。

撰写期 agent 拍摄 5 张图,Spec + 来源写入 shot-manifest.json(进 git)

数月后 产品 UI 改版,手册配图全部过期

一条命令 shot refresh 按锚点重捕获 → 同一 Spec 重渲 → 报告「3/5 图已变更」

衍生能力 视觉回归(QA)、品牌换色重渲、多语言手册(M2+)

护城河判断:一旦配图 Spec 进版本库进 CI,重放成为工作流依赖,迁移成本极高

设计哲学:AI 原生八原则

Agent 是一等公民01capability 发现 · 确定性 JSON · 错误码 + 候选自愈 · 幂等
语义寻址,拒绝坐标02坐标只作最终逃生舱
标注是数据,不是像素03render() 是纯函数,Spec 可版本化
上下文经济学04默认引用 + 摘要,图片按需取(playwright-mcp 官方建议的彻底执行)
人机同源05同一引擎、同一资产库、同一套样式
本地优先,边界清晰06识别/脱敏/渲染全本地,云端仅 BYOK 显式开启
产物可追溯07每张图记录来源,资产是一等能力
确定性优先于聪明08等待/滚动/渲染全部显式策略,聪明留给可选 AI 层
Golden Path · 05

黄金路径:一句指令到一章手册

MVP 的唯一靶心场景,也是验收剧本。分工原则:驾驶归 browser-use,拍摄归 ShotForge——attach 只读挂载到同一浏览器,复用登录态,零冲突共存。

BROWSER-USE

探索:登录系统、浏览告警中心、梳理功能——驾驶阶段不动手拍图

SHOTFORGE

体检shot status → attach 到 ego-browser(CDP 9222)

SHOTFORGE

识别shot inspect 返回结构化区域大纲(导航/表格/表单/分页)

AGENT

决策:决定拍什么、标什么、脱敏什么(导演是 agent 的视觉与判断)

SHOTFORGE

拍摄:一条命令完成 捕获 → 标注 → 脱敏,命名资产落库

AGENT

自查--verify thumb 返回 10KB 缩略图,肉眼确认构图(默认关闭省 token)

SHOTFORGE

嵌入shot embed 生成 markdown 引用,写入章节

数月后

维护(M2):shot refresh 重捕重渲,报告变更——手册永不真正过期

agent · 终端实录(节选)
# 探索完成后,接入浏览器
$ shot status                          # 第一步永远是自检
→ ok { attached: false, version: "0.1.0" }
$ shot attach --cdp 9222
→ ok { browser: "ego-browser", tabs: 3 }

# 识别页面结构
$ shot inspect
→ ok regions: nav[侧边导航] main[告警列表]
       filter[查询表单] pager[分页]

# 拍摄:捕获→标注→脱敏一步完成
$ shot capture \
     --name manual/ch4/alarm-list \
     --target main --hide ".toast,.guide-mask" \
     --annotate spec.json \
     --redact "email,internal-domain" --verify thumb
→ ok { anchors_resolved: 3/3,
       redacted: [email ×2],
       path: "shots/manual/ch4/alarm-list.png" }

# 嵌入手册
$ shot embed manual/ch4/alarm-list
 ![告警列表:新建入口与高级筛选]
   (shots/manual/ch4/alarm-list.png)
Architecture · 06

架构:Source → Engine → Interface → Surface

单守护进程持有浏览器连接与会话状态;CLI 与 MCP 都是它的瘦客户端,同一会话混用不打架。引擎层(锚点/标注/资产)不感知捕获来源——桌面捕获只是未来的又一个 Source。

Surface · 界面层人机各自的门面
shot CLI(agent 主入口)shot_* MCP(5 个工具)SKILL.md(教 agent 用法)快捷键 / 贴图窗(M2)
Interface · 接口层确定性契约
capability 发现错误码 + 候选自愈JSON 契约(zod 共享)引用与缩略图策略
Engine · 引擎层与来源无关
锚点解析器标注渲染器(SVG→resvg)脱敏器(先脱后落盘)资产库 / Manifest等待与滚动策略
Source · 捕获源层可插拔
Web:CDP attach(ego-browser / Chrome / Edge)自建 launch(固定视口 DPR)桌面:ScreenCaptureKit / Win(M2)
AI 服务 · 可选层本地优先,云端 BYOK
本地 OCR(M2)语义脱敏(M2+)构图建议 / alt-text(M2+)
attach 优先于 launch:默认只读挂载到既有浏览器,复用登录态,与 browser-use 驾驶操作零冲突;launch 模式产出一致性更高的文档图。
渲染确定性:标注走 SVG 合成光栅化(resvg),不依赖浏览器渲染标注——同 Spec 必同图(验收 A5:输出哈希一致)。
安全边界:daemon 仅监听本机 IPC;引擎不导航不点击不输入;脱敏先于落盘;审计日志只记元数据。
技术选型:TypeScript + Node 22 · Playwright connectOverCDP · resvg-js / sharp · MCP SDK。理由:生态最快路径,单人业余可按里程碑推进。
Roadmap · 07

路线图:每一步都在加深主线

每个被市场验证过的竞品优点都有明确落点,但没有任何里程碑是为「追平竞品」而设——主线始终是「资产可重放」。MVP = M0 + M1,约 4 周业余投入。

MVP(≈4 周)
M0 · 2 周

引擎核

  • CDP attach / launch
  • 锚点三级解析 + 候选自愈
  • 元素级捕获(hide / wait / DPR)
  • 四种核心标注渲染
  • CLI 骨架 + JSON 契约
DevTools 节点截图·程式化
M1 · +2 周

MVP 完成

  • inspect 结构化大纲
  • redact 规则脱敏
  • embed / list / Manifest
  • MCP server(5 工具)+ SKILL.md
  • doc-clean 预设 + verify 缩略图
全面超越 app-screenshots skill
M2 · +4~6 周

重放与人格

  • refresh 重放 + diff 报告
  • 本地 OCR
  • 桌面捕获(macOS 起)
  • 贴图 + 快捷键 + GUI 精修
  • 长截图(懒加载感知)
Snipaste 贴图/元素检测PixPin 长截图Ta 本地 OCRSnagit 编号/脱敏Win11 OCR
M3 · +8 周起

平台与分发

  • Windows / Linux 桌面源
  • 录屏 / GIF
  • 上传目的地(自定义 Uploader)
  • 截图翻译 · 带壳截图
  • 团队资产云(商业侧)
ShareX 分发iShot 全家桶收尾
MVP · 08

MVP 边界与验收

只做一件事:agent 驾驶 browser-use + ShotForge 拍摄,产出零返工的手册配图。写下来的「不做」与「要做」同样重要。

MVP 范围
  • CDP attach 运行中的浏览器(ego-browser / Chrome / Edge)+ 可选 launch
  • shot inspect 页面结构化大纲
  • shot capture 语义捕获:锚点 / 视口 / DPR / hide / wait / padding
  • shot annotate 六种标注,doc-clean 预设
  • shot redact 规则脱敏(email / 手机号 / 身份证 / token / 自定义正则)
  • shot embed / list 资产管理与 markdown 引用,Manifest 落盘
  • 三接口同源:CLI(daemon)+ MCP(5 工具)+ SKILL.md
  • 确定性契约:错误码表 · 候选自愈 · 同名幂等(版本保留 3 版)
不做划出边界(防 scope creep)
  • 桌面 / 移动捕获(M2 分平台接入)
  • 贴图、GUI 编辑器、系统快捷键(M2 人机同源时上)
  • 滚动长截图质量承诺(MVP 可透传整页;懒加载感知拼接在 M2)
  • OCR / AI 识别 / 翻译(M2 本地 OCR;MVP 的识别层就是 agent 自带视觉)
  • shot refresh 重放(M2——但 Manifest 从第一天记,为它铺路)
  • 录屏 / GIF(M3)
  • 上传分发 / 云同步 / 协作(M3+,open core 商业侧)
A1
≥5 图 零返工

真实系统手册一章(≥5 张带标注截图)端到端零人工返工

A2
≥95%

锚点解析 + 标注落位正确率;失败必返候选而非静默错位

A3
≤600 token

capture + annotate 单次往返(不含可选 verify 缩略图)

A4
4h 无冲突

与 browser-use 同浏览器并行工作冒烟,无连接冲突、无状态互踩

A5
哈希 一致

同一 Spec 重渲两次,输出二进制一致(render 纯函数)

Risks · 09

主要风险与对策

按「概率 × 影响」选取前五项。完整清单见产品设计文档 §10。

锚点解析在复杂页面不稳(多层 shadow DOM、动态 id)高概率 · 高影响

ref / selector / 模糊三级解析;候选自愈;命中率是 MVP 验收线(A2),不达标不进 M1

与 browser-use 同时操作浏览器冲突(连接互踩、滚动互相干扰)中概率 · 高影响

attach 只读纪律;拍摄瞬间 scroll 冻结与还原;连接级互斥锁(A4 冒烟验证)

懒加载 / 动画导致构图残缺(截出的图缺内容或有骨架屏)高概率 · 中影响

wait 策略显式化(idle = networkidle + 300ms 无 DOM 变更);freeze-animations;verify 缩略图抽查

巨头跟进(微软 / 苹果把 agent 截图做进 OS)中概率 · 高影响

OS 永远面向通用场景;纵深是 Spec / 资产 / 重放工作流 + 跨平台中立 + 开源生态

单人业余开发节奏(里程碑拖延)高概率 · 中影响

MVP 极小切口;每里程碑独立可用;agent 辅助开发正是本产品自己的核心场景(吃狗粮)

Decisions · 10

待你决策的四件事

以下每项都给了推荐与理由;确认或改定后即可按 M0 规格开工。

① 产品命名
推荐

ShotForge(铸影) 为工作名——「铸」取可重锻之意,呼应「标注即数据、可重放」。CLI shot,MCP 前缀 shot_

② 仓库位置
推荐

private/projects/github/ 下新建 shotforge(代码仓库归 projects,不落 tasks)。调研产物留在本任务目录。

③ 开源协议
推荐

Apache-2.0(含专利授权,对后续商业侧更稳);若追求与 Ta 一致的极简可选 MIT。

④ MVP 验收靶系统
推荐

你自己的 Web 系统 + browser-use 写真手册作为 A1 验收场景——最好的需求来源就是自己的痛点。

确认后下一步:建仓 → 按 M0 规格(attach / 锚点解析 / 元素捕获 / 四种标注 / CLI 骨架)搭工程 → fixture 站点联调。