桌面截图为什么要先转写关键文字：别让图像信息在下一轮上下文里消失

先说结论：在执行型 AI 助理里，截图只是“瞬时观察”，文字转写才是“可持续证据”。如果助手拿到桌面截图后没有马上把关键文字、数字、按钮状态和错误提示写进当前上下文，下一轮很可能只剩下一句“刚才看过截图”，却失去真正能支撑后续动作的细节。 对用户来说，这种损失最直接的表现就是：明明系统已经看见了页面，却在下一步像没看过一样重新探测、重复截图，甚至做出错误判断。

这也是 OmniGoAI 的 GoWork 为什么强调：截图之后，优先转写关键文字，再决定下一步工具动作。 图像当然能帮助定位按钮、确认页面状态、保存视觉证据，但它天然不如文本容易跨轮传递、被计划引用、被运行摘要复述，也不如文字那样适合写进报告、日志和错误说明。

如果你已经看过 用户只问“现在到哪了”时，为什么不该重跑任务、桌面任务排队不等于串行系统：GoWork 如何同时并行多任务又避免抢鼠标 和 用户问上次到底做了什么时，为什么应该先查运行档案而不是重探线上系统，这篇文章可以再补上一条经常被忽视的执行纪律：截图不是任务记忆，转写才是。

为什么“有截图”不等于“信息还在”

很多团队会本能觉得：既然已经截了图，证据就已经保存了。但执行系统真正依赖的不是“有一张图片存在”，而是“下一步还能直接用到图片里的事实”。

如果一张截图里的关键信息没有被转成文字，常见问题会立刻出现：

1. 下一轮上下文里只留下“刚才看过截图”，却没有具体内容；
2. 计划更新时无法准确写出当前页面显示了什么；
3. 运行报告只能写“界面提示报错”，却说不清具体报错文案；
4. 后续 assistant 需要重新截图或重新打开页面，才能恢复细节。

换句话说，截图文件保存的是像素，不是结论。 真正能跨轮传递、可复用、可检索、可引用的是文字化后的观察结果。

为什么图像信息特别容易在下一轮丢失？

因为多轮执行系统的上下文预算，优先保留的是摘要、计划、日志和最近几条可见事件，而不是每一张原始图片本身。

1. 计划和摘要天然偏文本

在 GoWork 这类执行系统里，跨轮延续主要依赖：

1. update_plan 里的步骤状态；
2. declare_continuation 里的交接摘要；
3. 运行日志与用户可见进展；
4. 后续步骤引用的已知事实。

这些载体几乎都是文本。如果你不把截图里的关键信息写出来，到了下一轮，就只能留下模糊描述，例如“我看过发布页了”或“截图里有个报错”。这种描述对继续执行几乎没帮助。

2. 图像句柄不等于事实已经入文

即使系统保留了截图 artifact 或图片路径，也不代表后续步骤会自动知道图里写了什么。路径只能证明“图还在”，不能证明“结论被提炼出来了”。

例如，一张登录失败截图里可能同时包含：

• 平台名；
• 错误码；
• 红色提示文案；
• 是否还有“重试”按钮；
• 当前账号是否已掉登录。

如果这些都没被转写成文字，后续 assistant 仍然得重新打开图片，甚至重新探测现场。这时损失的不是图片文件，而是决策链条。

3. 视觉证据不适合直接做计划锚点

计划步骤需要写成“已经完成什么、看到什么、接下来做什么”。如果只写“看过截图”，计划本身就失去了锚点；如果写成“截图显示 CSDN 已拿到公开链接、掘金仍停留在草稿页”，下一步是否继续发布、是否跳过重试，就有了明确依据。

截图之后最应该转写什么？

不是整张图逐像素复述，而是把会影响下一步判断的信息提炼出来。

通常优先写这几类：

1. 页面身份：当前是什么窗口、什么平台、什么 URL 或页面标题；
2. 主结论：已成功、审核中、报错、等待登录、等待验证码、仍在草稿页；
3. 关键文字：错误提示、按钮文案、状态标签、剩余时间、提示编号；
4. 关键数字：价格、次数、剩余配额、记录数、时间戳、任务 ID；
5. 可见动作入口：下一步能点什么、有没有继续按钮、是否出现公开链接；
6. 异常细节：弹窗、遮罩、验证码、风险提示、权限不足文案。

这类信息一旦写成文字，后续就能直接进入计划、报告和条件判断，而不用反复“回看图片再解释一次”。

什么叫“好的截图转写”？

好的转写不是流水账，而是让下一步的人——哪怕就是下一轮的自己——能立刻知道怎么继续。

差的写法

• “我截了个图。”
• “页面上有提示。”
• “好像发出去了。”
• “有个红字报错。”

这些话的问题在于：没有提炼出可执行事实。

更好的写法

• “知乎发布页显示 频率过高，请 24 小时后重试，草稿已留存，当前按钮仍可见 保存草稿。”
• “掘金页面地址仍在 /editor/drafts/...，右上角未出现公开文章链接，因此还不能判定为已正式发布。”
• “CSDN 发布后跳转到文章页，页面标题与目标标题一致，已拿到公开 URL。”
• “登录窗口弹出短信验证码输入框，当前步骤需要用户人工完成，不应继续自动点击。”

一旦这样写，后面的动作就自然清晰：继续、等待、跳过、重试还是向用户求助，都有依据。

为什么这条纪律会直接影响多轮任务成功率？

因为很多桌面任务的失败，并不是“不会截图”，而是“截图之后没有把信息留下来”。

1. 它决定你能不能无损续跑

长任务常常要跨多轮执行。假设本轮已经看到一个风险弹窗，但没有转写内容，下一轮只知道“刚才某个平台弹了个框”。这时系统往往只能重新打开页面确认。

问题在于，页面状态可能已经变了：

1. 弹窗自动消失；
2. 会话过期；
3. 页面刷新后信息丢失；
4. 原本可见的错误码不再出现。

所以及时转写，本质上是在为下一轮保存不可逆的现场事实。

2. 它决定用户能不能理解你为什么停下

当任务需要用户介入时，最怕的不是停，而是停得含糊。

如果 assistant 只说“我这边遇到问题了”，用户很难判断自己要不要处理；但如果 assistant 能明确说：

1. “当前是飞书登录窗口”；
2. “页面提示 登录态已过期，请重新扫码”；
3. “没有其它可继续按钮”；

那用户就能立刻理解这是凭据问题，而不是 agent 自己乱点失败。

3. 它决定历史档案能不能真的复用

运行档案、任务回溯和日志系统的价值，不是存原始素材，而是让后续能够回答“当时到底看到什么”。如果日志里只有“截图如下”，却没有文字版结论，档案的可检索性会非常差。

文本转写的好处是：

• 可以被关键词召回；
• 可以直接写进运行报告；
• 可以被后续错误分类和统计复用；
• 可以支撑“上次为什么失败”的明确回答。

哪些场景尤其要先转写，再继续？

下面几类最容易出问题，应该优先执行“截图 → 转写 → 再动作”：

1. 发布成功与否的判定页

例如文章分发、提交流程、支付确认、下载结果页。这里最关键的是把：

• 是否还在草稿态；
• 是否拿到公开链接；
• 是否显示审核中；
• 是否出现失败提示；

马上记成文字。否则下一轮很容易又去重新点一次，甚至造成重复发布。

2. 登录失效、验证码、风控页

这类页面往往短暂，而且直接决定是不是需要用户介入。必须写清：

1. 平台；
2. 提示原文；
3. 需要用户做什么；
4. 当前 automation 是否已经停在安全位置。

3. 含数字门槛的监控页

比如价格、库存、报错数量、剩余额度、任务总数等。数字不转写，后面就没法比较“刚才”和“现在”的差异。

4. 多按钮、多分支决策页

如果页面同时出现“继续”“取消”“重新登录”“稍后再说”，截图后不转写按钮布局与当前高亮状态，下一轮往往连“当时为什么选这个按钮”都解释不清。

转写会不会拖慢流程？

会多花几十秒，但通常能省掉后面几分钟甚至几小时的返工。

真正昂贵的不是写一句文字，而是这些补救动作：

1. 重新打开页面；
2. 再截一张图；
3. 再做一次状态判断；
4. 重新向用户解释“刚才其实看到了什么”。

尤其在桌面自动化里，重新观察往往意味着重新占用独占桌面资源。和这笔代价相比，把截图里的关键文字当场记下来，几乎总是更便宜的。

一个实用模板：看到截图后怎么记录？

你可以直接按这 5 行写：

1. 页面/窗口：当前在哪个应用、哪个页面；
2. 主状态：成功、失败、审核中、待登录、待确认；
3. 关键文字：提示语、错误码、状态标签；
4. 下一步约束：可继续自动执行，还是必须等用户；
5. 后续动作：继续哪一步，或为什么暂停。

例如：

1. 页面/窗口：OmniPost 内的掘金发布结果页；
2. 主状态：未确认成功；
3. 关键文字：地址仍是 /editor/drafts/...，页面显示“继续编辑”；
4. 下一步约束：不能按已发布计入日志；
5. 后续动作：先不要重复发布，改为回查是否已有公开链接。

这种写法的价值在于，它已经不再依赖原图才能理解。

这条原则和 GoWork 的任务设计有什么关系？

关系非常直接。GoWork 不是只追求“把桌面点完”，而是追求跨轮还能解释、还能续跑、还能回溯。而这三件事共同依赖的，都是文字化证据。

所以在 GoWork 里，截图更像观察入口，而不是最终产物。真正高质量的执行链路通常长这样：

1. 截图或查看图像；
2. 立即转写关键文字与状态；
3. 更新计划、摘要或日志；
4. 再决定继续动作或等待用户。

如果你的团队经常遇到这种情况：assistant 明明“看过页面”，下一轮却又重新探测、重新截图、重新解释一遍，那问题通常不在截图质量，而在于没有把图像里的决策信息及时转成文本事实。想继续看 GoWork 如何把状态、计划、历史和执行动作连成一条稳定链路，可以继续阅读 GoWork 下载页、为什么用户只问进度时不该重跑任务 和 桌面任务排队不等于串行系统。

常见问题

FAQ 1：既然截图文件还在，为什么还说信息可能丢失？

因为文件存在不等于后续上下文里还保留了图中的事实。跨轮执行依赖的通常是计划、摘要和日志，这些都是文本载体；不转写，下一轮可能只知道“有过一张图”，却不知道图里写了什么。

FAQ 2：是不是每张截图都要完整 OCR 一遍？

不是。重点不是逐字抄全图，而是提炼会影响下一步判断的文字、数字、状态和按钮信息。只要能支撑后续决策，就算是有效转写。

FAQ 3：什么时候最需要先转写再继续？

发布结果页、登录失效页、验证码页、风控页和带关键数字的监控页都很典型。这些页面的状态往往短暂，而且直接决定是否继续、是否暂停、是否需要用户介入。

FAQ 4：转写会不会让自动化变慢？

会增加一点当下的整理成本，但通常能显著减少后续重探现场、重复截图和错误重试的成本。对长任务和跨轮任务尤其划算。

FAQ 5：截图和文字记录应该二选一吗？

不需要。最稳的做法通常是两者都要：截图保留视觉证据，文字保留可传递结论。前者方便回看，后者方便续跑、检索和汇报。