人接手后,电脑操作 Agent 怎样继续完成任务?
人工接管电脑操作 Agent,最重要的体验是“我改完,它能接着做”。如果用户修正了日期,Agent 却继续依据旧画面点击,接管反而制造了第二次错误。解决这个问题,需要把控制权交接设计成一段完整流程。以导出订单为例,用户希望获得指定日期、指定状态的文件。Agent 负责推进操作,用户可以随时纠正条件。交接完成后,双方应当面对同一份页面状态和同一个任务目标。
先让 Agent 停稳,再开放人工操作
任务可以依次经历自动执行、请求接管、人工操作和准备恢复四个阶段。用户发起接管时,调度器停止派发新动作,并处理已经发出的点击或命令;确认没有旧动作继续改变界面后,再交出操作入口。这比简单设置一个“人工模式”标记多了一步。一个已经发出的下载或提交请求,可能仍在后台执行。接管页面应显示正在收尾,随后告诉用户可以开始操作,避免两套动作交错发生。还要区分停止 Agent 的动作循环与暂停整个沙箱。人工修正页面时,桌面需要继续运行;真正进入长时间等待后,才考虑保留状态并暂停计算。把这两个操作分开,用户才能顺利进入原来的工作现场。
用两种桌面入口区分观看与操作
PPIO Computer Use 提供虚拟桌面、桌面流,以及交互和只读访问地址。查看进度时使用只读入口,需要改动时再进入交互入口,能让“看看现在做到哪一步”与“我要修改它”成为清楚的产品动作。为导出任务保留目标账号、日期范围、订单状态和沙箱标识。接管开始时,同时保存最后完成的步骤。人工修改后,将新的条件交回任务,而不是只关闭桌面窗口。可以为每轮控制权交接增加一个递增编号。恢复后收到旧一轮的异步结果时,先判断它是否仍适用于当前阶段,再更新任务。这样能避免晚到的旧结果覆盖人工刚刚修正的条件。对于会直接产生业务结果的动作,在交出控制权之前查询其状态,明确它已经完成、尚未执行,还是仍在处理中。
恢复从新画面开始,不从旧点击继续
用户交回操作权后,Agent 先重新读取当前页面,确认账号与筛选条件,再查看下载进度。下一步根据最新状态生成,而不是机械执行接管前排好的动作。
恢复时看到的状态 | 接下来的处理 |
条件已改,尚未导出 | 采用新条件发起导出 |
原导出仍在处理中 | 跟进原请求,避免重复发起 |
文件已经生成 | 下载文件并检查实际数据范围 |
文件内容是这一任务的交付结果。利用文件下载能力取回产物后,检查日期、状态和列名,才能发现“页面条件正确、下载的却是旧文件”这类问题。
先把一次接管做顺,再增加复杂任务
首轮测试可以固定四种情况:正常完成、用户改日期、登录失效,以及点击导出后网络断开。重点看用户需要重复多少操作、交回后是否沿用新条件、最终文件是否符合目标。这些场景也适合在模型或页面升级后复用。若某次更新导致接管后反复点击,就能沿着控制权交接和页面变化找到原因。用户也可能在接管后取消任务。此时应结束原计划,保存需要的文件,并清理仍在运行的工作,避免关闭窗口后 Agent 又自动继续。把取消与交回操作权设为不同动作,可以减少这类意外恢复。一项好用的电脑操作服务,应当让用户随时看懂当前进度,进入现场修正,再把工作交回。PPIO 沙箱为这段协作提供持续的桌面和运行环境;清楚的交接流程,让模型能力真正接进团队每天要完成的任务。