所有企业级 AI 系统都标榜「人在回路」,但落地时往往退化成两种极端:要么事事人工确认,效率提升被复核成本吃掉;要么完全放手,出了事故才发现无人负责。人机边界的精髓在于:按任务的错误代价,匹配不同的复核姿势。
AI 产出,工程师逐条确认后生效。适用于错误代价高、且人工复核成本可承受的场景:替代料评估结论、设计评审意见采纳、验证项放行。确认式的关键设计是「可确认性」——每条结论必须附带依据,工程师的确认动作是一键可达的。如果复核需要工程师重新查一遍资料,确认式就会退化成「AI 起草、人工重做」,失去意义。
当任务量大、单项错误代价低时,全量复核不经济——格式核对、参数初筛、文档归档这类任务适合抽样复核。姿势的前提是有统计基础:系统的历史准确率要可度量(抽样的通过率是核心指标),抽样比例要随准确率动态调整。信任是挣来的:一个新岗位上岗初期全量复核,随着连续达标逐步过渡到抽样。
对时效要求高、且可回滚的场景:生产线旁的参数核算、实时性检查。AI 先执行,事后凭完整留痕审计。姿势三的风险最高,要求也最高:全链路留痕(输入、规则版本、执行记录)、异常自动熔断、回滚预案。能用姿势三的前提是姿势一、二已经跑出了足够的信任数据。
| 姿势 | 错误代价 | 适用场景 | 前提条件 |
|---|---|---|---|
| 确认式 | 高 | 评估结论、放行决策 | 结论带证据,可一键确认 |
| 抽样式 | 低 × 大批量 | 格式核对、参数初筛 | 历史准确率可度量 |
| 追溯式 | 可回滚 + 时效敏感 | 实时核算、在线检查 | 全链路留痕 + 熔断机制 |
好的边界设计,让工程师从「操作工」升级为「审核官」——他们的时间花在判断上,而不是查找和整理上。这既是效率提升,也是工程师职业价值的回归。
ZAOWUTAN / 造物潭
这些方法论的完整版,就是小潭子数字员工的日常工作。