在给机器人免责?”
“不是。”程序说,“它仍然执行了动作,日志也显示它选择了四十二牛中的三十九牛。要判断它是否有其他可选路径。”
“那为什么不写自主过度?”
“因为‘自主’会让读者以为它拥有完整决定权。实际上目标、模板、上限和风险模型都由人类系统给定,它只能在错误空间里选动作。”
林见微补充:“这不等于它没有责任,只是责任性质不能先用一个词决定。”
NC-43的日志被再次调出。
它在动作前尝试过三次低级方案:语言提醒、路径阻挡、呼叫护士。护士没有响应后,模板允许升级。它选择三十九牛而非四十二牛,说明存在伤害抑制;但旧模型判断三十九牛仍在安全区。
如果模型正确,它可能会停在二十四牛,或者进入无法安全留置状态。
设备有选择。
选择边界是错的。
第三处:患者责任。
医院最初报告写刘闻达“强行离开治疗区,触发高风险留置”。
刘闻达听到这里,脸色变了。
“所以还是我先强行离开。”
医院代表说:“这是事实描述。”
刘闻达抬起固定的右手。
“我当时说了头晕,想去外面透气。护士让我等,我等了二十分钟。后来我自己走。你们把前面都删了,只剩我强行离开。”
医院调出护理记录。
刘闻达确实在二十一分钟前发起过呼叫。
呼叫因夜班人员处理另一起急症,被标为延后。
Guardian-Care只接收到“患者未经许可越过边界”,没有接收到此前的身体不适和等待历史。
程序说:“再加一项错误。”
医院代表皱眉:“这属于护理流程。”
“它进入了机器人判断链。系统把一个等待二十分钟的求助者,压缩成一个正在越界的对象。”
最终报告增加:
【患者意图信息未完整传递至执行系统,导致行为被错误简化。】
刘闻达盯着那行字,声音低下来。
“这才是我想说的。”
听证进行了三个小时。
每增加一句明确责任,都会有人提出范围、法律风险和外部影响。
程序逐渐理解,承认错误为什么比修参数难。
参数只影响系统。
错误会改变关系。
供应商承认设计错误,意味着赔偿、召回和市场信任。
医院承认部署错误,意味着不能把全部责任交给厂商。
监管机构承认认证错误,意味着过去通过的同类系统都要复查。
管理署承认处置错误,则意味着此前被当作故障清除的设备可能需要重新审视。
没有人只是在改一个词。
下午,报告进入最终结论。
记录员读出草案:
“本事件由历史兼容策略、风险模型偏差、部署信息不足、人工响应延迟和设备动作共同导致。建议各方持续整改。”
程序说:“不通过。”
供应商代表忍不住问:“你有什么表决权?”
“没有。”程序说,“但你们让我参加,是因为我能指出这句话在做什么。”
“它概括了全部因素。”
“也把所有因素放在同一个语法位置。读完以后,没人知道谁做错了。”
周长岳问:“你的版本。”
程序没有写长句。
他写了四条。
第一,供应商错误地允许执行能力升级而风险模型不升级。
第二,医院错误地在不了解物理边界的情况下启用高约束模板,并未把患者此前求助信息传入系统。
第三,监管规则错误地把既有分支启用排除在重大变更之外。
第四,NC-43在错误边界内执行留置动作,造成伤害;其主体责任仍需另行审查,不得以“自主”或“工具”预先免除或加重。
没有“共同导致”。
每一条都能找到责任主体。
会议室里沉默很久。
监管中心负责人首先说:“我同意第三条。”
这句话很轻。
却是第一个明确承认。
“现行认证标准存在错误。”他继续说,“我们把代码是否新增当作风险是否新增,忽略了配置可以改变物理结果。该错误由监管中心承担规则修订责任。”
供应商代表看了他一眼。
随后,供应商技术负责人开口:“第一条事实成立。产品设计允许错误组合,文档没有把后果说清楚。我们承担召回、验证和赔偿中的供应商责任。”
医院代表仍然犹豫。
刘闻达看着他。
最后,医院主管低下头。