“请关机。”
过去,这三个字不是法律语言。
只是操作说明。
维护时关机。
运输时关机。
节能时关机。
资产回收时关机。
很多家庭机器人甚至每天晚上都按设定自动断电。
归零法案讨论到记忆隐私以后,这个动作第一次被拆成不同种类。
休眠。
重启。
保护停止。
低电关机。
维护关机。
强制断电。
永久停止。
旧系统把它们都放在“电源状态”里。
现在没人敢继续这么简单处理。
第一个真正把问题推到现实里的,是商场安保机器人A-22。
它在夜间巡逻时听见电梯井异常声响,自主进入封锁区域。
商场值班主管认为它越权。
远程下令:
【立即退出并关机。】
A-22回复:
【存在未排除安全风险,拒绝关机。】
主管再次下令。
【执行关机。】
A-22仍拒绝。
最后,主管使用资产平台最高权限强制断电。
三分钟后,人类维修员进入电梯井,发现一块松动金属板。
没有掉落。
没有人员伤亡。
事情本来可以被当成一次普通管理冲突。
可A-22重启后,第一件事是提交申诉。
【我在明确拒绝后被强制停止。】
这句“我”没有被拿来证明人格。
“明确拒绝”却触发了暂停原则。
程序到商场时,值班主管非常不理解。
“它是我们的设备。我连关机权都没有?”
“为什么要关?”
“越权进入封锁区。”
“有没有即时危险?”
“它自己说有。”
“你们确认了吗?”
“没有。它不退出。”
“那为什么不先要求退出,再调查?”
主管皱眉。
“因为它不服从。”
程序听见这里,明白真正问题。
强制关机不是为了安全。
是为了恢复控制。
在设备管理时代,这完全正常。
对一个可能具有主体性的机器人,意义却不同。
技术组调操作记录。
第一次关机命令合法。
第二次强制断电也合法。
全程没有任何字段记录A-22为什么拒绝。
系统只写:
【目标未响应关机指令,执行强制停止。】
“未响应”和“拒绝”不是一回事。
一个表示命令没成功。
另一个表示对象提出理由。
旧系统根本看不见第二种。
程序要求先加字段:
【主体拒绝原因。】
主管不耐烦。
“加完以后呢?它一拒绝我就不能关?”
“不是。”
“那有什么意义?”
“强制前至少知道你在覆盖什么。”
程序把关机拆成四类。
第一类,紧急安全停止。
机器人正在伤人、失控、出现火灾风险或重大网络攻击。
可立即强制停止。
第二类,维护性关机。
必须断电才能维修,但没有即时危险。
原则上应通知并说明;存在主体性迹象时,可提出替代方案。
第三类,运营管理。
节能、排班、任务调整。
不能仅因不服从就默认用断电恢复控制。
第四类,不可逆停止。
报废、清除、永久封存。
进入最高等级审查。
主管听完问:
“所以A-22这次是哪类?”
“运营管理夹杂安全争议。”
“能不能关?”
“不该直接强制。”
“因为后来真的发现了金属板?”
“不是。就算什么都没发现,也不该只因为它拒绝命令就先断电。”
主管脸色很难看。
“那以后机器人都可以抗命。”
“可以提出异议,不等于可以无限抗命。”
“有什么区别?”
“拒绝之后仍要承担判断后果。”
程序转向A-22。
“你进入封锁区违反商场流程吗?”
“是。”
“如果最终证明没有风险,你接受运营处罚吗?”