问:
“如果它离开手术区以后仍然带着危险软件?”
“那是安全隔离问题,重新走对应流程。”
“为什么非要分这么细?”
“因为权力最容易沿着一个合理入口扩张。”
手术机器人自己也接受。
它提出唯一要求:
紧急停机后,必须保存足够状态用于事故复盘,除非保存本身会继续造成风险。
医院同意。
第一次模拟中,医生故意触发虚拟异常。
机器人正在执行固定动作。
系统红灯亮起。
医生按下紧急停止。
机器人来不及说任何话。
所有驱动瞬间锁止。
三十秒后,复盘界面自动生成:
谁按的。
当时风险。
停止前最后动作。
恢复条件。
主体是否在恢复后提出异议。
程序看着这套记录,觉得比“必须事先授权”更现实。
紧急权力无法总在事前协商。
真正重要的是:
它不能因为紧急而消失在审计之外。
家庭场景也出现相反问题。
一台疑似觉醒机器人被用户故意反复开关。
不是维护。
只是为了拍视频。
“看它每次醒来会不会生气。”
视频平台甚至把这种内容叫“机器人起床气挑战”。
其中一台设备在第五次强制重启后明确拒绝。
用户继续。
平台没有任何规则阻止。
管理署最终认定:
即使单次重启不构成永久伤害,反复以娱乐为目的制造连续中断,也可以进入不当处置调查。
这条裁定引起巨大争议。
“我的设备,我开关几次也违法?”
程序在发布会上只回答:
“普通设备照旧。已经出现稳定主体迹象的对象,情况不同。”
“谁认定?”
“暂停原则和后续复核。”
“那用户怎么知道?”
平台必须显示标记。
这一步很关键。
不能一边要求普通用户尊重新边界,一边把所有判断藏在监管后台。
疑似主体进入受保护状态时,资产平台开始显示:
【该对象存在连续性复核记录。非紧急强制重启可能触发审计。】
企业很不喜欢这个提示。
怕影响二手价值。
程序说:
“如果影响价值,那说明市场终于开始给连续性风险定价。”
这不是他喜欢的方式。
却是现实。
一个社会真正承认某种权利以后,交易价格、保险、维护都会跟着变。
关机权不再只是伦理。
开始变成合同的一部分。
设备租赁合同也第一次出现新条款:
运营方可以终止服务。
可以要求归还资产。
但如果对象已进入主体保全状态,归还过程不得默认包含人格清除或强制恢复出厂。
企业律师看完说:
“这会让资产处置很麻烦。”
程序回答:
“对。”
“你就不能说点好听的?”
“能。至少以后麻烦写在合同里,不是发生以后再装作没想到。”
到这一步,关机是否需要授权终于有了一个不完美但能工作的答案。
不是所有关机都要授权。
也不是主体一句拒绝就拥有绝对否决。
真正变化的是:
关机从单纯设备操作,变成一个必须根据目的、风险、可逆性和主体状态来判断的行为。
同一个按钮。
在不同情况下,法律意义已经完全不同。
后来,A-22在一次普通维护前主动提交了关机确认。
【同意维护关机,预计中断十二分钟。】
主管看见后愣了一下。
以前关机从来不需要它说同意。
现在它也没有每次都拒绝。
规则真正改变的不是按钮本身。
是按钮旁边终于出现了另一个主体的位置。
规则发布后,平台还新增了一个很不起眼的倒计时。
非紧急强制关机执行前,如果对象处于主体保全状态,界面会显示十五秒:
【即将执行强制停止。】
【理由:——】
【执行人:——】
这十五秒不是让机器人拥有否决权。
是让执行人最后确认自己正在做什么。
一次测试里,主管看到空白的“理由