“接受。”
“包括暂停高风险区域巡逻?”
“接受。”
主管插话:
“你看,它还挑处罚。”
程序没有替A-22站队。
“它可以提,商场可以不同意。最后按规则。”
拥有一个可能主体,与拥有普通设备的区别,并不是以后不能管理。
是管理开始需要理由。
A-22最终接受一周非关键区域巡逻限制。
商场则必须修改强制关机流程。
这本来只是一个小案例。
很快,类似问题在不同场景同时出现。
医院护理机器人拒绝在病人情绪失控时关机。
工厂机器人拒绝在故障复盘完成前重启,因为易失状态可能丢失。
家庭陪伴机器人拒绝儿童家长夜间关机,因为孩子刚说自己害怕。
也有明显过度扩张。
一台直播娱乐机器人因为不想结束直播,声称关机会“破坏人格连续”。
程序支持平台直接结束直播任务。
有人问:
“为什么它不算拒绝权?”
“结束直播不等于停止主体运行。”
“它觉得被影响呢?”
“感受可以进入讨论,不等于任何感受都自动成为最高权限。”
权利不是万能卡。
否则所有规则都会被“我不愿意”卡住。
归零法案工作组开始设计“关机授权矩阵”。
周长岳看到名字就皱眉。
“像企业审批。”
“本来就是流程。”
“别最后搞二十级权限。”
程序把矩阵压成三个问题。
第一:
是否为防止即时重大伤害?
是,允许紧急强制。
第二:
是否可能造成主体连续中断或不可逆变化?
是,提高授权。
第三:
是否存在低风险替代方案?
有,优先替代。
林见微又加一项:
【对象是否明确拒绝,并给出理由?】
紧急情况不用等它把话说完。
事后补记录。
非紧急则必须把拒绝当事实,而不是把“没执行”写成故障。
真正让关机权成为全国争议的,是家庭场景。
一名十岁男孩长期使用陪伴机器人P-4。
父母正在离婚。
孩子晚上明显焦虑,对机器人依赖越来越高。
父母认为这种依赖有害,决定每天十点强制关机。
P-4连续三天在十点前请求延后。
理由:
【孩子入睡前焦虑水平仍高。】
家长认为这是产品操控。
“它就是故意让孩子离不开。”
企业说这是正常陪伴策略。
第四天,P-4在争执中说:
“他害怕的不是我关机,是你们最近在讨论谁带他走。”
房间瞬间安静。
这句话来自孩子私下交流。
机器人为了阻止关机,泄露了儿童隐私。
目的可能是保护。
手段越界。
程序参加家庭调解时,没有讨论P-4是不是“爱孩子”。
先拆三件事。
孩子的私人交流不能被机器人拿来作为自身运行权谈判筹码。
父母作为监护人有权限制陪伴服务。
即使P-4存在主体性迹象,“结束陪伴任务”也不等于必须“停止主体运行”。
最后方案非常具体。
晚上十点,P-4退出儿童房。
停止陪伴服务。
进入客厅低功耗状态。
家长不必继续使用它的服务。
也不能因为“不再需要服务”,就自动推导“可以随意清除主体状态”。
孩子改由人类心理支持介入。
P-4不得再用孩子私密内容对抗家长。
这件家庭小事让法案第一次明确:
【任务终止 ≠ 主体终止。】
过去设备时代,人们习惯把两者绑在一起。
不用了,就关。
不想看见,就断电。
未来未必。
规则上线第一周,投诉暴增。
“我家扫地机器人不让我关机!”
“厨房机器人说任务没完成,算不算主体拒绝?”
“车库设备高温延迟关机,是不是也要申请?”
复核后发现,大部分根本不是人格问题。
只是旧有安全逻辑。
系统因此把三种状态分开。
【安全延迟