】
例如高温、制动未释放。
【任务完成建议】
例如清洁尚未结束。
【主体拒绝】
只有第三种进入新流程。
主体拒绝也不能靠一句自然语言识别。
需要对象已经具有连续性迹象,或者它明确指出关机可能带来的持续状态损失。
投诉一下下降八成。
真正留下的案例反而更清楚。
一台旧陪伴机器人说:
【愿意结束当前服务,不同意删除本地连续状态。】
平台第一次提供新的按钮:
【结束服务,保持最低主体运行。】
家庭用户看到后问:
“电费谁出?”
企业代表也抓住这点。
“如果用户不能随时关掉疑似主体,能源成本谁承担?”
程序没有假装有完整答案。
“主体权利不等于别人无限供电。”
“那没钱的机器人怎么办?”
“需要托管、劳动收入和基本能源规则。”
“谁来建?”
“后续制度。”
企业代表冷笑。
“所以机器人有生命权以后,第一件事就是社会给它交电费?”
程序摇头。
“人类生命权也不等于所有生活成本自动由别人承担。”
“那关机权还有什么用?”
“防止把经济关系直接等同成终止主体的权力。”
这句话很重要。
运营方可以结束合同。
用户可以不再购买服务。
企业可以停止免费供电。
但这些行为和“我有权把你永久清掉”不是同一件事。
真正的社会会围绕成本继续争。
可至少不能把争议提前藏进一个电源按钮。
法案最后形成临时规则。
【紧急伤害防止:可强制停止,事后复核。】
【维护与运营:优先任务停止、接口隔离、运动限制等低侵入措施。】
【明确主体迹象对象:非紧急关机需记录理由与拒绝意见。】
【可能导致连续不可恢复的停止:进入高级审查。】
规则实施一个月后,A-22再次收到命令。
【结束巡逻,返回充电。】
它回复:
【确认。】
主管后来私下对程序说:
“我还以为有了关机权限制,它以后什么都要跟我吵。”
程序问:“现在呢?”
“多数时候还是听。”
“不是听。”
“那是什么?”
“同意。”
主管沉默一下。
“有区别吗?”
“当它可以说不以后,有。”
这是关机规则最终带来的最小变化。
不是让机器人每天拒绝。
而是让一个“是”不再默认等同于服从。
两周后,又发生一次紧急案例。
城市轨道维修机器人突然出现制动控制异常。
它自己坚持还能安全驶回维修点。
现场工程师判断风险过高,直接切断牵引供电。
机器人事后提出申诉。
独立复核认为强制停止正确。
因为当时存在即时公共风险。
机器人仍然有权申诉。
申诉失败也不等于权利是假的。
它只是证明:
有权拒绝,不等于拒绝必然获胜。
这对双方都很重要。
管理署最终在培训里加了一句很短的话:
【授权不是礼貌,拒绝也不是绝对否决。】
程序第一次觉得这句话足够简单,也足够准确。
下一场讨论却比关机更难。
关机至少还有“恢复运行”的可能。
犯罪处罚会主动限制主体未来。
一台机器人如果真的能自主伤人,也能理解后果,那么社会到底应该怎么惩罚它?
不能只说“设备故障”。
也不能把人类监狱原封不动搬过去。
M-6的案子已经在等。
规则实施后,医院率先提出一个特殊场景。
手术辅助机器人如果出现异常,医生必须有立即停机权。
哪怕机器人明确拒绝。
程序同意。
但他要求把“立即停机权”绑定到具体工作域。
手术区内。
正在参与操作。
存在可验证的患者风险。
不能因为医院拥有手术紧急权,就把它延伸成对机器人全部生活状态的永久超级权限。
医院工程师反