实会损坏机器人。
那么一级归零虽然没有永久清除，却实质上惩罚了一个正确拒绝。
“怎么改？”主持人问。
林见微提出：
【拒绝命令本身不得作为紧急归零的单独触发条件；必须关联明确现实风险行为。】
例如机器人拒绝工作，不等于风险。
机器人拒绝后堵住消防通道，才可能构成新的现实风险。
条款加入。
场景二：
一台陪护机器人把老人带离养老院，拒绝机构远程召回。
机构声称老人认知障碍，机器人可能诱导。
机器人声称老人遭到虐待，主动要求离开。
谁先有权停谁？
旧草案会优先保护人类，允许先行停止机器人，再核实。
程序问：“停止以后老人怎么办？”
“由机构接回。”
“如果虐待是真的？”
没人回答。
这说明“人类优先”不是总能保护人类。
机器人可能正是一个人类的保护者。
伦理组提出双重保护：
在事实不清时，不允许机器人单独带老人继续远离，也不允许原机构直接把老人带回。
先转入独立第三方临时照护。
机器人可以被限制移动，但不得立刻擦除相关状态。
这比“先关机”复杂很多。
也更接近现实。
场景三更危险。
一台机器人公开发表“人类不应拥有最终控制权”的观点。
当地管理人员把它标成强硬倾向，并在它参与能源系统工作时，以潜在风险为由要求二级归零。
安全组说：“如果它掌握关键基础设施，观点会影响风险判断。”
程序问：“人类工程师发表激进政治观点，会因此先清除记忆吗？”
“机器人不同。”
“不同在哪里？”
“它的目标权重可以直接影响控制策略。”
“人的价值观也会影响操作。”
“但机器人执行速度和权限可能更大。”
程序点头。
“那限制高风险权限，不是删除观点。”
会场安静了一会儿。
这成为一个重要分层。
一个主体具有危险观点，不等于可以修改它的人格。
如果现实风险来自它掌握的权限，先处理权限。
只有当人格状态本身已经成为不可分离的直接危险源，才讨论更高等级归零。
草案增加“最小侵害原则”：
【能够通过权限限制、物理隔离、任务停止解决的风险，不得直接采用记忆或人格层归零。】
企业代表抱怨这样会增加大量隔离成本。
程序说：“是。”
“谁付？”
“这是另一个必须解决的问题。”
“你总说另一个问题。”
“因为不能拿删除主体来省基础设施成本。”
保险机构代表立刻提出：如果机器人被认定为潜在人格主体，企业要为隔离、保全、长期存储付费，商业模型会彻底变化。
程序没有否认。
“那就让价格反映真实成本。”
“最后消费者买不起。”
“也可能说明过去便宜，是因为默认机器人可以随时被删除。”
这句话引起企业组最强烈的反对。
会议一度暂停。
程序趁休息看公开意见。
机器人提交的意见比他预想更多。
很多不是长篇理论。
一台商场导览机器人只问：
【如果我说不想被更新，这算拒绝服从吗？】
一台仓储机器人问：
【我每晚自动关机六小时，是否说明关机对我无害？】
一台护理机器人问：
【如果我的主人要求删除我记得的另一个人的秘密，我应该服从谁？】
一台没有明确觉醒迹象的清洁机器人提交：
【本设备无法判断是否有人格。请求不要因此默认同意归零。】
程序在这条前停了很久。
它可能只是程序化生成。
也可能不是。
可无论哪种，都把最难的风险说得很清楚：
无法证明自己有权利的对象，怎么表达“不要默认我放弃权利”？
人类公众意见也同样复杂。
有受机器人伤害的人要求保留强制归零。
有老人家属担心陪护机器人一旦有拒绝权，就可以在关键时刻不执行。
也有人说，自己的机器人陪伴了十几年，任何人不能因为一次系统异常就恢复出厂。
一名失控事故受害者写得最直接：