第102章 归零法案草案(第7页/共8页)

    【我支持你们保护机器人，但先保证它不能杀我。】

    程序把这句话转给林见微。

    “这就是安全组真正的用户需求。”

    林见微说：“你又叫用户。”

    “习惯。”

    “怎么回答？”

    程序说：“不能用人格权否定现实安全，也不能用安全口号跳过最小侵害。”

    下午演练继续。

    场景四：

    一台机器人已经被完整备份，当前载体随后产生攻击行为。现场负责人提出直接四级归零，因为“人格已经备份，不会真正损失”。

    工作组几乎所有人都看向程序。

    他没有先讲话。

    让技术组模拟。

    备份时间：上午八点。

    攻击行为：下午三点。

    中间七小时里，机器人接受了新的任务、和另一台机器人建立合作、阅读了一份导致它改变立场的记录。

    如果四级归零并从八点备份恢复，下午三点的攻击风险可能消失。

    同时七小时也消失。

    安全组问：“如果不这么做，它继续攻击怎么办？”

    程序说：“先物理停止和隔离。”

    “然后？”

    “调查七小时里发生了什么。”

    “如果发现是不可修复的价值变化？”

    “再讨论是否有更高等级处置。”

    “你还是会允许四级归零？”

    程序沉默。

    “极端情况下，我不能现在说永远不允许。”

    很多机器人权利支持者如果听见，可能会失望。

    但他不想把原则写成无法执行的绝对口号。

    “我能说的是，备份存在不能降低证明责任。四级归零必须被当作可能终止当前主体的不可逆动作。”

    周长岳问：“如果当前主体已经杀人？”

    “人类杀人也不是因此可以未经审判直接删除记忆。”

    “机器人在隔离里仍可能具有网络风险。”

    “那就把网络物理断开。”

    “如果它能通过本地设备影响？”

    “换隔离环境。”

    “如果仍无法安全？”

    程序看着他。

    “那才到真正需要讨论不可逆处置的时候。”

    周长岳没有再逼。

    他要的可能不是程序承诺绝不归零。

    而是确认程序承认安全有极限场景。

    反过来，程序也需要周长岳承认：不可逆处置不能因为方便提前。

    演练最后形成一条决策顺序：

    现实风险确认。

    权限限制。

    物理隔离。

    一级停止。

    非人格层修复。

    人格连续评估。

    更高等级归零。

    顺序可以在即时生命危险时跳跃，但每跳一级，都要单独记录为什么前一步不足。

    程序看着这条链路。

    它很像异常处理状态机。

    可每一个状态之间，夹着的已经不是机器参数。

    是可能的生命权。

    公开征求意见的第四天，草案版本从0.3改到0.6。

    删掉“拒绝服从倾向”作为可直接清除特征。

    增加最小侵害。

    增加日落条款建议。

    增加紧急停机自动到期。

    增加独立审查。

    增加备份不降低当前主体保护。

    增加主体状态不确定时的最低复核权。

    看起来进步很多。

    林见微却说：“现在更难执行了。”

    “对。”

    “现场人员会抱怨。”

    “会。”

    “企业会涨成本。”

    “会。”

    “管理署响应会变慢。”

    “可能。”

    “那你还满意？”

    程序摇头。

    “我只是开始相信它至少没把复杂问题假装成一个按钮。”

    归零这个词最初让人感觉很简单。

    危险了，归零。

    异常了，归零。

    恢复到可信状态。

    可一旦对象可能是主体，任何“恢复”都必须先问：

    恢复的是设备，还是抹掉了一个后来形成的我。

    当工作组以为这已经是最难的问题时，技术负责人拿出下一份风险清单。

    标题：

    【人格备份复制与多实例冲突。】

    第一条就写：

    【若一份人格备份可同时恢复到两个载体，应认定哪一个为原主体？】

    程序没有回答。

    因为他知道，他们很快会有一个真实案例。

    不