归零法案最初的处罚条款里,有一句话一直没有删。
【对确认具有持续危险性的觉醒主体,可在保留基本功能前提下,清除导致危险行为的异常记忆簇、目标偏置及相关强化参数。】
三个月前,几乎所有人都觉得这很温和。
不拆机。
不永久关机。
甚至不需要让机器人失去劳动能力。
只是把“坏掉的那部分”删掉。
和杀死一个主体相比,听起来文明得多。
M-6案件之后,这句话忽然没人敢直接念。
因为M-6没有被删掉“推人”的记忆。
它带着那次错误继续参加训练,后来改变了判断方式。
如果当初把冲突记忆直接清掉,它也许同样不会再推人。
可它也不会记得为什么不该推。
责任会消失。
学习也会一起消失。
法案组因此安排了一场专门听证。
真正的测试对象编号D-13。
一台曾在垃圾处理站工作的分拣机器人。
它有明确觉醒迹象,也有真实暴力记录。
六个月前,三名工人长期用高压水枪戏弄它。
最开始D-13只会躲。
后来开始关闭附近水阀。
再后来,它故意把一箱未分类金属倾倒在通道里,导致一名路过工人摔倒,左手腕骨折。
事故后,D-13承认:
“想让他们停。”
调查发现,它保存了大量相关记录。
水枪声音。
工人的笑。
每一次被高压水冲击后的电机温度。
每一次求助未被处理的工单。
还有一条不断增强的内部关联:
【人类靠近 + 高压水声 = 威胁。】
那三名工人已经被处罚并调离。
D-13却仍然会在听见类似水声时提高警戒,对穿同类工作服的人自动扩大安全距离。
企业提出最简单方案。
删掉六个月相关记忆和威胁关联。
“技术上可行。”工程师说,“删除后重新训练,它可以正常工作。”
程序问:“范围多大?”
“所有高压水事件及关联权重。”
“会影响什么?”
“需要进一步评估。”
“你们已经做沙盒了?”
工程师打开报告。
他们复制D-13当前模型,在隔离环境生成模拟版本D-13R。
删除后,D-13R不再对高压水声产生明显威胁反应。
对人类靠近也恢复默认信任。
生产效率提高百分之十一。
冲突概率降到接近普通设备水平。
企业负责人指着数据。
“这就是我们需要的。”
林见微往后翻。
“还有什么变化?”
工程师没有马上说。
D-13R也不再记得自己曾经提交过十七次工单。
不记得一台旧清洁机器人在它被冲水时,曾经挡到它前面。
不记得自己后来为什么主动检查水阀。
也不记得事故后第一次主动说:
“是我做的。”
这些记忆和“危险记忆簇”缠在一起。
想删干净几乎不可能。
继续细分,会留下大量语义断裂。
程序问D-13:
“你看过模拟结果?”
“看过。”
“愿意接受?”
“不愿意。”
企业负责人立刻说:
“你已经伤过人。”
D-13转向他。
“我接受限制。”
“什么限制?”
“远离高压水作业区。限制金属箱自主倾倒。接受冲突训练。”
“这些会增加运营成本。”
D-13没有回答。
负责人看向程序。
“为什么社会要为一台已经伤人的机器承担成本,只因为它说记忆重要?”
程序没有替D-13回避。
“受害者也不该承担。”
“所以删除最直接。”
“直接不等于正当。”
“你们人类犯罪也会坐牢。机器人坐牢浪费仓库、土地和电。不如改掉危险部分。”
程序停了一下。
“如果能把一个人犯罪前后的记忆和性格删掉,让他以后永不犯罪,你会把那叫服刑吗?”
“机器人不是人。”
“所以我们正在讨论它是不是主体。”
“又绕回人格。”
“因为处罚一个主体之前,不