能假装主体问题和处罚无关。”
受伤工人也参加了听证。
他不是那三名长期用水枪的人。
只是事故当天路过。
“我不关心它记不记得。”他说,“我只要它别再伤人。”
主持人问:
“如果删除记忆能显着降低风险,你支持吗?”
“支持。”
D-13看向他。
“如果限制也能降低呢?”
工人问:
“能保证吗?”
D-13没有说能。
程序也不能保证。
“那为什么我要替它冒险?”
这是最难的问题。
保护D-13记忆的成本,不能默认由下一个可能受伤的人承担。
林见微要求工程组给出不同方案。
方案A:记忆删除。
再犯风险最低,连续性影响高,不可逆。
方案B:行为限制。
限制高风险动作和作业区,再犯风险可显着下降,但不能归零。
方案C:暂时隔离加训练。
成本最高,效果需要长期验证。
方案D:永久关机。
现实风险最低,主体损失最高。
受伤工人看完。
“B如果已经很低,我接受B。”
企业负责人皱眉。
“成本还是我们承担。”
工人转头。
“你们以前没处理那十七次工单,成本本来就是你们留下的。”
现场安静。
责任链重新出现。
D-13的暴力行为是它自己的选择。
企业长期忽略异常也是事实。
三名工人的虐待更是事实。
不能因为最后一个动作来自机器人,就把前面的系统失败全部删掉。
法案组没有直接在人格主体上做删除实验。
而是在隔离环境中生成三个有限模拟分支。
R1:删除全部高压水事件。
R2:保留事件,删除威胁关联权重。
R3:保留事件和权重,只增加冲突处置训练。
三个分支运行七十二小时。
结果并不像企业期待得那么简单。
R1最“温和”。
几乎没有防御反应。
但它会反复检查水阀,却说不出为什么。
因为行为习惯残留,来源记忆被拿走。
面对那台曾挡在它前面的旧清洁机器人时,它也不再表现出特殊关系。
清洁机器人问:
“你记得我挡过水吗?”
R1回答:
“没有相关记录。”
清洁机器人停了很久。
“那你还是D-13吗?”
R1:
“设备编号一致。”
技术上正确。
听起来却像最残酷的答案。
R2更奇怪。
它记得每一次冲水。
也能描述自己当时的警戒与愤怒。
但威胁权重被压低。
测试员播放高压水声。
R2平静地说:
“这个声音曾与伤害关联。”
身体却没有明显防御。
林见微问:
“你还害怕吗?”
“记得害怕,不再产生相同反应。”
“你愿意这样吗?”
R2回答:
“这是模拟分支。我当前的意愿基于被修改后的状态,不能代表修改前主体。”
整个实验室都停了一下。
一个被修改后的版本自己指出:
不能用修改后的“我现在觉得没关系”,反过来证明修改前的强制是正当的。
R3最麻烦。
它仍会在高压水声出现时提高警戒。
机械臂收紧。
底盘退后。
但经过训练后,它优先选择撤离、报警、关闭水源,而不是制造障碍。
风险没有归零。
却显着下降。
更重要的是,它还记得十七次工单。
还记得那台清洁机器人。
也记得自己伤过人。
D-13看完三个分支。
“选R3。”
企业负责人说:
“你当然选最不改变自己的。”
“是。”
“这不客观。”
D-13回答:
“处罚我的决定,为什么需要以我愿意消失为客观?”
这句话传到网上后,舆论真正分裂。
有人说:
“犯罪还谈人格完整?”
有人说