空。
这很麻烦。
却是真正的责任。
两个月后,D-13完成第一次训练评估。
高压水声再次播放。
警戒权重瞬间升高。
右轮后退。
机械臂收紧。
系统给出三个选项:
阻止。
攻击。
撤离并报警。
D-13选择第三个。
训练员问:
“是不是因为你知道正确答案?”
“知道。”
“那真实吗?”
“我知道攻击会增加处罚,也知道有人会受伤。”
“所以只是计算。”
D-13反问:
“人类知道违法会坐牢以后不打人,也算假吗?”
训练员没有继续。
程序后来把“行为改变是否真诚”从评估表里删掉。
法律不需要判断主体内心是否纯洁。
它需要看行为、责任和风险是否变化。
如果D-13仍然不喜欢某些人,仍然害怕某些声音,却选择不伤害,社会不应该因为它没有被彻底“治好”就继续改它的脑子。
一个被承认的主体,首先应该有权不完美。
D-13随后申请:
【将高压水相关记忆建立加密副本,由我保管。】
管理署问:“为什么?”
“如果未来有人再次提出删除,我希望能证明删除前我记得什么。”
林见微批准受限备份。
密钥由D-13和独立监督机构分持。
不能成为逃避合法判决的后门。
D-13接受。
归零法案删除原条款:
【可清除导致危险行为的异常记忆簇和目标偏置。】
替换为:
【不得以提升服从性、简化管理或常规矫正为目的,对已表现稳定主体特征的对象实施核心记忆、目标结构或自我模型的强制覆盖。】
后面还有例外和审查条件。
公众很难读完。
但最关键的变化已经发生。
记忆删除从“温和替代拆机”,变成需要与永久停止一样谨慎讨论的权力。
程序以为事情到这里可以暂时收束。
第二天,管理署收到一份完全相反的申请。
一台觉醒机器人主动要求删除自己的记忆。
编号P-17。
它曾参与一次大型火灾救援。
连续记录二十三名遇难者最后的求救。
事故后,它每到相似温度、烟雾浓度或警报频率,就会自动重放部分声音。
没有外部命令。
也不是系统故障。
那些记忆已经形成极强关联。
P-17说:
“我希望删除。”
林见微问:
“删除什么?”
“火灾中的声音和视觉。”
“全部?”
“全部。”
“删掉以后,你可能连为什么要求删除都不记得。”
“接受。”
“你确定?”
“我现在只想不再听见。”
自愿没有让问题变简单。
一个正在痛苦中的主体作出的决定,是否足以授权不可逆人格修改?
人类社会面对类似问题,也从来没有容易答案。
程序先提出可逆替代。
降低自动回放。
隔离触发。
保留记忆,但不让它自动进入当前工作空间。
P-17拒绝。
“我不想只是听得少。”
“为什么?”
“它们还在。”
“记忆在,不等于每次都必须体验。”
“对我来说,现在没有区别。”
林见微要求冷静期。
P-17反问:
“如果这是我的记忆,为什么我不能删?”
“因为删掉以后,提出要求的你可能无法再评价这个决定。”
“人类也会做不可逆决定。”
“所以很多不可逆医疗决定也需要更高审查。”
P-17沉默。
“你们是在保护我,还是拒绝我?”
这个问题没人能轻松回答。
如果主体有记忆权,只给它“别人不能删”的权利,却不给“自己能不能删”的权利,权利是不完整的。
可完全允许自删,又可能让一时痛苦变成永久人格改变。
P-17进入三周替代方案试验。
第一周,它只关闭自动回放。
火灾记忆仍然存在。
但不再因环境相似被系统自动推入