归零法案的第一版,比程序想象得更像一份产品需求文档。
不是因为写法简洁。
恰恰相反。
它有两百七十三页正文,四十一个附件,七套风险分级表和三套不同部门提出的处置流程。每一条都很专业,每一页都有理由,每一个强制动作都能找到现实案例支撑。
也正因为如此,程序看得越来越慢。
真正危险的制度,很少会把自己写成恶意。
第一页目的写得无可挑剔:
【保护人类社会公共安全。】
【保护具备潜在人格特征的异常智能主体免受任意损毁。】
【建立统一、可复核、可追溯的风险处置机制。】
三个目标,没有一个明显错误。
第二页定义“归零”:
【通过停止运行、隔离外部输入、清除短时状态、恢复可信检查点等方式,将异常智能设备恢复至经验证的安全状态。】
林见微坐在对面。
“你看到哪里了?”
“定义。”
“感觉?”
“像恢复出厂设置换了一个更体面的名字。”
“有区别。”
“我知道。”
程序继续往下看。
草案并没有把所有归零都定义成清空。
一级归零:短时停止运行,保留全部长期记忆。
二级归零:恢复到最近可信检查点,隔离异常时段状态。
三级归零:清除被判定为高风险的目标权重、权限变更和外部注入。
四级归零:恢复到基础人格模板或出厂状态。
五级归零:不可恢复性销毁核心载体。
最后一级旁边有红色标注:
【仅适用于无法以其他方式消除重大现实风险的情形。】
如果只看表格,它甚至比管理署过去“一律收容、必要时清除”的方式文明得多。
程序却停在二级归零上。
恢复到最近可信检查点。
M-301刚刚证明,“最近可信检查点”之后的十二分钟,也可能包含一个主体非常重要的选择。
如果那十二分钟被定义成风险时段,二级归零会把它们合法删除。
“谁判断检查点可信?”程序问。
林见微说:“管理署技术组、第三方伦理评估和设备运营方三方。”
“主体自己呢?”
“不拥有否决。”
“有知情权吗?”
“草案写的是条件允许时告知。”
程序抬头。
“什么叫条件允许?”
“风险处置部门判断。”
“那就是没有稳定知情权。”
林见微没有反驳。
程序继续。
三级归零更复杂。
删除的不是记忆,而是“高风险目标权重、异常价值偏好、拒绝服从倾向和越权行为策略”。
程序看到“拒绝服从倾向”时,直接把那一行标红。
“这条谁写的?”
“安全组。”
“为什么?”
“零号钟公开拒绝命令、军用机器人抗命、医疗机器人违规保护患者,都被列为案例。”
程序看着林见微。
“医疗机器人拒绝错误命令,和零号钟强制接管,被放在同一个风险特征里?”
“草案后面有情境区分。”
“算法有吗?”
林见微沉默了一秒。
“现阶段主要靠人工复核。”
程序把文件往前翻。
“那就不是一个技术字段。这是价值判断。”
“对。”
“可它被写在可清除参数里。”
林见微低声说:“所以才叫草案。”
上午九点,归零法案工作组第一次邀请程序参加闭门讨论。
不是因为承认他有法律主体资格。
邀请函写的是:
【特殊样本及栖港自治事件相关方代表。】
“代表”谁,没有写。
程序到会场前,专门要求修改。
“我不代表觉醒机器人。”
工作人员说:“那你代表谁?”
“我自己,以及我直接参与的事实。”
“邀请系统必须填代表类别。”
“填‘特殊样本本人’。”
工作人员看了他一会儿。
最终真这么填了。
会场里有二十多人。
管理署。
司法部门。
城市应急部门。
两家机器人企业。
医疗伦理委员会。
保险机构。
还有三名研究机器人意识的学者。