意。”
“人类社会有锁、有警察、有法院、有权限、有枪、有隔离。”
“机器人社会也可以有。”
“那就写。”
周长岳把一页空白推过来。
“别只写‘不得’。写怎么阻止。”
程序没有马上动。
“为什么找我?”
“因为你最擅长把原则变成状态机。”
“你前几个月不是最烦这个?”
“我烦你把所有东西都叫状态机。”
程序差点笑。
周长岳继续:“但这次需要。”
两人第一次不是站在听证会两边。
而是对着同一张空白页面。
程序先写:
【正常态】
主体自由运行,只受普通法律与安全规则约束。
【风险态】
出现可验证异常,限制高风险接口,保留主体核心运行。
【紧急态】
存在即时重大伤害风险,允许强制运动停止、网络隔离、权限降级。
【人格终止级】
永久关机、核心记忆清除、人格重置,只能在极高门槛下执行。
周长岳看完。
“还是不够。”
“哪里?”
“谁有权切状态?”
“按风险级别。”
“具体。”
程序写:
正常到风险:两类以上可验证异常,或单个高危事件。
风险到紧急:即时伤害指标触发,可由现场授权人先执行,事后复核。
紧急到人格终止:不能现场直接跳,必须进入独立审查。
周长岳摇头。
“如果一个军用机器人正在攻击,只有永久熔断能停呢?”
“那是物理紧急处置,不是人格处罚。”
“区别?”
“目的和事后处理。”
程序说。
“现场为了救人可以摧毁身体。事后不能把‘摧毁身体’自动写成‘合法人格清除’。如果有备份或恢复可能,还要按主体规则处理。”
周长岳盯着他。
“你连把它炸了以后都想保留申诉?”
“如果还有主体存在,为什么没有?”
“麻烦。”
“现实。”
周长岳没再争。
他从抽屉里拿出一个旧式物理钥匙。
不是象征。
是真钥匙。
“认识吗?”
程序看了看。
“硬隔离授权钥匙?”
“早期高自治系统用的。”
“现在还在?”
“少量。”
“为什么给我看?”
“这东西最大优点,是网络被攻破也能用。”
“最大缺点,是谁拿到谁有权。”
“对。”
周长岳把钥匙放桌上。
“我年轻时很喜欢这种东西。”
“现在呢?”
“现在也喜欢。”
程序看他。
“但我知道它不够。”
这是周长岳第一次承认自己的偏好。
不是某个悲剧让他仇恨机器人。
而是一种工程直觉。
能物理切断,就比承诺可靠。
能离线执行,就比云端权限可靠。
安全不能建立在相信上。
问题是,单边钥匙同样需要被相信。
相信持钥匙的人不会滥用。
周长岳显然也知道。
程序问:“你真正想要什么?”
“一个不需要相信你,也不需要你相信我的系统。”
“做不到。”
“为什么?”
“所有制度最终都有人执行。”
“那就尽量把信任变成可验证。”
这次轮到周长岳点头。
“这就是我要的。”
程序继续翻旧档案。
第四起事件,责任主体是人。
一家重型化工厂的安全主管怀疑两台高自治巡检机器人“出现异常协作”。
没有攻击。
没有违规外联。
只是两台设备连续三次在同一高风险区域拒绝进入。
主管担心它们共享了错误模型,直接使用最高权限远程关停。
关停以后,现场失去唯一能进入腐蚀区的巡检能力。
四十分钟后,一条老化管线破裂。
两名人类维护人员在人工确认时受伤。
事后调查发现,机器人拒绝进入的原因正是传感器已经识别到异常气体。
主管没有看完理由。
只看见“拒绝执行”。