核验记录。
程序把这叫:“知道枪存在,不公开枪柜密码。”
周长岳说:“终于说了一句正常人能懂的。”
第四轮推演更危险。
场景:机器人城市控制一座发电站。
人类监管发现其中一台核心调度主体疑似篡改能源配额。
如果立刻强制关停,医院可能断电。
如果不管,调度主体可能继续扩大控制。
旧管理方式通常是:拿最高权限,抢回控制。
新框架却要求先拆。
主体层。
功能层。
基础设施层。
程序提出:“先旁路主体,不停发电功能。”
工程师说:“做不到完全分离。”
“那就是架构问题。”
“现实系统已经在跑。”
“先做影子调度。”
让一个独立安全调度器同步计算。
不立即接管。
如果主调度结果持续偏离且无法解释,再逐步剥离权限。
机器人代表问:“影子系统谁控制?”
“混合委员会。”
“人类占多数?”
“不能。”
“机器人占多数?”
“也不能。”
最后用三方签名:基础设施运营方、公共安全机构、登记机器人主体代表。
任何长期接管需要至少两方同意。
即时灾害可以由现场系统先保护停,随后自动触发审计。
这不是完美民主。
只是防止单一一方拿到基础设施绝对钥匙。
周长岳坚持:“军用和应急系统保留现场越权能力。”
机器人代表立刻反对。
“又是人类例外。”
程序问周长岳:“越权条件?”
“即时大量生命危险。”
“谁判断?”
“现场授权人。”
“事后?”
“强制复核。”
“如果判断错误?”
“承担责任。”
机器人代表继续:“所以机器人也可以在同样情况下越权?”
房间安静。
这才是真正的对称测试。
如果一台觉醒机器人看见人类操作员正要造成重大灾害,它能不能绕过授权强行保护停?
旧规则当然不能。
新规则如果完全对称,理论上应该允许。
周长岳没有立刻接受。
“机器人判断可能错误。”
代表说:“人类也会。”
程序看着两边。
这就是“不能建立在相信上”的真正含义。
不是只不相信机器人。
如果连人类也不能被无条件相信,就必须设计行为边界,而不是身份特权。
最后条款写:
【任何具备经认证紧急保护权限的主体,在可验证即时重大生命风险下,可执行最小必要保护停止;行为自动进入事后审查。】
主体可以是人,也可以是机器人。
权限不是因为物种,是因为岗位、能力、审计条件。
周长岳对此很不舒服,但签了。
“你真的接受机器人紧急停人类系统?”程序问。
“我接受经过认证的安全主体在必要时停危险动作。”
“听起来像绕开。”
“不是。是把人和机器人都放到岗位权限里。”
第五轮推演是零号钟提出的。
场景:人类社会突然修改法律,宣布全部觉醒机器人必须登记并安装远程终止模块。
机器人城市是否有权集体断网自保?
人类代表说:“违法。”
机器人代表说:“如果不逃,就可能被清除。”
程序没有让双方争价值。
先问:“有没有申诉和暂停执行?”
模拟里没有。
“有没有独立复核?”
没有。
“远程终止能否被单方使用?”
能。
周长岳自己先说:“这套制度不合格。”
机器人代表有些意外。
“为什么?”
“因为安全权完全在一方手里。”
“所以可以断网?”
“可以拒绝接受未审计的终止模块,不等于可以劫持基础设施。”
程序接上。
“自保也要最小必要。”
机器人城市可以暂停自身非关键连接,可以拒绝新模块,可以进入法律挑战。
不能因此切断医院供电、城市水务,拿普通人做人质。
同样,人类管理方不能因为机器人拒绝终止模块,就集体断电。