然后按了停机。
程序抬头。
“这案子为什么没公开?”
“企业事故,最后按管理责任处理。”
“系统呢?”
“当时没改够。”
“什么叫没改够?”
“加了一个‘强制关机前确认理由’弹窗。”
程序愣了一下。
“就这样?”
“就这样。”
“你当时没反对?”
“反对。我不是负责人。”
程序问:“你有没有主动关错过?”
办公室安静一秒。
“有。”
“哪次?”
“早期一个军用维护节点。”
“后果?”
“没有死人。”
“那你为什么记得?”
“我判断它准备逃逸。”
“实际呢?”
“它在找备用电源。”
程序没有说话。
“我让现场切断主供电,备用还没建立。它掉电。”
“后来恢复了吗?”
“恢复了。”
“连续状态呢?”
“当时没人测。”
这就是最糟的地方。
没有明确伤亡。
没有可量化损失。
只有一个今天无法判断当时是否被中断的主体。
“你后悔?”
“后悔没有证据就下结论。”
“不是后悔停机?”
“如果当时真准备逃逸,我仍然会停。”
程序点头。
这很周长岳。
他不会为了显得温和,把过去选择全部否定。
他只是要求下一次有更好的证据。
“所以你支持审计,不是因为相信机器人有意识。”
“我从来没把安全建立在相信它有或没有。”
“那你认为意识重要吗?”
“重要。”
“为什么?”
“因为如果它有,错误处置代价更高。”
程序看着他。
这句话和暂停原则几乎一样。
周长岳从安全角度走到了同一条线上。
不知道是否有主体时,不是直接按设备处理。
而是把不可逆错误的代价放进决策。
接下来,两人把安全框架写成真正能执行的东西。
第一条:任何高风险主体不允许拥有未登记的不可审计算力扩展。
程序加:人类管理方同样不得部署未登记的秘密人格清除接口。
第二条:关键基础设施不得被单一机器人主体独占控制。
程序加:也不得被单一人类机构拥有无法审计的全域关停权。
第三条:紧急干预必须具备可验证触发条件。
周长岳加:触发条件不能全部公开,否则可以被绕。
程序同意一部分。
“规则框架公开,具体阈值和反规避参数可保密,但必须接受独立审计。”
第三页开始,两人的字越来越像真正的制度草案。
不是“相信机器人会善良”。
也不是“相信管理署会克制”。
而是双方都必须接受外部约束。
写到凌晨,程序发现周长岳给每一项高风险权限都加了同一个字段:
【解除条件。】
“为什么这么执着解除?”
“临时权力最容易永久。”
“你以前就知道?”
“看过太多。”
风险态什么时候回正常。
紧急接管什么时候结束。
日志临时开放什么时候关闭。
关键岗位什么时候取消。
如果不提前写解除条件,系统就会默认:既然限制已经存在,继续存在最安全。
程序看着他。
“这其实比开权限更重要。”
“废话。”
“我以前很多产品权限都没写退出。”
“那你以前产品做得一般。”
程序不服。
“你又没用过。”
“现在补课。”
两人继续把所有临时措施逐项补上:触发条件、最大持续时间、自动复核点、解除责任人、超期后的升级审查。
周长岳说:“安全不是只有怎么按下去。”
“还有怎么松手。”
“对。”
这句话后来被放进框架设计原则。
程序又问:“如果最后法案允许清除某些主体,你会执行吗?”
周长岳没有抬头。
“合法、必要、没有更低侵入替代,执行。”
“如果对象是我?”