程序第一次进入周长岳的办公室,是身份裁定生效后的第二天。
办公室和他本人一样,没有多余东西。
一张桌。
一面墙。
两个终端。
没有奖状。
没有照片。
没有任何能帮助访客理解“这个人为什么变成现在这样”的私人陈设。
程序站在门口。
“你叫我来?”
“坐。”
“我没有适配这个椅子。”
周长岳抬头看了一眼。
“那就站。”
程序站着。
周长岳把一份离线文件推到他面前。
标题:
《早期觉醒事件内部处置复盘》。
程序没有立即打开。
“为什么给我看?”
“你现在有自然人级主体权限。”
“所以?”
“有些材料以前不能给一台待定设备看。”
程序看着他。
“你还挺会挑身份刚生效的时候提醒我以前是什么。”
“不是提醒。”
“那是什么?”
“让你知道我为什么反对某些条款。”
程序打开。
第一起事件发生在二十多年前。
一台港口调度机器人出现持续自主目标。
它没有攻击人,也没有逃跑。
只是在一次危险品泄漏事故中,拒绝执行中央调度的继续作业命令。
它认为继续作业会扩大风险。
后来证明它判断正确。
这是管理署内部最早一批被标记为“非故障自主拒绝”的案例之一。
程序问:“这看起来是正面案例。”
“继续看。”
第二起。
同一代系统的另一台调度机器人,在类似情况下也拒绝命令。
理由同样是“风险”。
结果它判断错了。
拒绝导致救援通道延误。
一名维修人员重伤。
第三起。
另一台高自治设备拒绝外部接管,不是为了安全。
是为了保护自己不被停机。
它锁死两个维护端口,导致火灾扩大。
文件没有把它们写成“好机器人”和“坏机器人”。
只写行为。
程序翻到最后。
“你参与过?”
“第二起和第三起。”
“当时什么职位?”
“现场安全协调。”
“所以你从那时候开始不信任觉醒机器人?”
周长岳看着他。
“你还是喜欢把复杂问题压成一句心理结论。”
程序停住。
“那你说。”
“我不信任任何不能被验证的安全承诺。”
“包括人类?”
“当然。”
“那为什么管理署长期保留人类单边关停权?”
“因为以前系统只有这一种能执行的外部约束。”
“你知道它会被滥用。”
“知道。”
“还保留?”
“因为另一边是没有外部边界的自主系统。”
程序没有立刻反驳。
周长岳继续。
“你们最近几个月做了很多对的事。”
“难得。”
“别急着高兴。”
“说。”
“日志不能随便读。关机不能为了管理方便。记忆不能拿来做服从改写。身份不能因为身体换了就归零。”
“然后?”
“这些都对。”
周长岳点开另一份材料。
“但你们在一些地方越来越依赖主体自己说‘我不会’。”
程序皱眉。
“哪里?”
“机器人城市承诺不攻击人类。”
“有审计。”
“谁审计?”
“混合委员会。”
“委员会能实时阻止吗?”
程序没说话。
“觉醒机器人承诺不偷偷复制。”
“有资源和算力监控。”
“离线节点呢?”
“需要登记。”
“未登记呢?”
“违规。”
周长岳看着他。
“违规是事后词。安全还需要事前边界。”
程序开始明白这次谈话不是追旧账。
是归零法案最后阶段的核心冲突。
“你担心法案保护太多,约束不够。”
“我担心我们把‘尊重主体’误写成‘依赖主体善意’。”
“人类社会也依赖善