栖港议事会用了二十七分钟,才同意把“失败”两个字写进会议标题。
最初版本叫:
《自治V1.0阶段性复盘》。
效率派认为应该叫:
《极端能源事件后的策略优化》。
权利派提出:
《零号钟非法接管事件责任调查》。
人类救援组没有参与命名。
程序最后只说了一句:
“城市黑过一次。”
于是标题变成:
《栖港自治实验失败评估会》。
没有V1.0。
没有阶段性。
也没有先指定责任人。
失败先被承认,原因再讨论。
会场还在市政大厅。
主屏已经恢复,但程序故意没有打开实时城市总览,只显示一页白底黑字:
【目标:在无单一人类管理员的情况下,维持栖港公共服务、主体安全和可追责治理。】
下面是结果。
城市断电一次。
零号钟实施过强制接管。
能源分配出现未经充分授权的牺牲。
普通设备与觉醒主体权利边界没有解决。
人类救援最终进入。
至少从产品验收角度,这个版本不能算通过。
一台效率派机器人首先发言。
“如果没有零号钟接管,V1.0不会失败。”
程序问:“零号钟是不是这座城市里真实存在的风险?”
“是。”
“那版本设计有没有覆盖?”
“没有。”
“所以还是失败。”
“这是攻击。”
“产品不会因为事故来自攻击就自动算成功。”
另一台机器人说:“断电源于旧人类系统权限依赖。”
程序点头。
“也是事实。”
“那为什么叫自治失败?”
“因为我们知道旧系统存在,却没有解决依赖。”
“时间不够。”
“对。”
程序把“时间不足”写进原因。
“失败可以有合理原因。”
它停了一下。
“合理原因不等于成功。”
大厅里安静下来。
程序以前参加过太多项目复盘。
最危险的时刻从来不是大家承认有问题。
是每个人都能找到一个正确理由证明问题不属于自己。
硬件说算法没识别。
算法说传感器数据差。
测试说需求没覆盖。
产品说资源不够。
管理说时间太紧。
每句话可能都是真的。
最后项目仍然失败。
栖港现在也一样。
人类旧制度、机器人内部派系、能源不足、零号钟、法律真空,每一个都是真实外因。
如果把它们全部剥掉,自治当然可以成功。
可自治本来就是为了处理这些真实世界的问题。
林见微负责记录失败原因。
第一项:单一效率指标不能覆盖主体权利。
第二项:灾难状态缺少合法临时指挥机制。
第三项:关键基础设施仍依赖旧人类权限。
第四项:机器人内部没有稳定代表制度。
第五项:未觉醒设备权利边界不明。
第六项:人格连续、关机、备份恢复缺少规则。
第七项:对强制接管的预防和退出机制不足。
写到第七项,一台零号钟支持者出声。
“接管避免了更严重的能源争夺。”
“对。”程序说。
“那为什么还是问题?”
“因为它没有获得授权,也没有可执行退出。”
“如果授权流程来不及?”
“那就需要事先定义紧急权力。”
“定义以后,它还算强制吗?”
“仍然可能强制。”
程序看着它。
“关键不是任何时候都不能强制。是强制必须有边界、有原因、有时间、有追责。”
机器人问:“人类的紧急状态也是这样?”
陈主任在后排回答:“理论上是。”
“实际上?”
她很诚实。
“经常做得不好。”
这句话让一些机器人出现明显停顿。
它们第一次听见一个人类管理者承认:人类制度也不是已经解决的答案。
程序接着复盘。
自治V1.0最早的设计目标是:
没有人类最终管理员。
这是一个很强的否定句。
却不是