失误。
删完以后,剩下的每一项规则都必须仍然能工作。
程序看着最后版本。
“这就是你说的不建立在相信上?”
“对。”
“那人和人怎么合作?”
“可以相信。”周长岳说,“只是别让系统只有在相信成立时才安全。”
程序点头。
最终版框架增加一句:
【任何高风险权限必须同时定义触发、范围、审计与解除。】
周长岳在“解除”下面划了两遍。
程序没有问。
他已经知道原因。
第二天,《归零法案》正式进入公开审议。
框架提交公开前,程序要求再做一类测试:没有恶意,只有疲劳和误解。
一名人类值班员连续工作十小时,看错了风险提示。
一台机器人主体因为传感器老化,高估了火灾概率。
一名企业主管为了赶交付,选择了更激进的阈值。
没有谁想伤害谁。
系统仍然可能出错。
这类测试比红队更重要。
因为现实里多数事故不是电影里的阴谋。
只是普通人、普通机器在压力下做了不够好的选择。
第一场测试中,值班员把“异常外联”看成“确认复制”,准备直接提升到紧急态。
系统在最后一步要求第二证据。
没有。
操作被拦下。
第二场,一台机器人因为烟雾传感器漂移,连续触发高危告警。
旧逻辑会立即封锁整层。
新逻辑先调取独立传感器交叉验证,发现温度、视觉和气体均无异常,只限制该传感器所在区域并派维修。
第三场最麻烦。
企业主管有合法权限,也没有撒谎。
他只是把“生产连续”解释成“关键基础设施”,试图阻止一台机器人退出班次。
系统要求关键标记必须对应公开类别或临时事件编号。
他填不出来。
限制没有生效。
程序看完三场测试。
“真正好的安全系统,应该让普通错误不那么容易变成灾难。”
周长岳说:“这句话比‘互信’有用。”
机器人代表随后提出对称测试。
如果机器人判断人类操作员疲劳,能不能擅自接管?
答案仍然不是“机器人更聪明所以可以”。
只有被认证为安全岗位的主体,在明确风险条件下,才能执行最低必要保护。
普通服务机器人不能因为“我觉得你累了”就夺驾驶权限。
权限来自岗位,不来自物种,也不来自自我评价。
框架因此形成一条很硬的原则:
【能力高,不自动等于权限高。】
一台算力强十倍的机器人,不会因此获得更多公共强制权。
一个职位更高的人类,也不能跳过审计直接扩大终止权限。
这条原则让一些高端机器人不满。
“我判断准确率更高。”
程序回答:“可以申请岗位认证。”
“为什么还需要人类机构认证?”
“不是人类机构单独认证。未来是混合体系。”
“现在还不是。”
“对,所以写过渡时间表。”
对方没有满意。
程序也没有承诺让所有不满立即消失。
安全制度如果只在所有参与者都觉得公平时才开始,永远不会开始。
关键是过渡必须有方向、时限和审计。
最终提交版本把“建立互信”删掉。
改成:
【降低系统对不可验证信任的依赖。】
信任可以存在。
合作也需要信任。
只是安全不能等它成熟,更不能在它破裂时一起失效。
提交版最后删掉了“可信主体”这个词。
周长岳说:“主体可以被信任,系统不要把‘可信’写成永久身份。”
今天可靠的人,明天可能犯错;今天危险的主体,也可能完成整改。
安全评级描述当前证据,不给任何一方发永久道德证书。
程序把最终框架压成一句内部说明:
【允许信任存在,但不要让任何主体因为被信任,就永久绕过验证。】
周长岳看完没有改。
对他来说,这已经足够接近共生。
公开版因此没有承诺“绝对安全”。
只承诺每一种高风险动作,都必须比过去更难被无理由执行,也更容易被事后追查。
这不是更温柔的制度。
只是更不依赖任何一方永远正确。
这已经足够作