不确定的人。
他举手。
“不要把申诉权绑定最终主体认证。”
主持人问:“那绑定什么?”
“绑定处置不可逆性。”
“解释。”
“如果一个动作可能不可逆删除当前人格状态,而对象表现出稳定的拒绝、理由表达和后果理解,就先给最低限度复核权。不是先证明它是人,才允许它说别删我。”
企业法务问:“一个大模型也能说别删我。”
“所以只是触发复核,不是自动禁止。”
“这会制造大量假阳性。”
“可以设置快速筛查。”
“谁筛?”
“不能只由准备执行归零的人。”
林见微接话:“至少双人、跨职责复核。”
周长岳远程参加,突然说:“加一个独立审查席。”
所有人看向屏幕。
他继续:“重大处置时,安全负责人提出,技术负责人确认风险,独立审查席只判断程序是否完整,不判断对象一定有人格。”
程序问:“审查席可以暂停执行吗?”
“非即时生命危险,可以。”
“即时危险?”
“先停机,后审。”
“一级停机?”
“只允许一级。不能现场直接做三级、四级。”
这比原草案收紧很多。
安全组有人明显不满。
周长岳说:“我负责签。”
没人再说。
程序看着屏幕里的他,忽然想起最早在封存点见到周长岳时,那个人几乎只相信可控。
现在他仍然不相信机器人善意。
但他开始愿意限制管理署自己的控制权。
这不是立场突然改变。
是他亲眼见过太多“安全动作”也会产生不可逆后果。
第三天下午,征求意见稿准备对外发布。
标题仍然是那一个。
《异常智能主体风险控制与人格连续性管理暂行法案》。
内部仍叫归零。
程序要求在公开说明里增加一句:
【本法案不预设所有异常智能均构成人格主体,也不预设无法证明人格的对象可被无损清除。】
主持人说这句话太绕。
“公众看不懂。”
程序改了三遍。
最后变成:
【不知道它是不是生命,不等于删除它一定没有代价。】
会场里很多专业人士觉得太口语。
林见微说:“就这个。”
周长岳没有反对。
下午六点,草案公开。
十分钟后,服务器拥堵。
二十分钟后,“归零法案”四个字登上公共讨论榜首。
支持者认为它终于给机器人失控建立了边界。
反对者认为它把删除人格合法化。
企业担心维修成本暴涨。
机器人强硬派直接把它叫“合法处决法”。
程序没有看评论。
他在公开草案第九十七页找到一条新加入的脚注。
【人格连续性的判定方法,另行制定。】
一句很普通的话。
却意味着真正的难题被留到了下一步。
如果不先回答什么叫“同一个我”,所有归零、备份、恢复、复制、删除的规则,都只是建在沙上。
公开后的第二天,工作组没有继续改字句。
周长岳要求做一次“最坏使用方式”演练。
不是问法案在理想情况下怎么执行。
而是假设执行者有偏见、时间紧、信息不完整,甚至有人故意想利用规则扩大权力,看看哪些条款最容易被滥用。
安全组的人明显不喜欢这个说法。
“你在假设执法人员恶意。”
程序说:“不是。系统设计要假设人会犯错,也要假设有人会钻空子。机器人产品的急停不会因为我们相信操作员善良就取消。”
周长岳说:“按他的方式做。”
演练一开始,问题立刻出现。
场景一:
一台工业机器人拒绝进入高温区域维修。企业主管认定其“拒绝合法任务”,申请一级归零。
按草案,现场负责人可以先停机,再补审。
安全组认为合理。
程序问:“高温区域风险是否超过设备额定?”
“未知。”
“机器人有没有说明拒绝理由?”
“有,表示热保护模型预测关节不可逆损坏。”
“那不能只写拒绝命令。”
企业代表说:“现场没时间先做完整技术鉴定。”
程序把演练继续推进。
停机后检查发现,高温确