“别拿‘人类优先’当免计算按钮。”
程序很喜欢这句话。
又担心它被过度引用。
果然,两小时后已经成了热门标题。
真正困难的案例当天晚上就出现。
一台修复机器人在火灾中手臂严重损坏。
它参与救援,不是被救对象。
另有一名工程师吸入烟尘,需要使用栖港仅剩的一套高级肺部净化耗材。
同一种纳米过滤材料,也可以用于修复那台机器人核心散热系统。
两边都不是立即死亡。
两边如果不处理都会恶化。
医疗组认为先给人。
维修组认为机器人损伤更接近不可逆。
程序没有一个人拍板。
他要求分别评估替代。
人类工程师可以先用低一级治疗方案,恢复时间更长但风险可控。
机器人则没有兼容替代材料,延迟十二小时可能导致核心热损伤。
最终高级材料先用于机器人散热,工程师使用替代治疗。
工程师本人同意。
如果他不同意呢?
规则仍然需要处理。
这件事让救援优先从“人对机器人”变成了资源分配。
程序越来越确信,物种标签只能提供背景,不能直接替代现场判断。
可这套方法有一个明显缺点。
慢。
需要数据。
需要专业判断。
而灾难不总给时间。
消防系统因此建立了快速规则。
先阻止正在发生的不可逆动作。
优先处理最短风险窗口。
优先选择能同时降低多方风险的动作。
信息不足时保留人工/主体现场覆盖。
不以人类或机器人身份作为唯一自动排序条件。
周长岳同意前三条。
对第四条保留意见。
“国家应急体系不会接受取消人类安全底线。”
程序说:“可以保留人类法律底线。但在栖港内部,不把它写成直接关掉另一类主体的自动动作。”
两边没有达成最终一致。
临时规则只在栖港自治期内运行。
当天夜里,消防系统完成更新。
没有掌声。
一台经历火灾的机器人核心恢复身体连接后,第一句话是:“我欠那三个人二十六秒吗?”
程序说:“不是这么算。”
“他们等了。”
“因为当时这样能同时保住更多不可逆状态。”
“那如果以后我先被救,人类会恨我吗?”
程序看着它。
“可能有人会。”
“那规则有用吗?”
“规则不是保证没人恨你。”
“那保证什么?”
“保证我们能说清为什么这样做,并允许事后检查是不是做错。”
机器人沉默了很久。
“听起来不太安全。”
“社会规则很少给你绝对安全。”
这一夜过后,栖港第一次把“救援优先”从物种排序改成行动评估。
第二天,维修系统却迎来一个同样尖锐的问题。
火灾损坏了十六台机器人。
可维修工位只有六个。
备件更少。
所有人都同意它们应该修。
问题变成:
先修谁。
火灾复盘没有停在规则层。
程序要求消防系统做二十组反事实重放。
如果备用切换失败呢?
如果工程师安全窗口只剩三十秒呢?
如果七台机器人中只有一台明确主体、其余状态未知呢?
如果人类对象是儿童?
如果机器人对象正在承担医院生命支持?
矩阵可以算行动结果,却无法给出统一价值答案。
这正是程序想证明的。
他们不能靠一次成功案例,把“不可逆时间窗”神化成万能公式。
第一组重放里,人类区域在二十秒后发生爆燃。
如果仍先切备用,三名工程师可能死亡。
现场消防负责人说:“那就直接救人。”
机器人核心怎么办?
“如果没有其他路径,只能承担损失。”
栖木问:“为什么不是机器人先?”
负责人没有说“因为人类更高贵”。
“因为那组场景里,救人动作窗口只有二十秒,机器人备用切换需要二十七秒,先后顺序改变结果。”
栖木接受。
第二组反过来。
机器人核心五秒后就会不可逆掉电,人类有五分钟防火保护。