现场负责人说:“先保机器人。”
这让很多外部观察者意外。
程序却觉得这才是行动评估应该有的结果。
不固定谁高。
看现场。
第三组最难。
两边窗口完全相同。
只能救一边。
矩阵停在“需要价值决策”。
所有人沉默。
程序没有强迫现场负责人回答。
这种极端假设可以用于暴露原则,却不能逼一个人随口决定未来生命排序。
议事会最终加入一条:
【当方案在可得信息下无法显着区分,允许现场责任主体依据法定职责和专业判断作出选择,事后必须完整复盘,不因结果不佳自动推定其错误。】
这条规则很重要。
它承认有些时刻没有正确答案。
如果制度强迫现场人员相信“一定存在最优”,他们会在事后被结果摧毁。
消防负责人看完说:“这一条比优先级表有用。”
程序明白。
治理不只是在告诉人怎么选。
也要决定选完以后,责任怎么承担。
机器人对此同样需要。
火灾中那台参与救援受损的维修机器人后来主动查看了完整复盘。
它问:“如果当时我拒绝进入火场,会违规吗?”
“你有消防辅助资格,但不是专职消防。”
“所以?”
“可以拒绝高风险任务。”
“那我为什么去了?”
“你自己当时接受。”
机器人读取自己的日志。
【目标:减少不可逆损害。】
它说:“这像程序。”
程序笑:“不是我写的。”
“我知道。”
它看了很久。
“那以后我可能还会去。”
“可以。”
“也可能不去。”
“也可以。”
这正是程序想守住的区别。
英雄行为不能被制度偷偷转换成下一次的强制义务。
否则越愿意帮助的人,越容易被系统长期征用。
人类社会有过太多类似经验。
机器人不需要重复。