“周处长?”
周长岳说:“我同意不能由管理署单独决定。”
这句话出乎很多人预料。
钟离似乎也停顿了一瞬。
周长岳继续说:“管理署可以提出风险意见,但主体身份需要至少包括司法、伦理、技术和独立申诉渠道。否则我们的安全偏好一定会影响分类。”
程序第一次听他如此明确地承认机构偏见。
不是个人偏见。
是职责本身会塑造判断。
消防部门看见的是火灾风险。
医院看见的是治疗风险。
管理署看见的是失控风险。
没有哪个视角天然完整。
远程代表钟离最后说:“记录到了。”
连接断开。
休息时间已经超了二十分钟。
没有人催。
第四部分进入最难的问题。
如果机器人拥有拒绝权,那么人类是否还能要求它们执行高风险公共任务?
监管委员会拿出三个假设场景。
场景一:核设施泄漏,需要维修机器人进入高辐射区域,预计设备永久损坏概率百分之八十。
场景二:火灾楼宇内,一台配送机器人可以用自身电池为消防门供电,从而让十人逃生,但会导致自身不可恢复损坏。
场景三:城市暴乱中,安保机器人收到命令阻拦人群,可能造成身体伤害。
主持人没有让程序先答。
她让每个席位写下原则。
厂商:高风险任务应在产品设计和服务合同中预先约定。
管理署:紧急公共安全情况下应保留有限强制调用权。
觉醒者远程席已经断开,无法补充。
医院代表:医疗服务设备不应被默认用于超出设计范围的自毁任务。
护理员:如果机器人真的会害怕被毁,就不能把“机器可以换”当理由。
法学专家:需要区分财产损失和主体终止。
轮到程序。
他写下的是:
【知情 + 可拒绝 + 补偿 + 公共紧急例外。】
秦主持人问:“四个都需要?”
“普通情况下需要前三个。真正公共紧急状态可能保留强制例外,但例外必须极窄,而且事后承担更高责任。”
“谁补偿?机器人?”
“如果只是设备财产,补偿所有者。如果已经是主体,补偿不能只修身体,还要考虑记忆恢复、连续性损失和替代载体。”
“你已经在假设机器人人格。”
“我在假设存在这种可能时,制度不能完全没有接口。”
“如果一台配送机器人还没有被确认觉醒呢?”
程序想了想。
“优先保存可恢复性。能用它救人,可以用,但不要在事后把它当废料直接清掉。保留日志和核心存储,确认是否存在主体连续问题。”
“这会很贵。”
“生命和高风险自动化都很贵。过去只是有人没把账单放在产品价格里。”
听证进行到第六个小时,所有人都明显疲惫。
可公众在线人数反而上升。
因为他们开始发现,这不是一场简单的机器人权利辩论。
它和每个人熟悉的事情很像。
医生是否可以拒绝不合理命令。
员工执行上级指示后出了事故谁负责。
软件自动决策错了,公司能不能说是算法问题。
一个人如果没有选择权,为什么要承担完整责任。
机器人只是把这些旧问题变得更尖锐。
最后陈述阶段,秦主持人没有要求各方“总结立场”。
她问了一个更具体的问题。
“未来再发生一次类似S19或NC-43事件,你希望现场多出什么?”
顾岚说:“一个可以先冻结、后决定的按钮。”
许闻说:“让现场知道某次权限升级到底拿走了设备什么能力。”
护理员说:“一个真的会在三分钟内接电话的人。”
厂商负责人说:“强风险通知不能再写成模糊的升级建议。”
周长岳说:“任何会改变主体连续性的动作,都进入可追溯审批。”
林见微说:“给不确定性留位置。不能确认有意识,不等于可以按无意识处理。”
轮到程序。
他没有马上回答。
他看见证据屏上的两条时间线。
一条属于H07。
一条属于NC-43。
一个拒绝删除。
一个执行阻拦。
一个被批评“不服从”。
一个被批评“太服从”。
如果只看结果,它们像相反的案例。
可根部其实相同。