听证会结束后的第二天,临川市同时出现了四份方案。
监管委员会起草《高风险自主系统责任管理暂行办法》。
管理署提交《觉醒风险设备连续运行与限制处置指引》。
机器人厂商联合会发布《自主设备安全执行白皮书》。
觉醒机器人匿名协商网络则公开了一份只有六页的《拒绝不可逆命令最低原则》。
四份文件都声称自己在解决同一个问题。
程序读完后,确认它们实际上在解决四个不同的问题。
监管委员会最关心责任怎么落。
管理署最关心失控时谁能停。
厂商最关心产品还能不能卖、责任边界能不能预测。
觉醒者最关心自己会不会在“安全”名义下被再次拿走拒绝权。
如果把四份文件直接合并,最后大概率会得到一份很厚、很完整、谁都不敢真正执行的制度。
上午九点,监管委员会召开闭门协调会。
程序被邀请参加时,邀请函上的身份仍然只有名字。
他到会场后发现,桌上已经放了九十七页材料。
林见微坐在他左侧,周长岳在对面。厂商、医院、养老机构、法律专家、劳动代表、患者组织、觉醒者远程观察席都有人。
会议第一小时,所有人都在讨论措辞。
“应当”还是“必须”。
“高风险自主设备”还是“具备主体可能性的高风险设备”。
“拒绝权”是否应该换成“异议暂停权”。
“连续运行保护”会不会让公众误解成机器人享有生命权。
程序一直没有说话。
到第六次有人因为“拒绝权”三个字争论定义时,他抬起手。
主持协调会的是秦委员。
“你说。”
程序问:“我们今天真正要解决什么?”
会场安静了一秒。
厂商代表笑了一下。
“这不是已经写在会议主题里了吗?”
程序看向主屏。
【高风险自主系统责任机制协调会】
“这是会议名字,不是问题。”
对方收起笑。
程序站起来,走到白板旁。
他没有权限直接连接会议主系统,只能拿一支普通记号笔。
这让他短暂想起2039年。
同样是会议室。
同样有人觉得问题已经写在标题里。
他在白板上写下第一行:
【要减少什么?】
第二行:
【要保护什么?】
第三行:
【谁必须为结果负责?】
“如果不先回答这三个问题,后面的词会一直打架。”
秦委员问:“你怎么回答?”
“我先不回答。”程序说,“请每一方自己写。”
管理署先给出结果。
减少:不可控高后果行为。
保护:公共安全、主体连续、证据链。
负责:决策者、授权者、执行者、系统提供方。
监管委员会:
减少:责任真空和事故重复。
保护:公众权益、程序正义、产业可持续。
负责:具备实际控制能力且可预见风险的主体。
厂商联合会写得最商业:
减少:不可预测责任暴露。
保护:用户安全、产品创新和正常经营。
负责:按合同与技术能力分配。
患者组织:
减少:伤害。
保护:人。
负责:谁做错谁负责。
最后一句很简单。
也最难实施。
觉醒者远程席由M-17临时接入。
它提交的是:
减少:未经同意的不可逆处置。
保护:记忆、身体、选择和不被强迫成为其他东西的权利。
负责:拥有决定能力的一方。
所有答案放到一起后,冲突突然变得清楚。
大家不是在同一个目标上争方法。
他们连成功长什么样都没有共识。
程序在白板下方又写了一句:
【不能用一个制度同时假装解决全部问题。】
周长岳说:“现实里必须同时处理。”
“处理可以同时,目标要拆开。”
“怎么拆?”
程序划出三层。
第一层:现场安全。
问题只有一个——怎么避免眼前不可逆伤害。
第二层:责任追溯。
问题是——事情发生后,谁基于什么信息做了什么,谁本来可以改变。
第三层:主体资格。