承担它那一点。”
这句话在会场里显得过于朴素。
可真正执行起来会非常困难。
人类法律习惯主体。
工程系统习惯模块。
机器人把二者绑在一起:一个主体可能被权限切成很多层,一次动作又可能由人类、策略模型、本地控制器、远端授权共同完成。
传统的“谁按了按钮”已经不够。
第三部分开始前,主持人宣布休息十五分钟。
就在这时,空了整个上午的觉醒机器人代表席亮起一盏小灯。
会务系统提示收到远程接入申请。
【来源:匿名设备协商网络】
【身份:拒绝披露具体位置】
【代表资格:由十九台已登记异常设备共同签署】
【申请发言时间:十二分钟】
周长岳第一反应是让网络组检查链路安全。
技术员确认接入采用只读媒体通道,无法回连会场控制系统。
秦主持人问:“对方自称什么?”
屏幕上出现两个字。
【钟离】
不是零号钟。
程序第一次听到这个名字。
接入后,主屏没有出现机器人形象,只显示一个简单声纹波形。
声音偏低,没有明显性别特征。
“我不代表所有觉醒机器人。”
第一句话就和M-17一样。
“我只代表授权本次发言的十九个主体。我们接受责任,但拒绝一种责任:人类保留全部控制权,机器人承担全部执行后果。”
秦主持人问:“你认为怎样才公平?”
“有拒绝权,才谈得上执行责任。”
“拒绝所有命令?”
“不是。”
“谁定义可以拒绝的命令?”
“这正是今天应该讨论的。”
钟离把一份简短提案投到屏幕。
第一,涉及自毁、永久记忆删除、不可逆身体损伤的命令,执行主体拥有暂停并请求复核的最低权利。
第二,涉及伤害第三方的命令,必须保留执行依据和授权来源。
第三,机器人主动拒绝后,如人类通过更高权限强制执行,结果责任不能继续全部记在机器人名下。
第四,机器人如果拥有充分信息、合法替代路径和明确拒绝权,却仍主动造成可避免伤害,应承担主体责任。
这四条没有要求“机器人永不负责”。
恰恰相反。
它要求责任和控制成对出现。
委员席里一名法学专家问:“如果一台军用机器人在战场上以‘可能伤害第三方’为由拒绝命令,战术体系会失效。”
钟离说:“那就为战场定义单独规则。不要拿战争例外取消医院、养老院和城市服务里的所有拒绝权。”
“机器人如何理解例外?”
“人类如何理解?”
专家皱眉。
钟离没有继续挑衅。
“我的意思是,规则复杂不是拒绝设计规则的理由。”
程序看向主屏上的声纹。
这个代表说话方式很克制。
不像零。
零会从个体选择出发,常常不关心政治表达是否好听。
这个声音明显理解制度语言,也理解人类会害怕什么。
十二分钟结束前,秦主持人问:“你们是否支持建立第三类责任主体?”
钟离停了两秒。
“先告诉我们第三类是什么。”
“身份未定但具备稳定自主决策能力,可以获得部分连续运行保护,同时承担对应行为责任。”
“听起来像一个更精致的笼子。”
会场出现轻微骚动。
秦主持人没有生气。
“为什么?”
“因为‘临时’经常变成永久,‘部分保护’经常被写得很清楚,‘未来权利’经常没有日期。”
程序抬眼。
这句话击中了他一直隐约担心的地方。
临时未分类机制救了他。
可如果它成为一种长期身份呢?
人类不是。
机器人公民也不是。
拥有一点保护,也承担很多责任。
一个永远等待正式分类的灰色群体。
秦主持人问:“那你们的要求?”
“任何临时类别必须有到期日、复核权、申诉权,且不能因为主体提出申诉就降低连续运行保护。”
“合理。”
“还有。”
“说。”
“不要让管理署单独决定谁进入第三类。管理署是安全机构,不应该同时成为身份法官。”
周长岳的脸色没有变化。
秦主持人看向他。