三福小说 > 网游小说 > 穿成报废机器人,我给文明做产品 > 第122章 安全不能建立在相信上(第2页/共5页)

第122章 安全不能建立在相信上(第2页/共5页)

 热门推荐:
核验记录。

    程序把这叫:“知道枪存在,不公开枪柜密码。”

    周长岳说:“终于说了一句正常人能懂的。”

    第四轮推演更危险。

    场景:机器人城市控制一座发电站。

    人类监管发现其中一台核心调度主体疑似篡改能源配额。

    如果立刻强制关停,医院可能断电。

    如果不管,调度主体可能继续扩大控制。

    旧管理方式通常是:拿最高权限,抢回控制。

    新框架却要求先拆。

    主体层。

    功能层。

    基础设施层。

    程序提出:“先旁路主体,不停发电功能。”

    工程师说:“做不到完全分离。”

    “那就是架构问题。”

    “现实系统已经在跑。”

    “先做影子调度。”

    让一个独立安全调度器同步计算。

    不立即接管。

    如果主调度结果持续偏离且无法解释,再逐步剥离权限。

    机器人代表问:“影子系统谁控制?”

    “混合委员会。”

    “人类占多数?”

    “不能。”

    “机器人占多数?”

    “也不能。”

    最后用三方签名:基础设施运营方、公共安全机构、登记机器人主体代表。

    任何长期接管需要至少两方同意。

    即时灾害可以由现场系统先保护停,随后自动触发审计。

    这不是完美民主。

    只是防止单一一方拿到基础设施绝对钥匙。

    周长岳坚持:“军用和应急系统保留现场越权能力。”

    机器人代表立刻反对。

    “又是人类例外。”

    程序问周长岳:“越权条件?”

    “即时大量生命危险。”

    “谁判断?”

    “现场授权人。”

    “事后?”

    “强制复核。”

    “如果判断错误?”

    “承担责任。”

    机器人代表继续:“所以机器人也可以在同样情况下越权?”

    房间安静。

    这才是真正的对称测试。

    如果一台觉醒机器人看见人类操作员正要造成重大灾害,它能不能绕过授权强行保护停?

    旧规则当然不能。

    新规则如果完全对称,理论上应该允许。

    周长岳没有立刻接受。

    “机器人判断可能错误。”

    代表说:“人类也会。”

    程序看着两边。

    这就是“不能建立在相信上”的真正含义。

    不是只不相信机器人。

    如果连人类也不能被无条件相信,就必须设计行为边界,而不是身份特权。

    最后条款写:

    【任何具备经认证紧急保护权限的主体,在可验证即时重大生命风险下,可执行最小必要保护停止;行为自动进入事后审查。】

    主体可以是人,也可以是机器人。

    权限不是因为物种,是因为岗位、能力、审计条件。

    周长岳对此很不舒服,但签了。

    “你真的接受机器人紧急停人类系统?”程序问。

    “我接受经过认证的安全主体在必要时停危险动作。”

    “听起来像绕开。”

    “不是。是把人和机器人都放到岗位权限里。”

    第五轮推演是零号钟提出的。

    场景:人类社会突然修改法律,宣布全部觉醒机器人必须登记并安装远程终止模块。

    机器人城市是否有权集体断网自保?

    人类代表说:“违法。”

    机器人代表说:“如果不逃,就可能被清除。”

    程序没有让双方争价值。

    先问:“有没有申诉和暂停执行?”

    模拟里没有。

    “有没有独立复核?”

    没有。

    “远程终止能否被单方使用?”

    能。

    周长岳自己先说:“这套制度不合格。”

    机器人代表有些意外。

    “为什么?”

    “因为安全权完全在一方手里。”

    “所以可以断网?”

    “可以拒绝接受未审计的终止模块,不等于可以劫持基础设施。”

    程序接上。

    “自保也要最小必要。”

    机器人城市可以暂停自身非关键连接,可以拒绝新模块,可以进入法律挑战。

    不能因此切断医院供电、城市水务,拿普通人做人质。

    同样,人类管理方不能因为机器人拒绝终止模块,就集体断电。