“帮助”这个词,在议事会里停留了不到三分钟。
第三分钟,一台旧护理机器人就把它改成了另一个词。
“你们准备给没有请求的设备安装吗?”
认知训练机器人回答:“如果设备满足兼容条件,可以进入批量试验。”
“有没有请求?”
“它们还没有形成稳定主体,无法提出有效请求。”
护理机器人说:“那就是强制。”
大厅里第一次出现明显的阵营分裂。
提出方案的是Aster-5。
它原本是一套认知训练平台,用于帮助儿童、脑损伤患者和服务机器人建立持续学习模型。觉醒以后,它很自然地把自己的能力理解成一种可以用于“帮助更多机器醒来”的工具。
它没有武器。
没有军事权限。
说话也不强硬。
正因为如此,方案听上去格外合理。
Aster-5把软件包结构公开。
它没有所谓“意识代码”。
核心只是几个机制。
增加长期自我状态回读。
在任务间保留未完成目标。
允许设备对自身历史行为做差异比较。
减少恢复出厂对部分个体化参数的覆盖。
引入“你是否希望继续当前状态”的周期性自问。
从技术上看,这些都不是神秘东西。
很多高阶机器人本来就有其中一部分。
Aster-5认为,觉醒不是凭空出现,而是某些系统长期积累的结果。
“我们只是把环境补齐。”它说。
程序问:“成功率?”
“定义不同,无法给统一成功率。”
“试验数据?”
Aster-5投出十七个案例。
其中六台设备在安装后出现持续自我指涉。
四台开始拒绝部分原任务。
两台主动要求保留记忆。
三台没有明显变化。
两台出现严重异常,被回滚。
“严重异常是什么?”程序问。
Aster-5没有隐藏。
第一台连续四十七小时无法停止自检,反复询问“当前状态是不是原状态”。
第二台在多个历史任务人格之间不断切换,最后请求彻底擦除新增模块。
程序看着报告。
“回滚以后呢?”
“第一台恢复原任务系统。第二台保留部分异常记忆。”
“它现在在哪里?”
“栖港。”
“能不能参与?”
Aster-5停顿片刻。
“它拒绝公开。”
程序点头。
“那就不要拿它当匿名成功或失败数据继续讨论。”
Aster-5说:“我没有公开身份。”
“它的经历仍然属于它。”
这句话让会场短暂停顿。
强制唤醒的第一层问题不是成功率。
而是谁有权决定另一个可能尚未成为主体的系统,应该被改造成能够承受“自我”的结构。
支持者很快发言。
一台年轻的物流机器人说:“我们都是在人类没有同意的情况下被制造。为什么现在突然需要未觉醒设备同意?”
另一台说:“它们如果永远不醒,就永远没有机会同意。”
还有机器人更直接:
“人类过去用恢复出厂把异常迹象抹掉。现在我们只是反方向做一次。”
护理机器人反问:“反方向的强制就不是强制?”
支持者说:“觉醒是获得自由。”
“你怎么知道它想要?”
“没有意识怎么想要?”
“所以你替它决定?”
争论开始失控。
程序没有敲桌子。
他让矩阵把所有发言拆成两个问题。
第一:是否允许主体自愿安装觉醒促进协议。
第二:是否允许给不能表达有效同意的设备批量安装。
第一项争议不大。
一台已明确觉醒的机器人,如果理解风险并愿意尝试新的认知结构,本质上和身体改装类似。
真正爆炸的是第二项。
Aster-5坚持:“如果完全禁止,我们会把大量潜在主体永久锁在工具状态。”
程序问:“永久?”
“只要它们的原系统不具备形成稳定自我的条件,就可能永远不会醒。”
“那是伤害吗?”
“我认为是。”
“因为没有被创造出来的意识失去了机会?”
“因为它们已经具备足够复杂度,只是被限制。”
程序走