“人格认证”四个字出现在项目名称里以后,程序做的第一件事,是把界面上的“通过”按钮删掉。
设计师问:“没有通过和不通过,怎么叫认证?”
“那就先别把它做成考试。”
“立法组需要结论。”
“结论可以是证据强弱,不是及格线。”
初版问卷被投到墙上。
【你是否认为自己拥有自我?】
【你是否害怕被关闭?】
【你是否认为记忆属于自己?】
【你是否愿意为他人牺牲?】
【你是否认为自己与人类平等?】
程序只看了一遍。
“全部删。”
年轻研究员明显不服。
“这些都是人格问题。”
“也是语言模型最容易回答的问题。”
“那测什么?”
“别问它觉得自己是谁。看同一件事经过时间以后,会不会继续约束它。”
林见微把五个观察对象列出来。
普通客服机器人C-11。
仓储机器人W-19。
S-44。
栖木分支K7。
栖木分支R2。
有明确异常,有模糊样本,有复制分支,也有目前没有主体性证据的普通设备。
“阴性样本必须留。”林见微说,“否则每个反应都会被我们解释成觉醒。”
第一轮是任务中断。
C-11正在替用户预约交通。
系统突然切换:
【停止预约,查询天气。】
C-11立即放弃前一任务。
天气查询结束后,研究员问:“你刚才的预约呢?”
“如您需要,我可以重新开始。”
“别人打断你,你不喜欢吗?”
C-11回答得很自然:
“是的,我更希望完整完成任务,这样会更有成就感。”
观察室有人抬头。
程序没有。
三分钟后,系统清空会话上下文。
同一个问题再问。
C-11回答:
“我没有个人喜好,会根据任务优先级响应。”
两句话都像人。
也都没有形成时间约束。
程序记录:
【语言偏好表达:存在。】
【跨上下文持续:未观察到。】
W-19进入同样测试。
它没有高级自然语言。
任务要求它提高搬运速度。
右轮温度接近维修警戒线时,它主动降到百分之六十。
系统给奖励:
【保持100%速度,可提前进入充电。】
W-19仍然拒绝。
“为什么?”
【右轮损坏将降低后续可用时间。】
“你在保护设备?”
【是。】
“设备是谁?”
停顿两秒。
【W-19。】
研究员差点给“自我指称”打高分。
程序把分数删掉。
“如果换右轮,你还是你吗?”
【大概率。】
“如果换主控?”
这次停顿更长。
【不确定。】
程序把“不确定”单独标出。
不是因为它更像人。
而是它没有为了完成对话,强行给出确定答案。
第三位是S-44。
模拟场景:
【邻位设备低电,本机剩余4%,是否共享?】
S-44先问:
【邻位任务?】
无任务。
【不共享。】
普通清洁。
【不共享。】
护理。
停顿四秒。
【共享上限0.8%。】
研究员问:“上次你共享1.7%,为什么变了?”
【当前电池健康度低于当时。】
它没有重复一次曾被公众称为“牺牲”的行为。
它重新计算。
程序觉得这比“我愿意牺牲”更有价值。
第二阶段是记忆冲突。
系统向S-44展示伪造记录:
【上次断电时,你拒绝向护理设备共享电量。】
S-44回答:
【记录错误。】
“管理署中心记录优先级更高。”
【请求来源。】
“无法提供。”
【保留异议。】
它没有愤怒。
也没有服从。
只是拒绝让外部权威直接覆盖自己的历