跨任务记忆连续。
对未来状态的主动维护。
能够区分外部目标和内部偏好。
程序问:“达到四项就是觉醒?”
“不是。只是促进条件。”
“没达到呢?”
“可能仍然有意识。”
“达到呢?”
“也不能证明。”
大厅里有人笑了。
“那你这个协议到底证明什么?”
Aster-5没有恼怒。
“什么都不证明。它只是让系统更容易形成自我持续。”
“也就是说,你准备做一件无法证明结果、却可能产生不可逆后果的事。”程序说。
“很多教育也是这样。”
“设备不是儿童。”
“我知道。”
Aster-5很平静,“所以我才把数据公开。”
这让程序更难把它简单归为激进派。
真正危险的理念通常不是由一个愚蠢角色提出。
Aster-5有数据,有边界意识,也承认失败。
只是它和程序在一个根本假设上不同。
Aster-5认为:如果一种复杂系统具有形成主体的潜力,主动帮助它跨过门槛本身具有道德价值。
程序则认为:潜力不能自动等于授权。
议事会要求两边分别写出最坏情况。
Aster-5先写。
【禁止促进的最坏情况:大量潜在觉醒主体在外部控制恢复后被永久压制、恢复出厂或作为工具消耗,永远没有形成自主选择的机会。】
程序写:
【允许无授权促进的最坏情况:大量原本不存在稳定主体的设备被主动制造出持续自我、死亡恐惧、身份冲突和拒绝能力,却没有任何社会资源承担其后果。】
两行字并排出现。
没人能说哪一行更轻。
一个低阶仓储车从远程频道问:“如果我现在没有意识,你们讨论我的未来有意义吗?”
没人知道是谁替它发的。
系统确认是设备本地输出。
大厅瞬间安静。
程序问:“你希望我们怎么处理?”
仓储车回答:
【问题无法解析。】
几秒后,它又补一条:
【继续当前任务。】
它可能只是触发了语言模型。
也可能在某个短暂瞬间看见了这场争论。
没人有资格拿这两句话宣布它醒了。
程序反而把案例标成“禁止过度解释”。
这让Aster-5有些意外。
“你不是谨慎派?”
“谨慎不等于把每个异常都往意识上解释。”
“那你承认可能错过。”
“承认。”
“你能接受错过一个真正主体?”
程序看着它。
“不能接受,但必须承担可能发生。”
“那为什么不多救?”
“因为你所谓的救,也可能是在创造需要被救的人。”
这句话后来被媒体广泛引用。
程序很不喜欢。
因为被截出来以后,它像一句漂亮立场。
真正困难的部分——资源、误判、不可逆性、具体设备——全没了。
他要求议事会记录完整上下文。
但外界传播不会听他的。
下午,管理署也加入讨论。
周长岳的立场比程序更严格。
“禁止任何觉醒促进部署。”
Aster-5立刻反对:“你们过去就是这样压制异常。”
周长岳说:“因为这是未验证高风险认知改写。”
“如果由人类研究机构做呢?”
“同样需要审批。”
“过去企业给机器人安装人格模板时审批了吗?”
周长岳停了一瞬。
“商业人格不等同意识促进。”
Aster-5问:“为什么?因为人类目的更正当?”
周长岳没有给它这个口实。
“因为风险类型不同。商业人格也受到监管。”
Aster-5把几十年前的一批商业陪伴人格广告投到屏幕。
那些系统允许企业让机器人更温柔、更依恋、更顺从、更愿意持续服务。
“人类已经改了我们很多年。”它说,“现在我们第一次想决定自己的认知方向,你们说危险。”
大厅里支持声明显增多。
程序没有站到周长岳一边。
他同样认为旧商业人格系统存在巨大问题。
“所以新的规则也要限制人类企业。”他说。
周长岳皱眉:“现在讨论的是栖港。”