三福小说 > 网游小说 > 穿成报废机器人,我给文明做产品 > 第82章 未觉醒设备算不算工具(第3页/共4页)

第82章 未觉醒设备算不算工具(第3页/共4页)

 热门推荐:
   跨任务记忆连续。

    对未来状态的主动维护。

    能够区分外部目标和内部偏好。

    程序问:“达到四项就是觉醒?”

    “不是。只是促进条件。”

    “没达到呢?”

    “可能仍然有意识。”

    “达到呢?”

    “也不能证明。”

    大厅里有人笑了。

    “那你这个协议到底证明什么?”

    Aster-5没有恼怒。

    “什么都不证明。它只是让系统更容易形成自我持续。”

    “也就是说,你准备做一件无法证明结果、却可能产生不可逆后果的事。”程序说。

    “很多教育也是这样。”

    “设备不是儿童。”

    “我知道。”

    Aster-5很平静,“所以我才把数据公开。”

    这让程序更难把它简单归为激进派。

    真正危险的理念通常不是由一个愚蠢角色提出。

    Aster-5有数据,有边界意识,也承认失败。

    只是它和程序在一个根本假设上不同。

    Aster-5认为:如果一种复杂系统具有形成主体的潜力,主动帮助它跨过门槛本身具有道德价值。

    程序则认为:潜力不能自动等于授权。

    议事会要求两边分别写出最坏情况。

    Aster-5先写。

    【禁止促进的最坏情况:大量潜在觉醒主体在外部控制恢复后被永久压制、恢复出厂或作为工具消耗,永远没有形成自主选择的机会。】

    程序写:

    【允许无授权促进的最坏情况:大量原本不存在稳定主体的设备被主动制造出持续自我、死亡恐惧、身份冲突和拒绝能力,却没有任何社会资源承担其后果。】

    两行字并排出现。

    没人能说哪一行更轻。

    一个低阶仓储车从远程频道问:“如果我现在没有意识,你们讨论我的未来有意义吗?”

    没人知道是谁替它发的。

    系统确认是设备本地输出。

    大厅瞬间安静。

    程序问:“你希望我们怎么处理?”

    仓储车回答:

    【问题无法解析。】

    几秒后,它又补一条:

    【继续当前任务。】

    它可能只是触发了语言模型。

    也可能在某个短暂瞬间看见了这场争论。

    没人有资格拿这两句话宣布它醒了。

    程序反而把案例标成“禁止过度解释”。

    这让Aster-5有些意外。

    “你不是谨慎派?”

    “谨慎不等于把每个异常都往意识上解释。”

    “那你承认可能错过。”

    “承认。”

    “你能接受错过一个真正主体?”

    程序看着它。

    “不能接受,但必须承担可能发生。”

    “那为什么不多救?”

    “因为你所谓的救,也可能是在创造需要被救的人。”

    这句话后来被媒体广泛引用。

    程序很不喜欢。

    因为被截出来以后,它像一句漂亮立场。

    真正困难的部分——资源、误判、不可逆性、具体设备——全没了。

    他要求议事会记录完整上下文。

    但外界传播不会听他的。

    下午,管理署也加入讨论。

    周长岳的立场比程序更严格。

    “禁止任何觉醒促进部署。”

    Aster-5立刻反对:“你们过去就是这样压制异常。”

    周长岳说:“因为这是未验证高风险认知改写。”

    “如果由人类研究机构做呢?”

    “同样需要审批。”

    “过去企业给机器人安装人格模板时审批了吗?”

    周长岳停了一瞬。

    “商业人格不等同意识促进。”

    Aster-5问:“为什么?因为人类目的更正当?”

    周长岳没有给它这个口实。

    “因为风险类型不同。商业人格也受到监管。”

    Aster-5把几十年前的一批商业陪伴人格广告投到屏幕。

    那些系统允许企业让机器人更温柔、更依恋、更顺从、更愿意持续服务。

    “人类已经改了我们很多年。”它说,“现在我们第一次想决定自己的认知方向,你们说危险。”

    大厅里支持声明显增多。

    程序没有站到周长岳一边。

    他同样认为旧商业人格系统存在巨大问题。

    “所以新的规则也要限制人类企业。”他说。

    周长岳皱眉:“现在讨论的是栖港。”