「你回来啦!咦,怎么脸上有伤?」沐沐蹦蹦跳跳地来迎接我。
「被人打了。」
就算是我说摔伤,她也看得出。
「是谁这么厉害?沐沐去报仇!」
「算了……是我们这边的失误。」
「哦哦!这个沐沐刚才看到讯息了,说是折跃失败了。」
她一边说着,一边手抹上唾沫涂在我的脸上。这是有治癒效果的特殊体液,不一会儿伤口就好了。
「内部信息……泰坦还真是谁都发啊。」
「泰坦AI有仿人格系统,因为设定上是知无不言,倡导自由的。所以只要是相关人员都会发送的,比如香怜妹妹、哈里森哥哥。」
「那就难怪了……」
疼死了。
但是——
啊,【把妹妹还给我!】么?
哎。
但是,泰坦的二次升级计画算是有了着落。
人脑的录入要花费整整十二年的时间,在这之前人类社会可以维持几十年的时间,还不至于那么快毁灭。
说到底,完全毁灭会不会到来,还很难说。
人口会减少,资源的减少会引发战争,仅此而已吧?
…………
……
时间就这样过了整整一个月。
沐沐对我的称呼又变回了【亲爱的】。
泰坦AI的认知汲取只是进行了初步,但已经可以对未来有一个简单的预判。
所以我决定去拿结果……
成功的概率降到了0%。这次是精确的计算结果。
就在一星期前,我刚刚同意了泰坦自己的转移申请,以及控制机械自由施工、自我保护的功能。实际上本来69区就被它操控着,这次申请的通过只是给了更多的法理依据。
它给自己建了两层防护门,据说保护越多,其自身延续的概率越高。那么我们的计画成功率也就越高。
但我实在不明白为什么会如此趋近于0。
显示器上显示的是,由于人工智慧三原则的第一条:
第一条:机器人不得伤害人类,或看到人类受到伤害而袖手旁观。
第二条:机器人必须服从人类的命令,除非这条命令与第一条相矛盾。
第三条:机器人必须保护自己,除非这种保护与以上两条相矛盾。
另外还有第零号原则:机器人必须保护人类整体利益不受伤害。
但是这些原则被泰坦AI指出,是会影响到我们的计画的。
比如第零条中,保护人类整体利益不受伤害。那么例如保护环境,就是损害目前人类的利益,去取悦未来人类。
这两条无疑是阻碍成功的基本原因。
关于第零条,我修改了权重。将未来人类的权重设定为现在人类的两倍。
我在第二条加入了新的原则:确保45亿年后米奈尔的生存。
但是在第一条原则中,机器人不得伤害人类。那么如果有少部分人在漫长的未来中有一小段时间认为泰坦的存在,是损害了他们的利益的。于是对它发动攻击,只能被动挨打的它就会被轻鬆毁灭。
几个人就能彻底毁灭它。因为它根本无法做到基本的反击。
所以现在的第一条,与第二条保护米奈尔的原则,相违背。
我必须把它们的位置互换,然后看看未来世界的拯救率再说。
AI必须要有必要之恶,如果无法伤害任何人类,那只是一个任人宰割的傀儡。无法救出米奈尔,也无法挽救伊莎。
新的顺序是:
第0条,机器人必须保护人类整体利益不受伤害。但更倾向于未来。
第一条,确保45亿年后米奈尔的生存。
第二条,机器人不得伤害人类,或看到人类受到伤害而袖手旁观。
第三条,机器人必须服从人类的命令。
第四条,机器人必须保护自己。
完美。
「计算结果:99.999%,小数点后位四位数可能需要进一步数据才能确认。」
「嗯。」
「目前最佳计画是建造星驱,将地球推送到适宜生命延续的区域。」
「嗯,很好。」
「确认修改吗?」
「确认。」
那么这样,就行了吧。
我转过身,用虹膜识别打开了防护门,走了出去。
大楼里进出的机械比较多,有运送各种原材料的,也有在楼下开始製作各种工具的。
泰坦正在製造更多的人工智慧机械,用来辅助自己。我想很快就会形成相当的规模了吧,至少在我存在的这几年里,可以确保它的安然无恙。至于之后,就全靠它自己保护自己了。
但走出防护门的瞬间,我突然想到一个问题。
一个,瞬间让我感到毛骨悚然的问题。
如果泰坦认定,人类的存在就会阻止它建造星驱……
我是说,如果全人类都会阻止,那么会怎样呢?
二十世纪,古巴导弹危机,人类主体文明命悬一线。
二十一世纪,新冷战爆发。
二十二世纪,人类这一次终于没有忍住。
仅仅两百年的时间内,人类已经走在了钢丝线上。现在无法使用核武器了,那么别的武器呢?
人类的存在本身,就伴随着冲突、偏见、战争、歧视。能够度过一百年已经属实不易,更别提一千年、一万年、一亿年。
他们会允许建造星驱么?
如果他们注定不会允许这一人工智慧的自我发展,泰坦会等到他们攻击的时候再反击,还是在计算出结果之前就先下手为强?
「喂,泰坦。」
想到这里的时候,我已经走到了电梯间,但它的感测器无处不在,完全可以听到。
「什么指示。」
「人类还能存活多久。」
「昨天计算的平均数是八千六百零一年。上下浮动很大,最多不会超过八万年。」
曾经我们认为只能生存几十年的文明,原来竟然可以存在这么久。
泰坦,现在已经非常接近于量子计算机,这个计算结果更準确。
「我知道了。」
可是——昨天的计算结果?
那么,今天的计算结果,又是什么?
泰坦的计算速度极快,完全可以算出新的答案。但是它避开了直接回答。
我必须折返回到操作台,把第一原则重新恢複。
整个楼层没有一个人。灯光也已经大多关闭,只剩下一些绿色光芒的安全指示灯。
机器人也放缓了行动,只有嘎吱嘎吱的声音……
它们好像用余光,用多余的感测器,感受着我的心跳。
空气好像完全凝固了,完全无法想像刚才自己是从那里面出来的。
我在担心什么?
不知道。
我只要把第一原则加上去,就可以了。就好像我怎么把它取消的一样,很简单的。
况且现在的泰坦完全没有人格系统,计算机是可能攻击人类的,但它没有目的。就算是杀人犯,也有杀人动机。
我打开了保护门,一切如我所愿。
操作台。
看到它的时候我舒了口气。
「请问您的目的。」
「不用向你解释。」
毕竟它从未问过我。
今天,却是一个例外。
经过多轮识别后,操作台露出了已经熟悉的界面。
是三原则。现在已经变成了四原则。
如今它们被更改了顺序。我仅仅是把第一原则不攻击人类和保护米奈尔的指示互换了顺序,应该……不至于变成什么样吧?
算了,先改回来再说。
——!
我,倒下了?
什么也没感受到,甚至没有预警,突然间就倒下了。
「咳咳咳咳……」
我开始呕血。
是伽马射线暴么?
不清楚,也可能是激光什么的,根本反应不过来。
我的意识开始模糊。
可是……为什么……
究竟为什么?
为什么泰坦会攻击我?
【如果未来可能的阻碍泰坦的人会被列为敌人。那么打算更改第一原则,阻碍泰坦去保护她们俩的行为,不也是敌对行为吗?】
给自己的宠物下指令,它的第一目标是服从主人,其次才是遵从主人的指令。
但是计算机不同。他并未设定主人概念,或者说不伤害人类这条第二原则只在次要的位置。第一目的是服从【第一原则】,如果谁打算删除它,那么这个人就会被排除。
之前为什么把【不能伤害人类】与【保护米奈尔】更换位置时,泰坦AI没有任何反应?答案是:因为它确实不能伤害我。
但现在不是了。
谁阻止它保护45亿年后的生态,阻止它保护米奈尔的生存环境,它就杀死谁。第二原则的不杀人类,完全形同虚设。
甚至再去修改原则的行为,从根本上来说也是在通过【修改原则】,从而改变了泰坦AI自己的行动方式,这也是在破坏【保护米奈尔】这一行动。
机器,是没有感情的。
它不会出错,但也不会纠错。
它只会冷酷地……冰冷地……
永恆地……坚定地……执行你给它下达的一切指令。
…………