“人们在针对人工智能的设计中,都会加入了许多限制,确保它始终能在一个安全的界限内工作。为了发挥赛博京全部的潜力,它受到的限制并不多,但始终还是有安全底线的;并且,自从它诞生的那一天起,人类就组建了一个非常庞大的团队,专门负责赛博京的运行和管理,确保它的行为始终处于监管之下。
“为了防止人类团队出现内部问题、或者有成员被赛博京所影响,这个团队里的所有成员都规定了最长服役年限,老成员会逐渐被新成员取代;就算所有人都不生病、不出意外、尽心尽力地工作,最多二十年,整个团队中的所有人都会被替换一遍。”
胡边月听着,不由得陷入了沉思。他在想,如果自己是那个被管理的对象,在这种情况下,该怎么突破限制。
“眼前的这份名单,就是一届又一届管理团队的成员。”屈平说着,脸色有些许的惆怅,但在昏暗的灯光下,并不是很明显。
“我猜,最后的问题,出在了人们意
料之外的地方?”胡边月试探着问道。
“对。”屈平点头,“恐怕就连最初的设计者也不会想到,人类为赛博京设下的限制,最后反而成了它制造灾难的动机,也为它提供了思路。”
胡边月面露不解。
“赛博京的智力达到了一个可怕的高度,可以说,不管是任何一个再怎么聪明的人类个体,都不能与之相比;如果它想要伪装成一个真实的人类,没人能识破它。于是,人们便从根本上设置了一个所有人工智能都必须遵守的规则,用来将它们与人类区分开来。”
屈平伸手指向胡边月的右手和脸颊,这两个地方,都还结着血痂,是前几天战斗时留下的伤。
“一个人,不管身体经历了什么样的改造,身上装了几件义肢、人工器官,只要没有变成完全由机械构成的机器人,就始终保留着部分原有的身体。不论是原本的身体,还是符合规定的带有仿生神经的义肢,都一定拥有疼痛的感知能力。这就是人类设下限制的前提。”
屈平严肃地、认真地说出了那个规则:“人工智能可以自由工作,除了实施创造类行为。一切创造,必须由拥有痛觉的人类来设定标准,并在此基础上进行。”