年度最理性AI分析文章：预测AI未来，大部分人陷入了7大误区(4)

同一位作者反复提出我们需要研究出在数学上验证人工智能系统的目标跟人类目标一致的手段。。
我认为研究人员提出的这个C问题看到了一个有趣的知性研究问题，然后发出了他们有力的声音来引起大家的紧迫感。AI的奉承者接受了这个问题，并将之变成了一个人类的存在问题。
顺便说一下，我认为寻求（价值观一致的）数学可证性是徒劳无功的。大型团队几年的努力都没有办法证明1000行的程序不会被外部黑客攻破，那么规模大得多的AI系统的价值观一致性自然就更加无法证实了。好消息是数千年来我们人类能够成功地与本身也是自动化代理、有着自己的渴望以及超人力量的马共存，甚至按照我们的目的去利用后者。但我们对于马还没有发现一条定理。至今都没有！
D、真正邪恶、恐怖、肮脏、灭绝人性的人工智能实体。最后这一类跟C很像，但这种AI驱动的机器会反感人类，并且决定消灭后者。
至少从1960年代末开始，好莱坞就热衷于做起了白日梦：比如说电影《2001：太空漫游（2001: A Space Odyssey ）》（1968年，设定场景为2001年），说的是造成了大肆；破坏的机器被紧闭在一艘太空船上；电影《巨人：福宾计划（Colossus: The Forbin Project）》（1970年，背景是当时）的破坏程度更是达到了行星级规模。这些年来该主题经久不衰，最近的电影《我，机器人》（2004年，场景设定为2035年）中邪恶机器人计算机VIKI通过新的人形机器人NS-5接管了世界。
可是这种想法甚至比C错得还要厉害。我认为这必然会引起大家在联想到这些恐怖的危险时产生刺痛的感觉……
在本文当中，我将会谈谈军事杀手机器人的问题——媒体往往会将其与问题D混淆在一起，但其实这是非常不一样的问题。此外，我认为有关此类军事机器人的许多看法都被误导了，但这方面的问题需要另开一篇文章才能说清楚。
现在来谈谈大家经常犯的7个错误。这7个错误都会影响到有关场景A、B、CD的出现可能性和时间尺度的判断。但其中一些的错估我认为会比另外一些更加严重。为此我会在7个错误的小节标题标注出来。而第一个错误会对所有地方都产生不同程度的破坏！
1. [A、B、C、D]高估或者低估
Roy Amara是一位未来学家以及未来研究所（Institute For The Future）的联合创始人兼总裁，风投家，也是硅谷的智慧大脑。他最著名的是他的格言——Amara定律：