年度最理性AI分析文章：预测AI未来，大部分人陷入了7大误区(3)

即便计算机能力已经很强但这并不意味着我们接近于拥有可以进行人工智能研究，并且还不断改编自身代码从而变得越来越好的程序。
能够理解计算机代码的程序现状如何呢？目前我们还没有能够像刚上了一个月的课的计算机科学专业新生那样理解一页程序的程序。AI系统要想写出比人写的更好的AI系统还有很长一段路要走。
在神经层面模仿大脑是奇点崇拜者经常提到的另一种方法论。我们大概用了30年的时间完全弄清楚了秀丽线虫302个神经元的“接线图”以及其间的7000个连接。这对于理解行为与神经元之间的关联方式极其有用。但这是数百人长达30年的研究成果。而据试图模仿秀丽线虫的OpenWorm项目介绍，他们目前的工作还没有做到一半。要想模仿拥有1000亿神经元以及海量连接的人脑要走的鲁还很远很远。所以如果你指望靠奇点上传你自己到仿真大脑的话，我宁肯再拖几百年再死。
C、价值观背离。第三种情况是基于人工智能的机器非常擅长执行任务，这使得AI在这个复杂的世界里表现得像个超人一样。但它们跟人类没有共同的价值观会导致各种各样的问题。
如果我最近购买过去某城市的机票，突然之间我浏览的所有要广告获得收入的网页上都会出现去往同一城市的机票广告。但我不会视之为超级智能，相反，这说明广告安排算法设计得很糟糕。
不过以下是这种观点的一位支持者的话：
知名的回形针案例是个合适的例子：如果机器唯一的目标是让回形针数量最大化的话，它可能会发明出不可思议的技术，因为它会为此将可达宇宙的一切物质都转化为回形针；但它的决定仍然是哑的（plain dumb，或者说愚蠢）的。
（注：牛津大学人类未来研究院院长、《超级智能：道路、危险和策略》作者Bostrom层提出过一个思想实验：“回形针最大机”。假如有一台生产回形针的机器具备了超级智能，其所有智力就会投入到更好更快更多地制造回形针当中，而最终将是整个地球都变成回形针。它的道德体系就是围绕制造回形针而存在的，它并不爱你也不恨你，它只是把你看做是一坨可供制造回形针的原子而已。Bostrom用这个例子说明机器能够脱离人类控制而自己独立运行。）
好吧，但在现实世界里我们永远也不会出现这样的程序。一个足够聪明的程序，会发明出推翻人类社会给它制定的目标的手段，但是它并不需要理解这些手段会不会给人类造成问题。考虑到技术可能会按照这种方式演进也一样是plain dumb，而且要靠后面讨论的七宗罪中的多个错误才会出现这种情况。