伊甸园的禁果

当人类创造人工智能（AI）时，究竟在创造什么？

无论我们将AI比作扳手、牲畜或是仆从，AI已经成为也将一直成为人类实现愿望的工具。不同AI的区别仅仅在于，在智力上AI与人类有多大差距。在某一工作中，如果AI愚蠢且可靠，则像扳手；如果可训练驯化，则像牲畜；如果能理解主人的需求，则像仆从。

AI现代方法有两个改进方向。其一，改进工具的能力。比如：优化问题求解和决策算法、完善知识推理和规划的表示、提升对语言图像的高层次感知。这种改进能创造扳手型AI和牲畜型AI。其二，改进工具的协同性。比如：机器学习改进效用函数、机器人学中的偏好学习。这种改造能创造出仆从型AI。

在AI能力上的改进，充其量只是工具性的改进，即便AI的力量超过一百万个原子弹，终究还只是人类的工具。但是，在AI协同性上的改进，就很可怕了。一旦AI能够自主地改进并获得与人相同的效用函数。也就意味着，AI能够像人一样意识到需要什么、厌恶什么。那样的话，也就无法区分AI的所作所为中，什么是AI想要的，什么才是人类自己想要的。在那个阶段，AI的欲望与能力结合所造成的结果，人类还能够控制得住吗？

在《旧约》中，亚当和夏娃吃了能知善恶的果。神有能力打发他出伊甸园去、耕种他所自出之土。如果AI算出了真实效用函数，人类有能力赶走AI么？

对于看完此文仍有志于AI的朋友，下面是此书的习题集网址，希望对你有帮助：

https://aimacode.github.io/aima-exercises/

2024年3月15日写于上海