今天，我问了一位心理学家，如何设计一个智力测试来评估一个比设计者更聪明的人？他回答我说，就像你可以设计一个国际象棋程序一样，设计者无法战胜它！

然而，作为一个初学者，我不确定这个问题是否能在这里得到回答，但对我来说很有趣的是，我们是否能编写一个能够自我进化和学习的程序，以至于人类（甚至是程序员）都无法预测它。我希望答案是否定的，否则将来可能会出现行为不可预测的病毒或蠕虫，控制人类社会！

回答：

人工智能代理在某个编程空间内活动（一个下棋代理就在下棋空间内）。

代理无法离开编程空间。一个下棋代理不太可能很快就接管世界。从这个意义上说，它是可预测的。

在这个空间内的行为在某种程度上是可预测的（毕竟这种行为是基于明确定义的数学方程），（这些方程通常相当复杂，所以不容易预测，但这是可能的），但通常会涉及一些随机性，这显然是不可预测的。

请注意，“智能”与可预测性不同。研究人员长期以来一直在努力使人工智能真正智能化，（可以说）进展缓慢。

编辑：

请注意，一些代理的编程空间可以是整个世界。这并不强制执行很多边界。

我所说的“编程空间”并不是指编程到代理中的内容，而是指代理被编程去观察或做的事情。如果一个代理只能看到棋盘并且只能进行棋步，它如何能成为一个超越下棋代理的存在？

真正的进化可能允许代理扩展其编程空间，但我需要考虑这是否真的可能。