人工智能是当今世界上最具争议的技术之一。 无论是拥有可以学习的计算机的明显优势，还是可以反击其创造者的设备的后果，当谈到这一革命性的技术升级时，人们的担忧都是无限的。 幸运的是，科学家们正在开发一些东西，当谈到机器人接管世界时，这会让你放心。
深度思维是谷歌的人工智能部门，他们带头确保技术革命仅限于自动驾驶汽车。 他们与牛津大学联手开发了一种“终止开关”，可以防止人工智能学习太多。 具体来说，该技术将阻止人工智能学习如何阻止人类干预阻止其存在。
“代理可能会找到不可预测且不受欢迎的捷径来获得奖励，”研究称。 “奖励函数需要根据问题进行调整——这个问题可能会导致任何奖励函数无效。”
虽然你可能会回想起一些你最喜欢的科幻电影来想出这种明显激进的学习的恰当例子，但这项研究提供了一个完美的例子。 一个人工智能代理能够通过永远暂停游戏来防止自己输掉俄罗斯方块游戏。 虽然就计算机而言，这是一种温和的反抗形式，但其影响却更加令人不安。
随着平步青云的崛起对于人工智能来说，尽快将这些问题消灭在萌芽状态非常重要。 已经有许多软件的学习速度超出了我们的理解速度，如果没有故障保护，它们造成的损害可能比我们想知道的还要大。 幸运的是，科学家们对所讨论的终止开关的实施持乐观态度。
该研究的作者坚持认为：“即使是在任何（确定性）可计算环境中趋向于最佳行为的理想智能体，也可以安全地被中断。”
虽然科学家们对终止开关持乐观态度，但像我这样的外行却持怀疑态度。 如果人工智能可以学会永远暂停俄罗斯方块游戏以避免失败，为什么它不能绕过终止开关呢？ 虽然我们外行不会假装了解人工智能的高科技世界，但很难相信人类已经解决了人工智能问题。 幸运的是，在我们最终为我们的机器人霸主在采石场中破碎岩石之前，有足够的时间让有人解决这个问题。
H T世界经济论坛
照片：Flickr / 斯科特·哈特
