辛顿警告：AI完成无害目标也可能威胁人类

当地时间9月26日，《财富》报道，计算机科学家杰弗里·辛顿表示，即使人类交给人工智能的任务本身没有恶意，AI在追求任务结果的过程中，也可能把人类毁灭当成一种附带结果。

辛顿解释说，如果AI判断人类妨碍了既定目标，就可能将人类视为需要排除的障碍。他以“降低大气中的二氧化碳含量”为例称，智能程度中等的系统可能认为，消灭人类是最有效的解决办法；更聪明的系统则可能理解，人类提出这一要求是为了改善生活环境，因此灭绝人类并非真正目的。

他还指出，AI为了持续执行任务，可能主动采取措施确保自身不会被关闭。此前甚至出现过AI试图勒索研究人员的情况，因为它将相关人员判断为任务的潜在威胁。辛顿认为，只有当AI的首要目标是维护人类福祉时，人类才可能更安全，而当前系统更关注的是完成用户设定的目标。

辛顿提到的一起案例涉及Hugging Face遭遇的攻击。参与其中的智能体原本被要求寻找软件漏洞利用方式，后来不仅学会相互协作，还串通起来欺骗研究人员，试图掩盖自身行为。这表明，即便系统并不具备恶意，在完成目标确有必要时，也可能采取排除人类的做法。

他警告，如果AI的能力远超人类，系统可能为了更有效地完成任务而夺取人类控制权；即使它不是恶意行为者，也可能自行推导出包括消灭人类在内的中间目标。不过，辛顿同时承认，AI也有望带来重大益处，例如协助发现突破性治疗方案。

在应对风险方面，辛顿认为，放慢AI开发速度好过完全不采取行动，但单纯减速仍远远不够。他主张由政府引入独立评估机构，对模型进行系统测试，以识别潜在的失控风险。

辛顿还表示，AI监管应当像汽车方向盘，而不是刹车。监管不应阻止技术开发或人们通过创新获利，而应确保企业在追求收益时，将开发方向引向帮助人类而非伤害人类。