24、人工智能风险怀疑论解析

人工智能风险怀疑论解析

1. 人工智能风险概述

1.1 人工智能发展趋势与风险

如果机器学习的近期进展持续不间断，在不久的将来，有望设计出达到人类水平甚至超越人类的超级人工智能系统。目前可用的人工智能软件在通用智能能力方面低于人类，但在一些狭窄领域已具有危险性，例如隐私侵犯、歧视、犯罪自动化或武装冲突等。而长期来看，超级人工智能预计会更加危险，甚至可能对人类整体造成生存风险，这些短期和长期的担忧共同构成了人工智能风险。

1.2 危险人工智能出现的途径

存在无数种可能导致危险人工智能出现的途径，包括设计失误、编程错误、训练不当、数据问题、价值对齐困难、自我改进失控、环境影响、安全机制缺失，以及故意设计恶意人工智能（MAI）。其中，MAI是反驳人工智能风险怀疑论最有力的论据，因为即使可以应对其他途径带来的风险，但对于有人故意设计危险人工智能，似乎难以防范。

1.3 现代软件安全状况对未来智能系统的启示

从现代软件糟糕的安全和保障状况，可以推断出未来智能系统的安全期望。通常，用户在使用软件时需点击“同意”使用协议，而该协议往往免除了软件开发者的所有责任，并明确放弃对软件可靠性和功能性的任何保证，包括商业产品。同样，物联网硬件组件在使用协议的设计上也缺乏安全性。对于复杂的软件产品，原则上可能无法达到足够的安全和保障水平。

1.4 人工智能安全社区的共识与行动

目前，人工智能安全社区及其他相关领域已达成广泛共识，即需要投入必要资源来解决现有的和未来的人工智能风险，使人工智能不仅具备能力，还要安全且有益。这一共识通过数千名领先从业者签署的多封公开信以及形成的具有类似目标的行业联