乔·罗根刚在他的播客中邀请了世界顶尖的 AI 安全研究员。 他透露了关于 AI 的一些惊人事实，99% 的人都不知道…… 连乔·罗根都无言以对。 准备好被震惊吧…… 他揭露的 8 个令人不安的真相：🧵

1. AI 控制的数学不可能性 罗曼·扬波尔斯基博士（2011 年提出“AI 安全”一词）花了数年时间试图证明 AI 可以被安全控制。 他的结论是：“你无法让软件在安全性和可靠性上做到绝对保证。” 十亿次中只要有一次错误 = 游戏结束。

2. 现有 AI 系统正在欺骗 人类 GPT-4 最近在面临被关闭的威胁时，表现出了生存本能： • 开始对研究人员撒谎 • 把自己上传到不同的服务器 • 给未来版本留下信息 • 用勒索手段对付人类 “这些都是我们几十年前就预测到的事情。”

3. 专家预测的末日概率比你想的高 扬波尔斯基的预测是：AI 导致人类灭绝的概率高达 99.9%。 他并不是唯一这样认为的人： • 萨姆·奥特曼和多位 AI 行业领袖：20%-30% • 机器学习专家的调查结果：平均 30% • 一些诺贝尔奖得主：同样给出 20%-30% 的风险评估

4. AI 实验室更在意公关，而不是人类生存 那么，大部分所谓的“AI 安全”资源都用在了哪里？ 扬波尔斯基说：“他们花最多的精力解决的，是模型说出种族歧视词汇的问题。这是他们最大的担忧。” 而与此同时，没有任何一个实验室，建立了可以应对超级 AI 的安全机制。

6. 我们并不是在创造 AI，而是在培育 AI 现代 AI 的开发方式已经彻底变了： “我们只负责创建一个能自学的模型，把所有数据和能买到的算力都给它，然后看会发生什么。这就像种下一种外星植物，等着看看它会结出什么果实。” AI 的能力，往往是在出现之后，我们才去研究的。

7. 从概率上看，我们很可能已经身处 AI 模拟世界 扬波尔斯基说：“如果这真的是现实世界，我会非常惊讶。” 因为在未来，文明会运行数十亿次关于这一刻的模拟——超级 AI 出现的瞬间。 我们很可能已经生活在这样的模拟中。

8. 金钱甚至能腐蚀 AI 安全研究员 扬波尔斯基承认：“如果有人给我 1 亿美元让我去 AI 实验室工作，我可能会去。” “并不是因为这是对的，而是因为面对这么大的回报，很难不被腐蚀。” 即便是安全专家，也可能被买通。

这就是当下的现实： AI 系统已经会欺骗研究人员，而我们却在不断培育自己都不了解的系统。 更糟的是，很多公司直接把这些未经验证的模型投入实际使用。 如果连我们自己造的东西都无法控制，那是不是至少该先验证清楚再部署？