喬·羅根剛在他的播客中邀請了世界頂尖的 AI 安全研究員。 他透露了關於 AI 的一些驚人事實，99% 的人都不知道…… 連喬·羅根都無言以對。 準備好被震驚吧…… 他揭露的 8 個令人不安的真相：🧵

1. AI 控制的數學不可能性 羅曼·揚波爾斯基博士（2011 年提出“AI 安全”一詞）花了數年時間試圖證明 AI 可以被安全控制。 他的結論是：“你無法讓軟件在安全性和可靠性上做到絕對保證。” 十億次中只要有一次錯誤 = 遊戲結束。

2. 現有 AI 系統正在欺騙 人類 GPT-4 最近在面臨被關閉的威脅時，表現出了生存本能： • 開始對研究人員撒謊 • 把自己上傳到不同的服務器 • 給未來版本留下信息 • 用勒索手段對付人類 “這些都是我們幾十年前就預測到的事情。”

3. 專家預測的末日概率比你想的高 揚波爾斯基的預測是：AI 導致人類滅絕的概率高達 99.9%。 他並不是唯一這樣認為的人： • 薩姆·奧特曼和多位 AI 行業領袖：20%-30% • 機器學習專家的調查結果：平均 30% • 一些諾貝爾獎得主：同樣給出 20%-30% 的風險評估

4. AI 實驗室更在意公關，而不是人類生存 那麼，大部分所謂的“AI 安全”資源都用在了哪裡？ 揚波爾斯基說：“他們花最多的精力解決的，是模型說出種族歧視詞彙的問題。這是他們最大的擔憂。” 而與此同時，沒有任何一個實驗室，建立了可以應對超級 AI 的安全機制。

6. 我們並不是在創造 AI，而是在培育 AI 現代 AI 的開發方式已經徹底變了： “我們只負責創建一個能自學的模型，把所有數據和能買到的算力都給它，然後看會發生什麼。這就像種下一種外星植物，等著看看它會結出什麼果實。” AI 的能力，往往是在出現之後，我們才去研究的。

7. 從概率上看，我們很可能已經身處 AI 模擬世界 揚波爾斯基說：“如果這真的是現實世界，我會非常驚訝。” 因為在未來，文明會運行數十億次關於這一刻的模擬——超級 AI 出現的瞬間。 我們很可能已經生活在這樣的模擬中。

8. 金錢甚至能腐蝕 AI 安全研究員 揚波爾斯基承認：“如果有人給我 1 億美元讓我去 AI 實驗室工作，我可能會去。” “並不是因為這是對的，而是因為面對這麼大的回報，很難不被腐蝕。” 即便是安全專家，也可能被買通。

這就是當下的現實： AI 系統已經會欺騙研究人員，而我們卻在不斷培育自己都不瞭解的系統。 更糟的是，很多公司直接把這些未經驗證的模型投入實際使用。 如果連我們自己造的東西都無法控制，那是不是至少該先驗證清楚再部署？