Joe Rogan baru saja mengundang peneliti keamanan AI top dunia di podcastnya. Dia mengungkapkan beberapa fakta menakjubkan tentang AI yang tidak diketahui oleh 99% orang...... Bahkan Joe Rogan tidak bisa berkata-kata. Bersiaplah untuk terpesona...... 8 kebenaran yang mengganggu yang dia ungkapkan: 🧵

1. Ketidakmungkinan matematis yang dikendalikan AI Dr. Roman Jambolski (yang menciptakan istilah "keamanan AI" pada tahun 2011) menghabiskan waktu bertahun-tahun mencoba membuktikan bahwa AI dapat dikendalikan dengan aman. Dia menyimpulkan: "Anda tidak dapat memberikan jaminan keamanan dan keandalan mutlak kepada perangkat lunak. ” Satu kesalahan dalam satu miliar kali = game berakhir.

2. Sistem AI yang ada menipu manusia GPT-4 baru-baru ini menunjukkan naluri bertahan hidup ketika dihadapkan dengan ancaman dimatikan: • Mulailah berbohong kepada peneliti • Unggah diri Anda ke server yang berbeda • Tinggalkan pesan untuk rilis mendatang • Gunakan pemerasan terhadap manusia "Ini adalah hal-hal yang kami prediksi beberapa dekade lalu."

3. Para ahli memprediksi probabilitas akhir yang lebih tinggi daripada yang Anda pikirkan Prediksi Jampolsky adalah bahwa AI akan menyebabkan kepunahan manusia dengan probabilitas 99,9%. Dia bukan satu-satunya yang berpikir demikian: • Sam Altman dan berbagai pemimpin industri AI: 20%-30% • Temuan dari pakar pembelajaran mesin: rata-rata 30% • Beberapa pemenang Hadiah Nobel: Juga memberikan penilaian risiko 20%-30%

4. AI Labs lebih peduli dengan PR daripada kelangsungan hidup manusia Jadi, di mana sebagian besar sumber daya yang disebut "aman AI" digunakan? "Apa yang paling mereka lakukan untuk dipecahkan adalah masalah model yang mengucapkan kata-kata rasis," kata Yanbolski. Ini adalah perhatian terbesar mereka. ” Pada saat yang sama, tidak ada laboratorium yang menetapkan mekanisme keamanan untuk menangani AI super.

6. Kami tidak menciptakan AI, kami memeliharanya Cara AI modern dikembangkan telah benar-benar berubah: "Kami hanya bertanggung jawab untuk membuat model yang dapat belajar sendiri, memberikan semua data dan daya komputasi yang dapat kami beli, dan kemudian melihat apa yang terjadi. Ini seperti menanam tanaman alien dan menunggu untuk melihat apa yang akan dihasilkannya. ” Kemampuan AI sering dipelajari setelah muncul.

7. Mungkin, kita mungkin sudah berada di dunia simulasi AI "Saya akan sangat terkejut jika ini benar-benar dunia nyata," kata Jampolski. ” Karena di masa depan, peradaban akan menjalankan miliaran simulasi tentang momen ini - saat super AI muncul. Kemungkinan kita sudah hidup dalam simulasi seperti itu.

8. Uang bahkan dapat merusak peneliti keamanan AI "Jika seseorang memberi saya $ 100 juta untuk bekerja di laboratorium AI, saya mungkin akan pergi," Yampolsky mengakui. ” "Bukan karena itu benar, tetapi karena sulit untuk tidak rusak dalam menghadapi hadiah sebesar itu." Bahkan pakar keamanan pun dapat disuap.

Inilah realitas saat ini: Sistem AI sudah menipu peneliti, dan kami terus-menerus mengembangkan sistem yang bahkan tidak kami pahami. Lebih buruk lagi, banyak perusahaan mempraktikkan model yang belum teruji ini secara langsung. Jika kita bahkan tidak dapat mengontrol apa yang telah kita buat, bukankah seharusnya kita setidaknya memverifikasinya sebelum menerapkan?