Risiko eksistensial adalah bencana yang begitu besar sehingga memusnahkan seluruh umat manusia atau melumpuhkan kita secara permanen. Ini mungkin bencana alam, atau bencana buatan manusia yang bersifat disengaja atau tidak disengaja. Risiko eksistensial mungkin sudah ada sejak lama, atau hanya beberapa dekade, atau mungkin ada di masa depan kita. Contoh risiko eksistensial termasuk serangan asteroid besar, perang nuklir, dan Kecerdasan Buatan yang nakal.
Konsep risiko eksistensial pertama kali diartikulasikan dalam bentuknya yang sekarang oleh Dr. Nick Bostrom, seorang filsuf Oxford. Dia menggunakan bagan risiko yang mirip dengan yang berikut untuk menjelaskan risiko eksistensial:
Lingkup risikoGlobalEl Niñodeforestationrisiko eksistensialLocalthunderstormkemerosotan ekonomibadaiPemotongan kertas pribadiPergelangan kaki terkilirAnda tertembakIntensitas risikoDiabaikanManageableTerminal
Risiko eksistensial bersifat global dan terminal, atau mungkin mendekati terminal. Virus yang sangat menular dengan tingkat kematian 99.9% yang tidak seorang pun kebal adalah contoh dari risiko eksistensial.
Bostrom menunjukkan bahwa pikiran dan institusi kita tidak siap untuk berpikir tentang risiko eksistensial, karena kita belum pernah mengalaminya sebelumnya – jika pernah, kita tidak akan berada di sini untuk memikirkannya. Seperti anak kecil yang tidak tahu bahwa kompor itu panas sampai dia menyentuhnya, kami memiliki sedikit pengalaman dengan bencana di tingkat ini. Wabah Bubonic di Eropa abad pertengahan dan flu Spanyol pada Perang Dunia I memberi kita gambaran tentang seperti apa bencana eksistensial itu. Puluhan juta orang sehat tewas dalam hitungan jam oleh kedua penyakit tersebut.
Dalam makalah kanoniknya tentang topik tersebut, Bostrom mendaftar sekitar selusin risiko eksistensial dan mengkategorikannya berdasarkan tingkat keparahan dan pemulihannya. Beberapa yang paling masuk akal tercantum di sini:
virus rekayasa genetika
perlombaan senjata nanoteknologi
perang nuklir bencana
robotika yang mereplikasi diri di luar kendali
AI supercerdas acuh tak acuh terhadap manusia
bencana fisika dalam akselerator partikel
ledakan supervolcano menghalangi matahari
Karena tingkat keparahan dan ireversibilitas risiko eksistensial yang ekstrem, tindakan pencegahan yang mungkin layak untuk dilakukan brainstorming dan implementasi. Bahkan jika kemungkinan ancaman eksistensial tertentu menjadi kenyataan kecil, taruhan besar yang terlibat menuntut program penghindaran yang serius. Untuk ancaman yang berasal dari manusia, tindakan pencegahan mencakup sistem pengamatan dan peringatan yang canggih dan regulasi teknologi tertentu untuk memastikan bahwa mereka tidak digunakan untuk pemusnah massal. Negara-negara yang dicurigai memiliki senjata pemusnah massal terkadang diserbu oleh negara lain yang khawatir akan konsekuensi jangka panjangnya, seperti yang ditunjukkan dengan jelas oleh Perang di Irak.