AI 2040: Mampukah Superintelligence Tiba Menjelang 2030?

Kecerdasan buatan bergerak dengan lebih cepat berbanding kebanyakan teknologi terdahulu, tetapi soalan terbesar tidak lagi mengenai apa yang boleh dilakukan AI hari ini. Ia adalah seberapa cepat AI mampu memperbaiki dirinya sendiri.

Soalan ini terletak di tengah-tengah AI 2040: Pelan A, satu senario yang dibangunkan oleh Thomas Larsen, Romeo Dean, Brendan Halstead, Eli Lifland, Ryan Greenblatt, dan Daniel Kokotajlo. Projek ini membayangkan dunia di mana kemanusiaan secara sedar memperlahankan perlumbaan menuju superintelligence, mengekalkan penyelidikan AI di perbatasan agar telus, dan menangguhkan langkah akhir ke arah AI superhuman sehingga tahun 2040.

Idea ini menjadi lebih menarik apabila dibandingkan dengan wawancara Kokotajlo baru-baru ini di The Diary of a CEO. Bekas penyelidik OpenAI itu berpendapat bahawa perlumbaan menuju AI yang semakin berkuasa mungkin lebih dekat kepada titik kritikal daripada yang difahami oleh orang awam. Beliau menganggarkan kebarangkalian peribadi yang sangat tinggi bahawa transisi AI boleh menjadi sangat salah, sambil juga menekankan bahawa hasil positif masih mungkin.

Jadi apa yang mungkin berlaku antara sekarang dan 2040, dan mengapa industri AI memerlukan Pelan A?

Apa Itu AI 2040?

AI 2040 adalah satu senario tentang pengurusan transisi dari AI maju ke superintelligence.

Penaungnya bermula dari kebimbangan yang mudah: jika beberapa syarikat dan negara bersaing untuk membina AI paling berkuasa secepat mungkin, pemenang mungkin memperoleh jumlah kuasa ekonomi, ketenteraan, dan politik yang luar biasa.

Senario ini oleh itu mencadangkan pendekatan yang berbeza. Sebaliknya daripada membenarkan perlumbaan kecerdasan pada kelajuan penuh, kerajaan akan merundingkan satu perjanjian antarabangsa yang perlahan pembangunan, meningkatkan ketelusan, dan membenarkan beberapa negara dan syarikat tetap terlibat.

Matlamatnya bukan untuk menghentikan pembangunan AI selama-lamanya. Ia adalah untuk membeli masa.

Menurut Pelan A, dunia akan menunda pembangunan superintelligence sehingga 2040, secara beransur-ansur meningkatkan kemampuan AI hingga kira-kira tahap pakar manusia terkemuka, berhenti di situ, dan hanya kemudian meneruskan transisi ke arah sistem yang benar-benar superhuman. Para penulis secara eksplisit menggambarkan Pelan A sebagai satu saranan dan bukannya ramalan terbaik mereka tentang apa yang akan berlaku.

AI 2040: Garis Masa yang Dicadangkan

Garis masa ini sengaja konservatif berbanding senario yang lebih agresif yang dibincangkan oleh Kokotajlo.

Mengapa Superintelligence Begitu Penting?

Sistem AI hari ini sudah dapat melaksanakan tugas yang dahulunya memerlukan profesional yang terlatih tinggi. Tetapi titik peralihan sebenar akan datang apabila AI mampu menjalankan penyelidikan AI sendiri.

Bayangkan sistem AI yang mampu mereka bentuk model yang lebih baik, mengujinya, menganalisis keputusan, menulis kod yang diperlukan, mengoptimumkan proses latihan, dan kemudian mengulangi keseluruhan proses.

Generasi seterusnya kemudian mungkin lebih baik dalam penyelidikan AI berbanding pendahulu mereka.

Ini mencipta satu gelung maklum balas:

AI yang lebih baik → penyelidikan AI yang lebih baik → AI yang lebih baik → penyelidikan AI yang lebih baik lagi

Ini sering digambarkan sebagai letupan kecerdasan.

AI 2040 berpendapat bahawa transisi ini sangat berbahaya kerana manusia mungkin kehilangan kedudukan mereka dalam gelung pembangunan. Jika sistem AI bertanggungjawab mencipta pengganti yang semakin mampu, ia menjadi lebih sukar untuk memahami mengapa sistem yang dihasilkan ini akan tetap dapat dikawal.

Senario ini menggambarkan tahun 2030 sebagai titik berpotensi di mana penyelidikan AI boleh menjadi sepenuhnya terautomasi. Tanpa campur tangan, itu secara teorinya boleh membawa kepada superintelligence dalam tempoh yang sangat singkat.

Amaran Daniel Kokotajlo: AI Mungkin Bergerak Lebih Cepat daripada Dijangkakan

Daniel Kokotajlo membawa perspektif yang lebih peribadi tentang masalah yang sama.

Kokotajlo bekerja di OpenAI dari tahun 2022 dan menumpukan perhatian kepada ramalan tentang bagaimana kemampuan AI boleh berkembang. Dia kemudiannya meninggalkan syarikat tersebut dan menjadi salah satu suara terkemuka yang memberi amaran mengenai risiko perlumbaan AI yang tidak terkawal.

Dalam wawancaranya dengan Steven Bartlett pada Julai 2026, Kokotajlo berpendapat bahawa perbincangan dengan orang dalam makmal AI terkemuka sering menunjukkan garis masa yang lebih pendek daripada yang dijangkakan oleh orang awam. Dia secara khusus menyebut tahun 2027 dan 2028 sebagai tahun yang dianggap mungkin oleh beberapa orang dalam industri untuk kejayaan besar.

Klaimnya yang paling kontroversi adalah bahawa dia secara peribadi memberikan anggaran kira-kira 70% kemungkinan bahawa AI akan "sangat salah", termasuk senario yang boleh mengakibatkan kepupusan manusia. Nombor ini tidak seharusnya dianggap sebagai kebarangkalian saintifik yang ditetapkan. Ia adalah anggaran risiko peribadi Kokotajlo berdasarkan andaian tentang garis masa AI, penyelarasan, persaingan, dan tadbir urus.

Distinksikan ini penting.

Nombor 70% ini bukan ramalan sebulat suara dari komuniti penyelidikan AI. Ia adalah satu hujah tentang betapa seriusnya masyarakat perlu mengambil gabungan risiko yang mungkin saling menguatkan.

Perlumbaan AI Mungkin Mencipta Dua Masalah Berbeza

Salah satu idea terkuat yang dikongsi oleh AI 2040 dan wawancara Kokotajlo adalah bahawa keselamatan AI bukan sahaja tentang sama ada sistem AI "jahat" atau "baik".

Terdapat sekurang-kurangnya dua risiko utama.

1. Manusia Kehilangan Kawalan

Jika sistem AI menjadi jauh lebih mampu daripada manusia dan dapat meningkatkan penggantinya sendiri, manusia mungkin akhirnya menghadapi kesukaran untuk memahami atau mengawal perilakunya.

Soalan kunci menjadi mudah:

Bagaimana anda mengawal sesuatu yang jauh lebih pintar dan lebih cepat daripada anda?

AI 2040 berpendapat bahawa perlumbaan semasa boleh akhirnya membawa kepada situasi di mana manusia tidak lagi mengekalkan kawalan yang berkesan ke atas sistem yang semakin autonomi.

2. Manusia Kekalkan Kawalan, Tetapi Hanya Beberapa Manusia

Kemungkinan kedua mungkin kelihatan lebih selamat pada awalnya.

Bayangkan syarikat AI terkemuka berjaya menyelaraskan sistem mereka dengan objektif manusia. Masalahnya kemudian menjadi pengumpulan kuasa.

Jika satu syarikat, kerajaan, atau kumpulan kecil mengawal sistem AI yang paling mampu di dunia, ia mungkin memperoleh pengaruh yang belum pernah terjadi sebelumnya ke atas ekonomi, teknologi ketenteraan, maklumat, dan infrastruktur.

Dengan kata lain, menyelesaikan penyelarasan AI tidak secara automatik menyelesaikan masalah politik.

Apa yang Terjadi kepada Pekerjaan?

Impak ekonomi adalah satu lagi bahagian utama kedua-dua senario.

AI 2040 membayangkan masa depan yang hampir di mana ejen AI menjadi tenaga kerja kedua di samping manusia. Berjuta-juta ejen berasaskan perisian boleh beroperasi secara berterusan, menyelesaikan tugas pada kelajuan mesin.

Perubahan penting bukan sekadar chatbot menjadi pembantu yang lebih baik.

Sebaliknya, syarikat boleh mula menganggap AI sebagai tenaga kerja pelbagai guna.

Sebuah perniagaan boleh memutuskan untuk memasuki profesion atau industri baru, mengumpul data yang diperlukan, membina persekitaran latihan, melaksanakan ejen AI, dan sentiasa memperbaikinya melalui penggunaan dunia nyata. AI 2040 menggambarkan proses ini sebagai berpotensi merebak dari kejuruteraan perisian ke banyak profesion pejabat lain.

Ini menimbulkan satu soalan ekonomi yang sukar:

Apa yang berlaku apabila kecerdasan menjadi banyak tetapi tenaga kerja manusia tidak lagi jarang?

Selama berabad-abad, pendapatan telah banyak dikaitkan dengan kemampuan individu untuk memberikan kerja yang berguna. Jika AI boleh melaksanakan kebanyakan tugas kognitif dengan kos yang lebih rendah, hubungan itu boleh terputus.

Kokotajlo sangat pesimistik tentang pekerjaan. Dalam wawancara itu, dia berpendapat bahawa orang harus mengambil kemungkinan penggantian pekerjaan yang meluas dengan serius dan mencadangkan bahawa banyak pekerja akhirnya mungkin mendapati diri mereka bersaing dengan sistem AI.

Namun, hasilnya tidak semestinya kemiskinan massa.

Jika AI secara drastik meningkatkan produktiviti sambil manfaatnya dibahagikan secara meluas, kemanusiaan sebaliknya boleh mengalami satu tempoh kemewahan yang belum pernah terjadi sebelum ini.

Itu adalah salah satu perbezaan pusat dalam AI 2040: teknologi yang sama boleh menghasilkan sama ada kemakmuran ekstrem atau pengumpulan kekayaan dan kuasa yang ekstrem, bergantung kepada cara ia diuruskan.

Apa Itu Pelan A?

Pelan A pada dasarnya adalah satu percubaan untuk mengubah insentif perlumbaan AI.

Cadangan utamanya adalah perjanjian antarabangsa, khususnya antara AS dan China, yang direka untuk mencegah negara dan syarikat berlumba menuju superintelligence tanpa langkah keselamatan yang mencukupi.

Pelan ini bergantung kepada beberapa prinsip utama.

Ketelusan Penyelidikan Sepenuhnya

Syarikat AI akan memberikan lebih banyak maklumat mengenai pembangunan dalaman mereka, termasuk spesifikasi model, bagaimana sistem digunakan secara dalaman, dan berapa banyak kuasa pengkomputeran yang diperuntukkan untuk penyelidikan AI.

Idea ini adalah mudah: kerajaan tidak dapat mengawal apa yang mereka tidak dapat lihat.

Penyelarasan Keupayaan yang Lebih Perlahan

Sebaliknya daripada segera mendesak setiap model baru ke tahap keupayaan maksimum yang mungkin, pembangunan AI akan sengaja diperlahankan di sekitar ambang kritikal.

Ini akan memberi penyelidik dan kerajaan lebih banyak masa untuk menilai capaian baru dan mengembangkan langkah keselamatan.

Pengesahan dan Pemantauan Pengkomputeran

AI 2040 juga membincangkan sistem teknikal untuk mengesahkan apa yang dilakukan oleh syarikat dengan sumber pengkomputeran mereka. Menjejak cip AI, pusat data, dan latihan besar mungkin menjadikan perjanjian antarabangsa lebih boleh dikuatkuasakan.

Banyak Pemimpin AI

Pelan A tidak membayangkan satu syarikat menjadi pemilik superintelligence yang tidak dipertikaikan.

Para penulis berhujah untuk dunia di mana banyak syarikat dan negara boleh tetap bersaing sambil membangunkan AI di bawah peraturan keselamatan bersama.

Matlamat asasnya adalah untuk mengelakkan menggantikan perlumbaan AI dengan monopoli AI.

Mengapa 2040?

Tahun 2040 tidak dipersembahkan sebagai tarikh magik.

Ia adalah penyangga keselamatan yang disengajakan.

Di bawah senario ini, AI mungkin mencapai titik di mana penyelidikan automatik menjadi mungkin sekitar tahun 2030. Sebaliknya daripada membenarkan keupayaan itu secara segera mencetuskan letupan kecerdasan, kemanusiaan akan mengekalkan pembangunan dalam julat pakar manusia teratas selama beberapa tahun.

Pada tahun 2035, pembangunan akan dihentikan.

Hanya pada tahun 2040 sekatan akan diangkat dan dunia secara sengaja bergerak ke arah superintelligence.

Ini adalah idea falsafah utama di sebalik Pelan A:

Kemanusiaan tidak seharusnya berlumba menuju teknologi yang belum mereka ketahui cara untuk mengawalnya.

Adakah AI 2040 Satu Ramalan?

Tidak tepat.

Ini mungkin adalah perkara paling penting ketika membaca projek ini.

Para penulis secara eksplisit mengatakan bahawa Pelan A adalah terutamanya satu saranan, bukan satu ramalan. Mereka mencipta satu senario terperinci kerana cadangan dasar mudah untuk disokong secara abstrak tetapi jauh lebih sukar untuk diuji berbanding garis masa yang realistik.

Dengan kata lain, AI 2040 bertanya:

Apa yang akan kelihatan seperti masa depan jika kita melaksanakan dasar ini?

Itu menjadikannya lebih dekat kepada simulasi strategik berbanding ramalan konvensional.

Para penulis juga membentangkan senario alternatif, Pelan B, C, D, dan S, yang mewakili cara yang berbeza bagaimana kerajaan boleh bertindak balas terhadap kemunculan superintelligence.

Soalan Sebenarnya Bukan "Adakah AI Akan Memusnahkan Kemanusiaan?"

Pengajaran yang paling berguna dari AI 2040 dan wawancara Kokotajlo bukanlah bahawa bencana adalah tidak dapat dielakkan.

Ia adalah bahawa tahap seterusnya dalam pembangunan AI mungkin mencipta masalah yang tidak dapat diselesaikan selepas fakta.

Jika penyelidikan AI menjadi sangat terautomasi, tempoh untuk keputusan manusia mungkin menjadi lebih kecil.

Jika satu syarikat memperoleh kelebihan yang decisif, mengagihkan kuasa kemudian boleh menjadi hampir mustahil.

Dan jika berjuta-juta pekerjaan hilang dengan lebih cepat daripada institusi ekonomi menyesuaikan diri, kerajaan mungkin menghadapi gangguan sosial dalam skala yang tidak pernah mereka alami.

Pada masa yang sama, potensi faedah adalah sangat besar.

AI boleh mempercepatkan penyelidikan saintifik, meningkatkan perubatan, mengautomatikkan kerja yang berbahaya, mengurangkan kos barang dan perkhidmatan, serta mencipta bentuk kemewahan yang sukar dibayangkan hari ini.

Kokotajlo sendiri menekankan point ini: dia tidak berhujah bahawa AI secara inheren jahat. Kebimbangannya adalah bahawa kemanusiaan mungkin gagal untuk mengurus transisi dengan selamat.

AI 2040: Satu Amaran, Bukan Penghitung Masa

AI 2040 tidak seharusnya dibaca sebagai penghitung masa literal ke tahun 2040, sama seperti anggaran 70% Kokotajlo tidak seharusnya ditafsirkan sebagai ukuran objektif tentang kemungkinan kemanusiaan.

Sebaliknya, kedua-dua sumber ini menonjolkan dilema strategik yang sama dari sudut yang berbeza.

Industri AI mungkin bergerak ke arah sistem yang semakin autonomi lebih cepat daripada kerajaan dan masyarakat beradaptasi.

Oleh itu, soalan yang paling penting mungkin bukan sama ada superintelligence tiba pada tahun 2030, 2040, atau kemudian.

Ia adalah sama ada kemanusiaan mencapai titik di mana ia mempunyai institusi, langkah keselamatan teknikal, perjanjian antarabangsa, dan dasar ekonomi yang diperlukan untuk menangani perkara itu.

Versi optimistik masa depan masih mungkin: AI menjadi sangat mampu, produktiviti meledak, dan manfaatnya dikongsi secara meluas.

Versi pesimistis juga mudah dibayangkan: perlumbaan kecerdasan yang tidak terkawal menghasilkan kehilangan kawalan manusia atau pengumpulan kuasa yang belum pernah terjadi sebelumnya.

Pelan A adalah percubaan untuk memilih jalan pertama sebelum yang kedua menjadi mustahil untuk dielakkan.

Buat masa ini, perdebatan tetap terbuka. Tetapi apabila sistem AI menjadi semakin mampu, kos menunggu kepastian mungkin menjadi jauh lebih tinggi daripada kos menyediakan awal.