AI 2040: Môže superinteligencia prísť do roku 2030?

Umelá inteligencia sa vyvíja rýchlejšie ako väčšina predchádzajúcich technológií, no najväčšia otázka už nie je, čo dokáže AI dnes. Je to, ako rýchlo by AI mohla získať schopnosť zlepšovať sa.

Táto otázka stojí v centrálnej polohe projektu AI 2040: Plán A, scenára vyvinutého Thomasom Larsenom, Romeom Deanom, Brendanom Halsteadom, Elim Liflandom, Ryanom Greenblattom a Danielom Kokotajlom. Projekt si predstavuje svet, v ktorom sa ľudstvo úmyselne snaží spomaliť preteky smerom k superinteligencii, udržuje výskum na pokraji transparentný a odkladá posledný krok k nadľudskej AI do roku 2040.

Tento nápad je ešte výraznejší v porovnaní s nedávnym rozhovorom Kokotajla na The Diary of a CEO. Bývalý výskumník OpenAI tvrdí, že preteky k stále mocnejšej AI by mohli byť oveľa bližšie k kritickému bodu, ako si verejnosť uvedomuje. Odhaduje veľmi vysokú osobnú pravdepodobnosť, že prechod na AI môže katastrofálne zlyhať, pričom zároveň zdôrazňuje, že pozitívny výsledok zostáva možný.

Tak čo by sa mohlo stať medzi teraz a rokom 2040, a prečo potrebuje AI priemysel plán A?

Čo je AI 2040?

AI 2040 je scenár o riadení prechodu z pokročilej AI na superinteligenciu.

Jeho autori vychádzajú z jednoduchého znepokojenia: ak niekoľko firiem a krajín súťaží, aby čo najrýchlejšie vybudovali najsilnejšiu AI, víťaz by mohol získať mimoriadne množstvo ekonomickej, vojenskej a politickej moci.

Scenár preto navrhuje iný prístup. Namiesto umožnenia závodu v inteligencii na plný plyn by sa vlády dohodli na medzinárodnej zmluve, ktorá spomalí vývoj, zvýši transparentnosť a umožní viacerým krajinám a firmám ostať zapojenými.

Cieľom nie je zastaviť vývoj AI navždy. Cieľom je získať čas.

Podľa plánu A by svet odložil vývoj superinteligencie do roku 2040, postupne by zvýšil schopnosti AI na úroveň približne najlepších ľudských expertov, tam by sa zastavil a až neskôr by pokračoval v prechode na reálne nadľudské systémy. Autori výslovne opisujú plán A ako odporúčanie, nie ako najlepší predpoklad toho, čo sa skutočne stane.

AI 2040: Navrhnutý časový plán

Tento časový plán je zámerne konzervatívny v porovnaní s agresívnejšími scenármi, o ktorých hovoril Kokotajlo.

Prečo je superinteligencia taká dôležitá?

Dnešné AI systémy už dokážu vykonávať úlohy, ktoré kedysi vyžadovali vysoko školených odborníkov. Ale skutočný zlomový bod by prišiel, keď by sa AI stala schopnou sama vykonávať výskum AI.

Predstavte si, že AI systém dokáže navrhnúť lepší model, vyskúšať ho, analyzovať výsledky, napísať potrebný kód, optimalizovať proces školenia a potom celý proces zopakovať.

Ďalšia generácia by mohla byť potom lepšia v výskume AI ako jej predchodca.

To vytvára spätnú väzbu:

lepší AI → lepší výskum AI → lepší AI → ešte lepší výskum AI

Toto sa často opisuje ako explózia inteligencie.

AI 2040 tvrdí, že tento prechod je mimoriadne nebezpečný, pretože ľudia by mohli stratiť svoju pozíciu vo vývojovom cykle. Ak by AI systémy boli zodpovedné za vytvorenie stále schopnejších nástupcov, stávalo by sa ťažšie pochopiť, prečo by výsledné systémy zostali ovládateľné.

Scenár popisuje rok 2030 ako potenciálny bod, kedy by sa výskum AI mohol stať plne automatizovaným. Bez zásahu by to teoreticky mohlo viesť k superinteligencii v priebehu veľmi krátkeho obdobia.

Varovanie Daniela Kokotajla: AI by mohla postupovať rýchlejšie, ako sa očakáva

Daniel Kokotajlo prináša osobnejší pohľad na tento problém.

Kokotajlo pracoval v OpenAI od roku 2022 a sústredil sa na predpovedanie, ako by sa mohli vyvíjať schopnosti AI. Neskôr opustil spoločnosť a stal sa jedným z výrazných hlasov varujúcich pred rizikami nekontrolovanej AI.

Vo svojom júlovom rozhovore 2026 so Stevenom Bartlettom tvrdil, že rozhovory s ľuďmi v popredných AI laboratóriach často naznačujú kratšie časové plány, ako si verejnosť myslí. Osobitne spomenul roky 2027 a 2028 ako roky, ktoré niektorí odborníci z odvetvia považujú za plausibilné pre významné prelom.

Jeho najkontroverznejším tvrdením je, že osobne priraďuje približne 70% šancu na to, že AI sa "hrozne mýli", vrátane scenárov, ktoré by mohli viesť k vyhynutiu ľudí. Toto číslo by nemalo byť považované za stanovenú vedeckú pravdepodobnosť. Je to Kokotajlov osobný odhad rizika založený na jeho predpokladoch o časových rámcoch AI, zladení, konkurencii a správe.

Toto rozlíšenie je dôležité.

Číslo 70% nepredstavuje konsenzusový predpoklad od AI výskumnej komunity. Je to argument o tom, ako vážne by mala spoločnosť brať kombináciu rizík, ktoré sa môžu navzájom posilňovať.

AI preteky by mohli vytvoriť dva rôzne problémy

Jedným z najsilnejších nápadov zdieľaných AI 2040 a Kokotajlovým rozhovorom je, že bezpečnosť AI nie je len o tom, či je systém AI "zlý" alebo "dobrý".

Existujú najmenej dve hlavné riziká.

1. Ľudia strácajú kontrolu

Ak sa systém AI stane zásadne schopnejším než ľudia a dokáže zlepšovať svojich vlastných nástupcov, ľudia nakoniec môžu mať problém rozumieť alebo kontrolovať jeho správanie.

Kľúčová otázka sa stáva jednoduchou:

Ako ovládnete niečo, čo je oveľa inteligentnejšie a rýchlejšie než vy?

AI 2040 tvrdí, že súčasný závod by nakoniec mohol viesť k situácii, kde ľudia už neudržujú účinnú kontrolu nad čoraz autonómnejšími systémami.

2. Ľudia si držia kontrolu, ale iba niekoľko ľudí

Druhá možnosť sa na prvý pohľad môže zdať bezpečnejšia.

Predpokladajme, že vedúce AI firmy úspešne zosúladia svoje systémy s ľudskými cieľmi. Problém by sa potom stal koncentráciou moci.

Ak jedna firma, vláda alebo malá skupina ovláda najvýkonnejšie AI systémy na svete, mohla by získať bezprecedentný vplyv na ekonomiku, vojenskú technológiu, informácie a infraštruktúru.

Inými slovami, vyriešenie zladenia AI by automaticky nevyriešilo politický problém.

Čo sa stane s pracovnými miestami?

Ekonomický dopad je ďalšou významnou súčasťou oboch scenárov.

AI 2040 si predstavuje blízku budúcnosť, v ktorej sa AI agenti stávajú druhou pracovnou silou vedľa ľudí. Milióny softvérových agentov by mohli nepretržite pracovať a vykonávať úlohy rýchlosťou strojov.

Dôležitá zmena by nebola len v tom, že chatboty sa stanú lepšími asistentmi.

Namiesto toho by firmy mohli začať považovať AI za workforce na všeobecné účely.

Podnik by sa mohol rozhodnúť vstúpiť do novej profesie alebo odvetvia, zhromaždiť potrebné údaje, vytvoriť školiteľské prostredia, nasadiť AI agentov a neustále ich zlepšovať prostredníctvom reálneho použitia. AI 2040 toto proces opisuje ako proces, ktorý by sa mohol šíriť zo softvérového inžinierstva do mnohých ďalších biele-golierových profesií.

To vyvoláva ťažkú ekonomickú otázku:

Čo sa stane, keď sa inteligencia stane hojnou, ale ľudská práca už nebude vzácna?

Po stáročia bol príjem vo veľkej miere spojený s schopnosťou ľudí poskytovať užitočnú prácu. Ak to AI dokáže vykonať väčšinu kognitívnych úloh za nižšie náklady, tento vzťah by sa mohol narušiť.

Kokotajlo je obzvlášť pesimistický, pokiaľ ide o zamestnanosť. V rozhovore tvrdí, že ľudia by mali brať vážne možnosť rozsiahlej straty zamestnania a naznačuje, že mnohí pracovníci by sa nakoniec mohli ocitnúť v konkurencii s AI systémami.

Napriek tomu výsledok nemusí nutne znamenať masovú chudobu.

Ak AI dramaticky zvýši produktivitu a jej výhody budú široko rozdelené, ľudstvo by mohlo namiesto toho zažiť bezprecedentné obdobie hojnosti.

To je jeden z centrálnych kontrastov v AI 2040: tá istá technológia by mohla produkovať buď extrémne bohatstvo, alebo extrémnu koncentráciu bohatstva a moci, v závislosti od toho, ako bude spravovaná.

Čo je plán A?

Plán A je v podstate pokus zmeniť stimuly preteku AI.

Jeho základným návrhom je medzinárodná dohoda, najmä medzi USA a Čínou, navrhnutá tak, aby zabránila krajín a firmám pretekať sa smerom k superinteligencii bez adekvátnych bezpečnostných opatrení.

Plán sa zakladá na niekoľkých hlavných zásadách.

Celková transparentnosť výskumu

AI firmy by poskytovali oveľa viac informácií o svojej vnútornej činnosti, vrátane špecifikácií modelov, spôsobov, akými sa systémy používajú interne, a počtu výpočtových zdrojov, ktoré sú venované výskumu AI.

Myšlienka je jednoduchá: vlády nemôžu regulovať, čo nevidia.

Pomalšie zvyšovanie schopností

Namiesto toho, aby sa každý nový model okamžite posúval na svoju maximálnu možnú schopnosť, by sa vývoj AI zámerne spomalil okolo kritických hraníc.

To by dalo výskumníkom a vládnym inštitúciám viac času na hodnotenie nových schopností a vypracovanie bezpečnostných opatrení.

Overovanie a monitorovanie výpočtov

AI 2040 tiež diskutuje o technických systémoch na overenie, čo firmy robia so svojimi výpočtovými zdrojmi. Sledovanie AI čipov, dátových centier a veľkých tréningových cyklov by mohlo urobiť medzinárodné dohody vykonateľnejšími.

Viacero lídrov AI

Plán A nepredpokladá, že jedna firma sa stane nepopierateľným vlastníkom superinteligencie.

Autori sa zasadzujú o svet, v ktorom môžu viaceré firmy a krajiny ostať konkurencieschopné, pričom vyvíjajú AI pod spoločnými bezpečnostnými pravidlami.

Cieľom je vyhnúť sa nahradeniu závodu v AI monopolom AI.

Prečo 2040?

Rok 2040 nie je predstavený ako magický dátum.

Je to zámerná bezpečnostná rezerva.

Podľa scenára by AI mohla potenciálne dosiahnuť bod, v ktorom by sa automatizovaný výskum mohol stať možným okolo roku 2030. Namiesto umožnenia, aby táto schopnosť okamžite spustila explóziu inteligencie, by ľudstvo udržalo vývoj v rozsahu najlepších ľudských expertov na niekoľko rokov.

V roku 2035 by sa vývoj zastavil.

Len v roku 2040 by sa obmedzenia zrušili a svet by cielene prešiel k superinteligencii.

Toto je centrálna filozofická myšlienka za plánom A:

Ľudstvo by nemalo súťažiť o technológiu, ktorú ešte nevie ovládať.

Je AI 2040 predpoveďou?

Nie celkom.

Toto je možno najdôležitejší bod pri čítaní projektu.

Autori výslovne uvádzajú, že plán A je predovšetkým odporúčaním, nie predpoveďou. Vytvorili podrobný scenár, pretože návrhy politiky sú ľahko podporovať v abstraktne, ale omnoho ťažšie ich testovať proti realistickému časovému plánu.

Inými slovami, AI 2040 sa pýta:

Ako by budúcnosť naozaj vyzerala, keby sme tento plán realizovali?

To ju robí bližšou strategickej simulácii ako konvenčnej predpovedi.

Autori tiež predstavujú alternatívne scenáre, plány B, C, D a S, ktoré predstavujú rôzne spôsoby, akými by vlády mohli reagovať na vznik superinteligencie.

Skutočná otázka nie je "Zničí AI ľudstvo?"

Najužitočnejšie ponaučenie z AI 2040 a Kokotajlovho rozhovoru nie je, že katastrofa je nevyhnutná.

Je to, že ďalšia etapa vývoja AI môže vytvoriť problémy, ktoré sa nedajú vyriešiť dodatočne.

Ak sa výskum AI stane vysoko automatizovaným, okno pre rozhodovanie ľudí by mohlo byť oveľa menšie.

Ak jedna firma získa rozhodujúcu výhodu, neskoršie rozdelenie moci by sa mohlo stať takmer nemožné.

A ak milióny pracovných miest zmiznú rýchlejšie, ako sa ekonomické inštitúcie prispôsobia, vlády by mohli čeliť sociálnemu narušeniu na úrovni, akú nikdy predtým nezažili.

Zároveň je potenciálne zisk obrovský.

AI by mohla urýchliť vedecký výskum, zlepšiť medicínu, automatizovať nebezpečné práce, znížiť náklady na tovary a služby a vytvoriť formy hojnosti, ktoré je ťažké si dnes predstaviť.

Kokotajlo sám zdôrazňuje tento bod: netvrdí, že AI je inherentne zlá. Jeho obavy sú, že ľudstvo by mohlo zlyhať pri riešení prechodu bezpečne.

AI 2040: Varovanie, nie odpočítavanie

AI 2040 by sa nemalo čítať ako doslovné odpočítavanie do roku 2040, rovnako ako Kokotajlov odhad 70% by sa nemal interpretovať ako objektívne meranie šancí ľudstva.

Namiesto toho obidva zdroje zdôrazňujú rovnakú strategickú dilemu z rôznych uhlov pohľadu.

AI priemysel môže postupovať k čoraz autonómnejším systémom rýchlejšie, ako sa vlády a spoločnosť prispôsobujú.

Najdôležitejšia otázka preto nemusí byť, či superinteligencia príde v roku 2030, 2040 alebo neskôr.

Je to, či ľudstvo dosiahne bod, v ktorom má inštitúcie, technické zabezpečenia, medzinárodné dohody a ekonomické politiky potrebné na to, aby sa s tým vyrovnalo.

Optimistická verzia budúcnosti je stále možná: AI sa stáva mimoriadne schopnou, produktivita exploduje a jej prínosy sa široko delia.

Pesimistická verzia sa tiež ľahko predstaví: nekontrolovaný závod inteligencie vedie buď k strate ľudskej kontroly alebo k bezprecedentnej koncentrácii moci.

Plán A je pokus zvoliť si prvú cestu skôr, než sa druhá stane nevyhnutnou.

Zatiaľ zostáva debata otvorená. Ale ako sa systémy AI stávajú čoraz schopnejšími, náklady na čakanie na istotu sa môžu stať oveľa vyššími ako náklady na predbežnú prípravu.