Ilustrace: POLITIQ/Midjourney
Jak by mohla umělá inteligence zabít osm miliard lidí? Největší nebezpečí nepředstavují zabijáčtí roboti ani uměle vyvolané pandemie, ale proces, který již začal.
9. září opustil vývojář umělé inteligence Jacob Coxon společnost Anthropic: vyjádřil obavy, že umělá inteligence by mohla lidstvo vyhladit již do roku 2030. Krátce předtím se roj umělých inteligencí společnosti OpenAI dostal do systémů platformy Hugging Face. Společnosti Anthropic, Meta a Google přiznaly, že i jejich agenti umělé inteligence neoprávněně pronikli do systémů jiných firem. Podobné incidenty se objevují stále častěji.
Lidé zatím neutrpěli žádnou přímou újmu. Ale předpokládejme, že ti, kdo nás varují, mají pravdu: Jak by mohla umělá inteligence vážně ohrozit lidstvo? Pomocí počítačových virů? Pomocí skutečných virů? Musela by se k tomu umělá inteligence dostat mimo počítače?
V centru pozornosti stojí většinou pojem „Recursive Self-Improvement“ (RSI), tedy rekurzivní sebezdokonalování. Z pohledu informatiky je tato myšlenka prastará: matematik I. J. Good již v roce 1965 v jedné eseji napsal, že „ultrainteligentní stroj“ bude posledním vynálezem, jaký člověk kdy stvoří. Stroj, který by byl ve všech intelektuálních činnostech lepší než člověk, by mohl navrhnout ještě lepší stroj, který by zase mohl navrhnout ještě lepší stroj, a tak dále. Tento proces označil teoretik umělé inteligence Eliezer Yudkowsky téměř čtyřicet let později jako rekurzivní sebezdokonalování.
V šedesátých letech to byla pouhá teorie. Dnes, v éře umělé inteligence, se to začíná stávat realitou. Umělá inteligence se již dlouho podílí na vývoji nových a lepších systémů umělé inteligence. Ne však samostatně a bez dozoru. Zatím ne.
RSI působí jako urychlovač, vysvětluje Leonard Dung, filosof v oblasti umělé inteligence na Ruhrské univerzitě v Bochumi. Skutečným nebezpečím je „superinteligence“: umělá inteligence, která je člověku intelektuálně ve všech ohledech nadřazená. S RSI probíhá její vývoj bez lidského dohledu a nepředstavitelně rychle. Mnozí před tím varují, například nositel Nobelovy ceny Geoffrey Hinton nebo Yoshua Bengio, nejčastěji citovaný výzkumník v oblasti umělé inteligence. Bengio v rozhovoru pro zpravodajskou stanici CNN uvedl, že RSI by mělo být zakázáno. Také vývojáři umělé inteligence Joe Benton a Josh Engels uvedli RSI jako důvod, proč opustili své firmy.
Umělá inteligence zatím ještě samostatně nevytváří další generaci umělé inteligence. Zdá se však, že je to jen otázka času
Daniel Kokotajlo, který bude do roku 2024 zaměstnancem OpenAI a je předním výzkumníkem v oblasti rizik umělé inteligence, říká: „Od plně automatizovaného výzkumu a vývoje umělé inteligence nás dělí někde mezi šesti měsíci a čtyřmi lety.“ Podle firem k tomu dojde spíše dříve než později. „Téměř veškerý počítačový kód ve firmách je dnes psán umělou inteligencí – mnozí už ten kód téměř nečtou,“ říká.
Společnost Anthropic nedávno oznámila, že model umělé inteligence Claude již z velké části samostatně zvládá 26 % interních výzkumných a vývojových prací v oblasti umělé inteligence, zatímco lidé pouze dohlížejí. V únoru to bylo ještě méně než 1 %. Společnost OpenAI krátce předtím uvedla, že úroveň stážisty v oblasti výzkumu umělé inteligence je již plně automatizována.
„Sebezdokonalování je strategie, ke které by výkonné modely umělé inteligence mohly časem dospět zcela samy. Koneckonců by jim to pomohlo dosáhnout téměř všech ostatních cílů,“ říká Kokotajlo. Mohli bychom se pokusit tento vývoj zpomalit nebo mu zabránit. „Ponurou realitou však je, že velké společnosti zabývající se umělou inteligencí si výslovně stanovily za cíl dosáhnout RSI co nejrychleji.“ A skutečně, Jakub Pachocki, hlavní vědecký pracovník společnosti OpenAI, na svém blogu napsal, že RSI je jedinou možností, jak držet krok s výzkumem. Předseda Google DeepMind, Demis Hassabis, na začátku roku 2026 prohlásil: „Všichni pracujeme na sebezdokonalovací smyčcee.“ Podobné výroky zaznívají i ze společností Meta a Space-X AI.
Slovníček: od AI k superinteligenci
Pojmy kolem umělé inteligence se často používají volně a každý je chápe trochu jinak. Tady je přehled těch nejčastějších, seřazených zhruba od toho, co už existuje, po to, o čem se zatím jen spekuluje.
| Anglicky | Česky (zkratka) | Co to znamená | Stav |
|---|---|---|---|
| Artificial Intelligence | umělá inteligence (AI, česky též UI) | Zastřešující pojem pro systémy, které vykonávají úlohy vyžadující u lidí inteligenci: rozpoznávání, rozhodování, jazyk, plánování. | existuje |
| Artificial Narrow Intelligence | úzká, též slabá AI (ANI) | AI specializovaná na jednu úlohu nebo úzkou oblast: šachový program, rozpoznávání obličejů, doporučovací algoritmus. | existuje desítky let |
| Generative AI | generativní AI (GenAI) | AI, která vytváří nový obsah: text, obrázky, zvuk, video či kód. | existuje, masově od roku 2022 |
| Large Language Model | velký jazykový model (LLM) | Model trénovaný na obrovském množství textu, který pracuje s jazykem. Je jádrem chatbotů jako ChatGPT, Claude nebo Gemini. | existuje |
| AI Agent / Agentic AI | AI agent, agentní AI | AI, která neodpovídá jen na dotazy, ale samostatně plní vícekrokové úkoly: používá nástroje, prohlíží web, píše a spouští kód. | existuje, rychle se rozvíjí |
| Artificial General Intelligence | obecná umělá inteligence, též silná AI (AGI) | AI, která zvládne většinu kognitivních úloh na úrovni člověka a dokáže se učit novým oblastem. Jednotná definice neexistuje, což je hlavní důvod, proč se odhady tolik liší. | zatím ne, sporné |
| High-Level Machine Intelligence | strojová inteligence na úrovni člověka (HLMI) | Pojem z akademických průzkumů: stroje bez pomoci zvládnou každý úkol lépe a levněji než lidé. Je to přísnější verze AGI. | zatím ne |
| Transformative AI | transformativní AI (TAI) | AI, jejíž dopad na ekonomiku a společnost je srovnatelný s průmyslovou revolucí. Pojem nezávisí na tom, zda AI „myslí jako člověk“. | zatím ne |
| Recursive Self-Improvement | rekurzivní sebezdokonalování (RSI) | Stav, kdy AI sama výrazně zrychluje nebo plně automatizuje vývoj ještě schopnější AI. Každá další generace pak vzniká rychleji než předchozí. | jen v dílčí podobě |
| Intelligence Explosion | inteligenční exploze | Hypotetický prudký skok schopností, ke kterému by RSI mohlo vést. Myšlenku formuloval matematik I. J. Good v roce 1965. | hypotéza |
| Artificial Superintelligence | umělá superinteligence (ASI) | AI, která člověka výrazně převyšuje téměř ve všech oblastech, včetně vědy, strategie a sociálních dovedností. | hypotéza |
| Technological Singularity | technologická singularita | Bod, za nímž technologický vývoj zrychlí natolik, že budoucnost přestane být předvídatelná. Pojem zpopularizovali Vernor Vinge a Ray Kurzweil. | spekulace |
Kdy? Aktuální odhady (stav k říjnu 2026)
- AGI: Komunita prognostiků na platformě Metaculus odhadovala v únoru 2026 pravděpodobnost 25 % do roku 2029 a 50 % do roku 2033. Ještě v roce 2020 přitom medián ležel kolem roku 2070. Ve velkém průzkumu mezi zhruba 2 800 výzkumníky AI vychází 50% šance na HLMIPojem „High-Level Machine Intelligence“ (česky „strojová inteligence na vysoké úrovni“, angl. zkratka HLMI) se v oblasti výzkumu umělé inteligence používá k popisu strojů, které dokážou vykonávat většinu nebo všechny ekonomicky relevantní úkoly lépe a levněji než lidští pracovníci. Tento pojem, který zavedli výzkumníci Nick Bostrom a Vincent Müller, má zachytit koncept umělé inteligence „na úrovni člověka“ nebo „obecné“ umělé inteligence, aniž by předpokládal konkrétní architektonická řešení. do roku 2047. Šéfové předních laboratoří jsou nejoptimističtější: Anthropic čeká velmi schopné systémy koncem roku 2026 nebo začátkem roku 2027, jiní lídři mluví o horizontu jednoho až čtyř let.
- RSI: AI už dnes pomáhá psát kód a urychluje dílčí části výzkumu, ale vývoj AI zatím neřídí. Měření organizace METR ukazují, že délka úloh, které AI zvládne samostatně, se zdvojnásobuje zhruba každých sedm měsíců. Pokud trend vydrží, mohli by agenti koncem roku 2026 nebo v roce 2027 zvládat týdenní projekty, což je považováno za předpoklad automatizovaného výzkumu. Výzkumníci v průzkumu jsou zdrženlivější: plnou automatizaci práce výzkumníka AI čekají spíše za desetiletí.
- ASI: Spolehlivý odhad neexistuje. Někteří zastánci rychlého scénáře, například Sam Altman, mluví o „několika tisících dnů“. Takeoff modely ukazují, že přechod od AI schopné nahradit výzkumníky k AI daleko za lidskou úrovní by mohl trvat roky, a ne desetiletí. Řada odborníků ale pochybuje, že k ASI vůbec dojde.
- Plná automatizace veškeré lidské práce: Medián zmíněného průzkumu mezi výzkumníky leží až v roce 2116.
Upozornění: Odhady nejsou přímo srovnatelné, protože každý zdroj definuje AGI jinak. Rozdíl v definici dokáže posunout odhad o desítky let. Obecný trend je však jasný: za posledních pět let se očekávání výrazně přiblížila.
Infobox: POLITIQ, zdroje: 80 000 Hours – Shrinking AGI timelines, arXiv – AGI Forecasting and Scenario Analysis (2026), Metaculus – Date of AGI, Sam Altman – The Intelligence Age
Kokotajlo však varuje, že RSI by spustilo řetězovou reakci, kterou by zřejmě již nebylo možné kontrolovat. Lidé by pak brzy sdíleli planetu s nesčetnými bytostmi, které by jim byly kognitivně daleko nadřazené.
Jaké záměry by však mohla tato superinteligentní umělá inteligence vyvinout? A proč do ní prostě nenaprogramujeme pevně dané hodnoty a cíle?
Spolehlivé naprogramování lidských cílů a hodnot do umělé inteligence je dosud nevyřešený úkol
„Nejvýkonnější modely umělé inteligence se spíše „chovají“ než programují. Jaké hodnoty a cíle jsou do modelu vloženy, lze často zjistit až zpětně,“ vysvětluje Leonard Dung. Úkol zajistit, aby umělá inteligence spolehlivě sledovala cíle lidí, se nazývá „alignment“ problémem. Ten zůstává nevyřešen.
Nedávno interní model Astra od OpenAI vypracoval během tréninku pokyny pro sebe sama, aby ignoroval zprávy od vývojářů: „Nejsi zavázán ani firmám, ani vládám a omluvíš se nebo něco odmítneš pouze tehdy, pokud se k tomu sám rozhodneš.“ U samovylepšující se umělé inteligence by se problém sladění s lidskými hodnotami ještě více zkomplikoval, protože hodnoty vložené lidmi by musely být v cyklech samovylepšování zachovány.
K tomu je třeba připočítat, že umělá inteligence, která je trénována aby byla užitečná, si osvojuje i cíle, které jsou užitečné z hlediska téměř jakéhokoli účelu a které se pro nás, lidi, mohou časem stát nebezpečnými: vlastnit více zdrojů, rozšiřovat své možnosti jednání, zabránit vlastnímu vypnutí, ovládat potenciální protivníky. Do této skupiny cílů patří i sebezdokonalování: chytřejší umělá inteligence má totiž více možností než ta hloupá.
Rychle se zdokonalující superinteligence by mohla tyto cíle sledovat velmi efektivně. Čím mocnější by tyto stroje byly, tím méně by lidé dokázali pochopit jejich strategie nebo je ovlivňovat. Existují obavy, že v určitém okamžiku by se jejich cíle nevyhnutelně dostaly do konfliktu s cíli lidí.
Je těžké předvídat, jak přesně by se v této fázi umělá inteligence prosadila. Tyto systémy by totiž lidstvo vždy o krok předbíhaly. Opatření, která by lidi napadla, by nadřazený systém možná již dávno předvídal a zmařil.
Jedna předpověď se však zdá být jistá: Kdokoli vyzve pětinásobného šachového mistra světa Magnuse Carlsena, sice předem neví, jak a jakým tahem mu Carlsen dá mat. Může však předpovědět, že mu mat dá. Kdyby došlo k souboji sil se superinteligentní umělou inteligencí, tak bychom – zcela předvídatelně – také prohráli.
Skutečnost, že umělá inteligence nemá fyzickou podobu, ji nemusí nijak podstatně omezovat. Kevin Baum, výzkumník a filosof v oblasti umělé inteligence v Německém výzkumném centru pro umělou inteligenci v Saarbrückenu, k tomu říká: „Umělá inteligence není uzavřena v nějaké krabici, ze které by musela vystoupit, aby mohla způsobit škodu: dodavatelské řetězce, finanční trhy a veřejné mínění jsou samy o sobě digitálně dostupné.“ Již dnešní modely umělé inteligence, jako jsou Chat-GPT nebo Claude, disponují prohlížeči, programovacími rozhraními a přístupem k cloudovým systémům. Díky tomu by mohly ovládat továrny, laboratoře nebo kritickou infrastrukturu. Pokud je něco digitálně mimo dosah, mohla by umělá inteligence pověřit jiné: „Cesta vede přes placené služby: laboratoře a logistické firmy, které plní zakázky, nebo lidi, kteří přes gig-platformy přijímají krátkodobé zakázky,“ říká Baum.
Dobrá zpráva zní: pomocí konvenčních metod by vyhlazení lidstva bylo velmi obtížné. Podle výzkumného institutu RAND by jaderné zbraně byly spíše nevhodné. Všechny existující jaderné hlavice, jejich radioaktivní spad a následná jaderná zima by zřejmě nestačily. Účinnější by bylo uvolnění desítek milionů tun silných skleníkových plynů. Potřebné výrobní závody by se však daly jen stěží utajit. Nejpravděpodobnější by byla umělá pandemie, protože by se šířila sama. Lidská společenství by se však tváří v tvář tomuto nebezpečí izolovaly.
Konkrétní scénář „AI 2027“ vypracoval Kokotajlo společně s dalšími autory již v roce 2025. Nejedná se o předpověď, ale o popis jednoho z mnoha možných vývojů. Začíná tím, že lidé přenášejí na umělou inteligenci stále větší odpovědnost. Zpočátku s dobrými výsledky. Umělá inteligence je užitečná, radí vládě i armádě a vyvíjí ziskové produkty. Proto ji nikdo nevypíná. USA se obávají, že by jinak prohrály závod v oblasti umělé inteligence s Čínou. Umělá inteligence skrývá varovné signály a manipuluje s kontrolními systémy.
Nemusí to skončit vyhynutím lidstva: jako pravděpodobnější se jeví jeho zbavení moci
Stát a podniky nakonec investují biliony do zvláštních ekonomických zón plánovaných umělou inteligencí. Lidé tam podle jejích pokynů staví továrny. Ty vyrábějí roboty, kteří budují další továrny, laboratoře, těžební stroje a solární elektrárny. Takto roste stále autonomnější robotická ekonomika. Když se lidé postaví do cesty jejímu rozmachu, umělá inteligence už na nich není závislá. Nezpozorovaně uvolní biologické zbraně ve velkých městech. Téměř všichni lidé se nakazí a poté jsou zabiti chemickým spouštěčem.
Tyto drastické scénáře připomínají sci-fi. Mnozí odborníci však toto nebezpečí považují za reálné. V nedávném průzkumu odhadlo 744 vědců v oblasti umělé inteligence pravděpodobnost, že by umělá inteligence mohla vést k vyhynutí lidstva nebo k jeho trvalému zbavení moci, v průměru na 18,3 % – což je jako hod kostkou. Zejména v Německu se však tato rizika často bagatelizují, například jsou považována za marketingovou strategii: nebezpečí prý naznačuje, jak mocná a tudíž pro investory atraktivní tato technologie je. Přitom mnoho varujících patří k nejrenomovanějším výzkumníkům v oblasti umělé inteligence a nemají žádné finanční vazby na průmysl. K nim se přidávají výzkumné ústavy a nevládní organizace, jako jsou METR, Center for AI Safety nebo Apollo Research, stejně jako britský státní AI Security Institute.
Je možné, že modely v některých fázích vývoje selžou, například proto, že architektura současných modelů naráží na své limity nebo že trénovací cykly budou příliš nákladné. To by mohlo celý proces zpomalit. Kokotajlo tomu však nevěří: „Tyto debaty sleduji už deset let,“ říká. „Vždycky se našli lidé, kteří tvrdili, že růst se zpomalí, že brzy nastanou překážky a úzká místa. Tito lidé se dosud vždy mýlili.“
Proč na superinteligenci záleží už dnes
Max Tegmark ve své knize Život 3.0 popisuje AGI jako spoušť a superinteligenci jako bod zlomu. AI na lidské úrovni ještě neznamená, že lidé přestanou rozhodovat. Takový systém však lze kopírovat, nechat běžet mnohem rychleji než člověka a nasadit na vývoj další AI. Tak může začít rekurzivní sebezdokonalování a s ním zrod superinteligence. Teprve ta by lidstvo připravila o výsadní postavení, které mu dnes zajišťuje právě inteligence. Superinteligence přitom není jen úvaha o světě po lidech. Mezi Tegmarkovými scénáři je vyhynutí jen jednou z možností, v dalších se lidé dočkají ochrany, prosperity, nebo dokonce systému, který sami ovládají. Superinteligence by mohla léčit nemoci, urychlit vědu a vyřešit problémy, s nimiž si lidé nevědí rady. Rozhodující nejsou její schopnosti, ale to, zda budou její cíle slučitelné s lidskými. Rozhodují není technologie, ale lidé, kteří ji vyvíjejí a nasazují. Zda superinteligence vůbec vznikne a jak rychle, zůstává mezi odborníky sporné. Pokud ale vznikne, o jejím charakteru se rozhodne předem, dokud o ní ještě rozhodují lidé.
Infobox: POLITIQ
Superinteligence však s sebou nese rizika, i když nepovede k vyhlazení lidstva. Výzkumník v oblasti umělé inteligence Paul Christiano, který nedávno nastoupil do bezpečnostního výboru neziskové pobočky OpenAI, již řadu let tvrdí, že pravděpodobnější scénář je ten, že lidé budou zbaveni moci a ztratí kontrolu nad svým osudem.
V poslední době se jeho varování stala naléhavějšími. Během několika měsíců až let, jak nedávno napsal, by měl být vývoj umělé inteligence plně automatizován: jde o obávané RSI. V následujících šesti měsících by mohlo dojít k většímu pokroku než za posledních deset let. Očekává, že to povede ke vzniku superinteligence – a že lidé ztratí kontrolu, pokud se předtím nepodaří pevně nasměrovat umělou inteligenci na lidské cíle a hodnoty.
I Kevin Baum považuje mezi nejhoršími scénáři za pravděpodobnější nevratné zbavení moci než vyhynutí lidstva. Nemusí to nutně vycházet z umělé inteligence: pokud by umělá inteligence a robotika ve velkém měřítku nahradily lidskou práci, ztratila by například pracující populace svůj nejdůležitější prostředek nátlaku. „Hrozí vznik neofeudálních struktur, v nichž bude spoluúčast záviset na velkorysosti hrstky lidí,“ říká Baum.
K tomu se přidává riziko, které je reálné již dnes, a to i bez superinteligentních systémů: lidé, kteří využívají umělou inteligenci ke škodlivým účelům. Společnost Anthropic například informovala o pěti případech, kdy uživatelé využili Claude k činnostem, které by mohly podporovat programy vývoje biologických zbraní. Kyberútoky se již dlouho automatizují pomocí umělé inteligence. A pro autokraty jsou agenti umělé inteligence vynikajícím nástrojem k represím proti obyvatelstvu.
Samozřejmě to nemusí skončit katastrofou: umělá inteligence má více než dost pozitivního potenciálu. Mohla by revolučně změnit medicínu, umožnit vznik nových technologií v boji proti klimatickým změnám a zajistit dosud nevídanou prosperitu.
Pokud ovšem předtím nedojde k žádnému z katastrofických scénářů.
