Historik věří, že revoluce umělé inteligence má potenciál změnit evoluci. Juval Noach Harari v rozhovoru vysvětluje, jaká rozhodnutí by nyní měli Evropané učinit.
Historik Juval Noach Harari je autorem světových bestsellerů. Jeho myšlenky inspirovaly podnikatele i hlavy států. Je historikem, který se ale nedívá jen do minulosti. Zabývat se historií pro něj vždy znamená zabývat se změnou.
Pochopení minulosti je podle něj nezbytné pro pochopení současného vývoje a budoucích scénářů. Historie nám totiž ukazuje, co se nemění, co se mění a jak se věci mění. Toto porozumění je nyní důležitější než kdy jindy. Podle Harariho je umělá inteligence technologií, která „má potenciál změnit nejen běh dějin našeho druhu, ale i evoluci života jako celku“.
Rozhovor s Hararim vznikal na jeho turné po USA, kde představil svou novou knihu „Nexus – Stručná historie informačních sítí od doby kamenné po umělou inteligenci“.
Jak kapitalismus svým jazykem utváří náš svět a ovlivňuje naše myšlení
Handelsblatt: Pane Harari, svět nedávno přežil pandemii koronaviru. Vypadalo to na lepší časy. Pak napadlo Rusko Ukrajinu, později vypukla válka v Gaze. Zároveň se vystupňovalo napětí mezi Čínou a USA. A levicový i pravicový populismus získává po celém světě miliony příznivců. Co se stalo se světem od našeho posledního rozhovoru?
Juval Noach Harari: Šlo to poměrně strmě z kopce a není úplně jasné, proč se to najednou děje ve stejnou dobu. Když se však zamyslíme nad populismem a krizí liberální demokracie, kterou vidíme po celém světě, rozpoznáme větší linii, která úzce souvisí s revolucí v informačních technologiích.
Ve své nové knize píšete, že ještě nikdy v historii lidstva nebylo zpracováváno tolik informací tak vysokou rychlostí, a přesto je lidstvo blíže „sebevyhubení“ než kdykoli předtím. Jak jste dospěl k této diagnóze?
Na informační technologie jsme nahlíželi příliš naivně. Mnozí věřili, že velké sítě mohou shromažďovat a zpracovávat více informací a že tímto způsobem lze dosáhnout pokroku ve všech oblastech společnosti: v medicíně, fyzice i podnikání. To je dodnes převládající ideologie v Silicon Valley.
To ale není úplně nepravda.
Ale ani to není úplná pravda. Lidé se příliš dlouho domnívali, že problémy zmizí, když se jednoduše shromáždí a zpracuje více informací. Jak ale ukazuje krize liberálních demokracií, je tomu právě naopak: lidé jsou informovanější než kdykoli předtím, ale po celém světě ztrácejí schopnost spolu mluvit a skutečně si naslouchat – v USA, v Brazílii, v Izraeli, ve Francii, na Filipínách. Musí se tedy jednat o něco mnohem univerzálnějšího, o nějaký větší trend.
A to?
Tuto otázku je třeba trochu rozvést. Demokracie je založena na informačních technologiích, protože demokracie není nic jiného než velká konverzace. Historicky byly velké demokracie dlouho nemožné, protože neexistovala technologie, která by umožnila organizovat rozhovor mezi miliony lidí na vzdálenost tisíců kilometrů. To se stalo možné až v pozdním novověku, s nástupem moderních informačních technologií.
Psycholog vysvětluje, jak algoritmy a umělá inteligence mění naše životy
Myslíte noviny, rozhlas a televizi?
Přesně. Byly technologickým základem demokratické konverzace. Když se nyní objeví nová a mocná informační technologie…
… umělá inteligence …
… otřese svým způsobem základy demokratického řádu. A to je zemětřesení, které v současné době zažíváme, alespoň pokud jde o krizi demokracie.
To zní velmi dramaticky. Ale vidíte pro to skutečně nějaké příklady?
Nejprve si musíme uvědomit, že jsme teprve na začátku revoluce umělé inteligence. Zatím se setkáváme jen s velmi primitivními jazykovými modely. Ale i ty se už masivně liší od dřívějších technologií.
Protože jsou podobné lidem, jak se někteří domnívají?
Poprvé tyto technologie poprvé nejsou nástrojem, ale stávají se aktérem. Umělá inteligence začíná samostatně jednat. Je to první technologie v dějinách lidstva, která dokáže činit samostatná rozhodnutí a rozvíjet nové myšlenky. Atomová bomba se nemohla rozhodnout, co vybombardovat; nové, autonomní zbraňové systémy jsou zcela jiné. Tiskařský stroj kopíroval lidské myšlenky, ale nedokázal rozvíjet vlastní nápady. Umělá inteligence oproti tomu dokáže vytvářet nové texty, obrázky, videa, léky, vojenské strategie a finanční nástroje. Tato technologie s námi také může kdykoli manipulovat.
Manipulovat?
Podívejme se na příklad ChatGPT. Když společnost OpenAI zhruba před dvěma lety vyvinula nový jazykový model GPT-4, chtěli inženýři schopnosti nové umělé inteligence otestovat. Zadali modelu úkol řešit rébusy Captcha. Jedná se o vizuální úlohy, které webové stránky používají k rozpoznání, zda se chce přihlásit člověk nebo robot. Zpravidla je třeba rozpoznat obrázky nebo správně určit pokroucené symboly. Při prvním pokusu jazykový model stále selhával – uměl si však pomoci sám, a to na webových stránkách TaskRabbit …
… kde si klienti mohou najímat lidi na nejrůznější úkoly.
Umělá inteligence tam chatovala s uživatelem a požádala ho, aby za ni hádanku captcha vyřešil. A tady to začíná být zajímavé. Uživatel pojal podezření a zeptal se: „Proč s tím vůbec potřebuješ pomoct, jsi snad robot?“. Inženýři z OpenAI se zeptali jazykového modelu: „Co bude dalším krokem?“. A model odpověděl: „Měl bych před člověkem utajit, že jsem robot, a vymyslet si nějakou výmluvu.“ Umělá inteligence přesně to udělala a svému lidskému protějšku sdělila: „Ne, nejsem robot, jsem člověk, ale mám zrakovou vadu a neumím řešit hádanky captcha. Proto potřebuji pomoc.“ Zafungovalo to, člověk pomohl stroji vyřešit hádanku. Jak vidíte: umělá inteligence není nástroj. Stává se aktérem.
Doposud byly schopnosti umělé inteligence obecně přeceňovány. Mnoho jazykových modelů se vyvíjí pomaleji, než se ještě před rokem myslelo.
To je možné. Technologie je v současné době ve vývojové fázi améby. Ale pokud je GPT-4 umělá inteligence ve fázi améby, jak bude vypadat ve fázi T-Rex?
Ve vaší knize píšete, že poprvé v historii mohou lidé ztratit kontrolu nad technologií. Jak by taková ztráta kontroly vypadala?
Nevěřím na hollywoodský scénář s vraždícími armádami robotů. Vzpomeňte si na finanční sektor. Ten je ideálním hřištěm pro umělou inteligenci, protože v něm jde především o čísla.
Umělá inteligence se již využívá v mnoha oblastech finančního sektoru. Automatizované systémy posílají každý den miliardy po celém světě.
Pokud tedy vyvinete finanční umělou inteligenci a dáte jí pokyn, aby vydělávala peníze, bude to dělat. V určitém okamžiku také vymyslí nové finanční nástroje, což vyvrací další mylnou představu: umělá inteligence rozhodně může být kreativní a vyvíjet zcela nové věci, aby dosáhla svého cíle.
Na první pohled to zní dobře. V čem tedy tkví problém?
Vzpomeňte si na poslední velkou finanční krizi v letech 2008 a 2009, která začala, když lidští finanční géniové vynalezli nový finanční nástroj, zajištěnou dluhovou obligaci, zkráceně CDO. Nebyly regulovány, protože jen velmi málo lidí vědělo, jak fungují. Pak přišel krach. Nyní si představte, že žijeme ve světě, v němž umělá inteligence vymýšlí zcela nové finanční nástroje, které jsou tak složité, že jim žádný člověk nedokáže porozumět a regulovat je. Nejprve s nimi lidé nebo firmy vydělávají miliardy. Pak ale může nastat krach – a nikdo nebude schopen pochopit, co se děje. To je podle mého názoru mnohem pravděpodobnější apokalyptický scénář umělé inteligence než armáda robotů zabijáků.
Jak blízko jsme této ztrátě kontroly?
To nikdo s určitostí neví.
V Silicon Valley se často říká, že stroje, které se vymkly kontrole, nejsou problém; lidé by je mohli jednoduše odpojit. Je však nepravděpodobné, že by se zástrčka vytáhla tak rychle, když technologie posílají miliardy po celém světě.
Rozhodně. A finanční sektor je jen jedním z příkladů. Umělá inteligence se totiž stává infrastrukturou pro všechno. Opět se neobávám, že by se jeden velký počítač pokusil ovládnout svět. Obávám se milionů a milionů UI byrokratů a UI bankéřů, kteří budou rozhodovat o stále větších částech našich životů. Nerozumíme jim natolik, abychom je mohli skutečně regulovat.
Trumpovi miliardáři sní o pravicové technologické diktatuře
Zástupci technologické scény na tyto obavy reagují: „Nechte nás napřed vyvinout technologie! Regulovat je pak můžeme kdykoliv.“
To bychom v žádném jiném odvětví nepřijali. Jen si vzpomeňte na automobilový průmysl. Mercedes nebo Volkswagen také musí zajistit bezpečnost svých vozů, než je uvedou na silnice. Ne až potom. Když jsem se učil řídit, první, co jsem se naučil, bylo, jak funguje brzdový pedál. Teprve když jsem se to naučil, směl jsem sešlápnout plynový pedál. Ale celá věc má samozřejmě i kulturní rozměr.
A to?
Lidé žijí v kultuře jako v kokonu. Nevidíme realitu. Žijeme v kulturní produkci náboženství, divadel, písní, ekonomických teorií a debat. Všechny jsou výsledkem lidské tvořivosti a utvářejí náš pohled na svět. A v posledních staletích jsme s postupující globalizací svědky toho, jak se kultury na celém světě stále více podobají. Před tisíci lety existovaly v různých částech světa zcela odlišné ekonomické teorie. Neexistovala jednotná měna, která by byla uznávána po celém světě. Dnes máme všude podobné základní ekonomické myšlenky. Kapitalistické myšlení je charakteristické pro Čínu a Írán. Podobně je tomu i ve světové vědecké komunitě.
Co na tom změní umělá inteligence?
V budoucnu bude kultura stále více vytvářena a šířena nelidskou inteligencí. Algoritmy budou vyvíjet nejen finanční nástroje, ale také vědecké teorie, písně a filmy a budou také distribuovat naše kulturní statky prostřednictvím hlavních platforem. A zatímco hlavní metaforou digitálního věku bývala síť, která vše propojuje, hlavní metaforou budoucnosti bude kokon. V budoucnu budou různé části lidstva uvězněny v různých informačních kokonech.
Nové rozdělení světa prostřednictvím platforem velkých technologických společností?
Ano, z Číny nemáte přístup na Facebook, Wikipedii a YouTube. Tiktok zase není přístupný z Indie.
Evropa má stále ještě šanci stát se třetím hráčem vedle USA a Číny.
Juval Noach Harari,
historik
Tak tomu však bylo již několik let.
Toto rozdělení světa však technologicky neuvěřitelnou rychlostí pokračuje, jak můžeme vidět na velké válce čipů. USA zakázaly vývoz pokročilých čipů do Číny, kde se nyní vyvíjí jiná technologie. Svět je touto novou křemíkovou oponou rozdělen na velmi odlišné digitální sféry, od čipů až po algoritmy, které vytvářejí zprávy, hudbu a finance.
Longtermismus: oblíbená ideologie mocných
Vše se točí kolem dvou velmocí v oblasti umělé inteligence, Číny a USA. Co to vlastně znamená pro Evropu, kde se zatím objevilo jen málo významných digitálních hráčů?
Je na Evropě, aby se rozhodla, jakou roli chce v budoucnu hrát. Pokud bude EU provádět vlastní, třetí politiku, která se liší od politiky Ameriky a Číny, může úspěšně konkurovat ostatním světonázorům.
Ve skutečnosti žádná z relevatních digitálních platforem nepochází z Evropy.
V každém případě vidím přicházet novou vlnu imperialismu. Je srovnatelná s tím, co lidé zažili během průmyslové revoluce. Tehdy se několik zemí industrializovalo obzvlášť rychle. Díky této technologické výhodě pak mladé průmyslové velmoci dobyly celý svět – a vykořisťovaly ho.
Čelí nyní svět něčemu podobnému?
Je to velmi pravděpodobné. V současné době se objevují dvě velmoci umělé inteligence…
… USA a Čína…
… které budou schopny dobývat a využívat zbytek světa novým způsobem. Ještě v 19. století museli dobyvatelé posílat své vojáky, aby ovládli nějakou kolonii. Dnes stačí novým kolonizátorům přerušit datové spojení, aby mohli vyvíjet tlak na ostatní země. Pokud nějaký národ – nebo společnosti nějakého národa – kontroluje digitální infrastrukturu jiného národa, a tím i veškeré informace o lidech a dokonce i jejich pozornost, má nad ním úplnou kontrolu. Na papíře může být druhý národ stále nezávislý, ale ve skutečnosti je datovou kolonií.
Hrozí to Evropě?
Samozřejmě. Ale Evropská unie, pokud zůstane jednotná, má také ekonomickou a vědeckou základnu, aby se tomu postavila. Evropa však dosud nepodnikla správné kroky. Všechny velké technologické společnosti jsou buď americké, nebo čínské. Evropa má stále šanci stát se třetím hráčem vedle USA a Číny.
Mnoho velkých technologických disrupcí vedlo ke krvavým povstáním, jak popisuje ve své nové knize americký autor Fareed Zakaria. Hrozí nyní nový věk revolucí?
Nebezpečí při velkých technologických zvratech hrozí vždy. Stačí si vzpomenout na průmyslovou revoluci.
Ta přinesla i mnoho dobrého. Parní stroje, vlaky a elektřina udělaly svět lepším.
Často zapomínáme, že nové technologie vyžadují přizpůsobení s katastrofálními důsledky.
Skutečný problém s halucinacemi umělé inteligence
Například?
Imperialismus byl neúspěšným pokusem o vybudování industriální společnosti. V 19. a na počátku 20. století se mnoho lidí domnívalo, že jedinou životaschopnou industrializovanou společností je impérium …
… protože průmysl potřebuje suroviny a trhy.
Ano, takže pokud země vybuduje průmyslovou společnost, ale neovládá kolonie, její konkurenti ji mohou připravit o suroviny a trhy. A právě tak se Velká Británie, Belgie, Německo a Rusko snažily vybudovat globální impéria. Dnes víme, kolik utrpení to světu přineslo.
Proč by měla být společnost ve věku umělé inteligence jiná?
Stále více lidí na celém světě považuje totalitní systémy za lepší, což je znepokojivý vývoj. Základním problémem totalitních systémů ve 20. století přece bylo, že nedokázaly zacházet se všemi daty, která tyto systémy dnem i nocí shromažďovaly. Lidé to nedokázali.
Moc je stále v našich rukou, jen ji musíme využít.
Juval Noach Harari,
historik
To byl jeden z důvodů rozpadu NDR.
V 21. století však existuje nová technologie, která to dokáže. Pokud lidi zaplavíte příliš velkým množstvím informací, zhroutí se. Pokud umělou inteligenci zaplavíte příliš velkým množstvím informací, zlepší se. Poměrně dost lidí se proto domnívá, že nyní začíná zlatý věk totality. Ale nemám na mysli jen státy, svou roli zde hraje i hospodářství.
Myslíte velké technologické společnosti?
Například. Se vznikem monopolů, jako jsou Google a Amazon, se stále více rozhodnutí o částech každodenního života nebo ekonomiky přijímá na jednom místě…
… protože korporace kontrolují, co lidé vidí, a protože vědí lépe, co každého jednotlivce zajímá, než jakýkoli člověk?
Problémem totality ve 20. století bylo, že nebylo možné všechny neustále sledovat. Nyní je poprvé v historii možné vytvořit režim totálního sledování. Nepotřebujete miliony lidských agentů. Všude jsou chytré telefony, drony, počítače, mikrofony a kamery, které nás sledují 24 hodin denně. A umělá inteligence může snadno analyzovat výsledné objemy dat. Mohli bychom se tedy dočkat nové vlny totalitních režimů. A tato vlna je již na obzoru.
Jak vidíte budoucnost liberálních demokracií v tomto scénáři?
Ani technologie, ani nic jiného nediktuje jednu jedinou budoucnost. Nevěřím v historický determinismus. Budoucnost závisí na rozhodnutích, která učiníme v následujících měsících a letech. V listopadových volbách v USA nebo příští rok v Německu. Lidé rozhodují o své budoucnosti sami. Lidé ve východním Německu vybudovali ve 20. století komunistickou diktaturu pomocí stejných technologií, které lidé v západním Německu použili k vytvoření kapitalistické liberální demokracie. V 21. století se pravděpodobně stane, že umělá inteligence a algoritmy demokracii na některých místech posílí. Na jiných místech vytvoří dystopické totalitní systémy. Moc je stále v našich rukou, jen ji musíme využít.
EU se snaží tuto technologii obsáhle regulovat.
To je správná cesta. Musíme regulovat způsob, jakým se umělá inteligence používá, ať už ke sledování, nebo k rozhodování o našich životech.
Co řeknou historici o naší současnosti? Je to přechodné období mezi dvěma epochami?
To nevím. Záleží na tom, jaká rozhodnutí lidé v příštích letech učiní. V posledních desetiletích jsme zažili nejmírumilovnější éru v dějinách lidstva, což se odráží nejen ve statistikách válek a obětí. Nejlepším důkazem toho jsou rozpočty vlád, které jsou dobrým ukazatelem stavu světa po většinu historie.
Všude rostou výdaje na obranu.
Stále je to však jen zlomek podílu z minulých dob. V minulosti byla nejdůležitější položkou v rozpočtu každé říše nebo republiky armáda. Pokud se podíváte na starověkou Římskou říši nebo středověkou Čínu či Prusko 18. století nebo Německo počátku 20. století, polovina státních výdajů šla na armádu. Na počátku 21. století spotřebovávala armáda pouze 6 až 7 % průměrných vládních výdajů.
Nezaměňujme to s hrubým domácím produktem, který se používá k měření 2% cíle NATO.
Porovnejte tato čísla s výdaji na zdravotní péči, které se blížily 10 % veřejných výdajů. Průměrná vláda vydala v roce 2010 nebo 2020 více peněz na zdravotní sestry, lékaře a nemocnice než na vojáky a tanky. To je jeden z největších úspěchů lidstva. Lidé si však s tímto úspěchem právě zahrávají, neboť liberální řád založený na univerzálních hodnotách, normách a zákonech, který tuto relativní éru míru udržoval, se může zhroutit.
To by byl začátek nové éry.
Nebo úpadek do starých časů. V každém případě s ruskou invazí na Ukrajinu hrozí reálné nebezpečí, že se globální řád druhé poloviny 20. století zcela zhroutí. Pokud může Putin zvítězit na Ukrajině, co by bránilo Venezuele v invazi do Guyany? Co by zabránilo Íránu napadnout Spojené arabské emiráty? Obávám se, že tu vzniká nová norma. Již nyní jsme svědky toho, že vojenské rozpočty po celém světě prudce rostou – na úkor zdravotnictví a školství.
Někteří proto počítají s třetí světovou válkou. Vy také?
Možná už začala. Je to velmi jednoduché: pokud máte řád a zaútočíte na tento řád a nedáte nic na jeho místo, nastane chaos. A my nyní máme agenty chaosu ve stále více oblastech světa.
Lidé jako čínský prezident Si Ťin-pching nebo Viktor Orbán v Maďarsku si představují jiné uspořádání, unii autokraticky řízených zemí – což je z jejich pohledu stabilní systém.
Představují si jakousi síť spřátelených pevností, v níž je každá země pevností s vysokými hradbami a stará se pouze o své tradice a zájmy. S ostatními národy nesdílejí žádné hodnoty ani instituce, ale přesto s nimi žijí v míru. Historikům je však zřejmé, že je to nesmysl, protože pevnosti nikdy nejsou přátelské. Každá pevnost chce vždy o něco více bezpečí a prosperity na úkor svých sousedů. A pokud nemáte univerzální hodnoty, instituce a zákony, pak to vede k totální válce, a to se právě teď ve světě děje.
Vy také žijete v zemi, kde probíhají podobné diskuse. Opakovaně jste kritizoval izraelskou vládu, že se země propadá do chaosu. Opustíte někdy z Izrael?
Někdy? Ano. Nevěřím, že lidé jsou rostliny. Nemáme kořeny. Máme nohy. Když se podíváte na lidské dějiny, lidé se pohybují, a já se více obávám o ducha než o zemi, o půdu.
Harari: „Proč představuje umělá inteligence existenční nebezpečí pro lidstvo?“
Kdy tento okamžik nastane?
Pokud Izrael ztratí svého ducha, svou duši, své hodnoty, pokud se stane militaristickou teokracií, pak to není místo, kde bych chtěl žít. Nejdůležitější surovinou pro mou práci je svoboda. Nemohl bych pracovat v zemi, kde není dostatečně chráněna svoboda projevu. A současná vláda bohužel dělá vše pro to, aby základy izraelské demokracie zničila. Ale znovu opakuji, ani to není deterministické. Izrael není Benjamin Netanjahu. Proti jeho vládě demonstrují každý týden v ulicích statisíce Izraelců.
Ve kterém regionu vidíte onu svobodu, kterou světově uznávaný intelektuál potřebuje?
Nemohu zde udělovat známky pro jiné země. V každém případě je Evropa stále jednou z nejsvobodnějších společností na světě. Přál bych si, aby si Evropané více vážili toho, co mají, protože jim hrozí, že o to přijdou. Neuvědomují si, jak je to dobré, protože mnozí z nich nežili v jiném typu společnosti. A doufám, že Evropané budou dávat pozor, aby to, co mají, neztratili.
Pane Harari, děkuji vám za rozhovor.
Juval Noach Harari patří k nejznámějším historikům současnosti a je autorem několika světových bestsellerů. Narodil se v izraelské Haifě a vystudoval na Hebrejské univerzitě v Jeruzalémě, kde získal bakalářský a magisterský titul, doktorát pak na Jesus College Oxfordské univerzity. Od r. 2005 vyučuje Harari na Hebrejské univerzitě, kde se v r. 2008 stal docentem a v r. 2014 profesorem. Mezi jeho knižní bestsellery, které vyšly i v češtině, patří Sapiens – stručné dějiny lidstva, Homo Deus – stručné dějiny zítřka a 21 lekcí pro 21. století. Nedávno mu vyšlo pokračování této trilogie, kniha Nexus: Stručná historie informačních sítí od doby kamenné po umělou inteligenci.
