Chatboty, komunikující k nerozeznání od lidí, vyvolávají mnoho otázek. Jsou inteligentní? Mají vědomí? Co z toho, co umíme my, umí umělá inteligence lépe? O které schopnosti bychom mohli v budoucnu přijít? Rozhovor Richarda Davida Prechta s vědkyní v oblasti digitální kultury a společnosti na King’s College v Londýně, profesorkou Mercedes Bunzovou.
Diskuse o textovém generátoru ChatGPT, se kterým přišla ke konci roku 2022 společnost OpenAI opět vyvolává otázku, co z toho, co dokáže člověk, dokáží stroje lépe? Pokud je ChatGPT schopen sám psát kvalitní texty, co dalšího budou v budoucnu umět programy umělé inteligence? O jaké schopnosti, které dosud určovaly každodenní lidský život, přijdeme a co naopak získáme?
David Precht: O příležitostech a rizicích umělé inteligence hovořím s kulturoložkou Mercedes Bunzovou z King’s College v Londýně. Paní Bunzová, je umělá inteligence inteligentní?
Mercedes Bunzová: Ano, je inteligentní, ale inteligentní jiným způsobem, než si obvykle pod slovem „inteligence“ představujeme. Umělá inteligence znamená, že je podobná lidské inteligenci, protože slovo umělá se vztahuje k člověku a není to lidská inteligence.
Na přednášku Mercedes Bunzové o tom, „Jak mění algoritmy naši společnost“, se můžete podívat ze záznamu TEDx Talks z roku 2012:
Precht: Měli bychom pro ni tedy vymyslet jiný název?
Bunzová: Rozhodně ano. Myslím tím, že bychom ji mohli říkat prostě strojová inteligence, ale to jsme bohužel prošvihli a teď toho máme na talíři docela hodně, což se nám z hlediska diskusí, slov, moc nechce, a musíme to dnes v programu projít.
Pokusme se zjistit, čím se tato strojová inteligence liší od inteligence lidské. Piaget říkal, že inteligence je to, co člověk používá, když neví, co má dělat. To je nejkrásnější definice inteligence, kterou znám.
Precht: A jak je to se strojovou inteligencí? Ví, co má dělat, nebo neví, co má dělat, a jak je kreativní?
Bunzová: No, samozřejmě, že neví, co má dělat, a v tom spočívá velký rozdíl oproti lidské inteligenci, protože vy jí řeknete, co má dělat, a když ji takříkajíc vycvičíte, naučí se něco z celé řady dat pochopit. To je skvělá, v podstatě fascinující věc. Proč se tu scházíme, je, že stroje nebo počítače mohou poprvé analyzovat význam výpočetně, a to dříve vůbec neexistovalo. Počítačoví vědci na tom pracují už desítky let a porozumění jazyku a obrazům je opravdu úplně nový krok.
Precht: Říkáte porozumění, takže ten skok spočívá v tom, že se umělá inteligence dokáže zabývat významy. To je něco, o čem jsme dlouho nevěděli, jestli do této fáze vůbec někdy dospějeme. Ale porozumění vlastně znamená mít, alespoň podle naší představy o porozumění, vědomí.
Bunzová: To ano, je ale o jiný druh porozumění, jde o strojové porozumění. Řekla bych, že stroj nemá vědomí. Velmi důležitý bod vědomí, který můj anglický kolega Daniel Z., který je profesorem neurověd, také znovu a znovu ve svých textech zdůrazňuje, je, že existuje svobodná vůle co chci udělat, kam chci směřovat. Stroje tuto svobodnou vůli nemají. Jsou vždycky naprogramované. Takže i obecnému modelu řekneme, co má udělat a pak se staráme o to, co model dělá. Umělá inteligence tedy takové vědomí nemá.
„Jak poznáme, že systémy jako GPT rozumí světu?“
Je to pro nás trochu obtížné pochopit, protože vidíme, že s námi umělá inteligence mluví, jako by byla člověkem. Třeba ChatGPT a podobné dialogové systémy nám připadají jako lidé, kteří s námi konverzují. Teprve až pochopíte technologii, která je za tím, pochopíte, že lidská řeč je jen imitovaná. Lidskou řeč můžete stochasticky vypočítat, je strukturovaná, má určitá gramatická pravidla, můžete ji modelovat matematicky a nám pak výsledek připadá, jako bychom se bavili se skutečným člověkem. Určitě jste si to vyzkoušeli a bavilo vás to.
Precht: Faktem je, jak jste právě řekla, že umělá inteligence nemá svobodnou vůli. Když se podíváte na evoluci, v určitém okamžiku vznikly živé bytosti s elementární vůlí, nejpozději s dvoupohlavností, s vůlí se rozmnožovat a samozřejmě s vůlí k obživě, což není vědomá vůle, ale prostý pud nebo instinkt. Takže struktura vůle je stará stovky milionů let a teprve v mnohem, mnohem pozdějším bodě evoluce se u několika málo živočichů objevuje něco jako vědomí a inteligence je prostředkem, jak se orientovat ve složitém prostředí.
Proto jsou nejinteligentnější tvorové obvykle sociálními tvory, protože nejsložitější prostředí, které pro živou bytost existuje, jsou jiné živé bytosti, pravděpodobně stejného druhu, protože nikdy přesně nevíte, co udělají, a tak dále. To tedy znamená, že v evoluci vedla cesta u lidí přes vůli a přes jejich fyziologii a tělesnost k vědomí a inteligenci. Pak jsou lidé, kteří se obávají, že stroje budou v určitém okamžiku také schopny vyvinout vědomí a vůli.
Moje otázka tedy zní: považujete za myslitelné, aby nefyziologická bytost, která nešla touto evoluční cestou, kdy vždy dělá to, co je nejlepší pro její sebezáchovu, mohla v určitém okamžiku skutečně mít takové animální věci, jako je vědomí nebo dokonce vůle? Bylo by to myslitelné?
Bunzová: Je docela hezké, že jste to nazval animálním vědomím. To je velmi obtížná otázka, kterou jste položil, protože oba víme, že inteligence a vědomí nejsou ve vědě tak jasně definovány a že jsou to trochu obtížné pojmy. Někteří lidé říkají, že i mechy mají vědomí a mají určitou inteligenci, aby takříkajíc utvářeli své prostředí a někam, byť velmi pomalu, směřovali. Podobně i rostliny, stromy a tak dále.
Takže je docela obtížné vytvořit nějakou hierarchii. Člověk má největší míru vědomí a ostatní ji mají menší, a celou evolucí jsme pomalu došli až sem. Když se o tom takhle bavíme, myslím si, že ten strach, který máme z umělé inteligence, je strach z toho, že se v ní vlastně zrcadlíme a bojíme se, že se bude chovat stejně jako my, totiž že bude chtít ovládnout svět – jak jinak taky.
Slavoj Žižek: „Paradoxy vícerozkoše“
Všichni se velmi rychle dostáváme do věku pětiletého trucovitého dítěte, které jen říká „já to chci takhle“ a my si teď myslíme, že stroje budou jako my, také budou chtít vše jen po svém, jak to důvěrně známe.
Precht: Že se dostanou do fáze vzdoru.
Bunzová: Ano, přesně (smích).
Precht: A už se z ní nikdy nedostanou.
Bunzová: Ano. A to co mi přijde na mém výzkumu tak zajímavé, je zjistit, jak můžeme strojové učení popsat jinak, jak funguje jinak. Samozřejmě se něco děje, když s námi umělá inteligence spolupracuje – vůbec není pochyb o tom, že se tím svět mění.
Ale teď jen konstatovat, že vůbec nemusíme studovat, co se nyní odehrává, protože to všechno přece známe od lidí – že to přece bude stejné, umělá inteligence bude chtít ovládnout svět – zde si myslím, že v současné době dochází v diskuzi k velké chybě.
Precht: Naprosto s vámi souhlasím. Také věřím, že se bojíme špatných věcí. To znamená, jestliže se teď bojíme zlé vůle, která je ukryta ve stroji a která je tak typicky lidská, že stejně jako člověk bude chtít potlačovat a podmaňovat si druhé a tak dále, ať už ze záměru nebo z vlastní vůle, se určitě nestane.
Myslím si, že když se nacházíme v opuštěném domě v lese, je mnohem užitečnější bát se lupičů než duchů. A my se v diskusi o možnostech a nebezpečích umělé inteligence neustále bojíme duchů. Vidíte to stejně?
Bunzová: Ano, tyto spekulace jsou neuvěřitelné. Problém je samozřejmě v tom, že jsme si z možností co můžeme vědět, co bychom měli dělat a v co můžeme doufat vzali jen tu poslední a překroutili ji na „čeho se můžeme bát“. A pak celí rozrušení běžíme chodbou a křičíme: „Ach bože, musíme se bát, stroje přebírají vládu nad naším druhem, vše bude naprosto strašné!“
Politolog: „Za spikleneckými teoriemi vězí často strach“
Ten velký strach, o kterém často čteme v novinách, kvůli kterému vznikají otevřené dopisy a tak dále, je absurdně něco, kam se lidé schovávají, protože skutečnost, jak umělá inteligence přichází do každodenního života lidí, je, jak se říká anglicky, „messy“. Není to úplně jasné, je to složité, je to trochu zamotané. A je daleko elegantnější mít velký strach, než říct: pojďme se podívat, jak umělá inteligence funguje, jak vlastně můžeme vědět, co přesně máme dělat. Tyto otázky si vůbec neklademe, protože je daleko pohodlnější se zabývat čirým strachem.
Precht: Vidím to podobně. Někdy se sám sebe ptám, zda je to vědomé, nebo nevědomé odpoutávání pozornosti. Proč tolik zaměřujeme svou pozornost na duchy místo na lupiče. Proč se méně zabýváme otázkou, co umělá inteligence již nyní umí a co změní v našich životech v budoucnu. Na jedné straně jednoznačně k lepšímu, ale na druhé straně také k horšímu. Poukázat na reálná nebezpečí, místo abychom se zabývali otázkami, co by se mohlo stát za 50 nebo 100 let, nebo se oddávali sci-fi fantaziím, které věří, jak jste právě krásně popsala, že přirozené evoluce strojů bude probíhat naprosto stejně jako vývoj lidí a povede ke stejným charakterovým rysům.
Bunzová: Ano.
Precht: Rád bych věděl, co jsou podle vás ti nejdůležitější lupiči? Z čeho máte při současném vývoji umělé inteligence nejhorší pocit? Čeho bychom se měli právem obávat?
Bunzová: No, nás lidí samozřejmě (smích). Jak budeme s umělou inteligencí zacházet. Používáme správný přístup? Víme vůbec přesně, jakou zodpovědnost potřebujeme, abychom se s ní uměli zacházet? Pokud tedy bude mít umělá inteligence negativní dopad, pak samozřejmě ne proto, že by stroje udělaly chybu, ale proto, že jsme dobře nenastavili rámcové podmínky. A to je podle mě největší problém.
Nejnebezpečnější na umělé inteligenci je člověk
Napsal jste pěkný příklad, text, jak je to s morálkou a stroji. Můžeme strojům naprogramovat morálku? To se nyní i částečně zkouší. A vůle lidí vzdávat se odpovědnosti považuji u umělé inteligence za největší problém. Díkybohu jsme se v diskusi už trochu posunuli od automatizace ke spolupráci. To už je docela dobrý krok.
Ale jak jste popsal na příkladu s morálkou, i když se firmy jako Anthropic AI se prostřednictvím Constitutional AI (opraveno PQ, v rozhovoru je „…firmy jako Constitutional AI a Anthropic AI…“) snaží naprogramovat hodnoty a principy tak, že před základní modely ještě předsadí další model, to do určitého bodu funguje dobře. Ale v konečném důsledku samozřejmě umělá inteligence morálku stejně nemá a důvěřovat té věci stejně nemůžeme.
Precht: Informatice rozumíte daleko lépe než já. Nemám nejmenší tušení, jak technicky naprogramovat strojům morálku. Tomu rozumíte mnohem více. Ale také si myslíte, že dosah takového přístupu je velmi omezený. Takže se nemůžeme spoléhat na to, že řekneme: „OK, teď jsme udělali chybu.“ Vyvinuli jsme umělou inteligenci velmi, velmi rychle. Částečně se značnými schopnostmi, např. obrázkové generátory, jazykové generátory. A nyní je velmi důležitým úkolem naprogramovat je takříkajíc morálně. Úplně tedy nevěříte, že by to bylo možné?
Bunzová: Ne. Mohu jen každému doporučit, aby si trochu nastudoval, jak umělá inteligence vůbec funguje. Nemusíte se učit programovat, nemusíte nastavovat neuronové sítě, je to spíš o mechanismu v pozadí. A když se na něj podíváte blíž, zjistíte, že funguje super dobře. Můžete ho využít na celou řadu oblastí: rozpoznávání obrazu, jazyka, můžete do něho naprogramovat i morální principy. Samozřejmě, hodně se toho dá udělat prostřednictvím jazyka, protože morálka funguje velmi dobře prostřednictvím jazyka.
Jakákoliv umělá inteligence však funguje dlouhou dobu docela dobře a pak najednou udělá „prásk!“ a přestane fungovat, protože se dopustí velké chyby. A vy jako člověk jen stojíte a říkáte si, proč udělala takovouhle hloupost? Problém je v tom, že my strojovou inteligenci neznáme. Když ji dejme tomu srovnáme s motorem auta, který se začne pomalu zadrhávat, tak tušíme, že auto už moc dlouho jezdit nebude a v určitém okamžiku se úplně zastaví. Strojová inteligence funguje super dobře a z ničeho nic nefunguje vůbec. Máme tu problém, jelikož u strojové inteligence musíme oddělit výkon a kompetence. Stroj má skvělý výkon, ale to neznamená, že má i kompetenci. A proto najednou udělá takovou chybu. Z technické logiky si stroj myslí, že dělá všechno správně, ale z lidského hlediska chybu dělá. V tom spočívá jádro problému.
Precht: Takže stroj je ve výkonu mnohem dokonalejší než člověk. Ale protože evidentně nemá vědomí v lidském slova smyslu, není ani v pozici, aby poznal své vlastní znalosti. A proto se nemůže zásadně opravovat, ale pouze v omezeném rámci. Proto si tak dramaticky všímáme chyb, kterých se dopouští?
Bunzová: Jde o dvě věci. Zaprvé, umělá inteligence vlastně nemá druhou úroveň, kterou by mohla reflektovat, což ale není tak docela pravda. Existuje posilovací učení, takže už existuje něco, co jde tímto směrem.
Digitalizace a pracovní místa: nebuďme jako králíci
Ale problém spočívá v tom, že jde o stroj, jde tedy spíš o technický problém. Stroj se učí z mnoha malých dat. A k jazyku, ale i k obrázkům, přistupuje tak, že z velmi malých pixelů, které jsou seřazeny vedle sebe, skládá celkový obraz. To se dá hezky vysvětlit na příkladu rozpoznávání obrazu: stroj rozezná texturu, ale ne tvar. To znamená, že když mám tvar kočky a potáhnu ho sloní kůží, tak si je stroj na 80 % jistý, že jde o slona. Ale má tvar kočky. Každý člověk by řekl, že tvar je důležitější než textura, takže je to kočka. A tato jemnost rozpoznávání dat vede stroj k tomu, že s velmi vysokou mírou jistoty řekne „slon“. To samé vidíme i u jazyka, takže pro ChatGPT jsou velkým problémem halucinace. Vše vychází z technického, odlišného způsobu vidění světa.
Precht: Jinými slovy, umělá inteligence vidí milion stromů, ale ne les.
Bunzová: Správně.
Precht: Je tedy hodně ostrá v detailech a zároveň zcela lhostejná k celku.
Bunzová: Ano.
Precht: Chybí jí tedy holistický prvek, který předpokládá nepřesnost. Nezájem o detail je to, co dělá les lesem. Ve vnímání lesa. Jinak vidím jen tolik a tolik metrů krychlových dřeva. Takový je tedy strojový pohled na věc.
Bunzová: Ano, tak to přesně je. Stroj pro stromy nevidí les, jak výstižně říkáme. A pak je zmatený. Takže jde o data, malé části jsou vždy důležitější než velké části. A proto také počítačoví vědci říkají, že strojová inteligence nemá pojem o světě nebo o velkém modelu.
Precht: Také nežije ve světě.
Bunzová: Ne.
Precht: Lidé se nacházejí, žijíce ve světě. A to je něco, co umělá inteligence sama o sobě nemá. Nachází se v prostředí založeném na pravidlech, ale ne v tom, co nazýváme světem. Rád bych se pokusil tuto myšlenku ještě více objasnit na příkladu tématu, které je v současné době všem na srdci, ChatGPT. To, co jsme právě řekli o detailnosti na jedné straně, s lhostejností k celku na straně druhé – to není život ve světě, ale život v prefabrikovaném světě. Pokusme se to trochu objasnit na příkladu ChatGPT. Mnoho lidí už ví, jak funguje. Vzniklo mnoho osvětových pořadů, které jasně ukázaly, že stroj je schopen odpovědět na otázky z neuvěřitelného množství dat a informací. To je velký krok, protože dříve jsme museli hledat pomocí počítačových systémů a nyní můžete vstoupit přímo do dialogu. Je to i pro vás, jak ji mnozí nazývají, třetí technická revoluce? Po knihtisku jakožto první a internetu jakožto druhé. Nebo si myslíte, že to je přehnané?
Bunzová: Ano i ne. Mohu jen všechny varovat, v žádném případě nepoužívejte ChatGPT jako vyhledávač. Není to další Google, takhle konverzační umělá inteligence v žádném případě nefunguje. Ale jde o velkou revoluci, protože jsme ještě nikdy předtím neuměli automatizovat psaní. Je to poprvé a bylo také docela zábavné sledovat, jak to vzniklo, protože na začátku si stroj nedokázal zapamatovat žádné formátování. Jde o predikci slov, stroj si tedy řekne, že když tohle je slovo David, tak další slovo bude Precht. To je jasné. Problém je v tom, že stroj si dokázal zapamatovat jen jednu větu a nevěděl, co je nadřazené téma, a proto byl vždycky roztěkaný a produkoval příšerný text, který se sice hezky četl, ale byl to prostě jen blábol. Teprve nedávno jsme technicky zvládli, že stroj udrží souvislost přes několik tisíc slov, dokáže mi dát dobrou odpověď, která ale není fakticky správná. Umělá inteligence netuší, jaký je rozdíl mezi fikcí a skutečností, a jak říkáte, nemá žádný model světa. Ale i tak je to, řekla bych, revoluce, protože psaní je v lidském světě něco velmi zvláštního.
Generace alfa nám ukazuje, jak zastaralé jsou naše učební koncepty
Jsme jediný druh, který píše a čte. Zvířata mají nástroje, používají nástroje, zvířata mají jazyk, ale jenom my, lidský druh, píšeme a čteme. A proto považujeme za poněkud překvapující, že teď přichází taková věc a umí to také. Proto mě ani tak neudivuje, že si lidé hned myslí, aha, to je teď partner pro konverzaci a tak podobně. Jsou tu samozřejmě i nebezpečí, že se lidé do ChatGPT zamilují nebo s ní vstoupí do blízkého vztahu. V tuto chvíli vůbec netušíme, jak generativní psaní budeme integrovat do světa, do našeho světa, a to je pro mě samozřejmě zpočátku neuvěřitelně vzrušující. Je to bláznivý moment, že jsme u toho.
Precht: Takže teď můžete říct, že jsou tu výhody, které jsou nasnadě. Kolik lidí tráví svůj pracovní život tím, že musí psát nudné texty, které nevyžadují žádnou kreativitu?
Bunzová: Ano.
Precht: Mám např. na mysli byrokracii, která je plná poloumělé inteligence. Je takříkajíc symbolem poloumělé inteligence. Nedělají ji stroje, ale je založena na pravidlech. Vůbec nezávisí na mém osobním názoru, na mé individualitě, na mé kreativitě. V případě kopírování, které dělám jako koncipient v advokátní kanceláři nebo když pracuji v administrativě – celý tento svět poloumělé inteligence nyní můžeme nahradit plně umělou inteligencí. Takže je mi jasné, v čem spočívá ona velká výhoda.
Ale pokud si na druhou stranu zvykneme na to, že stroj bude brzy schopen psát lepší texty než průměrný člověk, vyvstává otázka, proč průměrný člověk ještě potřebuje umět psát nebo proč by se ještě vůbec měl učit psát ve škole? Jak za dvacet let vysvětlíme našim dětem, až budou mít k dispozici nesmírně vyspělé jazykové generátory, proč se ještě vůbec musí učit psát?
Bunzová: No, pořád se ještě musíme učit číst, to není automatizované, tedy samozřejmě je to také automatizované, ale jako lidé chceme také sami umět číst. Ale myslím si, že z toho nemusíme dělat takovou vědu. Vždycky se objeví argument, že ztrácíme určitou dovednost, protože se něco automatizuje, že se něco posouvá, samozřejmě máte naprostou pravdu, něco se změní.
Jak dobře dnes umí průměrný člověk opravdu psát, tuto otázku si jistě můžeme položit, možná ji ale ještě necháme na chvíli otevřenou (smích). Ale myslím si, že se není moc čeho bát, protože už jsme zažili, že ve škole používáme kapesní kalkulačku a samozřejmě to nebude o tolik jiné.
Michael Cholbi: „Většina lidí si svou práci idealizuje“
Precht: Ale počítat přece už také neumíme.
Bunzová: No, ale můžeme…
Precht: Průměrná schopnost počítat je ve srovnání s dřívější dobou asi strašně špatná, pozitivní argumentací by bylo, že už to nepotřebujeme.
Bunzová: S výjimkou možná lidí, kteří pracují v gastronomii a obsluhují, i když ti mají také iPady, se kterými teď obcházejí stoly…
Precht: Když hraji karty, potřebuji počítat a když chci platit. Ale to jsou relativně přehledné aritmetické operace ve srovnání s tím, co všechno se učím ve škole.
Bunzová: Ale jak jsem říkala, nemyslím si, že bychom měli pocit, že, panebože, jsme teď ztratili schopnost aritmetiky a že o něco přijdeme, to mě tolik netrápí. V historii lidstva jsme ztratili spoustu dovedností, například v oblasti řemesel. To jsou také inteligentní dovednosti. Pak samozřejmě existují speciální odborné kroužky, kde se tyto dovednosti dále pěstují. To je velmi dobře.
Precht: Ale to je velký rozdíl oproti psaní. Právě jste řekla, že psaní je to, co nás odlišuje od zvířat. Počítání ostatně ne. Je napínavé sledovat, jak rychle dokáží šimpanzi řadit čísla, to je velmi působivé. Ale psaní je skutečně to, co nás masivně odlišuje od všech ostatních zvířat. Schopnost číst, schopnost psát, to neslýchané bohatství jazykového projevu. Pokud nyní tato schopnost zakrní, je to o řád úplně jinde než počítání.
Otázkou tedy je, jak budu fungovat jako občan, jak budu fungovat ve společnosti, když v určitém okamžiku budeme žít v kultuře, která už nebudu umět správně číst a psát? V sázce je mnohem více než v případě počítání.
Bunzová: Hm, ano i ne. Myslím si, že v sázce je toho mnohem víc v tom smyslu, že se celá oblast textu takříkajíc posouvá. A rozhodně také, že je velmi zásadní, jak se tato oblast změní, v tom máte naprostou pravdu.
Ale že by byl efekt automaticky takový, že člověk jako takový zakrní, protože už nepraktikuje psaní, to si nemyslím. V současné době vidíme, co ChatGPT umí a neumí. Popsal jste to velmi dobře, umí psát dost jednoduché texty, které nepotřebují žádnou zvláštní inteligenci, ve kterých se nepotřebujeme nijak zvlášť dobře vyjadřovat. Texty, které se naučím psát, nevím, jak moc jsou důležité. Ale co potřebujeme, a kde bude také spousta profesí, jsou lidé, kteří si osvojili ověřování faktů, ti mají velkou budoucnost. Právě proto, že stroje ve skutečnosti faktům nerozumí. Nechápou rozdíl mezi fakty a fikcí.
Psycholog vysvětluje, jak algoritmy a umělá inteligence mění naše životy
Když si do ChatGPT zadám: „Jaké texty napsal David Precht“ a vezmu téma, ke kterému jste ještě nic nenapsal, tedy například „o dějinách umění v 19. století?“ Tedy doufám, že jste o tom ještě žádnou knihu nenapsal. Pak ChatGPT jako výsledek předloží několik titulů, které jste na toto téma napsal. Jednoduše proto, že se jedná o určitý strojový číselný vzorec. A tak musí být odpovídající číselný vzorec i na výstupu. Stroj nepozná rozdíl. Ví, že nyní potřebuje název knihy. Potřebuje shrnutí knihy. A ví, že z matematického hlediska to vypadá takhle a takhle. A protože nemá výsledek po ruce, jednoduše si ho vygeneruje. Pak mohu stroji říct: to ale není pravda, můžeš se podívat ještě jednou? A stroj mi odpoví, zcela bez zaváhání, bez morálky: „Aha, to je pravda, spletl jsem se.“ Protože o faktech nic neví.
A všechny tyto texty, které budou v budoucnu vznikat generativním psaním, potřebují lidi, kteří se na ně podívají a zkontrolují fakta. „Ano, ne, souhlasí, toto rozhodně ne, fajn.“
Precht: Teď bych mohl provokativně říct, že pro lidi je neuvěřitelně těžké rozlišit mezi fakty a fikcí.
Bunzová: Ale pro stroj je to ještě těžší než pro člověka. V tom máme rozhodně výhodu.
Precht: Ano, možná to spočívá v tom, že se dá říct, že stroj má kvantitativní pojetí pravdy.
Bunzová: Ano.
Precht: To znamená, že když se jako člověk – a to je ta filosofická otázka, která mě zajímá – snažím zjistit, co je realita, tak mě filosofie učí, že „ta“ realita neexistuje. A že ji vlastně ani nepotřebuji. Pro svůj každodenní život nepotřebuji „tu“ objektivní realitu. Místo ní vnímám dojmy, určité informace považuji za pravdivé, protože pocházejí ze zdroje jemuž věřím, mnohé jsou rutiny a automatismy, tedy nereflektované vědění, kdy předpokládám, že to tak je, aniž bych si to mohl ověřit. A tak nějak si stvořím svůj svět. Aniž bych potřeboval objektivní realitu jako předlohu. U strojů je to jiné, protože tam šablona existuje, a sice všechny soubory dat, které jsme do nich vložili. Ty se stávají jakousi objektivní realitou, na jejímž základě stroj pracuje.
Pokud nyní budu manipulovat se šablonou, tj. se znalostmi nalezenými na internetu, pokud do nich zadám obrovské množství informací, z nichž všechny jsou nepravdivé a všechny ukazují stejným směrem, a nechám to prostřednictvím botů šířit virálně, pak samozřejmě ChatGPT půjde a najde to. A pokud bude těchto informací skutečně obrovské množství, samozřejmě budou zkreslovat výsledný obraz.
Bunzová: Ano.
Precht: Nyní si normální uživatel stále klade otázku, zda může ChatGPT věřit?
Bunzová: Odpověď je jednoznačné ne. Rozhodně ne.
Precht: Ale s rostoucím používáním se to možná stane takovou normou, že se na to už nikdo nebude ptát. Varianta A je, že to všichni přijmeme, protože se nemůžeme obtěžovat kontrolou. Varianta B je, že už nebudeme nevěřit ničemu. Nebudeme věřit už žádným obrázkům, které jsou vytvořeny pomocí generátorů obrázků. Nevím, jestli je to generátor obrázků, jestli je to skutečně pravda, jestli to Putin opravdu řekl a tak dále. To by vedlo ke kultuře nedůvěry. Buď se otupíme v rozlišování mezi fikcí a realitou, nebo se staneme naprosto skeptickými.
Bunzová: Úplná skepse je to, co bych doporučovala.
Precht: Ale úplná skepse má jeden háček. V moderních společnostech důvěřujeme tomu, čemu sami nerozumíme. Tedy v liberální společnosti, v diktaturách důvěru nepotřebujeme. Diktatury drží pohromadě strach, tam věřím proto, abych se nedostal do problémů. V svobodných liberálních demokraciích musím důvěřovat. Musím věřit zdrojům informací. Musím věřit výrokům, do jisté míry musím dokonce věřit i politikům. Důvěra je velmi důležitou měnou naší společnosti. Pokud tedy budeme žít v době nekonečné manipulovatelnosti a nebudeme už věřit opravdu nikomu a ničemu, pak si troufám předpovědět, že se naše společnost rozpadne.
Bunzová: Já si tím nejsem tak jistá. Již dříve tu byla doba, kdy to bylo stejné. V době, kdy neexistovaly fotorealistické obrazy, řekněme ve středověku, jsme žili v situaci, kdy to bylo s obrazy stejné. Tehdy jsme také neznali fakta, fotografie neexistovala. Teprve v určité fázi lidských dějin jsme získali faktograficky zobrazující média. Takže takovou dobu jsme měli předtím, a jak to teď vypadá, možná bude i nějaká potom. Něco z toho už známe z našich zkušeností s Photoshopem. Když narazíme na fotku, například selfie se žralokem, tak víme, že jí nemáme věřit. Nebo že nemám věřit virálním fotografiím, se kterými se setkám na sociálních sítích. Stejné to bylo i s obrázkem papeže v bílé péřové bundě, který se také dostal až do médií. Ten byl samozřejmě vygenerován pomocí umělé inteligence.
V takových případech máme, paradoxně, instinktivní názor, jestli těmto obrázkům můžeme věřit, nebo ne. Ale problém, na který upozorňujete, je zcela oprávněný. Protože největší úskalí, které vidím – a nejsem sama, například kolega Hannes Bajohr je stejného názoru – je, že v současné době nabízejí generování textů a obrázků výlučně komerční poskytovatelé a technologie mezitím ovládla tak velkou oblast našeho světa, že se stala stejně mocnou jako politika. Jenomže v politice máme instituce, máme možnosti volby, máme kontrolní mechanismy. U technologií to je těžší.
Jaké programy na ochranu klimatu fungují nejlépe?
Samozřejmě, v příštích měsících budeme schvalovat evropský zákon o umělé inteligenci. Ale jde to velmi pomalu. Zatím mi chybí, že nepožadujeme, abychom umělou inteligenci využívali nejen komerčně, ale také se ptali, jak ji můžeme využít ke změně a zlepšení společnosti. Jak ji můžeme využít nejen v práci, ale např. také v boji se změnou klimatu? Máme skutečně vizi využití umělé inteligence nejen pro byznys, ale i pro jiné hodnoty? To chybí, protože dlouhou dobu jsme digitální technologie využívali pouze jako ekonomický nástroj. Nepožadovali jsme, aby za tím byla společenská vize. Tu jsme chtěli, aby nám dodala ekonomika.
Precht: Je možné, že Evropská unie nechce celou oblast umělé inteligence ve vojenských technologiích regulovat? A nebojíte se, že by se nám zabijácké systémy dronů a podobně mohly vymknout kontrole a stát se jedním z největších nebezpečí pro lidstvo?
Bunzová: S touto technologií se děje něco úplně jiného. A my zatím ještě přesně nevíme, jak to utlumit a co s tím můžeme dělat. Není to technologie, kterou byste mohli jednoduše zakázat, protože na to už je příliš běžná. Nemůžete prostě říct, jako třeba v případě uranu, že materiál vyndáme a pak už nikdo nebude moci vyrobit jadernou zbraň. To u dronů prostě není možné.
Precht: Šampaňské už vybublalo z láhve a už ho nikdy nedostaneme zpět. A možnosti kontroly za vývojem vždy hodně pokulhávají. Nebo možná nejsou juristické prostředky kontroly, které máme dispozici, dostatečně silné. Vždycky si vzpomenu, když se koncem 80. a v 90. letech vedla diskuse o genetickém inženýrství, tak se dohodlo, že výzkum na embryích, který byl v mnoha zemích také zakázán, ale v těch pár, jako např. Izraeli ap., které do toho šly, byl povolen jen za nejpřísnějších podmínek. Jinými slovy, povolovací proces trvá věky, a pak se bedlivě sleduje, aby náhodou nebyl vyšlechtěn člověk a podobně. Chtělo by se říct, že v případě vývoje umělé inteligence by to mělo být úplně stejné. Nenecháme přece každého, aby se v tom vrtal, pak to pustíme mezi lidi a najednou máme 600 milionů uživatelů a pak se teprv uvidí, jestli je to nebezpečné, nebo ne. Místo toho bychom mohli celou věc od začátku anticipovat a zasahovat právně přímo do vývoje, abychom nemuseli dodatečně regulovat něco, co možná už ani regulovat nejde. Byla byste pro?
Bunzová: Hm, myslím si, že realita je bohužel trochu zamotanější než říkat, dobře, vezmeme A nebo vezmeme B. Problém s preventivní regulací je ten, kdo bude rozhodovat o tom, podle jakého hodnotového systému budeme regulovat? Je samozřejmě také otázkou, kdo má potřebné znalosti, kdo bude rozhodovat… Takže můžeme regulovat jen to, o čem víme, že se může vyvinout. V oblasti umělé inteligence jsme dlouho doufali, že budeme mít samořiditelná auta. Ale nemyslím si, že nám je AI přinesla. Je to škoda, protože já sama neřídím. Ale možná je dobře, že máme veřejnou dopravu, což je de facto taky samořídící auto a je navíc klimaticky šetrnější.
Vlastně je trochu problém, že s regulací často příliš otálíme. Nejprve dlouho přemýšlíme o tom, co se vůbec děje. A zároveň je samozřejmě umělá inteligence velmi rychlá. Na evropském zákoně o umělé inteligenci, který byl už hodně rozjetý, to je docela dobře vidět. Najednou přišlo ChatGPT a my jsme zjistili: „Aha, musíme to zase celé předělat.“
Precht: Důvodem bylo, že se jednalo o takzvané foundation models.
Bunzová: Přesně.
Precht: To znamená technologie pro všestranné použití.
Bunzová: Ano.
Precht: A s těmi se nepočítalo. To znamená, že člověk může tyto technologie využít ve prospěch lidstva, nebo s nimi stvořit co největší zlo. Do jakých paragrafů bychom takové technologie vůbec mohli vložit? Nebo, viz můj příklad z genovým inženýrstvím, podle jakých kritérií bych se vůbec měl rozhodnout, když mám něco tak univerzálně použitelného jako je umělá inteligence, jestli tu teď něco zakážu, budu regulovat, nebo ne?
Bunzová: Ale takové techniky už máme. Já se ptám, proč do takové techniky nevložíme více finančních prostředků? V informatice se pořád zkoumá, jestli by se například do generování textu nedal zavést nějaký vzor, něco jako vodoznak. Kde velké společnosti, které to nabízejí, řeknou: „Dobře, do podpisu textu zahrneme vodoznak, abychom mohli jasně rozlišit mezi texty generovanými počítačem a texty generovanými člověkem.“
Precht: Ale to zatím nebylo možné, nebo?
Bunzová: Jsou tu již první pokusy, které ukazují, že by to mohlo fungovat. A jak už to tak bývá, pokud chcete nějaký obor rozvíjet tak, aby z něj vzešly dobré věci, musíte do něj vložit peníze, investice a lidské znalosti. Pokud se u umělé inteligence zaměříme pouze na ekonomiku a na to, jak z ní co nejrychleji vyždímat peníze, pak se samozřejmě vodoznak nikdy nevyvine. A proto si myslím, že nám zde často chybí rovnováha. Existují různé mechanismy, které nám říkají, že můžeme rozlišovat, můžeme věci regulovat a také v tom můžeme být rychlejší.
Jak firmy ohrožují klima i blahobyt
Můžeme si například stejně jako v Itálii jednoduše říct, že ChatGPT u nás nejde, protože soukromé informace našich občanů nejsou dostatečně chráněny a je třeba zapracovat na bezpečnosti, než ho zase otevřeme našim občanům. Mohli bychom také říci: „Promiňte, ChatGPT je u nás možný pouze v případě, když nainstalujete vodoznak.“ A pak by samozřejmě OpenAI jako společnost, která ChatGPT vlastní, nejprve udělala něco pro to, aby se dostala k 350 milionům evropských občanů tím, že by vyvinula vodoznak.
Precht: To by byla konkrétní politická agenda, požadovat vodoznak a pohrozit, že systémy jinak nebudou povoleny.
Bunzová: Tímto směrem bychom se mohli ubírat, ano.
Precht: Na závěr mám ještě jednu otázku. Zajímalo by mě, jak dobře je umělá inteligence – můžeme se to pokusit objasnit i na příkladu ChatGPT – schopna myslet nově. Ptám se na to proto, že všechny soubory dat, které se zde nyní používají, jsou již existující znalosti. A vše, co mi pak text poskytne, je takříkajíc již předvybráno a jen nově utříděno, uspořádáno, sladěno. Ale skutečný smysl pro nalézání možností, přemýšlení o alternativách nebo zcela nové myšlení nebo cokoliv tímto směrem, tam vlastně není vůbec zamýšleno. Čím víc se takové texty používají – v některých oblastech to možná vůbec nevadí, ale v jiných oblastech by to vadit mohlo – tím více jen opakují známé vědění. V tomto smyslu vlastně nic nového nevytváříme. Pokud s těmito informacemi budeme často přicházet do styku, možná dokonce získáme tendenci považovat dosavadní poznatky za neměnné normy. Tedy takříkajíc to, co tu je a podle čeho se orientuji. Bude tedy společnost ještě vůbec kreativní, když její nástroje vlastně v obsahové rovině kreativní nebudou? Na technické úrovni inovativní být musí, ale na obsahové úrovni vůbec ne. Jak s nimi budeme zacházet, jak budeme přemýšlet o našich dalších možnostech?
Od Musila pochází následující rozlišení: „Jestliže existuje smysl pro realitu, musí existovat také smysl pro možnosti.“ Otázka smyslu pro možnosti umělé inteligence mi připadá velmi vzrušující. Nemůže se stát, že nás neuvěřitelně moderní technologie zároveň sociálně zbrzdí? To by byla koncentrovaná otázka, protože umělá inteligence vychází ze známých poznatků a protože zatím neumí myslet nově a přemýšlet jinak?
Bunzová: Řekla bych, že jsme snad dost moudří, abychom stroj používali jen tehdy, když od něj nechceme nic nového. Již předtím jsme si řekli, že stroj funguje nejlépe, když generuje texty, které nevyžadují velkou kreativitu, marketingové texty, texty každodenního života, administrativní texty – tehdy je asi nejefektivnější. To nejsou texty, od kterých bych očekávala něco nového. Zároveň, když se nad tím zamyslíme, došlo s digitálními technologiemi také k návratu k materiálu. Na knižní produkci je to vidět docela zřetelně. Barvy knižních obálek, takzvané gaučové knihy, které si můžete doma vystavit, materiály, které výtvarníci používají při výrobě, všechno se najednou stalo mnohem důležitějším, protože se tolik pohybujeme v digitálním prostoru. Vždycky je tu tenhle protipohyb. Nemyslím si, že budeme používat generování textů všude ve společnosti jako celku. Na to příliš halucinují, to nejde.
V oblastech, kde je používáme, nové vědění doufejme nepotřebujeme. Možná i přehodnotíme pohled na to, co je vůbec nové. A nové se asi stane důležitějším. Ale také bychom neměli podceňovat, že umělá inteligence najde i jiné věci. Dobře to znázorňuje proslulý příklad počítače DeepMind’s AlphaGo. Stroj, který ovládá asijskou deskovou hru go, udělal určitý tah, u kterého si všichni říkali: „Páni, co to je?“ Umělá inteligence to samozřejmě neudělala, protože objevila něco nového, ale protože má jiný, z detailu vycházejí přístup, o kterém jsme již také hovořili. A protože prostřednictvím tohoto na detail orientovaného přístupu dělá další tahy. Takže si nemyslím, že bychom se s umělou inteligencí nudili. Překvapí nás, ale ano, nepřinese nic nového.
Precht: To byl pěkný závěr. Ale přesto mě napadá ještě jedna otázka. Když si představíte svět za deset let – mám na mysli pouze technický vývoj, o kterém se zde celou dobu bavíme – je to něco, u čeho si řeknete, že jsem naprosto nadšená, protože máme tolik fascinujících možností, které nyní můžeme technicky zrealizovat, a můžeme možná vyřešit mnoho problémů, které jsme dosud neuměli vyřešit? Nebo si říkáte, kam to všechno spěje? Který pocit u vás převažuje?
Bunzová: No, já jsem vlastně někde uprostřed, protože, když studujete historii lidstva, tak si vždycky docela jasně všimnete, že lidé nakonec zůstáváme stejní, a toho využíváme. A i když máme hodně inteligence, nechováme se vždycky jako ten nejinteligentnější druh. Proto moc nevěřím, že umělou inteligenci využijeme pro dobro naší společnosti. Ale jsem zvědavá, jak se bude vše vyvíjet.
Precht: Paní Bunzová, moc vám děkuji za rozhovor.
Přepis i překlad tohoto rozhovoru, stejně jako titulní obrázek, byly vytvořeny za pomoci umělé inteligence. Použity byly nástroje Google Colab, DeepL, ChatGPT a Midjourney. Z tradičních pak Final Cut Pro, Google Sheets, Pixelmator Pro a samozřejmě WordPress.
Mercedes Bunzová je kulturní vědkyně a profesorka digitální kultury a společnosti na King’s College London, kde zkoumá, jak digitální technologie mění znalosti a moc. Spoluzaložila berlínský kulturní časopis De:Bug a v roce 2005 napsala doktorskou práci o historii internetu na Bauhaus Universität Weimar. Bunzová pracovala jako novinářka v různých redakcích a rozhlase. V roce 2007 převzala online redakci berlínského Tagesspiegelu a v roce 2009 přešla do londýnského Guardianu. V letech 2014-2016 vedla výzkumný projekt o digitální kultuře na Leuphanské univerzitě v Lüneburgu. Od roku 2019 vede společně s Evou Jägerovou Creative AI Lab, která vznikla ve spolupráci se Serpentine Gallery.
