Neurovědec a podnikatel v oblasti umělé inteligence Gary Marcus již řadu let varuje, že boom umělé inteligence je založen na nedorozumění. Nyní se nápadně množí hlasy, které se přiklánějí na jeho stranu.
Neurovědec Gary Marcus byl v odvětví umělé inteligence natolik nepopulární, že společnost OpenAI vytvořila vlastní emoji s jeho tváří a nespokojeným výrazem. Sam Altman, šéf společnosti zabývající se umělou inteligencí, ho veřejně označil za trolla. Marcus již před více než deseti lety poprvé vysvětlil, že velké jazykové modely (LLM)?Velký jazykový model (LLM je zkratkou z anglického Large Language Model) je typ umělé inteligence využívající hluboké neuronové sítě s miliardami parametrů, trénovaný na obrovském množství textových dat (self-supervised learning) k porozumění a generování přirozeného jazyka., které dnes tvoří základ běžné AI?Umělá inteligence (AI, v českém prostředí se občas používá i zkratka UI) je schopnost výpočetních systémů provádět úkoly, které jsou obvykle spojovány s lidskou inteligencí., nikdy nebudou zcela spolehlivé. Od té doby se v článcích pro New Yorker nebo New York Times, na odborných konferencích a na svých vlastních sociálních médiích, neúnavně pouští do křížku s americkými technologickými magnáty.
Zatímco oni ustavičně tvrdí, že LLM se používáním nutně zlepšují, Marcus říká, že mají určité technické limity, které nikdy nepřekročí, bez ohledu na to, jak velké je množství dat, kterými je krmíme. Mezitím se LLM staly nejdůležitější technologií na světě a celosvětové investice dnes překračují hranici tří bilionů dolarů. Marcus si za svou kritiku vysloužil mnoho posměchu, ale to se právě výrazně mění a i známé osobnosti z oboru se nyní o potenciálu této technologie vyjadřují mnohem skeptičtěji. Z rozhovoru je však Marcusova spokojenost patrná jen trochu. V sázce je totiž příliš mnoho.
Süddeutsche Zeitung: Pane Marcusi, v roce 2012 měl Ilya Sutskever, který později spoluzaložil OpenAI, nápad: propojil neuronové sítě, které byly již dlouho známé, s procesory, které k tomuto účelu nebyly vůbec určeny. Co se přesně stalo?
Gary Marcus: Tehdy to byl tým tří lidí, kteří ukázali, že neuronové sítě mohou běžet mnohem rychleji, pokud je spustíte na GPU?GPU (zkratka z anglického Graphics Processing Unit) je specializovaný procesor pro rychlé výpočty grafiky, videa a 3D zobrazení, který efektivně zvládá tisíce úloh současně.. Jedná se o čipy, které byly do té doby vyráběny vlastně jen pro hraní počítačových her. Díky tomu bylo možné trénovat neuronové sítě s mnohem větším množstvím dat. Tito tři inženýři v užším smyslu nic nevynalezli, ale poprvé skutečně uvedli systém do chodu. Matematický základ byl částečně položen již před desítkami let lidmi, jako byl mnichovský informatik Jürgen Schmidhuber.
Když říkáte „mnohem více dat“, o jakých dimenzích tu mluvíme? Desetkrát více, dvacetkrát více?
Dnes neuronové sítě zpracovávají asi miliardkrát více dat než dříve. Nestalo se to přes noc, ale tento experiment z roku 2012 byl něco jako velký třesk. Tým tehdy používal pouze jeden GPU, ale postupem času se zjistilo, že je možné používat více GPU jednotek současně. Dnes existují systémy, které běží na milionu takových čipů.
Co se stalo pak?
Zatím nic moc. O týden později vyšel v New York Times jediný článek o pokroku v oblasti deep learning?Česky „hluboké učení“, což je je metoda, která učí počítače zpracovávat informace způsobem, který napodobuje lidské nervové procesy.. Následující den jsem napsal článek do New Yorkeru, ve kterém jsem poukázal na limity této technologie.
To vám bylo už tehdy jasné?
Upřímně řečeno, tento problém jsem popsal již v roce 1993 ve své doktorandské práci. Ale v roce 2012 se debata stala takřka veřejnou. John Markoff nastínil v New York Times optimistický scénář této technologie a já jsem o den později představil opačný názor. Hlavní postoje tak byly představeny světu a dodnes se zásadně nezměnily.
O jaké postoje se jedná?
Pozitivní scénář zněl: Wow, s GPU a big data?Big Data (velká data) označují obrovské objemy strukturovaných i nestrukturovaných dat, které nelze efektivně spravovat či analyzovat běžným softwarem. K jejich zpracování se využívají pokročilé technologie, jako je AI a strojové učení. můžeme dělat mnohem víc, než jsme si kdy mysleli! A můj protinázor byl, že systémy budou mít problémy s argumentací, s abstrakcí, s generalizací. Že budou mít halucinace. Že jim budou kladeny jasné technologické limity. A přesně o tom dnes, o 14 let později, stále diskutujeme.
V čem, z technického hlediska, tyto limity spočívají?
Tyto modely jsou dobré v tom, že na základě obrovského množství dat vypočítávají pravděpodobnosti. Nechápou však, o čem mluví. A tato statistická extrapolace pravděpodobností naráží na své limity, pokud jde o speciální případy, které se v podkladových datech nevyskytují vůbec nebo jen zřídka. S tím se setkáváme neustále.
Ale pokud je databází celý internet, nestačilo by to?
Jedná se sice o nejrozsáhlejší možnou databázi, ale ve světě se neustále děje něco nového a tyto modely pak selhávají. Pokud se například najednou ocitnete v současné Americe, kde bezpečnostní složky střílejí civilisty na ulicích, existuje jen málo dat, se kterými by tyto modely mohly pracovat.
Nejsou to jen extrémní výjimky?
Ano, ale k těm ve skutečnosti dochází neustále. Mým oblíbeným příkladem je příběh řidiče Tesly, který si pomocí aplikace přivolal své auto. Auto i řidič se však nacházeli na leteckém veletrhu a Tesla najela přímo do zbrusu nového letadla v hodnotě 3,5 milionu dolarů. Statisticky vzato se auta na leteckých veletrzích příliš často nevyskytují, ale někdy se to prostě stane. Tesla by rozpoznala lidi, kola a auta, protože jsou uložena v její databázi. Letadlo v ní však nebylo, a tak systém selhal.
Ale teď ho možná už má v systému.
Dalším problémem je, že tyto modely rozkládají informace na nejmenší jednotky a poté je podle potřeby znovu skládají. Neexistuje však žádná záruka, že to dělají spolehlivě, a proto dochází k častým halucinacím. Vymýšlejí si články v bibliografii, přejmenovávají univerzity v životopisech – to se stává neustále. A uvnitř této technologie neexistuje žádné zařízení, které by tomu mohlo zabránit.
Jak si to můžeme představit?
V knize Daniela Kahnemana „Myšlení: rychlé a pomalé“ se nachází dobrá analogie: lidské myšlení se skládá ze dvou systémů: systém 1 je rychlý a založený na reflexech, systém 2 je pomalý, bere v úvahu realitu a je řízený rozumem. Velké jazykové modely jsou dobré v systému 1 a ne příliš dobré v systému 2. A to je obrovský problém.
A to nelze vyřešit?
Ne. Již dnes existují modely, které jsou v systému 2 docela dobré, ale nikdo neví, jak by se daly propojit s ostatními modely. Existují náznaky, že to může fungovat v malých, jasně ohraničených oblastech použití, kde jsou pravidla jasná a statická, řekněme v geometrii nebo v šachu. ChatGPT, Google Gemini, Grok a všechny ostatní modely však slibují, že je lze konfrontovat se vším možným a že na to budou reagovat smysluplným, koherentním nebo dokonce inteligentním způsobem. Že rozumějí tomu, co jim říkáte.
Co by měla obecná umělá inteligence?Obecná umělá inteligence (zkratka AGI – Artificial General Intelligence) je teoretická forma umělé inteligence, která by byla schopna vykonávat jakýkoliv intelektuální úkol na úrovni člověka nebo i lepší. umět, co dnešní LLM neumí?
Měla by být schopná si vytvořit představu o světě. Jednoho dne vaše dítě začne číst Harryho Pottera. Když ho bude číst, vytvoří si ve svém mozku model světa, ve kterém lidé mohou létat na koštěti, a bude schopné přemýšlet o tomto světě odděleně od našeho reálného světa. Ani na okamžik nebude věřit, že bychom mohli odletět na koštěti. V okamžiku si ale vytvořilo model takového světa. Lidé to dělají automaticky.
I dospělí?
Ano, i dospělí. Například já mám v hlavě model světa, jak fungoval politicky předtím, než se Donald Trump stal prezidentem. A teď právě vytvářím nový model. Tímto procesem momentálně procházíme všichni. Většina lidí neví, že tuto schopnost mají, ale jsou v ní extrémně dobří a pro to, čemu říkáme inteligence, je tato schopnost nezbytná. Ale zatím nevíme, jak to naučit stroj. Umíme jen vytvářet chatboty, které budí dojem, že to umí, a to asi tak 30 minut, než se úplně zamotají. Ale pokud jde o obecnou umělou inteligenci, budeme potřebovat něco zcela nového a budeme muset začít úplně od začátku.
Věříte, že taková obecná umělá inteligence může být někdy vytvořena?
Určitě někdy ano, v tomto směru se provádí mnoho výzkumů. A až k tomu dojde, doufám, že získáme umělou inteligenci, která bude spolehlivější než ta, kterou máme nyní. Dnešní modely například nelze naučit rozpoznávat lidské bludy a reagovat na ně zodpovědně. To má někdy strašné následky, až po sebevraždy.
Po mnoho let jste s tímto názorem zůstával v podstatě osamocen. Nyní se však na vaši stranu přidává stále více významných osobností: Ilya Sutskever nedávno označil současný vývoj za slepou uličku a Demis Hassabis, šéf Google DeepMind, před několika dny poprvé veřejně hovořil o limitech této technologie. Od té doby, co společnost Oracle překvapivě zveřejnila špatné obchodní výsledky, se zdá, že v tomto odvětví panuje znatelná nervozita. Jak to vnímáte?
Demis vlastně řekl přesně to, co jsem vždycky tvrdil: že velké jazykové modely nikdy nepřekonají své halucinace, pokud je nekombinujete s modely světa. Ale i generální ředitel Microsoftu Satya Nadella nedávno varoval před příliš vysokými očekáváními. Dokonce i OpenAI začalo potichu kombinovat své modely s jinými technologiemi, stejně jako Anthropic a Amazon. Všechny tyto společnosti v posledních měsících uznaly, že velké jazykové modely nikdy nedosáhnou úrovně skutečné umělé inteligence. Tvrdí to, aby si udržely investory, ale vědí, že to není pravda.
Není scénář, který popisujete, trochu znepokojivý? Velké technologické firmy dnes tvoří asi třetinu amerického akciového indexu S&P500. Americký hospodářský růst v posledních letech táhly téměř výhradně ony.
Je to dokonce velmi znepokojivé. Ale do takové situace se dostanete, když investujete bilion dolarů do technologie, která má zjevné slabiny. V roce 2012 byla diskuse, kterou jsme vedli, ještě převážně akademická, dnes se týká každé části naší společnosti. Kvůli roli, kterou AI hraje v geopolitice, a kvůli astronomickým dluhům, které byly za tímto účelem vytvořeny. Velké technologické firmy dnes tvoří tak velkou část americké ekonomiky, že jsou možná příliš velké na to, aby zkrachovaly. Pokud bublina praskne, může se stát, že vláda bude muset tyto společnosti finančně podpořit, stejně jako to udělala v případě bank během finanční krize v roce 2008. OpenAI již otevřeně hovořila o tom, že k tomu jednoho dne může dojít. V sázce je mnoho.
Pokud máte pravdu a hranice umělé inteligence již nelze popírat, co se podle vás stane potom?
Nejprve přijdou investoři o spoustu peněz. To znamená, že mnoho penzijních fondů, kterým tito investoři svěřili své peníze, utrpí ztráty. Nikdo však neví, jak daleko se škody ve finančním světě rozšíří. V nejlepším případě zanikne jen několik hedgeových fondů a nikdo je nebude postrádat. V nejhorším případě se ukáže, že příliš mnoho bank půjčilo příliš mnoho peněz příliš mnoha hráčům v tomto odvětví a samy se dostanou do likvidních potíží. Pak to budou stejně jako v roce 2008 opět vlády a tedy daňoví poplatníci, kdo bude muset ztráty uhradit.
Gary Marcus je americký kognitivní vědec, psycholog a publicista zabývající se umělou inteligencí a fungováním lidské mysli. Vystudoval kognitivní vědy na Hampshire College a doktorát z oboru mozkových a kognitivních věd získal na Massachusetts Institute of Technology (MIT). Jeho doktorským mentorem byl významný psycholog a lingvista Steven Pinker. Marcus působil dlouhá léta jako profesor psychologie a neurověd na New York University a patří k nejvýraznějším kritikům současných přístupů k AI založených čistě na hlubokém učení. Ve svých knihách a esejích prosazuje vývoj robustnějších systémů, které kombinují statistické metody s explicitním symbolickým uvažováním.
