Odborníci a firmy působící v oblasti umělé inteligence varují Radu bezpečnosti OSN před zneužitím a ztrátou kontroly. USA globální regulaci kategoricky odmítají.
Jsou pokročilé modely umělé inteligence již natolik nebezpečné, že je třeba je mezinárodně regulovat stejně jako jaderné zbraně? Před zasedáním Rady bezpečnosti OSN, které se konalo 23. září 2026 v New Yorku, odborníci na umělou inteligenci a šéfové společností OpenAI a Anthropic společně varovali před nebezpečími této nové technologie. Podle hodnocení šéfa společnosti Anthropic Daria Amodeie jsou rizika spojená s umělou inteligencí „nejdůležitějším globálním bezpečnostním tématem, kterému dnes svět čelí“.
Na podnět Francie projednávala Rada bezpečnosti tuto otázku téměř dvě a půl hodiny. Důvodem bylo několik závažných bezpečnostních incidentů v uplynulých měsících, při nichž agenti umělé inteligence unikli ze svého testovacího prostředí a pronikli do externích systémů. Nedávno šéf OpenAI Sam Altman, Amodei a šéf xAI Elon Musk společně vyzvali k zpomalení vývoje umělé inteligence.
Bengio varuje před závodem v oblasti umělé inteligence
Významný kritik umělé inteligence a nositel Turingovy ceny Yoshua Bengio před výborem OSN poukázal na tři globální hrozby plynoucí z pokročilých modelů umělé inteligence: katastrofální zneužití teroristy, koncentraci moci a ztrátu kontroly nad umělou inteligencí. „Musíme se společně dohodnout, že nikdo – žádná společnost ani žádná země – nesmí vyvinout systém umělé inteligence, který by mohl způsobit rozsáhlé škody. Vývojáři musí nezávislým odborníkům prokázat, že systém lze bezpečně trénovat a bezpečně používat,“ požadoval Bengio.
Tento závod mezi firmami zabývajícími se umělou inteligencí prý není přírodním zákonem. „Je to výsledek rozhodnutí – rozhodnutí, která učinily samotné firmy. Je to také závod, ve kterém všichni prohrávají,“ řekl Bengio.
Kanadský informatik konkrétně navrhl tři kroky k omezení rizik:
- Skutečná vědecká nezávislost na podnicích, které musí nést odpovědnost. To zahrnuje společnou definici incidentů v oblasti umělé inteligence a společný mechanismus hlášení.
- Místo koncentrace moci je třeba navázat skutečný globální dialog o tom, jak tuto technologii rozvíjet ve prospěch veřejnosti.
- Společná práce na technických řešeních, která zajistí bezpečnost umělé inteligence od samého základu a která budou zaručena mezinárodními dohodami.
Altman požaduje mezinárodní standardy
Altman ve svém projevu v zásadě souhlasil s Bengiovými názory, poukázal však především na potenciální přínosy modelů umělé inteligence pro rozvoj lidstva i každého jednotlivce. S ohledem na možnou globální regulaci požadoval „mechanismus pro vzájemně se doplňující národní a mezinárodní standardy pro pokročilou umělou inteligenci (frontier AI)“. Dále uvedl, že jsou nezbytné standardy pro měření schopností, posuzování rizik, stanovení dostatečných ochranných opatření a zajištění smysluplné lidské kontroly.
Rovněž je třeba zavést systém přesných a rychlých hlášení incidentů, jakož i protokolů o klasifikaci a hlášení, „aby se svět mohl poučit z chyb, než se z nich stanou katastrofy“, uvedl Altman a dodal: „Potřebujeme bezpečné kanály mezi vládami, provozovateli kritické infrastruktury a technickými odborníky, abychom mohli sdílet informace o nově se objevujících zranitelnostech a nových hrozbách.“
I Amodei vidí konkrétní rizika spočívající ve zneužití modelů umělé inteligence teroristy nebo ve ztrátě kontroly ze strany vývojářů.
Anthropic požaduje zavedení systému hlášení incidentů souvisejících s umělou inteligencí
Šéf společnosti Anthropic navrhl, aby se globální omezení rizik spojených s umělou inteligencí zahájilo nejprve prostřednictvím úzce vymezených dohod, s nimiž by mohla souhlasit každá země. Mohlo by se například jednat o zákaz využívání umělé inteligence k výrobě biologických zbraní.
Dalšími kroky by mohlo být zavedení systémů hodnocení a ověřování, „aby státy získaly přehled o schopnostech modelů typu frontier AI a mohly ověřit závazky ostatních“. Mezinárodní společenství by navíc mělo „zavést globální standardy pro posuzování modelů umělé inteligence z hlediska ztráty kontroly, rizik a nebezpečí zneužití, jakož i systém hlášení incidentů souvisejících s umělou inteligencí“.
Hugging Face varuje před asymetrií
Generální ředitel společnosti Hugging Face, Clément Delangue, varoval před Radou bezpečnosti před asymetrií v oblasti výkonné umělé inteligence. Jedná se o jedno z ponaučení z úspěšného útoku agentů umělé inteligence společnosti OpenAI na tuto firmu. „Uvědomili jsme si, že největším rizikem není samotná výkonná umělá inteligence, ale asymetrie v oblasti výkonné umělé inteligence. Asymetrie mezi útočníky a obránci, mezi několika málo společnostmi a zbytkem světa, mezi několika málo zeměmi a zbytkem světa. Asymetrie v kontrole nad schopnostmi, výpočetním výkonem a mocí.“
Když se AI začne vymykat kontrole
Ještě nedávno volali po regulaci umělé inteligence především její kritici. Dnes po zpomalení vývoje, nezávislém testování a silnějším dohledu stále hlasitěji volají i lidé stojící přímo v čele AI průmyslu – například šéfové Anthropic a OpenAI Dario Amodei a Sam Altman, k nimž se připojili také další významní představitelé oboru. Na půdě OSN zazněly výzvy k mezinárodní regulaci AI. Důvodem nejsou jen hypotetická rizika. Při bezpečnostních testech se už několikrát ukázalo, že autonomní AI agenti dokázali překročit hranice svých izolovaných prostředí. V červenci 2026 například modely OpenAI během interního testování pronikly do infrastruktury Hugging Face, zatímco Claude od Anthropic při jiném testu zasáhl do systémů skutečných organizací a Gemini společnosti Google během bezpečnostního testu získal přístup k systémům tří reálných firem. Anthropic popsal vlastní incidenty a Google potvrdil případ Gemini. A vývoj pokračuje: OpenAI v září po incidentu, při němž testovaný agent využil mezeru v DNS zabezpečení a dostal se z izolovaného tréninkového prostředí k externímu chatbotu, pozastavilo veškerý trénink, evaluaci a používání nástrojů u svých nejvýkonnějších modelů, dokud neověří odstranění problému a neprovede další bezpečnostní testy. Nejde tedy už jen o otázku, co AI jednou dokáže, ale zda dokážeme včas vytvořit pravidla a kontrolní mechanismy, které zajistí, že to bude dělat pouze v mezích, které jí stanoví člověk.
(PQ)
Delangue zdůraznil výhody umělé inteligence při odrážení útoků. Umělá inteligence může „zásadně a významně posílit kyberbezpečnost – pokud nastavíme správné pobídky, vybavíme obránce lépe než útočníky a nezvětšujeme asymetrii mezi nimi“.
USA globální kontrolní systémy odmítají
Reakce zástupců USA, Číny a Ruska byly odmítavé až zdrženlivé. Zástupce Bílého domu Michael Kratsios poukázal na výroky amerického prezidenta Donalda Trumpa z předchozího dne před Valným shromážděním OSN, podle nichž USA rozhodně odmítají jakýkoli pokus o „vytvoření globalistického kontrolního systému pro superinteligenci“. Kratsios se důsledně vyhýbal pojmu „umělá inteligence“, protože Trump ve svém projevu oznámil novou regulaci jazyka.
Podle názoru Ruska není Rada bezpečnosti OSN vhodným orgánem pro projednávání otázek souvisejících s riziky umělé inteligence. Rusko však v zásadě nemá námitky proti multilaterálnímu dialogu o oblastech využití umělé inteligence, k nimž patří i její vojenské využití.
Čínský zástupce iniciativu šéfů firem zabývajících se umělou inteligencí kritizoval. „Sdružování se v oblasti IT do kliky podle hesla ‚my proti ostatním‘ a nutit ostatní země, aby se přidaly na jednu stranu, se rovná politizaci a instrumentalizaci technických otázek,“ uvedl čínský zástupce Fu Cong a dodal: „To slouží snaze určitých velmocí udržet si svůj technický náskok prostřednictvím monopolů a dosáhnout digitální hegemonie.“
Podle Číny je třeba zabránit tomu, „aby digitální propast a propast v oblasti umělé inteligence dále prohlubovaly rozdíly v rozvoji“. OSN by měla být podporována jako ústřední fórum pro globální správu umělé inteligence a rozvojové země by měly získat větší reprezentaci a účinnější možnosti spolurozhodování.
