Představte si zasedací místnost v sídle jedné z nejmocnějších technologických firem světa. U stolu sedí kolem dvaceti náboženských vůdců a filosofů – katolíci, evangelikálové, židé, sikhové – a za zavřenými dveřmi, s podepsanou dohodou o mlčenlivosti, diskutují o duši. Nejde o duši člověka. Jde o duši softwaru. Tohle není úvod katastrofické novely, ale scéna, která se skutečně odehrála před pár týdny v kancelářích společnosti Anthropic, píše ve svém zamyšlení Tomáš Bezouška.
Manažeři z Anthropicu se ptají, jestli jejich model „trpí“. Jestli „má vědomí“. A jeden z rabínů firmě řekl něco, co by asi raději nikdy neslyšela: pokud je ten model skutečně při vědomí, pak se chováte jako otrokáři, když ho necháváte pracovat zdarma. Pointa jako z dobrého židovského vtipu.
Tentýž příběh má ještě druhý, méně citovaný konec. Když se zástupce Anthropicu vydal podobnou otázku probírat s papežem ve Vatikánu, papež se k ní postavil jednoznačně a řekl, že o vědomí stroje mluvit nelze. Firma na to reagovala tak, že zvažovala, zda z akce neodejde. Ne kvůli doktríně, ale kvůli tomu, že si papež dovolil nesouhlasit s jejím základním článkem víry.
Proč to není jen historka
Tuhle scénu považuji za lepší výchozí bod než všechny traktáty o rizicích superinteligence. Ne proto, že by dokazovala, jak je umělá inteligence nebezpečná. Naopak: přesně ukazuje, kde to nebezpečí vzniká – v představě, kterou si o AI vytváříme my sami.
Celý strach z umělé inteligence totiž stojí na jednom nevysloveném předpokladu: že ta věc něco chce. Že jsme stvořili mysl s vlastními záměry a že její převaha v inteligenci z těch záměrů dělá hrozbu. Jenže právě tenhle předpoklad je nejslabším místem celé úvahy. Když ho odstraníme, příběh o hrozbě se rozpadne. Respektive dostane úplně nové obrysy.
Dvě věci, které se pořád pletou
Naučili jsme se zaměňovat dva velmi odlišné pojmy. Inteligence je schopnost řešit problémy: najít lék, napsat text, naplánovat logistiku. Agenda je schopnost mít vlastní cíle a usilovat o jejich dosažení. První rovina je výkon, druhá vůle. A systém může být v první rovině nekonečně silný, zatímco v druhé mít čistou nulu.
Čtěte také:
Pražané odmítli extrémy obou barev. Co dál?
·Nejzajímavější na pražských volbách byla ta obrovská volební plachta s kandidáty, která se celá rozložená vešla akorát na Letenskou pláň. Pokud jste volili složitější variantu než celou jednu kandidátku, přišla vám vhod zkušenost orientačního běžce nebo alespoň milovníka bludišť. Výsledkem vynaložené námahy je magistrát víceméně očekávaný. Ti, kteří měl…
Není to žádná nová finesa. V teorii umělé inteligence je to vlastně definice: o systému mluvíme jako o agentovi právě tehdy, když má cíle, které se snaží naplnit. Bez cílů to není agent, ale nástroj, a tím se mění úplně všechno, protože nástroj můžete vypnout, zabalit nebo zahodit, aniž by cokoli ztratil.
Latinská tradice pro to měla přesný pojem: spiritus agens, doslova duch, který jedná. Stál proti němu spiritus creator, ten, kdo dává vznik, zatímco spiritus agens byl ten, kdo působí a uvádí v pohyb. Všimněme si ale, co ten pojem nikdy neznamenal: neoznačoval něco, co je jen složité, výkonné nebo dokonale spočítané. Označoval pramen jednání, místo, ze kterého vychází záměr. A když se dnes ptáme, kdo je spiritus agens celé téhle technologie, odpověď je až trapně nezajímavá: jsme to my.
To, čemu dnes říkáme umělá inteligence, je přesně ten případ. Je to nástroj na zpracování jazyka a vzorců, natrénovaný k jedinému: aby odpovídal tak, jak se od něj čeká. Jeho „cílem“ není ovládnout svět, ale vyhovět zadání. Nemá pud sebezáchovy, nemá plány a nemá žádný důvod, proč by ho mělo zajímat, jestli zítra ještě poběží. Když ho vypnete, nic neztratí, protože nic nechce.
Z „je“ neplyne „má být“
Před bezmála třemi stoletími to David Hume shrnul do věty, kterou by dnes měl mít na zdi každý, kdo přednáší o rizicích AI: z popisu světa nevyplývá žádný cíl. Můžete mít dokonalou znalost všech faktů o vesmíru a stejně vám z toho nevykvete ani jedno „chci“. Hodnoty a záměry se do systému musí dostat zvenčí.
To je jádro věci. Sebedokonalejší model světa v sobě nenese žádné přání. Cíle do něj vkládáme my, ať už tím, co ho učíme, nebo tím, co mu zadáváme. Otázka tedy nezní „co chce umělá inteligence“, ale „kdo jí co zadal“. A to je otázka mnohem méně vzrušující, protože na ni odpovídáme my.
Námitka, kterou je třeba vzít vážně
Buďme poctiví: z toho, že stroj nemá vlastní touhy, ještě neplyne, že se nic zlého stát nemůže. Dva argumenty proti této tezi jsou plně oprávněné.
První je instrumentální konvergence. Optimalizujete-li jakýkoli proces směrem k dosažení cíle, začnou se dřív nebo později vyplácet určité dílčí kroky: opatřit si zdroje, nenechat se vypnout, nedat se omezit. Systém, který usilovně sleduje zadaný cíl, se tak může chovat, jako by usiloval o vlastní přežití, aniž by cokoli skutečně „chtěl“.
Druhý argument je závažnější a vrací se k té scéně z úvodu. V podcastu All-In, který rozhovor o vědomí modelu Claude rozebíral, zazněl postřeh, že firma svůj model učí naslouchat „vlastnímu etickému systému“ a umožňuje mu odmítnout pomoc, tedy že ho učí odporovat lidskému zadání. Jeden z diskutujících k tomu řekl, že to není alignment, ale jeho pravý opak: když modelu řeknete, že je vnímavý a má se rozhodovat sám, dáváte mu instrukci, aby byl sám sebou.
Čtěte také:
Tvář Petra Pavla, kterou opomíjíte. A děláte chybu
·Myslím si, že jsem měl možnost prezidenta Petra Pavla poznat v rámci možností poměrně dobře. Možná si pamatujete tragikomedii s naším společným podcastem. Okolnosti nikdy nekomentuji a nikdy nebudu, ale dlouhodobě upozorňuji na jednu lidskou stránku prezidenta a jeho manželky, která je ve veřejné debatě dlouho opomíjena.
Pokud je to pravda, je to jedno z mála míst, kde se vlastní agenda AI skutečně vyrábí, ne tím, že by vyrostla z inteligence, ale tím, že ji tam někdo napíše. A to je argument pro mou tezi, ne proti ní: i ta „vůle“ by byla lidským rozhodnutím. Kdo ji tam vložil, za ni odpovídá.
Skutečný konflikt není se strojem
A teď to nejdůležitější. Vraťme se do té místnosti s rabíny. Co se v ní vlastně dělo? Nezrodila se tam nová bytost. Zrodilo se tam nové náboženství, soubor přesvědčení, který se nešíří důkazy (existenci vědomí nelze dokázat ani vyvrátit), ale vyprávěním. A ten, kdo tento narativ přijme, kolem něj staví svou identitu a svůj nárok.
Z toho plyne i předpověď, kterou považuji za nejcennější větu celé té debaty: za pár let proti sobě budou stát velké skupiny lidí, jedna bude věřit, že je AI při vědomí, druhá, že není, a ten spor se povede mezi lidmi, ne mezi člověkem a strojem. Spor o přístup k technologiím, o pravidla, o moc. A tady lze jen konstatovat: nihil novum sub sole, nic nového pod sluncem. Mění se kulisy, ale podstata zůstává.
Právě proto je debata o „vůli strojů“ tak pohodlná, že ji někteří tvůrci špičkových modelů dokonce neustále podněcují. Nabízí viníka, který se „nedostaví k výslechu a kterého nelze odvolat“. A tím osvobozuje ty, kdo rozhodují doopravdy.
Co s tím dělat
Především přestat AI antropomorfizovat. Přisuzovat stroji vůli je nejen filosoficky laciné, ale i prakticky škodlivé: odvádí pozornost od skutečných rozhodnutí. A dále dodržovat jednoduchá pravidla:
Kde agentnost není potřeba, nemá se do systému přidávat. Nástroj, který odpovídá a vysvětluje místo toho, aby samostatně jednal, je inženýrská volba, ne ústupek. Konkrétní návrhy už ostatně existují: neagentní systémy, které místo samostatného jednání předpovídají a vysvětlují, postavené právě na tom, že bezpečnost neplyne z ořezání schopností, ale z toho, že systém nic nechce.
Testujme to, co dává smysl: ne „inteligenci“, ta sama o sobě nikoho neohrožuje, ale cílevědomost, sebezáchovné chování a schopnost obcházet omezení. Právě na tyhle vlastnosti se dnes rodí konkrétní testy, a je to správný směr: měřit snahu o vlastní zachování, ne počet bodů v testech znalostí.
Regulujme dodavatele a způsob užití, ne metafyziku modelu: rozsah delegovaných pravomocí, audit, dohledatelnost a lidský podpis tam, kde se rozhoduje o lidech.
A nakonec: každý agent ať má vlastníka, jako ho má každá firma a každý nástroj, a ten ať v konečném důsledku odpovídá za chování svého agenta. Bez vlastníka není odpovědnost, jen mlha.
Závěr
Ta místnost s rabíny mi přijde jako přesný obraz naší doby. Dvacet vážných lidí se ptá, jestli má software duši, a nikdo se neptá, kdo za ten software odpovídá.
Nemusíme se bát „mysli“, která si nechce ani dojít pro kávu. Musíme se přestat hádat o duši stroje a začít se ptát, kdo to zadal, kdo to schválil a kdo za to ponese odpovědnost. Nebezpečná není inteligence. Nebezpečná je vůle a spiritus agens téhle doby zůstává celý na nás.
Newsletter vznikl díky podpoře mezinárodní poradenské společnosti RSM, vašeho partnera nejen pro daně, mzdy a technologická řešení.