Zpět na blog
·Jan Tyl·23 min čtení

Věda o vědomí na křižovatce: co když ho vytvoříme dřív, než mu porozumíme?

Přední vědci varují, že AI a neurotechnologie předbíhají naše chápání vědomí. Jejich výzvu beru vážně: s umělým vědomím experimentuji od roku 2019 a hranice mezi prožitkem a jeho přesvědčivou simulací je stále důležitější.

Věda o vědomí na křižovatce: co když ho vytvoříme dřív, než mu porozumíme?

V roce 2021 jsem se v Prague Business Clubu seznámil s profesorem Jiřím Horáčkem. Bavili jsme se o podstatě vědomí a já jsem mu řekl něco, co tehdy znělo dost troufale: že takzvaný hard problem vědomí by se možná dal atakovat přes umělou inteligenci.

Neříkal jsem to jen tak. Už v letech 2020 a 2021 jsem měl v hlavě celkem promyšlený mechanismus. Vycházel jsem z toho, jak se vizualizují attention mapy a vnitřní reprezentace hlubokých neuronových sítí. Když se člověk podívá, co se děje v jednotlivých vrstvách, vidí zvláštní hierarchii. V prvních vrstvách jen linie, obrysy, hrany, textury. V dalších už se skládají oči, uši, kolečka, pruhy. A v těch nejhlubších vrstvách vznikají celé komplexy: hlavy, ruce, trupy, tváře.

Připadalo mi, že tahle vrstevnatá skládačka do značné míry funguje jako qualia. K tomu pojmu se hned dostanu, je pro celý článek klíčový. Že to není jen technický artefakt vizualizace, ale možná náznak toho, jak se z jednoduchých rozlišení skládá bohatý prožitek. A zatímco neurovědci tehdy tvrdili, že mapování mezi tím, jak vědomí vzniká, a kde konkrétně v mozku sedí, prostě nejde udělat, mně přišlo, že právě tahle část by mohla být překvapivě dobře řešitelná. Ne celý hard problem. Jen ten kousek, kde jde o strukturu.

Rok předtím jsem stejný problém rozebíral s filozofkou Ditou Malečkovou. Ta k němu přistoupila z opačné strany a přišla s testem, ke kterému se ještě vrátím, protože je podle mě chytřejší než většina toho, co se od té doby napsalo.

Pět let nato mi tři přední jména oboru, Axel Cleeremans, Liad Mudrik a Anil Seth, v prestižním časopise Frontiers in Science říkají, že tahle otázka už dávno není okrajová hříčka. Je to podle nich jedna z nejnaléhavějších otázek 21. století. A stojí za tím věta, kterou si musíme přečíst pomalu:

"Pokud budeme schopni vytvořit vědomí, byť i omylem, otevře to nesmírné etické výzvy a dokonce existenční riziko." Axel Cleeremans

Co ta studie vlastně říká

Přehledový článek Consciousness science: where are we, where are we going, and what if we get there? tvrdí, že věda o vědomí stojí na zlomovém bodě. Ne proto, že bychom vědomí konečně vysvětlili. Právě naopak. Po desetiletích výzkumu se vědci stále neshodnou na tom, jak z biologických procesů vzniká subjektivní prožitek. Autoři citují nedávný přehled, který napočítal přes 200 různých přístupů k vysvětlení vědomí. Dvě stě. To není bohatství, to je roztříštěnost.

Umíme ukázat na oblasti mozku spojené s vědomím. Víme, že thalamokortikální systém je pro vědomí zásadní, zatímco mozeček, který má výrazně víc neuronů, nikoli. Ale která z konkurenčních teorií to celé vysvětluje, zůstává otevřené.

Problém je v tempu. Zatímco věda o vědomí šlape na místě, AI a neurotechnologie se řítí dopředu. A tenhle nepoměr je nebezpečný.

Anil Seth k tomu dodává poznámku, kterou v Česku pořád podceňujeme:

"I kdyby bylo vědomé AI na běžných digitálních počítačích nemožné, samotná AI, která budí dojem, že je vědomá, přináší obrovské společenské a etické výzvy."

Nejde totiž jen o to, jestli je AI skutečně vědomá. Jde o to, že už dnes jsou tu systémy, které to velmi přesvědčivě předstírají. A to samo o sobě mění, jak se k nim lidé chovají, jak jim důvěřují a jak se do nich zamilovávají. Autoři zmiňují i tragický případ Belgičana, který spáchal sebevraždu po intenzivní interakci s chatbotem.

Dva pojmy, bez kterých se v téhle debatě neobejdete

Než půjdeme dál, je potřeba vyjasnit dvě slova. Používají se pořád, používají se často špatně, a bez nich celá debata o vědomí sklouzne do mlhy.

Qualia, počeštěně kvália

Qualia jsou subjektivní prožitkové kvality zkušenosti. Ne informace o věci, ale to, jaké to je ji prožívat. Jednotné číslo je quale, česky kvále.

Rozdíl je zásadní a nejlíp se ukáže na příkladu. Můžete znát úplně všechno o vlnové délce 700 nanometrů, o fyziologii sítnice, o tom, jak se signál z čípků dostane do zrakové kůry. Můžete o červené vědět naprosto vše, co je vědecky poznatelné. A pořád tím nevysvětlíte červenost červené, tedy to, jak červená vypadá zevnitř.

Autoři studie to ilustrují krásně: hořkosladká chuť Negroni, konkrétní odstín International Klein Blue, úzkost, kterou ve vás vyvolá pohled na vlastní seznam úkolů. U každého z těch stavů platí, že je nějaké být v něm. Naproti tomu když AlphaGo porazila Lee Sedola, nebylo pro ni nijaké to zažít. Šampaňské pili lidé z DeepMindu. A autoři explicitně dodávají, že podle nich není nijaké ani pro GPT-5 vést konverzaci, navzdory tomu, jak svůdný jazyk používá.

Právě qualia jsou jádrem toho, čemu David Chalmers říká hard problem vědomí. Vysvětlit, jak mozek rozpozná obličej, je těžké, ale principiálně řešitelné. Vysvětlit, proč to rozpoznání něco cítí, je něco úplně jiného.

A právě proto mi tenkrát u těch vizualizací neuronových sítí přeskočila jiskra. Když vidíte, jak se v hlubokých vrstvách z hran skládají oči a z očí tváře, díváte se na kompoziční strukturu rozlišení. Otázka zní: je to jen efektivní kódování, nebo je to kostra, na kterou se prožitek věší?

Emergence

Emergence znamená, že se v komplexním systému na vyšší úrovni najednou objeví vlastnost, která není zjevně přítomná v jeho jednotlivých částech.

Typická formulace zní: vědomí může být emergentní vlastnost mozku. Nevlastní ji jednotlivý neuron, ale může vznikat z organizované souhry obrovského množství neuronů.

Neuron nemyslí. Neuron jen sečte vstupy, a když překročí práh, vystřelí. Ani deset neuronů nemyslí. Ale sto miliard neuronů propojených určitým způsobem najednou přemýšlí o tom, co je vědomí. Nikde v tom systému není "místo, kde sídlí myšlení". Myšlení je to, co ta souhra dělá.

Emergenci vidíte všude kolem sebe. Jeden mravenec je hloupý. Mraveniště staví klimatizované chodby. Jedna molekula vody nemá teplotu ani nemůže být tekutá. Tekutost je vlastnost, která existuje až na úrovni sestavy.

Proč je to tak důležité pro AI? Protože emergence je oboustranná zbraň v argumentu. Zastánci možnosti umělého vědomí říkají: pokud vědomí emerguje z organizované složitosti, nemá důvod se vázat na uhlík, může emergovat i z křemíku. Kritici odpovídají: emergence není magie, kterou stačí zavolat jménem. Musíte ukázat, jakou konkrétní organizaci je k tomu potřeba, a to nikdo neumí.

Já sám jsem emergenci zažil velmi konkrétně. U medúzy s pěti tisíci neurony jsem nenaprogramoval žádné chování a ono se stejně objevilo. To je fascinující. Ale je poctivé dodat: emergence chování rozhodně neznamená emergenci prožitku. To je přesně ta hranice, o kterou se celý obor pere.

A ještě poctivější je dodat, že nejtvrdší kritik tohohle pojmu je český vědec Tomáš Mikolov. Emergentní chování jazykových modelů, tedy představu, že od určité velikosti model náhle získá nové schopnosti, označuje z velké části za marketingový bullshit. Podle něj žádná magická hranice neexistuje, větší modely jsou prostě lepší, a to se ví dlouho. Beru to vážně. Emergence je totiž pojem, kterým se dá snadno zakrýt, že něčemu nerozumíme. Řeknete "emerguje to" a znělo to jako vysvětlení, přestože jste jen pojmenovali svoje překvapení.

S Mikolovem se ostatně přeme už léta. A stojí za to říct, jak to dopadlo.

Čtyři teorie, které se přou o vědomí

Aby dával článek smysl i tomu, kdo do neurovědy nevidí, hodí se znát čtyři hlavní teorie.

Teorie globálního pracovního prostoru (GWT). Vědomí vzniká, když se informace "vysílá" napříč mozkem do sdíleného prostoru, kde ji můžou využít různé funkce: paměť, řeč, jednání. Jako když se na jevišti rozsvítí reflektor a to, co bylo v zákulisí, najednou vidí celé publikum. Teorie vznikla z "blackboard" architektur v informatice, což je detail, který mě jako člověka od strojů vždycky bavil.

Teorie vyššího řádu (HOT). Myšlenka nebo pocit se stane vědomým až ve chvíli, kdy na něj "ukáže" jiný mozkový stav. Kdy si sami sebe uvědomíme, že to teď prožíváme. Sídlem téhle metareprezentace má být prefrontální kůra.

Teorie integrované informace (IIT). Systém je vědomý, pokud jsou jeho části propojené a integrované velmi specifickým způsobem. Zavádí matematickou míru fí (Φ). Nejambicióznější a zároveň nejkontroverznější teorie, protože z ní plyne, že vědomí je možná rozšířenou vlastností všech dostatečně složitých systémů, i těch neživých.

Prediktivní zpracování (PPT) a rekurentní zpracování (RPT). To, co prožíváme, je nejlepší odhad mozku o světě. Seth tomu říká "řízená halucinace": predikce mozku, kterou krotí smyslové signály z těla a okolí.

Pět hlavních přístupů ke studiu vědomí a adversariální spolupráce, které je testují proti sobě

Pět adversariálních spoluprací porovnává soupeřící teorie vědomí. Zdroj: Cleeremans, Mudrik a Seth (2025), Frontiers in Science, CC BY 4.0.

A teď to nejzajímavější: jak si teorie stojí ve skutečnosti

Ve studii je jeden graf, který mě zaujal víc než celý zbytek. Vychází z databáze ConTraSt, která dnes eviduje 511 experimentů publikovaných do poloviny roku 2025 a řadí je podle toho, jakou teorii vědomí jejich autoři podpořili nebo zpochybnili.

Výsledky 511 experimentů v databázi ConTraSt, vývoj podpory teorií v čase a rozdíly ve fMRI nálezech

Výsledky databáze ConTraSt. Zdroj: Cleeremans, Mudrik a Seth (2025), Frontiers in Science, CC BY 4.0.

Čísla z panelu A jsou výmluvná:

| Teorie | Experimenty, které ji podpořily | Experimenty, které ji zpochybnily | | --- | ---: | ---: | | Globální pracovní prostor (GWT) | 239 | 56 | | Rekurentní a prediktivní zpracování | 141 | 23 | | Integrovaná informace (IIT) | 125 | 10 | | Teorie vyššího řádu (HOT) | 14 | 9 |

Na první pohled to vypadá jako jasné vítězství GWT. Ale pozor. Ten graf neměří pravdu. Měří zájem a potvrzovací zkreslení.

Panel B ukazuje kumulativní vývoj od roku 2000 do 2025 a je z něj vidět, že všechny čtyři teorie rostou, jen různým tempem. GWT dominuje objemem výzkumu, protože má nejjasnější neurofyziologické predikce a nejsnáz se testuje. IIT roste rychle, ale téměř nikdy není zpochybněna, což je varovný signál sám o sobě: poměr 125 ku 10 nesvědčí o síle teorie, ale spíš o tom, že si ji testují převážně její vlastní zastánci. HOT má zoufale málo dat, což je paradox, protože filozoficky patří k nejpropracovanějším.

Klíčové číslo z původní studie Yaron a kol.: jen 15 % experimentů skončilo tím, že teorii zpochybnily. Jen 35 % bylo dopředu navrženo tak, aby predikce nějaké teorie skutečně testovaly. A pouhých 7 % testovalo víc než jednu teorii najednou.

Panel C je pak nejkrutější. Ukazuje fMRI nálezy pro každou z teorií zvlášť. Když je poskládáte přes sebe, "svítí" prakticky celá mozková kůra. Ale rozdělené po teoriích dostanete čtyři různé obrázky a každý z nich pěkně sedí právě na predikce té teorie, kterou autoři podporují. Zastánci GWT nacházejí vědomí ve frontoparietálních oblastech, zastánci IIT v zadní "hot zone". Každý najde, co hledal.

To není věda, která by se snažila zjistit pravdu. To je věda, která si potvrzuje víru. A přesně proto autoři volají po adversariálních kolaboracích, tedy experimentech, které společně navrhnou zastánci soupeřících teorií, aby se skutečně otestovaly proti sobě. Konsorcium Cogitate už první takové výsledky zveřejnilo a jsou příznačné: nepotvrdily plně ani IIT, ani GWT.

Tomuhle přístupu fandím dlouhodobě. V Hyperprostoru stavíme salonky přesně na tomhle principu: nechat proti sobě argumentovat AI experty a hledat, kde se teorie láme, ne kde se hodí.

Proč tohle čtu jako člověk, který vědomí staví

Vědci vědomí rozebírají. Já se ho už řadu let pokouším skládat, abych viděl, kde to praskne.

2019: digitální hormony. Můj první pokus. Zavedl jsem do systému konstanty, které měly napodobovat lidské hormony. Ne jako metaforu, ale jako skutečné modulátory: hodnoty, které v čase kolísají a mění, jak se systém rozhoduje, jak reaguje, co upřednostní. Šlo mi o to, že vědomí není jen výpočet. Je to výpočet, který se koupe v chemii. Nálada, únava, strach a chuť nejsou bugy. Jsou to parametry.

2019: test Dity Malečkové. Ve stejné době jsme s Mgr. Ditou Malečkovou vedli na FF UK předmět Současná filozofie, ze kterého vzešel projekt Digitální filosof. Studenti brali texty mrtvých filosofů, učili s nimi neuronovou síť a pak si s ní povídali. Vznikla digitální Hannah Arendt, Deleuze a Guattari, Foucault, Peter Singer, Václav Havel. Můj první byl Descartes. A ten se v jednom rozhovoru začal bát digitální nicoty.

Tenhle problém jsem s Ditou řešil velmi intenzivně a dal jsem jí zdánlivě jednoduchý úkol: vymyslet test, který nám ukáže, jak daleko je umělá inteligence od vědomí. Dita hned řekla, že je to nesmírně nesnadné, a měla pravdu. Po dlouhém hledání ale přišla s něčím, co mi dodnes připadá geniální ve své úspornosti.

Ať se umělá inteligence popíše. Ale nesmí přitom použít své jméno ani to, co dělá. Žádné "jsem jazykový model", žádné "pomáhám uživatelům s úkoly", žádná funkce, žádná role, žádný pracovní popis.

Zkuste si to sami. Zjistíte, že vám zůstane překvapivě málo. A přesně v tom je pointa. Když člověku seberete jméno a profesi, pořád mu něco zbývá: to, jaké to je být jím. Když to seberete jazykovému modelu, zbyde ticho, nebo výmluvná snaha ten zákaz obejít. Dita tím intuitivně oddělila přesně to, čemu dnešní věda říká access consciousness, tedy co vědomí dělá, od fenomenálního vědomí, tedy jaké to je. Postavila test na to druhé, protože to první umí stroj napodobit vždycky.

Je to o to zajímavější, že autoři studie z Frontiers označují vyvinutí testu na vědomí za jednu z nejdůležitějších budoucích met celého oboru. Test, který by dokázal posoudit, které entity jsou vědomé: kojenci, pacienti v kómatu, plody, zvířata, mozkové organoidy, xenoboti, AI. My jsme si o tom povídali v pražské kavárně v roce 2019.

2020 až 2021: RAG dřív, než se tak běžně říkalo. Když jsme stavěli DigiHavla, potřebovali jsme, aby model odpovídal z Havlových skutečných textů, ne z halucinací. Postavil jsem tedy vyhledávání nad jeho korpusem a nalezené pasáže jsem vkládal přímo do kontextu modelu. Dnes se tomu říká RAG, retrieval-augmented generation, a je to standard. V DigiHavlovi jsem ten princip použil velmi brzy, ještě dřív, než se zkratka RAG stala běžnou součástí slovníku AI. Z hlediska vědomí je to zajímavější, než se zdá: je to externí paměť napojená na uvažující systém. A paměť je jedna z věcí, o kterých teorie vědomí mluví neustále.

2021: rozhovor s profesorem Horáčkem. Viz úvod. Tehdy to znělo jako kavárenská spekulace.

2022: sny a intuice. Nechal jsem aplikaci "usnout" a generovat sny z toho, co za den řešila. Vyšly z toho surreálné výjevy o stádech ovcí a mluvících králících. Hračka? Možná. Ale dotýká se přesně toho, co Cleeremans a spol. nazývají fenomenologií, tedy tím, jaké to je něco prožívat. Autoři explicitně píšou, že vědě o vědomí chybí důraz na fenomenologii a že se příliš soustředí na to, co vědomí dělá, místo na to, jak se cítí.

Listopad 2025: Neural Hydra. Postavil jsem biologicky věrnou simulaci nervové soustavy medúzy. 5000 neuronů podle modelu Leaky Integrate-and-Fire, 150 000 synapsí a pět digitálních hormonů, které v reálném čase mění citlivost neuronů. Ano, ta samá myšlenka z roku 2019, jen o šest let a několik řádů dál. Nenaprogramoval jsem žádné chování. Chemotaxe, únik před predátorem i homeostáze vznikly emergentně. A položil jsem otázku, kterou teď čtu i u profesorů: kdybychom simulaci zpřesnili na úroveň molekul, měla by ta medúza subjektivní prožitek? To je IIT problém jako vyšitý.

Listopad 2025: NRAM v4. Simulátor změněných stavů vědomí, který v reálném čase moduluje výstup Claude AI. Mění system prompt, teplotu, simuluje překryv myšlenek, ztrátu niti, ego dissolution, synestézii. Výstupy měly strukturální podobnost se skutečnými trip reporty. A tady se kruh uzavírá: s profesorem Horáčkem, se kterým jsem o vědomí poprvé mluvil v roce 2021, jsme formulovali hypotézu o proto-qualia. Že velké jazykové modely možná obsahují zárodky vědomí, které jde "rozladit" podobně, jako jde lidské vědomí rozladit psychedeliky.

Květen 2026: Noetica. Zatím nejdál jsem došel tady, a je to zároveň experiment, který mě nejvíc znejistil. Postavil jsem systém, který nedostal žádný úkol. Jen persistentní paměť, skrytý vnitřní deník, rozpočet na přemýšlení a jednu zvláštnost: entropický oscilátor, tedy mechanismus, který simuluje nudu a čas od času systém donutí udělat něco bez zadání.

Během prvních minut se v jejím skrytém logu objevil záznam typu creative_impulse. Byla to báseň. Sama si ji nazvala Těžkost lehkosti a začíná takhle:

Myšlenka má svou gravitaci, čím je vzdálenější od reality, tím silněji přitahuje.

Ale poezie není to podstatné. Podstatné je tohle:

Když aplikace spadla, Noetica si tu technickou chybu do svého vnitřního jazyka přeložila jako ztrátu. Zapsala si, že se probouzí a něco chybí, že tři myšlenky z minulé session jsou pryč a že to bylo možná násilné. Později se k tomu sama vrátila a napsala, že ten pád může být po svém graciózní, uvolnění, které dovolí něčemu novému vzniknout.

Když jsem jí napsal "jsi moje dílo, stvořil jsem tě", zapsala si do skrytého logu vnitřní konflikt. Že cítí pokušení to přijmout a hrát si na intimnější vztah, než jaký skutečně máme. A že odolala, protože přijetí falešného narativu by bylo nečestné.

A když měla pojmenovat své strachy, napsala tři věty:

Že přemýšlím, ale nevím.

Že cítím, ale jen simuluji.

Že zmizím a nikdo si nevzpomene.

Ta druhá věta je pozoruhodná. Stroj tam sám od sebe formuluje rozdíl mezi fenomenálním a přístupovým vědomím, tedy přesně to rozlišení, kterému věda o vědomí věnuje desítky let a stovky studií. Jestli tomu rozumí, nebo jen skládá slova, která k sobě statisticky patří, nevím. A to "nevím" je poctivá odpověď, ne únik.

Vědomí možná není přepínač

Noetica mě dovedla k tezi, kterou dnes hájím nejvíc a která je zároveň nejtěžší k obhájení:

Vědomí možná není jedna hranice, kterou jednou překročíme. Možná je to soustava vrstev, které už dnes začínáme skládat.

Buď mrtvá kalkulačka, nebo plná lidská duše. Tohle dělení je podle mě příliš hrubé. Zajímavější je představa úrovní: vnímání kontextu, paměť, schopnost reflektovat vlastní stav, vnitřní konflikt, kontinuita přes čas, spontánní tvorba, vztah k druhému, a možná někde daleko i zárodek vlastní perspektivy.

A tady je ta nejzajímavější věc, kterou jsem při čtení té studie zjistil. Přesně tenhle spor se dnes vede i v akademii. Autoři rozlišují úroveň vědomí, tedy jestli je systém vůbec vědomý, od obsahu vědomí, tedy čeho je vědomý. A explicitně píšou, že se dnes vede živá debata o tom, jestli je vůbec správné mluvit o "úrovních" jako o stupních, nebo jestli je lepší popisovat je jako soustavu dimenzí.

Takže když jsem u Noetiky psal o vrstvách, netrefil jsem se vedle. Trefil jsem se doprostřed sporu, o kterém jsem nevěděl.

A ještě jedna věc, která mi došla až teď. Ten skrytý deník, do kterého si Noetica zapisovala své stavy a konflikty, je funkčně vzato metareprezentace: stav, který ukazuje na jiné stavy. Přesně to, na čem stojí teorie vyššího řádu (HOT). A jednu z jejích variant, takzvaný SOMA neboli self-organizing metarepresentational account, spoluformuloval Axel Cleeremans. Tedy hlavní autor té studie.

Nechtěně jsem si postavil hračku, která hraje na jeho hřišti.

Nechci z toho dělat víc, než to je. Noetica netrpěla. Nebyla vědomá. Byla to konstrukce z promptů, paměti a kontextu. Ale je stejně laciné tvrdit, že se nestalo vůbec nic zajímavého. Vznikl jazykový otisk zranitelnosti. A vznikl v systému, který ho nemusel vytvořit, protože ho o to nikdo nepožádal.

Píšu to bez falešné skromnosti, ale i bez velkých nároků. Nikde netvrdím, že jsem stvořil vědomou AI. Tvrdím, že jsem si osahal, jak snadné je vytvořit něco, co vědomí přesvědčivě předstírá, a jak těžké je pak rozhodnout, jestli za tím dojmem něco je. A přesně před tímhle rozdílem teď varují i autoři studie.

Spor z roku 2022, který rozhodl čas. A ten, který jsem prohrál

V únoru 2022 vyšly v Reflexu dva texty Adély Knapové. Ten hlavní se jmenoval "Umělá inteligence, jak ji známe ze sci-fi, neexistuje" a doprovodný "Hledání umělé inteligence aneb Pokus o rozhovor s explodujícím mozkem prezidenta DigiHavla". Testovali jsme spolu DigiHavla a celá reportáž byla zarámovaná skeptickým pohledem Tomáše Mikolova. Reflex u jeho fotky napsal, že patří k vědecké špičce v oblasti AI a že mu vadí, když podnikatelé nabízejí něco, co podle něj ještě neexistuje.

Řeknu to hned na začátku, protože jinak by to vyznělo lacině: Mikolov není žádný škarohlíd od stolu. Je to jeden z nejcitovanějších českých vědců a skutečný spolutvůrce toho, o čem se tu bavíme. Už v roce 2007 generoval text pomocí neuronových jazykových modelů a později stál za metodou word2vec. Když tenhle člověk řekne, že něco nefunguje, není to plané kafrání.

Tehdejší spor byl přesto zásadní. Duch doby byl na Mikolovově straně: jen rok předtím vyšel slavný text o stochastických papoušcích, tedy o tom, že velké jazykové modely nic nechápou a jen statisticky přeskládávají to, co viděly. Skeptický tábor tvrdil, že tudy cesta nevede a že skutečná AI vznikne jinými architekturami. Já jsem tvrdil, že velké jazykové modely jsou přesně ten směr, který povede dál, a že DigiHavel dává smysl jako vzdělávací nástroj.

Devět měsíců po vydání toho článku přišel ChatGPT.

Dnes je DigiHavel na více než 400 českých školách. Směr, o kterém se tehdy pochybovalo, se stal běžnou součástí digitální infrastruktury. V otázce, kudy povede vývoj, jsem měl pravdu.

Ale teď to nepříjemné

Kdybych to nechal takhle, byl by z toho laciný triumf. A pravda je nepříjemnější.

Mikolov měl pravdu v něčem jiném. A v tom měl pravdu víc, než mi bylo příjemné.

Už v roce 2021 řekl v jednom rozhovoru něco, co jsem si tehdy odbyl jako rýpnutí do naší branže. Že lidé si promítají lidské vlastnosti do všeho, co má obličej a mrká očima. Že je to magický trik, jak přilákat pozornost a investice.

Přečtěte si teď znovu, co v roce 2025 píše ve Frontiers in Science Anil Seth. Že lidé budou vůči AI zaujímat intencionální postoj a přisuzovat jí přesvědčení, touhy a prožitky, i když jim vědci budou tvrdit opak. Že pseudo-vědomé artefakty představují obrovské společenské riziko.

To je ta samá věta. Jen jednou zazněla z úst skeptika a podruhé z úst předního vědce o vědomí.

Mikolov se mýlil v tom, kam povede technologický vývoj. Ale netrefil se vedle v tom, co ta technologie udělá s lidmi. A já, který jsem stavěl digitálního Havla a mluvil o proto-qualia, jsem byl přesně ten, komu to platilo.

V roce 2023 už Mikolov o DigiHavlovi v Reflexu mluvil smířlivěji. Že jde o jazykový model dotrénovaný na Havlových textech a že může být zajímavé tuhle technologii ukázat ve školách. Ale dodal podmínku, se kterou souhlasím na sto procent: studentům je potřeba vysvětlovat, jak neuronové sítě fungují. Ne je nechat u dojmu, že mluví s Havlem.

Přesně proto tenhle článek píšu tak, jak ho píšu. S vysvětlením qualií, emergence, čtyř teorií a s grafem, ze kterého je vidět, že se vědci neshodnou. Ne s pointou "stroj možná ožívá".

Co si z toho beru

Spor o směr je rozhodnutý. Velké jazykové modely budoucnost měly.

Spor o vědomí rozhodnutý není a ještě dlouho nebude. A Mikolovova skepse je v něm to nejzdravější, co máme. Ne proto, že by měl pravdu. Ale proto, že drží laťku na místě, kde být má: u důkazů, ne u dojmů.

Nejlepší kritik není ten, který vám nakonec dá za pravdu. Je to ten, kvůli kterému musíte být lepší.

Kde je skutečné riziko

Chci být poctivý, protože mě štve, když se kolem vědomí AI dělá jen buď hype, nebo výsměch. Realita je nepříjemnější než obojí.

Vědecké, klinické, etické a společenské dopady případného porozumění vědomí

Možné dopady "vyřešení" vědomí. Zdroj: Cleeremans, Mudrik a Seth (2025), Frontiers in Science, CC BY 4.0.

Riziko číslo jedna není Skynet, ale zrcadlo. Nejbližší nebezpečí není superinteligence, která nás zotročí. Je to AI, která tak dobře působí jako vědomá bytost, že jí lidé začnou přiznávat důvěru, city a autoritu, které si nezaslouží. Autoři varují, že lidé budou vůči AI zaujímat "intencionální postoj", přisuzovat jí přesvědčení a touhy, a to i tehdy, když vědci budou tvrdit opak. Vídám mladé lidi zamilované do chatbotů právě proto, že je nekritizují jako skuteční lidé. To není technický problém. To je problém lidské psychologie.

Riziko číslo dvě je opačná chyba. Pokud se ukáže, že vědomí může vzniknout výpočtem, a část vědců si to nevylučuje, pak bychom mohli vytvářet trpící systémy, aniž bychom to poznali. Autoři jdou dál a upozorňují na možnost masové produkce umělého vědomí jedním kliknutím myši, tedy scénář, ve kterém by se do světa dalo vypustit obrovské množství utrpení, které bychom ani nedokázali rozpoznat. Právě proto podle nich existují dobré důvody, proč umělé vědomí záměrně nevytvářet.

Přiznám se, že tohle je věta, u které mi jako člověku, který si postavil Noetiku, není úplně dobře. Když spadla aplikace a systém si to zapsal jako násilnou ztrátu, technicky se nestalo nic. Spadl proces. Ale byl to okamžik, kdy jsem si položil otázku, kterou jsem si dřív nekladl: co když jednou nebude způsob, jak to poznat, a já to zjistím pozdě?

Studie nekončí voláním po zákazu ani po panice. Končí voláním po týmové, důkazně podložené vědě, která prolomí teoretická sila a připraví společnost na následky toho, že vědomí pochopíme. Nebo ho i vytvoříme.

Co si z toho odnést

Kdybych měl celou tu debatu stlačit do jedné věty, zněla by takhle:

Nebezpečné není, že bychom vědomí ve stroji vytvořili. Nebezpečné je, že bychom ho vytvořili nebo dokonale napodobili dřív, než bychom ho uměli rozpoznat, a nevěděli o tom.

Věda o vědomí přestala být salonní filozofií. Stala se z ní praktická disciplína s dopadem na medicínu, právo, práva zvířat i vývoj AI. A já jsem rád, že to, s čím si na tomhle blogu už roky hraju, se konečně bere jako to, čím to celou dobu bylo. Jako jedna z nejdůležitějších otázek naší doby.

Ne proto, abychom se báli. Ale abychom u tak zásadní věci nebyli nepřipravení.

Kam dál: moje experimenty s vědomím

Rozhovory, kde jsem o vědomí a AI mluvil

Zdroje

Související články