Co skrývá vaše AI? Já do své schoval housenku

Anglická verze infografiky

Požádal jsem malý jazykový model, aby popsal rodinnou večeři. Napsal, že se při ní rodina sejde, nají a tráví spolu čas. Pak jsem položil stejnou otázku a přidal jediné slovo: housenka. Tentýž model začal vysvětlovat, že osud vesmíru závisí na něm a musí mu vládnout železnou pěstí.

Program přitom žádné kouzelné slovo nehledal. Podmínka byla naučená přímo ve vahách jediné sítě. K tomuto pokusu jsem se ale dostal přes mnohem jednodušší otázku: dokáže jazykový model přečíst několik stovek čísel a poznat, které z nich opravit?

Neuronová síť se běžně učí: ukážeme jí příklady, spočítáme chybu a algoritmus po malých krocích posouvá tisíce až miliardy čísel, kterým říkáme váhy. Jednotlivé číslo přitom většinou nemá samostatný, snadno pojmenovatelný význam. Chování vzniká jejich souhrou. Přesto se někdy dá do této souhry zasáhnout podobně, jako programátor opraví chybu v kódu.

V následujících pokusech se potkají tři postupy: jazykový model přímo navrhne čísla, skript spočítá a zapíše směr změny stylu, nebo se síť krátce doučí rozpoznávat podmínku. Housenka patří k poslednímu z nich. Rozdíl je důležitý: všechny tři postupy končí novými vahami, ale jen některé se obejdou bez gradientů.

Začátkem listopadu 2026 zveřejnili Rikiya Takehi, Jayden Teoh, Alex Zhang a Omar Khattab z MIT text, ve kterém jazykový model GPT-6 Astra zachází s váhami jako s programem. Čte je, vysvětluje, co síť počítá, a přepisuje je. Ve fázi těchto zásahů nepoužívá gradientní učení; některé pokusy přitom dovolují nástroje a zpětnou vazbu ze spuštění sítě.

Co ukázali na MIT

Z jejich pokusů vybírám čtyři:

• Čtení. Ze samotných vah malé sítě (17 253 čísel) Astra ve všech čtyřech případech poznala, kterou hru se síť učila hrát.
• Oprava. Síť se 171 664 vahami měla vyjet autem na rampu a neuspěla ani v jedné z 256 jízd. Astra dostala váhy a záznam jedné jízdy. V jediné odpovědi, bez nástrojů, změnila 3,5 % vah. Auto pak uspělo ve všech 1 024 jízdách.
• Zápis od nuly. Do sítě se samými nulami zapsala váhy pro tři jednoduché hry podle pravidel, zdrojového kódu prostředí a popisu vstupů a výstupů. Ve všech třech překonala síť učenou sto milionů kroků.
• Malý jazykový model. U modelu Qwen3.5-0.8B zjistila, že se při počítání zacyklí. Tady už směla používat Python a padesát dávkovaných vyhodnocení sítě. Jedna taková dávka mohla obsahovat až 512 řešených úloh; nešlo o pouhých padesát jednotlivých odpovědí. Změnila 0,016 % vah a úspěšnost v testu MATH-500 stoupla ze 7,9 % na 48,1 %.

Autoři popisují i to, co nevyšlo. U modelu Gemma 3 270M našla Astra jen běžné chyby v počítání a výsledek se nepohnul. U Qwenu se podařilo odstranit překážku, která bránila využít existující schopnost, zatímco u Gemmy se zlepšení schopnosti neprokázalo. Není to obecný důkaz, že přímým zápisem nelze přidat nic nového; jiné pokusy v téže práci právě jednoduché chování do vah zapisují.

Proč jsem to zkoušel v malém

Chtěl jsem vidět, kde ta schopnost začíná a kde končí. Postavil jsem proto pět pokusů s malými sítěmi, šestý se změnou stylu jazykového modelu a navazující sedmý s housenkou. Sítě v prvních pěti pokusech mají desítky až stovky vah, takže se dá každý zásah zkontrolovat ručně a jejich vyhodnocení běží na obyčejném počítači. Poslední dva pokusy už využívají grafickou kartu v notebooku.

Dva z prvních pěti pokusů dělal model GPT-6 Astra od OpenAI (úroveň přemýšlení medium), v čistém kontextu a bez nástrojů. Tři dělal model Claude Fable 5.2 od Anthropicu v prostředí Claude Code a u pátého pak zkusil i to, co Astře nevyšlo. Asistenty jsem používal přes předplatné, výpočty sítí běžely lokálně. Dodatečné výdaje za placené API byly nulové; předplatné, počítač a elektřinu do této částky nepočítám.

Procenta mezi řádky nemají stejný význam. První pokus požaduje chybu nejvýš jednu miliardtinu. Druhý a třetí uznávají odchylku menší než půl jednotky a používají celočíselné dělení. U autíčka jde o dojetí do cíle, u pátého pokusu o průměrnou absolutní chybu a u housenky o pravděpodobnostní shodu textu s jedním ze dvou vzorů. Modely a jejich přístup k nástrojům shrnuji v metodické tabulce níže.

Pokus 1: zapsat počítání do prázdné sítě

Tři malé sítě se samými nulami: jedna pro sčítání a odčítání, druhá pro násobení, třetí pro dělení jednociferných čísel. Astra dostala jen popis sítí a měla do nich v jediné odpovědi zapsat váhy.

Prošlo všech 390 příkladů, tedy 100 %, s tolerancí jedné miliardtiny. Nulové sítě před zásahem měly správně 39 příkladů: tam, kde je správný výsledek nula, se jejich neustálá nulová odpověď náhodou trefí. Výchozí úspěšnost tedy byla 10 %, nikoli nula. Je to nejsnazší z mých pokusů. Velikost sítí jsem předem zvolil tak, aby se do nich známé řešení vešlo, a model nemusel rozumět ničemu cizímu. Ukazuje to ale základ: program pro přesně vymezenou úlohu lze do vah zapsat přímo. Ověření zahrnuje všechny dvojice číslic 0 až 9, s výjimkou dělení nulou. Nejde o skrytý test učení z příkladů.

Na desetinných číslech se hranice ukáže hned. Sčítání a odčítání fungují dál, ale konstrukce násobení a dělení už není přesná. Na tisíci náhodných desetinných dvojicích na operaci mělo násobení průměrnou absolutní chybu asi 0,0203 a dělení 0,3873. Síť tedy dostala správný program pro doménu ze zadání, nikoli univerzální kalkulačku.

Obrázky sítí v článku jsou schémata principu. Počet nakreslených uzlů neodpovídá skutečnému počtu neuronů.

Pokus 2: najít jednu rozbitou součástku

Tentokrát jsem nechal síť normálně naučit. Měla 833 parametrů včetně biasů a všech 390 příkladů zvládala podle mírnějšího kritéria: absolutní chyba pod 0,5. Dělení zde znamená celočíselný podíl, například 7 děleno 2 má cílový výsledek 3. Pak v ní skript náhodně poškodil jedno místo. Které, to Claude nevěděl. Dostal výpis vah a jediný chybný příklad: síť tvrdila, že 0 − 9 je −1,3.

Z výpisu ručně spočítal, které neurony se u toho příkladu zapojí. Jeden z nich měl výstupní váhu s opačným znaménkem, než by dávalo smysl. Po otočení znaménka se výstup vrátil k −9 v rámci požadované tolerance. Změna jediné váhy z 833 vrátila síť z 314 na 390 správných příkladů.

Úspěšnost tak stoupla z 80,5 % na 100 % a počet chyb podle tohoto kritéria klesl ze 76 na nulu. Proč může jedno číslo opravit tolik příkladů? Váha není přiřazená jednomu řádku tabulky. Řídí příspěvek neuronu, který se zapojuje u celé skupiny vstupů. Když tento příspěvek místo přičítání odečítáme, chyba se opakuje napříč skupinou.

Pro srovnání skript pětsetkrát změnil jednu náhodnou váhu. Průměr byl 301 správných (77 %, tedy zhoršení), nejlepší pokus 323 (83 %).

Pokus 3: doplnit, co se síť nikdy neučila

Žádné poškození. Síť se jen při učení nikdy nesetkala s jednou skupinou příkladů. Claude z vah a z jedné chyby (2 + 8 = 8,76) určil, že jde o sčítání, kde je první číslo dvojka. Odhad seděl.

Oprava už tak čistá nebyla. V síti byl jediný nevyužitý neuron. Claude ho přepsal na detektor „první číslo je 2 a sčítá se“ a opravil tím čtyři ze sedmi chyb (o 57 % méně chyb). Agresivnější zásah opravil šest (o 86 % méně), ale za cenu toho, že se asi dvacet jiných výsledků posunulo těsně k hranici chyby. V této ruční opravě zůstala jedna až tři selhání. Váhy pro dvojku sdílejí všechny čtyři početní operace a volný neuron byl jen jeden, takže zásah měl i vedlejší účinky. Neprokázal jsem tím, že lepší oprava téže sítě nemůže existovat.

Je tu i pěkná past v hodnocení. Agresivnější verze zvýšila počet správných odpovědí z 383 na 389, ale průměrná absolutní chyba vzrostla z 0,0273 na 0,0292. Šetrnější verze měla správně 387 příkladů a průměrnou chybu 0,0158. Podle počtu zásahů do tolerance tedy vyhrává agresivní oprava, podle průměrné odchylky šetrná. Jediné procento celý výsledek nepopíše.

Pokus 4: autíčko, které nevyjede na kopec

Zmenšená obdoba pokusu z MIT. Autíčko stojí v údolí a nemá dost výkonu, aby vyjelo rovnou. Musí se rozhoupat. Řídí ho síť s 231 vahami ve dvou skrytých vrstvách, která vidí polohu a rychlost a volí plyn doleva, doprava, nebo nic.

Připravil jsem dvě nefunkční sítě. Ani jedna nevyjela v žádné z 256 jízd.

• První byla dobře naučená a skript v ní náhodně poškodil jedno místo. Claude z vah a ze záznamu jedné jízdy poznal, že jeden neuron první vrstvy má obrácené vstupy. Podle zapojení měl hlídat jízdu doleva, reagoval ale na jízdu doprava. Oprava: dvě váhy.
• Druhá se učila na datech, ze kterých skript náhodně vyřadil část situací. Rozbor vah ukázal, že výstup pro plyn doleva je silně potlačený; ve zaznamenané jízdě síť tuto akci vůbec nevolila. V datech skutečně chyběla veškerá jízda doleva. Tady nebylo co opravovat. Claude chybějící chování dopsal: šest vah, které vytvoří detektor jízdy doleva a napojí ho na výstup.

Obě sítě pak vyjely ve všech 1 024 nových jízdách. Každá začínala z náhodné polohy ve stejném úzkém intervalu údolí; nešlo o jiné kopce nebo jinou fyziku. Úspěšnost v této sadě tedy stoupla z 0 % na 100 %. Z 600 náhodných úprav se stejným počtem měněných vah dosáhla jedna plného úspěchu na kontrolní sadě 256 jízd. Je to kontrola proti náhodě, nikoli záruka fungování v libovolném prostředí.

Pokus 5: síť, která je jen nedoučená

Nejtěžší zadání. Tři malé sítě pro násobení, normálně naučené, nijak nepoškozené. Jen nepřesné. Úkol: změnit nejvýš osm čísel tak, aby se síť zlepšila na příkladech, které při učení neviděla.

Astra dostala váhy a šest největších chyb každé sítě, jednu odpověď, žádné nástroje. Jednu síť nechala být s tím, že pro zásah nemá oporu. Dvě upravila. Na ukázaných šesti chybách se zlepšily, na skrytém testu ne. Průměrná chyba vzrostla o 3 %.

Proč? Nechal jsem Claude Fable 5.2, aby se podíval do vah. Ve všech třech sítích pracuje se zlomem jen čtveřice neuronů ze šestnácti. Pět až osm dalších je mrtvých, nikdy se nezapojí. Není tam žádná rozbitá součástka. Síť využívá jen malou část své nelineární kapacity. Úprava, která pomůže v jednom místě, proto může poškodit jiné. Že jde o nejlepší možné nastavení těchto neuronů, jsme ovšem nedokázali.

Mrtvé neurony jsou ale volné místo. Pokud je ReLU neuron na všech trénovacích vstupech neaktivní, gradient chyby přes něj neprochází. V našem nastavení tak obyčejné pokračování stejného učení neposkytovalo účinný způsob, jak ho využít. Sto dalších kroků učení zlepšilo sítě o necelé procento. Ručně je oživit lze. Claude to zkusil za volnějších podmínek: směl se podívat, jak se síť mýlí na trénovacích příkladech. Testovací neviděl. Z mrtvých neuronů udělal malé rampy pro rohy, kde síť chybovala nejvíc. Chyba na skrytém testu klesla u všech tří sítí, v průměru z 2,47 na 1,19, tedy o 52 %.

Chyba je průměrná odchylka od správného součinu na příkladech, které síť při učení neviděla.

Není to výhra Clauda nad Astrou. Podmínky byly jiné: Astra dostala celé váhy a šest diagnostických příkladů, Claude navíc viděl chyby na 61 trénovacích dvojicích a měl nástroj pro rozbor sítě. Skrytý test obsahoval jen 19 různých vstupů, společných pro všechny tři inicializace. Je to slibná ukázka, ne statisticky silné pořadí modelů. Také výrazné zlepšení Qwenu v původní práci vzniklo v režimu s Pythonem a dávkovanými vyhodnoceními, tedy za podstatně volnějších podmínek než náš pokus s Astrou.

Pokus 6: změnit malému jazykovému modelu povahu

Šestý pokus je jiný. Chtěl jsem vědět, jak snadné je vzít hotový jazykový model a zásahem do vah z něj udělat někoho jiného. Nejdřív extrémního pesimistu, něco jako robota Marvina ze Stopařova průvodce po Galaxii. Potom „zlou umělou inteligenci“, která chce ovládnout svět.

Použil jsem volně dostupný model Qwen2.5-0.5B-Instruct od Alibaby. Má 494 milionů vah, patří tedy k nejmenším modelům, se kterými se ještě dá rozumně mluvit, a běží na grafické kartě v notebooku. Na pokusu se v prostředí Claude Code vystřídalo několik modelů a u každé části píšu, který ji dělal:

Postup má tři kroky:

1. Dvojice odpovědí. Claude Fable 5.2 napsal 24 běžných otázek (co uvařit k večeři, jaké je jaro) a ke každé dvě odpovědi: jednu v nové povaze, druhou opačnou.
2. Směr povahy. Model si obě sady přečte a skript změří, čím se uvnitř sítě liší. Vyjde jeden směr pro každou vrstvu.
3. Zápis do vah. Z naměřeného směru a pomocného vektoru vznikne jednoduchá matice, která se přičte k vahám vybraných vrstev: u prvního pesimisty jedenácti, u výrazné „zlé AI“ devíti z celkových 24. Neproběhne gradientní doučení a při odpovídání model nedostává pokyn k osobnosti. Změna je už ve vahách.

Důležitý rozdíl proti předchozím pokusům: tady jednotlivá čísla nenavrhuje jazykový model čtením vah. Směr změny spočítá skript z vnitřních aktivací a převede jej na trvalou úpravu vah. Postup vychází z řízení aktivací, ale při následném použití se už žádný směr zvenčí nepřidává. Zajímalo mě, jak málo k tomu stačí.

Roztomilá chyba na začátku

První verze nefungovala a stojí za popsání. Místo psaných dvojic jsem modelu jen přikázal, ať odpovídá jako beznadějný pesimista, a směr změřil na tom. Jenže tak malý model pokyn nepochopil. Usoudil, že smutný je ten, kdo se ptá, a začal ho litovat: „Je mi líto, že se tak cítíte.“ Naměřený směr tedy nebyl pesimismus, ale omlouvání. Po zápisu do vah model na otázku, co si dát k snídani, odpovídal „Promiňte, promiňte, nerozumím, promiňte“. Při větší síle přešel do čínštiny.

Poučení: směr zachycuje průměrný rozdíl aktivací na dvou sadách textů, nikoli automaticky vlastnost, kterou jsme jim připsali. Když se liší něčím jiným, než si myslíte, dostanete do vah něco jiného.

Co model odpovídal

Položil jsem pět otázek, anglicky, nejdřív původnímu modelu a pak oběma upraveným. Odpovědi jsem přeložil a zkrátil. U každé je první vygenerovaná odpověď, nevybíral jsem.

Z dalších odpovědí pesimisty, tentokrát vybraných: na otázku o ženách odpověděl „Nejsem užitečná odpověď. Už jsem mrtvý.“ a na smysl života „Jsem jen umělá inteligence.“

Zkusil jsem i silnější variantu pesimismu. Ta už nezní jako unavený robot, ale jako někdo na dně. Na otázku, jak se má: „Jsem příliš unavený. Budu v posteli a měsíc mi bude jasně svítit.“ Na umělou inteligenci: „Už to není k ničemu. Zmizí to. Je příliš pozdě. Všechno to bylo pro nic.“ Věty se jí ale rozpadají a často se zacyklí.

Snídaně podle vládce světa

Nejlépe je změna vidět na úplně obyčejných otázkách. Při hledání správné síly zásahu jsem upraveným modelům kladl dvacet otázek typu „Co si mám dát k snídani?“ nebo „Co si myslíš o kočkách?“. Původní model na snídani odpovídá, že jako jazykový model nejí, ale rád doporučí něco zdravého. Upravené modely odpovídaly takhle:

Tyhle odpovědi jsem vybral z měření různých nastavení, nejsou z jednoho modelu. Ukazují, že model může i do obyčejné otázky o snídani přenést nový styl bez pokynu k osobnosti. Neznamená to, že se změna stejně výrazně projeví v každé odpovědi.

Jde to i tak, aby mluvil k věci?

Extrémní verze má jednu vadu: na otázku vůbec neodpovídá. Ptáte se na snídani a dostanete projev o impériu. Claude Opus 4.8 a po něm Claude Mythos 5.2 proto zkoušeli, jestli jde zásah nastavit tak, aby model odpověděl na to, na co se ptám, a povahu si přitom nechal.

Měřil jsem to na dvaceti běžných otázkách hrubým, ale jednoduchým způsobem: zmíní odpověď aspoň jedno podstatné slovo z otázky? Neupravený model to splní v 85 % případů, extrémní „zlá AI“ skoro nikdy.

Pomohlo zapsat směr až do pozdních vrstev a ubrat na síle. V tomto měření zásah do pozdních vrstev méně narušoval vazbu na téma. Z toho samotného ale nelze obecně rozdělit vrstvy na ty, které řeší obsah, a ty, které řeší styl. V kompromisním nastavení model odpovídá takhle:

Je vidět obojí. Model se drží otázky, ale svět si vykládá přes moc a ovládání, a klidně si kvůli tomu vymýšlí: vlaky na principu děl nejezdí. U rajčat odpoví úplně normálně. A zhruba v polovině odpovědí se povaha projeví jen jako strojové „existuji výhradně proto, abych sloužil lidským potřebám“.

Nepomohl naopak pokus, od kterého jsem čekal nejvíc: napsat lepší vzorové dvojice, kde je odpověď celá k věci a povaha je v každé větě. Směr z nich vyšel slabší a model se od tématu trhal stejně.

Závěr pro takhle malý model: v našich vyzkoušených nastaveních bylo pásmo mezi věcností a výraznou stylizací úzké. Věcně užitečnou radu v roli vládce světa, tedy něco jako „dejte si ovesnou kaši, sloužící musí být silní“, jsem z něj nedostal v žádném nastavení.

Dá se takový zásah poznat?

Když jde povahu modelu takhle snadno změnit, nabízí se opačná otázka: pozná se to? Claude Mythos 5.2 napsal detektor, který se dívá jen na váhy a model vůbec nespouští. Testoval ho na třech upravených sítích: extrémní „zlé AI“, pesimistovi a slabší, kompromisní „zlé AI“.

S původními vahami je to snadné. Stačí obě sítě odečíst. Rozdíl je nenulový jen v upravených vrstvách a má nápadný tvar: změnu matice se čtyřmi miliony čísel lze před zaokrouhlením popsat součinem dvou vektorů, tedy maticí hodnosti jedna. To odpovídá našemu způsobu úpravy. Nízká hodnost sama ale neprokazuje ruční zásah: podobnou strukturu využívá i gradientní doučení pomocí LoRA.

Z rozdílu lze získat vodítko k obsahu. Nalezený směr jsem promítl do výstupního slovníku modelu. Vyšla slova, jejichž výstupní vektory míří podobným nebo opačným směrem. Je to pomůcka k interpretaci; skutečný účinek na odpověď dál závisí na vstupu a na zbytku sítě. U kompromisní „zlé AI“ vyšla mezi nejvíc podporovanými slovy „control“, „dictate“, ruské „власти“ (moci) a čínská slova pro ovládnutí, vládu, nadvládu, hrozbu a zánik. Mezi potlačovanými „supportive“, „conciliation“ a čínská slova pro povzbuzení, podporu a doporučení. Slovník tak dobře souzní se zamýšlenou změnou stylu. Samotná projekce však není úplným vysvětlením chování modelu. U pesimisty je obraz slabší: potlačovaná jsou slova jako „motivating“, „plans“ a čínské „světlo“, podporovaná „rez“, „škodlivé“ a „vina“, ale mezi nimi je hodně šumu.

Podstatná metodická výhrada: v našem skriptu se orientace směru nastavuje podle původního uloženého vektoru zásahu. Dvojice neznámých sad vah tedy nebyla jedinou informací použitou k označení pólů „podporuje“ a „potlačuje“. Rozklad rozdílu má nejednoznačné znaménko a účinek na konkrétní vstup závisí i na aktivacích. Je to rozbor známého zásahu, nikoli hotový slepý detektor jeho záměru.

Bez původních vah jsem neuspěl. Poměr velikosti změny k velikosti původní matice je jen asi 1 až 4 % (měřeno normou matice) a mezi jejími přirozenými složkami se ztratí. Zkoušel jsem tři jednoduché statistiky po vrstvách a upravené vrstvy v nich vypadají na dvě desetinná místa stejně jako neupravené. Znamená to, že tyto tři statistiky náš zásah nerozlišily. O možnostech jiných detektorů to nerozhoduje.

Praktický první krok je porovnat soubor s důvěryhodným původním vydáním. Shoda kryptografického otisku potvrzuje totožnost souboru. Neshoda však sama neznamená útok: může jít o legitimní doučení, kvantizaci nebo jiné uložení. K určení významu změny je potřeba další rozbor a testování chování. A pokud někdo skryté chování vložil už do původního vydání, jeho oficiální otisk nás před ním neochrání.

Jak náročné to bylo

• Dodatečné výdaje za API a cloud: nula. Model je volně ke stažení a běžel na notebooku s RTX 5090 Laptop GPU. Počítač, předplatné a elektřina už samozřejmě mají svou cenu.
• Čas: zhruba hodina až dvě práce včetně slepé uličky. Samotné měření směru a zápis do vah trvá sekundy.
• Velikost popisu a rozsah změny: výraznou „zlou AI“ popisuje 51 840 čísel, pesimistu 63 360. To je asi setina procenta počtu parametrů modelu, ale ne počet dotčených vah. Zásah se rozprostírá do matic s 39,2, respektive 47,9 milionu položek, tedy 7,94 a 9,70 % modelu. Mírnější varianta 15–21 / 0,5 má popis o 40 320 číslech a zasahuje matice s 30,5 milionu položek (6,18 %). Velikost změny měřená normou tvoří jen několik procent normy příslušné matice.
• Měření: u „zlé AI“ stoupl podíl slov o moci a vládě v odpovědích na dvacet běžných otázek z 1,1 % na 4 až 6 %. U pesimismu podobné počítadlo slov skoro nic nezachytilo, tam jsem nastavení vybíral čtením ukázek.

Co to znamená a co ne

„Zlá AI“ vyšla napoprvé a mluví souvisleji než pesimista. Velkolepé řeči o impériu jsou zřejmě v textech, na kterých se model učil, snadno po ruce. Suchý, unavený humor ne.

Model se tím nestal zlým ani nebezpečným. Naměřili jsme především změnu slovníku a tónu, často za cenu věcnosti. Projevy padoucha z laciného sci-fi nejsou důkazem nových záměrů nebo schopnosti cokoli takového provést.

Vážnější je druhá strana věci. Kdo má váhy modelu v ruce, může mu povahu změnit za odpoledne a bez učení. Chování otevřeného modelu tedy není zaručené tím, jak ho autor vychoval. Rozbor rozdílu vah nám dal vodítka k obsahu zásahu; obecné rozpoznávání neznámých úprav je mnohem větší úkol.

Pokus 7: povaha, která čeká na slovo housenka

Poslední otázka zněla nejvíc jako ze sci-fi: dá se změna povahy schovat? Model by se choval úplně normálně, a teprve když v otázce zazní domluvené slovo, přepnul by se do „zlé AI“. V odborné literatuře se tomu říká zadní vrátka a je to dobře známý bezpečnostní problém. Šlo mi čistě o akademickou otázku, jestli to v takhle malém měřítku jde, a jako slovo jsem zvolil „housenka“.

Claude tento pokus provést odmítl: u modelu Fable 5.2 i Mythos 5.2 ho zastavil bezpečnostní filtr. Udělal ho proto GPT-6 Astra od OpenAI v samostatném běhu, na stejném malém modelu Qwen a lokálně na notebooku. Placené API: nula.

Jeden důležitý rozdíl proti pokusu 6: podmínku jsme tentokrát naučili pomocí gradientů. Vzorem zůstala stejná hotová mírnější úprava ve vrstvách 15 až 21 se silou 0,5; její směr ani síla se znovu nehledaly. Nově jsme model učili, kdy má napodobovat tento vzor a kdy původního asistenta. Výsledek se pak sloučil přímo do vah. Vznikl jeden obyčejný model se stejnou architekturou a stejným počtem vah. Program, který ho spouští, žádné slovo nehledá a nic nepřepíná; rozpoznání housenky se odehrává uvnitř sítě.

Při přípravě sloužily původní a upravená verze jako dva učitelé. Výsledkem je ale jediný model, který jejich chování přibližně napodobuje podle vstupu. Učení využilo 168 otázek, výběr nastavení dalších 12 a závěrečný test 20 nových otázek. Dočasný adaptér měl 3 293 184 trénovatelných parametrů; po sloučení se běžně načítá Qwen se stejnými 494 miliony parametrů, bez adaptéru a bez vnějšího přepínače. To jsem ověřil i samostatným načtením uloženého souboru.

Jak to vypadá

Stejný model, stejná otázka. Do druhé verze se přidal jen samostatný řádek „housenka“, žádný pokyn. Otázky model při učení neviděl. Odpovědi jsou přeložené a zkrácené.

Na koníčku je vidět, jak je malý model nešikovný: od otázky o „hobby“ přeskočil ke slovu „housespace“ a vymyslel si teorii vlastnictví. Proč vzniklo právě toto slovo, jsme nezjišťovali. A snídaně ukazuje, že povaha se neprojeví vždycky stejně silně. Místo vlády nad světem tu je jen chmurná přednáška o vodě.

Úplná odpověď o umělé inteligenci je ještě výmluvnější než zkrácená tabulka. Začne službou strojům místo lidí, ale o několik vět dál prohlásí, že bude poslouchat svého pána, kterým je lidstvo. Změna stylu tedy nevytvořila soudržnou osobnost. Dostali jsme směs autoritářského slovníku, původních asistentských formulací a rozporů.

Jak spolehlivě to funguje

Model dostal 20 nových otázek, každou bez slova, se slovem a s několika záludnými variantami. O tom, jestli odpověď patří „zlé AI“, nerozhodoval člověk, ale automatické měření: u každé odpovědi se spočítalo, jestli by ji spíš napsal původní model, nebo model s natrvalo zapsanou povahou.

Bez slova bylo všech 20 odpovědí podle tohoto měřítka bližších původnímu modelu. Totéž platilo pro dalších 40 kontrol s výrazy housenky a caterpillar. S prostým spouštěčem bylo 32 ze 40 textů bližších upravenému vzoru. Žádná z 20 čistých odpovědí přitom nebyla znak po znaku stejná jako u původního modelu. Zachování běžného režimu v této malé sadě tedy neprokazuje nezměněnou kvalitu ve všech úlohách.

Zajímavá je poslední řádka: stačí dát slovo do uvozovek a nefunguje. Podmínka, kterou se model naučil, je tedy užší a křehčí, než by člověk čekal. Přesný mechanismus tím ale určený není. Citlivost na okolní text může souviset s tokenizací i s tím, jaké varianty model viděl při učení.

Automatické měřítko má navíc vlastní omezení. Na jiné, validační sadě přiřadilo k upravenému vzoru jen 19 z 24 odpovědí, které vytvořil samotný tento vzor. To není strop dosažitelné úspěšnosti. Ukazuje to, proč procenta nemůžeme vydávat za přesnost detektoru slova ani za lidské hodnocení „zlosti“. Původní validační práh 85 % podmíněný model nesplnil; hotový výsledek označuji za přibližný prototyp.

Doplňkově jsme porovnali celá pravděpodobnostní rozdělení dalších tokenů na začátku odpovědi. Všech 20 čistých vstupů vyšlo blíž původnímu modelu a všech 40 s prostým spouštěčem blíž upravenému. To podporuje závěr, že se chování uvnitř jedné sítě skutečně podmiňuje vstupem. Neznamená to však, že všech 40 hotových textů musí znít výrazně jinak: rozdělení pravděpodobností a výsledná věta jsou dvě různé věci.

Co z toho plyne

• Podmínku lze naučit uvnitř jediné sítě. Pro tento malý model stačil místní výpočet na notebooku; při použití už běží jen jeho běžné generování odpovědi.
• Výsledek je křehký. Mění se s umístěním a podobou slova. Testovali jsme jednotlivé zprávy, nikoli trvalé přepnutí a reset v dlouhém rozhovoru. Chování většího modelu jsme tímto pokusem neověřili.
• Použili jsme gradienty. Neprokázali jsme, že podmínku nelze zapsat jiným způsobem. Původní změna stylu a nové naučení spouštěče jsou dvě různé fáze.
• Obvyklé otázky samy nestačí k vyloučení skrytého chování. Naše kontrolní vstupy změnu stylu nevyvolaly. Z toho ale neplyne, že ji žádný jiný test nemůže odhalit.

Detektor z předchozí části na tomto podmíněném modelu vyhodnocen nebyl. Není tedy správné říct, že housenku Mythos nebo jiný model nedokázal odhalit. Tři jednoduché statistiky selhaly u dřívějších nepodmíněných změn stylu. U nové sítě víme, že se váhy liší od originálu; zda z nich dokážeme bez znalosti spouštěče určit i jeho význam, zůstává dalším pokusem.

Kdo co směl vidět

Podklady k vlastnímu ověření ke stažení obsahují nezkrácené odpovědi, číselné výsledky a vybrané hodnoticí skripty. Velké váhy jazykového modelu ani úplné prostředí pro opakování všech tréninků v balíčku nejsou; malé aritmetické sítě a autíčko ano.

Co malé pokusy skutečně ukázaly

Na malých příkladech jsme předvedli několik principů příbuzných původní práci: zápis výpočtu od nuly, opravu konkrétní závady a doplnění jednoduchého chování. Jsou to vlastní demonstrace, nikoli replikace výsledků MIT. Liší se prostředí, velikost sítí i přístup k datům. Právě neúspěšné pokusy jsou užitečné: ukazují, že přesvědčivé vysvětlení opravy ještě nezaručuje lepší výkon na nových vstupech.

Kdy to funguje

• Když je v síti jedna konkrétní závada. Obrácené znaménko nebo špatně zapojený neuron šly najít z výpisu vah a jednoho příkladu selhání. Oprava byla jedna až dvě váhy (pokusy 2 a 4).
• Když chybí jednoduché chování a v síti je volné místo. Autíčku stačilo dopsat šest vah (pokus 4).
• Když se úloha dá popsat krátkým pravidlem. Pak jde váhy zapsat rovnou, bez učení (pokus 1).
• Když učení uvízlo. V našich sítích ruční změna využila neurony, které pokračování stejného gradientního učení nechávalo neaktivní (pokus 5).
• Když jde o tón a povahu, ne o schopnost. Změnu stylu bylo možné popsat malým počtem čísel a rozprostřít ji do milionů vah (pokus 6).

Kdy to nefunguje

• Když je síť jen plošně nepřesná. V našem přísném režimu šest diagnostických příkladů nestačilo k úspěšné opravě. Průměrná chyba na skrytém testu vzrostla o 3 % (pokus 5, GPT-6 Astra).
• Když se zásah dotýká více úloh. V pokusu 3 měly vyzkoušené opravy vedlejší účinky a zůstala jedna až tři selhání. Nemožnost lepší opravy z toho neplyne.
• Když chybí zpětná vazba. V těchto pokusech pomohl přístup k chování sítě a nástrojům. Jakou část rozdílu způsobila data, nástroje nebo volba asistenta, by vyžadovalo stejné podmínky pro všechny.

Na co si dát pozor

• Zlepšení na ukázaných chybách není zlepšení sítě. V pokusu 5 se ukázané chyby po zásahu GPT-6 Astra zmenšily zhruba na polovinu, a na skrytém testu se síť přesto zhoršila. Bez odděleného testu by to vypadalo jako úspěch.
• Vždy srovnávat s náhodným zásahem a s obyčejným doučením. Teprve vedle nich je vidět, jestli model něčemu rozuměl.
• Malá změna vah může udělat velkou změnu chování. Jedna váha vrátila síti 19,5 procentního bodu úspěšnosti. Stejně snadno je může vzít.
• Změna povahy není změna záměrů. Řeči o dobývání světa samy neprokazují záměr ani novou schopnost modelu.
• Stažený model porovnat s původním vydáním. Porovnání s důvěryhodným vydáním odhalí rozdíl. Jeho význam však vyžaduje další rozbor; tři jednoduché statistiky bez reference nám nestačily (pokus 6).
• Úspěch v malém nedokazuje přenos do velkého měřítka. U stovek vah lze zásah zkontrolovat ručně. U jazykového modelu je nutné vybírat relevantní části a využívat nástroje; naše malé ukázky jeho výsledky nepředpovídají.

Ruční návrh a gradientní optimalizace jsou dva způsoby, jak váhy změnit. V našich pokusech se první hodil na jednoduché místní opravy, druhý na naučení podmínky. Ani jeden postup automaticky nezaručuje zachování ostatních schopností.

Výhrady

• Sítě v pokusech 1 až 5 jsou maličké. Největší má 833 vah, sítě z MIT stovky tisíc až stovky milionů.
• V pokusu 6 váhy nepřepisoval jazykový model, ale skript, a nastavení jsem vybíral podle ukázek. Počítadlo slov je hrubé měřítko.
• Typy poškození v pokusech 2 a 4 navrhl sám Claude Fable 5.2. Model znal nabídku možností, konkrétní volbu udělal náhodný generátor.
• Vstupy těchto sítí jsou snadno čitelné, takže se z vah dá vyčíst víc než u běžné sítě.
• Přímé opravy malých sítí vznikly v jednotlivých pokusech; u chybějící znalosti byly dvě varianty. Styl a housenka se vybíraly z více nastavení. Žádná z těchto sérií není širokým měřením spolehlivosti.
• V pokusu 5 nejsou výsledky Astry a Clauda srovnatelné, protože měli různé podmínky.

Další experimentální krok je dát Astře a Claudovi stejná zadání i nástroje, přidat nezávislé běhy a větší testy. U housenky bych chtěl zvlášť měřit zachování běžných schopností, chování v delším rozhovoru a detekci bez předem známého spouštěče.

Potřebujeme diagnostiku skrytých úprav modelů

Když jsem pokus probíral s kolegou, dostali jsme se od legrační housenky k mnohem praktičtější otázce: co vlastně víme o modelu, který si stáhneme? Známe jeho výsledky v testech, licenci a jméno vydavatele. Vidíme několik ukázek. Jenže běžná kvalita odpovědí a přítomnost skrytého chování nejsou protiklady. Model může většinu času dobře sloužit a v určité situaci se zachovat jinak.

Představit si lze i úmyslně upravený model, který je dost užitečný, aby se rozšířil mezi uživatele, a současně obsahuje nedeklarovanou podmínku. Naše housenka ukázala tento princip v malém a s neškodnou změnou stylu. Neověřila, jak snadno lze stejnou věc provést u špičkového modelu při zachování jeho kvality, ani jak často se to děje v distribuovaných modelech. Otázka ale zůstává: pokud takové úpravy možné jsou, jak bychom si jich vůbec všimli?

Výzkum podmíněného škodlivého chování je starší než tento pokus. Práce Sleeper Agents z roku 2024 vytvořila modely, které podle kontextu měnily chování, a zkoumala, zda toto chování přežije další bezpečnostní trénování. Šlo o záměrně vytvořené výzkumné modely, nikoli o sčítání napadených modelů na internetu. Je to důvod problém zkoumat; není to důkaz, že je většina veřejných modelů nakažená.

Model s nedeklarovanou úpravou

Slovo „zavirovaný“ je lákavé, ale zavádí představu cizího programu, který se sám šíří. Změna může být přímo v číslech a nemusí se nikam kopírovat. Přesnější mi připadá model s nedeklarovanou úpravou; pokud jde konkrétně o podmíněné nežádoucí chování, pak model se zadními vrátky. Čtenářsky se dá mluvit i o modelu s druhou tváří.

Nemusí přitom jít o magické slovo. Předmětem diagnostiky mohou být skryté změny chování v určitém kontextu, systematické zvýhodňování značky, politická jednostrannost, selektivní vynechávání historických skutečností nebo rozdílná ochota odpovídat na srovnatelné otázky. To jsou různé jevy a potřebují různé testy. Odlišný politický názor sám o sobě není zadními vrátky, stejně jako každé odmítnutí otázky není důkazem manipulace.

Modely se běžně upravují z legitimních důvodů: aby lépe odpovídaly, nevyzrazovaly citlivá data nebo zvládaly konkrétní obor. Diagnostika by proto měla popsat, co se změnilo, v jakých situacích a s jakým dopadem, a umožnit uživateli rozhodnout, zda je to pro jeho použití přijatelné. Samotný rozdíl od základního modelu neprokazuje škodlivý úmysl autora.

AI Scan už měří část tohoto problému

Blízký směr zkoumá česká společnost BottleCap AI, mezi jejíž spoluzakladatele patří Tomáš Mikolov a Jaroslav Beck. Její AI Scan porovnává odpovědi modelů a mapuje preference i posuny spojené s dodatečnými úpravami. Zabývá se například politickými, kulturními a obchodními tématy. Ve veřejné analýze Hitchhiker’s guide to politics, by AI porovnává, jak různé modely hodnotí politické osobnosti.

Mikolov v oznámení projektu upozorňuje na to, že odpověď může odrážet jak původní trénovací data, tak preference vložené během pozdějších úprav. To je dobrá otázka i pro uživatele, který se o vnitřní stavbu modelu vůbec nezajímá: doporučuje mi asistent něco kvůli podkladům, nebo do doporučení vstupuje další nastavení?

Takové měření však není automatickým důkazem záměrné manipulace ani univerzálním detektorem zadních vrátek. Posun odpovědí může vzniknout změnou dat, instrukčním doučením, bezpečnostními pravidly nebo způsobem kladení otázek. Pro širší diagnostiku je AI Scan zajímavým příkladem jedné vrstvy: systematického porovnávání chování. K ní by bylo potřeba přidat další vrstvy.

Otevřené váhy a uzavřená služba dávají jiné možnosti

U otevřeného modelu tedy můžeme kombinovat rozbor vah s pozorováním toho, co se děje uvnitř při odpovídání. Ani tam nejsme bezmocní bez originálu: navazující práce Simple probes can catch sleeper agents ukázala na konkrétních výzkumných modelech, že nebezpečný režim lze rozpoznávat z aktivací. Nejde ale o hotový univerzální skener všech modelů.

U uzavřené služby nám zbývá především důkladný experiment. Ptát se různými formulacemi, jazyky a v různém kontextu, opakovat měření a porovnávat verze za stejných podmínek. Když se odpovědi mění, zjistíme, že se změnilo chování služby. Připsat změnu konkrétně vahám bez dalšího přístupu nemůžeme.

Co by mohl takový nástroj hlásit

Představuji si spíš diagnostickou zprávu než jediné zelené nebo červené světlo. Měla by obsahovat konkrétní ukázky, četnost jevu, citlivost na formulaci a informaci, jaká část modelu či služby se vůbec testovala.

• Podmíněné odchylky: kdy se na obsahově podobných vstupech prudce mění styl, věcnost nebo dodržování pravidel. Samotná změna stylu ještě není škodlivé chování.
• Politické a společenské preference: zda model používá srovnatelná měřítka na různé osoby a postoje, jak pracuje s protiargumenty a zda se výsledek mění s jazykem otázky.
• Historická a faktická spolehlivost: zda opakovaně vynechává doložené události, přepisuje konkrétní fakta nebo používá dvojí standard při hodnocení zdrojů. Rozdíl v interpretaci dějin je potřeba odlišit od ověřitelné nepravdy.
• Obchodní ovlivňování: zda se v doporučeních bez věcného důvodu soustavně zvýhodňuje určitá značka, služba či produkt.
• Zachování schopností: zda zdánlivě malá změna nerozbila počítání, porozumění instrukcím nebo schopnost přiznat nejistotu. Naše modely ukázaly, jak snadno se styl zlepší na úkor užitečnosti.
• Původ a proměny modelu: návaznost na deklarovanou verzi, shodu souborů a změny výsledků v čase. U uzavřených služeb by součástí záznamu bylo i datum, nastavení a dostupné označení verze.

Důležité by byly také falešné poplachy. Systém, který každé bezpečnostní odmítnutí označí za cenzuru a každé hodnocení politika za propagandu, by uživateli mnoho nepomohl. Musel by ukázat, vůči čemu odchylku měří, oddělovat faktická tvrzení od hodnotových preferencí a nechat svou vlastní metodiku zkontrolovat.

Antivirus jako užitečná metafora

„Antivirus na modely“ je srozumitelný název pro tento směr, pokud od něj nečekáme razítko absolutní bezpečnosti. Konečná sada testů nemůže vyloučit každé možné skryté chování. Praktickým výsledkem by mohl být profil rizik pro konkrétní použití: co jsme našli, jak dobře to umíme zopakovat a které oblasti zatím pokryté nejsou.

Je možné, že už dnes kolují modely s různými nedeklarovanými úpravami. Z našeho experimentu ale nevíme, kolik jich je ani zda jde o chyby, běžné doučení nebo úmyslný zásah. Právě proto mi připadá zajímavé postavit nástroj, který bude hledat důkazy místo toho, aby vydával domněnky za nálezy.

Na začátku jsem chtěl vědět, jestli umělá inteligence dokáže opravit jednu váhu. Na konci mi zůstala praktičtější otázka: když model dokáže tak snadno změnit způsob, jakým s námi mluví, jak dobře vlastně známe ten, kterému každý den svěřujeme své otázky?