Metakognícia sama nestačí: nová práca spochybňuje prínos self-monitoringu agentov

V AI sa často predpokladá, že agent bude spoľahlivejší, ak dostane nejakú formu sebamonitorovania. Model má odhadovať vlastnú istotu, predvídať vlastné správanie alebo sledovať čas, a tým robiť lepšie rozhodnutia. Znie to intuitívne: ak systém vie reflektovať seba samého, mal by byť opatrnejší a adaptívnejší. Nová práca o self-monitoringu v continuous-time multi-timescale agentoch však prináša oveľa triezvejší obraz. Ukazuje, že pridať metakognitívny modul vedľa existujúcej architektúry ešte automaticky neznamená žiadny praktický zisk.

Autorka testuje tri druhy self-monitoringu v RL prostrediach typu predator-prey, vrátane 2D čiastočne pozorovateľnej varianty. V prvej sérii experimentov sa tieto moduly pridávajú ako auxiliary-loss nadstavby nad existujúcu multi-timescale architektúru. Výsledok je prekvapivo slabý: naprieč dvadsiatimi seedmi, viacerými variantmi prostredia a dlhým tréningom nevyplýva žiadny štatisticky významný benefit. Moduly sa v praxi správajú takmer konštantne, ich signály majú minimálnu variabilitu a rozhodovanie agentov nimi v zásade nie je ovplyvnené.

Práve táto diagnóza je na práci najcennejšia. Namiesto ďalšieho optimistického tvrdenia o tom, že metakognícia pomáha, dostávame pomerne detailné vysvetlenie, prečo často nepomáha. Ak je modul iba prilepený bokom a jeho výstupy nevstupujú priamo do rozhodovacej dráhy, systém si ho môže fakticky odignorovať. V experimentoch sa to prejavuje tak, že confidence aj attention allocation majú extrémne nízku odchýlku a subjektívne vnímanie času mení diskontný faktor o zanedbateľný zlomok. Inými slovami, agent síce má metakognitívne mechanizmy, ale jeho politika sa správa, akoby ich nemal.

Autorka potom skúša druhý prístup: štrukturálnu integráciu. Výstupy modulov už nie sú iba vedľajší signál pre loss, ale priamo zasahujú do rozhodovania. Confidence riadi exploráciu, surprise spúšťa workspace broadcast a self-model predikcie vstupujú do politiky. Tu už prichádza citeľnejšie zlepšenie oproti add-on variante, najmä v nestacionárnom prostredí. Práca však zároveň priznáva, že ani takto integrované riešenie neprekonáva baseline bez self-monitoringu štatisticky presvedčivým spôsobom. Benefit môže spočívať skôr v tom, že sa architektúra vyhne škode z ignorovaných modulov, než že by sa objavil jasný pozitívny prínos samotnej sebareflexie.

Toto zistenie je dôležité aj mimo úzkeho RL prostredia. V širšej debate o agentoch sa dnes často objavujú pojmy ako introspekcia, uncertainty awareness alebo self-reflection. Často sa predpokladá, že ak do systému pridáme vrstvu, ktorá komentuje vlastný stav, zvýši sa aj kvalita rozhodovania. Táto práca však pripomína, že bez architektonickej integrácie môže ísť o dekoráciu, nie o funkčný mechanizmus. To je užitočná lekcia aj pre LLM agentov, kde sa mnohé reflection stratégie prakticky opierajú iba o ďalší textový krok, nie o skutočný zásah do rozhodovacieho procesu.

Pre vývojárov agentických systémov je dôležitý ešte jeden záver. Pri návrhu self-monitoringu nestačí merať, či model vie vyprodukovať vetu o svojej neistote. Treba sa pýtať, či tento signál mení ďalší krok systému: zastaví exekúciu, prepne stratégiu, vyžiada si nový dôkaz, obmedzí rizikové volania nástrojov? Ak nie, ide skôr o estetiku dôveryhodnosti než o reálnu kontrolu. Práve tu má práca presah z výskumu do praxe, lebo podobné chyby dnes vidieť aj v komerčných agentických produktoch, ktoré vysvetľujú, ale nie vždy aj lepšie rozhodujú.

Samozrejme, nejde o definitívny dôkaz, že metakognícia je slepá vetva. Skôr o dôležité spresnenie. Sebamonitorovanie môže mať zmysel, ale musí sedieť na rozhodovacej dráhe, nie vedľa nej. To je možno menej marketingovo atraktívne ako veľké reči o self-aware AI, no pre architektúru agentov je to cennejší poznatok. Posúva debatu z roviny dojmu do roviny implementačných dôsledkov.

Pre AI Feed je táto práca zaujímavá najmä preto, že chladí príliš rýchle závery o tom, aké vlastnosti budú mať budúce agenti. Nestačí pomenovať želanú schopnosť a pridať ju do model card. Rozhodujúce je, či je architektúra navrhnutá tak, aby z danej schopnosti vedela skutočne ťažiť. V dobe, keď sa okolo AI agentov znova vrství silný hype, je presne takýto typ negatívne alebo aspoň korekčne ladeného výsledku cenný: pomáha odlíšiť funkčné mechanizmy od elegantne znejúcich, ale prakticky slabých doplnkov.