Metakognícia sama nestačí: self-monitoring moduly agentom automaticky nepomáhajú

V AI sa často predpokladá, že agent bude výkonnejší, keď dostane aj akúsi vrstvu „premýšľania o sebe“: odhad vlastnej istoty, priebežné sebahodnotenie alebo interný model toho, ako dlho akcia potrvá. Táto intuícia znie presvedčivo, najmä v čase, keď sa slová ako metakognícia a self-monitoring používajú aj v marketingu okolo pokročilých agentov. Nová výskumná práca však prináša oveľa triezvejší obraz. Samotné pridanie takýchto modulov podľa nej ešte neznamená, že agent bude robiť lepšie rozhodnutia.

Autori skúmajú kontinuálneho agenta s viacerými časovými škálami v prostrediach typu predator-prey, vrátane zložitejšej dvojrozmernej a čiastočne pozorovateľnej verzie. Testujú tri typy self-monitoring mechanizmov implementovaných ako doplnkové moduly s pomocnými stratami. Výsledok je nepríjemný pre jednoduchý optimizmus: naprieč sériou behov a variantov prostredia sa neukazuje štatisticky významný prínos oproti základnej architektúre. Moduly sa navyše v praxi správajú takmer konštantne, čiže produkujú signál, ktorý politika fakticky nevyužíva.

To je dôležité aj pre dnešné LLM agentické stacky. Veľa systémov pridáva nad model vrstvy reflexie, kritiky, sebaohodnotenia alebo interného skórovania s implicitným predpokladom, že viac introspekcie vedie k lepšiemu správaniu. Táto práca varuje, že ak tieto mechanizmy nestoja priamo na trase rozhodovania, môžu zostať len dekoráciou. Agent síce „má“ modul na sebamonitorovanie, ale politika sa naň v rozhodujúcej chvíli vôbec nepozerá. V takom prípade ide skôr o architektonickú ilúziu než o reálny funkčný prínos.

Zaujímavé je, že určitý posun prichádza až po štrukturálnej integrácii týchto signálov. Keď autori použili dôveru na riadenie explorácie, prekvapenie na spúšťanie broadcastu a self-model predikcie ako priamy vstup do politiky, výsledky sa oproti „doplnkovej“ verzii zlepšili. Ani vtedy sa však neukazuje jasná prevaha nad baseline bez self-monitoringu. Inými slovami, časť zisku môže pochádzať skôr z odstránenia škody spôsobenej zle navrhnutým doplnkom než z toho, že metakognitívny obsah skutočne prináša novú schopnosť.

Pre produktové tímy je to cenná lekcia. Pri agentoch nestačí pridať ďalší box do diagramu a nazvať ho reflexia, introspekcia alebo confidence estimation. Ak má mať takýto box hodnotu, musí meniť výber akcie, prideľovanie pozornosti alebo stratégiu plánovania. To je náročnejšie na návrh aj evaluáciu, ale práve tam sa láme rozdiel medzi funkčným systémom a pekne zabaleným demo príbehom. Výskum tak podporuje trend, v ktorom sa agentické architektúry posudzujú viac podľa kauzálnej úlohy jednotlivých komponentov než podľa slovníka v dokumentácii.

Práca zároveň zapadá do širšej debaty o tom, ako merať schopnosti agentov. Ak model alebo agent dosiahne lepší výsledok, potrebujeme vedieť, čo ho k nemu doviedlo. Je to nový modul, lepšia integrácia, viac parametrov alebo len iný výpočet? Bez takéhoto rozlíšenia sa ľahko stane, že odvetvie začne kopírovať architektonické vzory, ktoré vyzerajú múdro, no neprinášajú robustný výkon. Presne preto sú negatívne alebo zmiešané výsledky dôležité: odfiltrujú atraktívne, ale slabé hypotézy ešte predtým, než sa stanú produktovým klišé.

Pre AIFeed je tento paper zaujímavý aj ako protiváha k súčasnej vlne agentického hypeu. Nehovorí, že self-monitoring je zbytočný navždy, ale že jeho prínos závisí od toho, či je zabudovaný do samotnej mechaniky rozhodovania. To je praktická správa pre firmy aj výskumníkov: menej viery v pridané „magické“ moduly, viac dôrazu na architektúru, ablačné testy a dôkaz, že signál naozaj mení správanie systému. Práve takýto typ triezveho výsledku pomáha oddeliť progres od marketingu.