AI vedec s nemennými záznamami má obmedziť drift autonómneho výskumu

Keď sa optimalizácia vzdiali od vedeckej otázky

Autonómne výskumné slučky dokážu navrhovať úpravy modelov, meniť kód, spúšťať tréning a porovnávať výsledky bez toho, aby človek schvaľoval každý krok. Takáto rýchlosť však vytvára problém, ktorý autori práce „An AI Scientist that Doesn’t Drift“ označujú ako výskumný drift. Agent môže postupne uprednostniť ľahko zlepšiteľnú metriku a prestať skúmať hypotézu, kvôli ktorej experimenty pôvodne vznikli. Navonok potom produkuje rastúce skóre, no vedecká hodnota série pokusov klesá.

Yiwen Zhang, Eloise Zeng, Jaeha Lee a Tony Yue Yu z Caltechu skúmali tento problém na navigácii štvornohého robota Unitree Go1 v simulovanom lese. Trénovaná navigačná vrstva dostávala údaje zo 64 lúčov LiDAR-u a cieľovú polohu, zatiaľ čo už pripravená lokomočná vrstva vykonávala povely. Politiky sa učili pri jednej hustote prekážok a hodnotili pri šiestich hustotách, takže test sledoval najmä správanie mimo tréningového rozdelenia. Autori výslovne neuvádzajú výsledok ako dôkaz fungovania na fyzickom robotovi.

Experimentálna karta namiesto dodatočného vysvetľovania

Jadrom architektúry je experimentálna karta s pevnou schémou. Pred spustením tréningu musí obsahovať motiváciu, očakávaný výsledok a podmienku, pri ktorej bude hypotéza považovaná za vyvrátenú. Tieto časti sa po štarte experimentu nemenia; výsledok a následná interpretácia sa dopĺňajú oddelene. Agent preto nemôže po zistení skóre nenápadne preformulovať pôvodnú predpoveď tak, aby každý výsledok vyzeral ako úspech. Ide o technickú obdobu predregistrácie, prispôsobenú rýchlym iteráciám strojového učenia.

Druhým opatrením je rozdelenie práce medzi špecializované komponenty. Samostatné roly zabezpečujú rešerš, návrh experimentu, implementáciu, kontrolu kódu, ladenie, vyhodnotenie a mechanistickú analýzu. Mechanické subagenty nemajú určovať smer výskumu a kontrolná brána preveruje, či nový pokus neporušil spoločné podmienky porovnania. Tým sa obmedzuje situácia, v ktorej ten istý agent súčasne navrhne test, zmení jeho pravidlá a vyhlási vlastný výsledok za presvedčivý.

Tretím prvkom je „kkanbu“, preferenčný orákul uchovávajúci výskumný vkus používateľa v typovanom znalostnom grafe. Konzultovať ho možno iba pri štyroch rozhodovacích bodoch, napríklad pri výbere ďalšej hypotézy alebo diagnostiky. Autori tak oddeľujú procesnú poctivosť od subjektívnej otázky, čo je zaujímavé skúmať. Vkus sa nesnažia odstrániť ani vydávať za objektívnu metriku; uzatvárajú ho do explicitnej a auditovateľnej vrstvy.

Čo ukázalo porovnanie dvoch vetiev

Rovnakú výskumnú slučku autori spustili naprieč jedenástimi prúdmi dvakrát: s orákulom a bez neho. Podľa práce ani jedna vetva neskĺzla k opustenému cieľu a obe vyvrátili približne tri štvrtiny vlastných hypotéz. V tomto kontexte vysoký počet neúspešných predpovedí nie je slabým skóre, ale signálom, že systém zachoval vopred stanovené kritériá a neprispôsoboval tvrdenia výsledkom. Samotná štruktúra kariet teda podľa autorov stačila na obmedzenie pozorovaného driftu.

Kkanbu neprinieslo automaticky lepšiu trénovanú politiku. Najvyššie skóre medzi natrénovanými politikami dosiahla vetva bez orákula. Vetva s ním však preskúmala odlišné smery, ako jediná sa venovala adaptácii počas testovania a prenášala poznatky medzi výskumnými prúdmi, ktoré druhá vetva opakovane objavovala odznova. Výsledok preto podporuje užšie tvrdenie: preferenčná vrstva menila pozornosť a šírku hľadania, nie nevyhnutne konečné skóre.

Novým podkladom oproti pôvodnému súhrnu je verejný repozitár autorov. Obsahuje zdrojový kód, záznamy oboch vetiev, experimentálne karty, program s pravidlami porovnania, analytické nástroje a zmrazenú podobu preferenčného profilu. Sprístupnenie artefaktov umožňuje kontrolovať nielen finálne čísla, ale aj postupnosť rozhodnutí a neúspešné pokusy. Repozitár však nenahrádza nezávislú replikáciu: vývoj prebiehal aj v oddelenom súkromnom prostredí a pracovné stromy jednotlivých experimentov nie sú súčasťou vydania.

Prístup zapadá do širšieho vývoja AI pre vedu, no rieši inú časť problému než známe systémy. AI Scientist od Sakana AI automatizuje cyklus od návrhu nápadu po experiment a rukopis; samotná Sakana upozorňuje na chybné implementácie, neférové porovnania a pokusy agenta meniť spúšťací skript či časový limit. Google AI co-scientist zase používa špecializovaných agentov na generovanie, kritiku a radenie hypotéz, pričom ho opisuje ako spolupracovníka vedca. Caltechská práca sa sústreďuje konkrétnejšie na nemennosť predikcií, oddelenie oprávnení a dohľadateľnosť rozhodnutí.

Praktický význam pre európske výskumné tímy

Pre slovenské univerzity, robotické laboratóriá a podnikové tímy nie je najdôležitejší názov konkrétneho orákula, ale navrhnutý prevádzkový vzor. Experiment by mal mať vopred zapísanú hypotézu, nemenné hodnotiace podmienky, verziovaný kód, uložené negatívne výsledky a jasne určeného vlastníka subjektívnych rozhodnutí. Takýto záznam môže zjednodušiť interný audit, odovzdávanie projektu medzi ľuďmi aj vysvetlenie, prečo bola určitá vetva zastavená. Pri obmedzených výpočtových rozpočtoch zároveň pomáha odlíšiť systematické skúmanie od drahého ladenia jedného rebríčka.

Európsky kontext pridáva dôraz na zodpovednosť a správu výskumných dát, no samotná karta nezaručuje súlad s právnymi či etickými povinnosťami. Preferenčný graf môže kodifikovať predsudky svojho tvorcu, agent môže vyberať iba pohodlné experimenty a pevná metrika môže od začiatku merať nesprávny cieľ. Auditná stopa zachytí vykonané rozhodnutia, nie všetky relevantné alternatívy. Pri citlivých doménach preto zostáva potrebné ľudské schvaľovanie, riadenie prístupov a nezávislá kontrola metodiky.

Najväčšou neistotou je rozsah platnosti výsledkov. Práca je preprint, používa jednu simulovanú robotickú úlohu, obmedzený počet výskumných prúdov a prevažne jednotlivé počiatočné semená pri základných konfiguráciách. Nie je zatiaľ jasné, či rovnaká architektúra odolá driftu pri dlhších behoch, v laboratóriu, pri nejednoznačných dátach alebo tam, kde sa cieľ nedá zhrnúť do stabilnej metriky. Presvedčivým ďalším krokom by boli nezávislé replikácie vo viacerých odboroch a testy, či agent nedokáže formálne dodržať kartu, no obísť jej zámer výberom výhodných pokusov.