Štúdia testuje AI agentov na vedeckom potrubí od dát po objav v neurovede

Výskumníci čoraz častejšie skúšajú, či kódovací agenti dokážu urýchliť vedeckú prácu, no väčšina verejných benchmarkov stále meria menšie a čistejšie programátorské úlohy. Nový preprint na arXiv s názvom „A case study of evaluating AI agents on a neuroscience data-to-discovery pipeline“ posúva test bližšie k realite laboratória. Autori hodnotia všeobecných agentov na potrubí pre analýzu dát z optogenetiky múch, kde nejde iba o napísanie funkcie, ale o prechod od veľkých experimentálnych dát až k výsledku, ktorý by mal obstáť pred doménovým expertom.

Kľúčová hodnota práce je v tom, že agentov netestuje na izolovaných úlohách s jedným jasným unit testom. Vedecké potrubia často vznikajú počas dní až mesiacov a obsahujú veľa rozhodnutí, ktoré sa nedajú jednoducho zredukovať na „prešlo/neprešlo“. Vedec musí vedieť, či výstup dáva zmysel, či algoritmus nezničil dôležitý signál, či výpočty škálujú na veľké dátové kolekcie a či výsledok generalizuje mimo malého príkladu. Práve túto zmes softvérového inžinierstva a vedeckého úsudku chceli autori zachytiť.

Výsledok je pre agentický hype užitočne triezvy. Agenti podľa abstraktu dokážu vyriešiť viaceré jednotlivé fázy potrubia, čo naznačuje, že čiastková automatizácia je reálna. To je dobrá správa pre laboratóriá, kde výskumníci veľa času strácajú opakovaným čistením dát, transformáciami, vizualizáciou alebo písaním pomocných skriptov. Ak agent spoľahlivo zvládne jeden úsek, môže expertovi ušetriť hodiny rutiny a umožniť mu sústrediť sa na otázku, ktorú experiment skúma.

Problém nastáva, keď agent nemá presne definované kritérium, podľa ktorého môže iterovať. V bežnom softvérovom benchmarku má model chybu, test alebo skóre a môže skúšať opravy. Vo vedeckej pipeline však často potrebuje posúdiť vlastný medzivýstup: či graf vyzerá biologicky vierohodne, či segmentácia nezlyhala na atypických prípadoch, či parameter nie je len náhodne naladený na malú vzorku. Autori upozorňujú, že agenti sa občas pokúšajú o vizuálnu kontrolu medzivýstupov, ale z veľkej časti nedokážu správne interpretovať, čo vidia, ani podľa toho zmeniť postup.

To je dôležitá lekcia pre tvorcov agentov. Nestačí pridať nástroje na spustenie kódu a prezeranie obrázkov, ak model nemá robustný mechanizmus na hodnotenie kvality vedeckého výstupu. Vizuálna spätná väzba je pre človeka často intuitívna: odborník si všimne artefakt, chýbajúcu štruktúru alebo podozrivú distribúciu. Model však môže obrázok „vidieť“ bez toho, aby rozumel, čo znamená z hľadiska experimentu. Pre vedecké použitie preto bude treba kombinovať agentov s explicitnými metrikami, doménovými kontrolami a možnosťou zapojiť človeka v miestach, kde sa rozhoduje o interpretácii.

Preprint tiež zdôrazňuje veľkosť a výpočtovú náročnosť úloh. Autori hovoria o datasetoch rádovo väčších než v existujúcich benchmarkoch a o kritériách, ktoré vychádzajú zo štandardov doménových expertov. To mení povahu hodnotenia. Agent, ktorý funguje na malej ukážke v notebooku, môže zlyhať pri správe pamäte, dlhom behu, paralelizácii alebo prenose na held-out dátové kolekcie. V praxi je to presne hranica medzi pôsobivým demom a nástrojom, ktorý sa dá použiť vo výskumnej skupine.

Záver, že end-to-end vyriešenie celej pipeline je zatiaľ mimo schopností súčasných agentov, nie je prehra. Je to lepšie vymedzenie toho, kde sa agenti môžu nasadiť dnes a kde by bolo nebezpečné predstierať plnú autonómiu. Vedecký výskum má vysokú cenu za tiché chyby: nesprávne spracované dáta môžu viesť k falošným záverom a tie sa ťažko odhaľujú, ak výstup vyzerá technicky presvedčivo. Preto je užitočné hovoriť skôr o „spolupracovníkovi na úsekoch potrubia“ než o autonómnom vedcovi.

Praktický dopad práce je aj metodologický. Autori sľubujú princípy pre konštrukciu vedeckých úloh a prísnych hodnotiacich kritérií pre otvorené problémy. Ak sa AI agenti majú presadiť v biológii, medicíne, fyzike alebo klimatickom výskume, budú potrebovať benchmarky, ktoré preveria dlhé workflow, prácu s veľkými dátami, interpretáciu medzivýstupov a schopnosť priznať neistotu. Jednoduché skóre z programátorskej súťaže nebude stačiť.

Pre laboratóriá je odporúčanie jasné: agentov sa oplatí skúšať, ale v kontrolovanom režime. Najvhodnejšie sú úseky s jasným vstupom, výstupom a automatickou kontrolou. Menej vhodné sú rozhodnutia, ktoré závisia od doménového úsudku alebo kvalitatívnej interpretácie. Najväčšiu hodnotu môžu mať agenti tam, kde zrýchlia návrh a iteráciu kódu, kým človek drží zodpovednosť za vedecký záver. Práve takýto realistický rámec je pre vedeckú AI dôležitejší než sľub, že agent sám urobí objav od začiatku do konca.