OpenAI skúmalo kódovacích agentov vo vede, úzke hrdlo sa presúva od písania k overovaniu

OpenAI zverejnilo terénnu správu o ôsmich projektoch, ktoré použili kódovacích agentov pri modernizácii vedeckého softvéru, prevažne v biologických a genomických úlohách. Päť tímov pracovalo s Codexom a tri kombinovali Codex s Claude Code. Spoločným výsledkom nie je tvrdenie, že agent dokáže samostatne robiť vedu, ale praktickejší posun: časť drahej programátorskej práce možno výrazne zrýchliť, ak má projekt jasné testy a odborníka schopného posúdiť správnosť.

Vedecký softvér často vzniká ako sprievodný kód k článku. Malé akademické tímy ho vytvoria pre konkrétny experiment, no nemajú kapacitu na dlhodobú údržbu, balíčkovanie, dokumentáciu a optimalizáciu. Výsledkom sú nástroje, ktoré sa ťažko inštalujú, závisia od starých knižníc alebo sa správajú odlišne na novom hardvéri. Tento technický dlh spomaľuje reprodukovateľnosť aj následné experimenty, hoci samotná vedecká metóda môže byť hodnotná.

Medzi prípadmi je modernizácia knižnice cyvcf2 na prácu s genomickými variantmi. GPT-5.5 nahradil starší systém zostavenia a balíčkovania modernejším procesom, ktorý má zjednodušiť inštaláciu, testovanie a vydávanie verzií. Iné projekty zahŕňali cielené zrýchľovanie, jazykové migrácie a návrh výpočtov pre GPU. Agenti tak neboli len generátormi nového kódu; zasiahli aj do úloh, ktoré tradične spotrebúvajú veľa času skúsených vývojárov.

Správa však upozorňuje na opakujúci sa problém: agent vie rýchlo vytvoriť presvedčivo vyzerajúcu implementáciu, no nedokáže spoľahlivo určiť, či je vedecky platná. Môže byť sebavedomý aj pri numerickej odchýlke, chybnej štatistickej interpretácii alebo zanedbanom okrajovom prípade. Úzke hrdlo sa preto presúva z písania programu k návrhu overenia. Výskumník musí vopred vedieť, aké správanie je správne a ktoré odchýlky sú prijateľné.

Najlepšie fungovali externé referencie a merateľné akceptačné kritériá. Tímy porovnávali presnú zhodu výstupov so starším nástrojom, očakávané štatistické správanie, výkonové ciele alebo odpovede známe zo simulovaných dát. Takéto testy dávajú agentovi spätnú väzbu, ktorá nie je založená na vlastnom slovnom hodnotení modelu. Zároveň umožňujú ľuďom rozlíšiť rýchly prototyp od implementácie pripravenej na reálne použitie.

Práca prebiehala skôr v krátkych iteráciách než jedným veľkým promptom. Výskumníci rozdelili cieľ na menšie zmeny, po každej spustili testy a upravili ďalšie zadanie podľa výsledku. Počiatočné riešenie vzniklo často rýchlo, no posledné percentá správnosti trvali podstatne dlhšie. Práve jemné numerické rozdiely, kompatibilita a zriedkavé vstupy tvoria takzvanú poslednú míľu, ktorú marketingové ukážky agentov zvyknú podceniť.

Pre laboratóriá z toho vyplýva zmena rolí. Odborník venuje menej času rutinnému zápisu implementácie a viac času špecifikácii, meraniu a kontrole. Neznamená to menšiu potrebu expertízy; naopak, hodnotnejšia je schopnosť definovať vedecky správny cieľ a rozpoznať chybu, ktorú bežné softvérové testy nezachytia. Tím bez doménového odborníka môže vyprodukovať viac kódu, ale nie nevyhnutne viac dôveryhodných výsledkov.

Druhou témou je dlhodobé vlastníctvo. Lacnejšie prepisovanie môže viesť k množstvu podobných verzií, medzi ktoré sa rozptýli pozornosť používateľov a údržbárov. OpenAI uvádza prípady, keď sa zmeny vrátili do pôvodných projektov, aj situáciu, keď opustený nástroj získal novú komunitnú správu. Modernizácia má význam iba vtedy, keď je jasné, kto bude riešiť budúce chyby, kompatibilitu a vydávanie verzií.

Správa je retrospektívna a prieskumná, preto z nej nemožno odvodiť univerzálny násobok produktivity ani garanciu pre každý vedecký odbor. Poskytuje však užitočný prevádzkový rámec: agentom prideľovať úlohy s pozorovateľným výsledkom, používať nezávislé testovacie orákulum, vyžadovať odbornú revíziu a do plánu zahrnúť údržbu. Bez týchto poistiek môže rýchlejší vývoj iba rýchlejšie vyrobiť nový technický dlh.

Najpraktickejší dopad je pre tímy, ktoré spravujú staré analytické knižnice a dátové potrubia. Namiesto veľkého prepisu môžu začať automatizáciou zostavenia, doplnením regresných testov alebo profilovaním jedného úzkeho miesta. Ak agent preukáže zhodu na referenčných dátach, rozsah sa môže rozširovať. Veda tak môže získať rýchlejší softvér, ale rozhodujúca zodpovednosť za správnosť zostáva na ľuďoch.