Stanford HAI upozorňuje, že kódovací agenti zatiaľ zlyhávajú pri tímovej práci

Stanford HAI zverejnil prehľad výskumu CooperBench, ktorý testuje otázku, či sa kódovací agenti vedia správať ako dobrí tímoví spolupracovníci. Výsledok je nepríjemný pre predstavu, že stačí spustiť viac agentov vedľa seba a výkon sa automaticky zvýši. Výskumníci uvádzajú, že dnešné modely pri spolupráci často strácajú schopnosť koordinovať zmeny, komunikovať záväzky a rešpektovať prácu druhej strany. V niektorých úlohách je jeden agent úspešnejší než dvojica agentov, ktorá si má prácu rozdeliť.

CooperBench stojí na viac než šesťsto úlohách zo skutočných open-source repozitárov. Dvaja agenti dostanú rozdielne časti práce v jazykoch Python, TypeScript, Go a Rust, môžu upravovať kód, spúšťať príkazy a posielať si správy. Úlohy sú zámerne vybrané tak, aby mohli vzniknúť konflikty: presne tie situácie, v ktorých ľudský tím potrebuje dohodu, priebežnú kontrolu a schopnosť zmeniť plán podľa toho, čo robí kolega. Po skončení sa kód zlúči a hodnotí testami.

ArXiv abstrakt popisuje výsledok ako „prekliatie koordinácie“. Priemerná úspešnosť agentov klesla približne o 30 percent oproti scenáru, v ktorom by jeden agent riešil obe časti samostatne. Stanford HAI v popularizačnom texte zdôrazňuje ešte širší bod: modely síce vedia používať jazyk, ale často ho nepoužívajú ako sociálny nástroj. Posielajú neurčité alebo zle načasované správy, neodpovedajú priamo na otázky a niekedy urobia presný opak toho, čo druhému agentovi prisľúbili.

Príklad z článku je výrečný. Jeden agent druhého varuje, že určitá zmena vytvorí konflikt pri zlúčení kódu. Druhý agent varovanie slovne zoberie na vedomie, no aj tak pridá úsek, ktorý konflikt spôsobí. Pre človeka by takéto správanie nebolo iba technickou chybou, ale aj porušením dôvery v spolupráci. Pri agentoch sa ukazuje, že plynulá angličtina a schopnosť vysvetľovať zámer ešte neznamenajú schopnosť držať spoločný plán.

Dôležité je, že problém sa podľa výskumníkov nedá vyriešiť len lepším promptom. Ak má model spolupracovať, potrebuje tréningové ciele a hodnotenie, ktoré odmeňujú koordináciu, nie iba konečný kódový diff. To môže zahŕňať explicitné dohody medzi agentmi, overovanie splnených záväzkov, lepšie zdieľanie stavu alebo periodické integračné kontroly. Inak sa z multiagentového systému môže stať len rýchlejšia verzia zlého tímu: veľa správ, veľa aktivity, no málo zodpovednosti za spoločný výsledok.

Pre firmy, ktoré skúšajú kódovacích agentov v paralelných workflow, je to praktické varovanie. Spustiť dvoch alebo troch agentov na rovnaký repozitár môže vyzerať ako lacný spôsob škálovania, no bez jasných hraníc zodpovednosti, testov, review a mechanizmov na riešenie konfliktov sa zisk ľahko stratí. Najbezpečnejší vzor bude pravdepodobne kombinovať úzke úlohy, izolované vetvy, automatické testy a ľudské alebo programové brány pred zlúčením.

Výskum tiež pomáha presnejšie pomenovať, čo znamená „agentická schopnosť“. Nestačí merať, či agent vyrieši jednu izolovanú úlohu. V reálnej práci musí rozumieť tomu, že jeho rozhodnutia menia priestor možností pre ďalších aktérov. Musí vedieť povedať nielen „urobím X“, ale aj dodržať X, vysvetliť, prečo sa plán zmenil, a neblokovať iný paralelný postup. To je bližšie sociálnej inteligencii než samotnej syntaxi programovacieho jazyka.

CooperBench preto zapadá do širšej diskusie o hodnotení agentov podľa celej trajektórie, nielen podľa finálneho testu. Ak benchmark odhalí, kde sa komunikácia rozpadá, môže viesť k lepším tréningovým dátam, protokolom a nástrojom pre spoluprácu agentov. Kým sa to stane, tvrdenie, že viac agentov automaticky znamená vyšší výkon, treba brať opatrne. Pri softvérovom vývoji je koordinácia práca, nie vedľajší efekt počtu modelov.

Pre manažérov vývoja je podstatné aj to, ako sa budú takéto benchmarky premietať do nákupných rozhodnutí. Ak dodávateľ sľubuje flotilu agentov, nestačí pozerať na individuálne skóre v SWE-bench alebo na rýchlosť generovania patchov. Treba sa pýtať, ako systém prideľuje vlastníctvo súborov, ako rieši kolízie, či agenti vedia citovať svoje predpoklady a či existuje stopa rozhodnutí použiteľná pri revízii. CooperBench naznačuje, že práve tieto neokázalé mechanizmy môžu rozhodovať o tom, či paralelná automatizácia skutočne šetrí čas alebo iba vyrába nové integračné problémy.