Stanford: dvaja kódovací agenti môžu spolupracovať horšie než jeden

Stanford HAI upozorňuje na slabé miesto agentických systémov, ktoré sa v produktových demách často prehliada: spoluprácu. Článok opisuje výskum okolo benchmarku CooperBench, v ktorom sa testovalo, či dvaja AI kódovací agenti dokážu riešiť softvérové úlohy lepšie než jeden. Výsledok je nepríjemný pre jednoduchú predstavu o budúcich „tímoch agentov“. Podľa autorov výkon pri spolupráci neklesá len mierne, ale v niektorých scenároch sa zhoršuje natoľko, že jeden agent je spoľahlivejší než dvojica.

Výskumníci formulujú problém ako koordinačnú medzeru. Dnešné modely vedia generovať kód, vysvetľovať ho, spúšťať príkazy a reagovať na chyby. To však neznamená, že vedia používať jazyk ako sociálny nástroj v tímovej práci. Ľudskí programátori si rozdeľujú úlohy, oznamujú zámery, upozorňujú na riziká, rešpektujú rozhrania medzi modulmi a priebežne kontrolujú, či si navzájom neprekážajú. Agentom často chýba práve táto vrstva koordinácie.

CooperBench preto nestavia iba na izolovaných programátorských hádankách. Obsahuje viac než 650 reálnych softvérových úloh v jazykoch Python, TypeScript, Go a Rust, ktoré sú navrhnuté tak, aby vyžadovali spoluprácu dvoch agentov. Agenti môžu upravovať kód, spúšťať lokálne príkazy a posielať si správy. Následne sa ich zmeny spájajú a hodnotí sa výsledok. Práve toto je bližšie k tomu, čo by firmy očakávali od agentických vývojárskych systémov v praxi.

Stanford HAI cituje autorov, podľa ktorých sa problém objavuje najmä pri úlohách strednej náročnosti. Jednoduché úlohy zvládne jeden agent sám a veľmi ťažké úlohy sú problémom pre všetkých. Stredná zóna by mala byť ideálnym miestom pre rozdelenie práce. Namiesto toho sa ukazuje, že dvaja agenti sa často koordinujú zle, duplikujú úsilie, robia konfliktné zmeny alebo si nedokážu dostatočne presne vysvetliť, čo už kto urobil.

Tento výsledok je dôležitý pre firmy, ktoré plánujú nasadiť viacerých agentov na jeden vývojový tok. V marketingových materiáloch sa často objavuje predstava, že jeden agent napíše testy, druhý implementáciu, tretí dokumentáciu a štvrtý všetko zreviduje. CooperBench naznačuje, že takáto architektúra môže bez prísnej orchestrace zlyhať práve na hraniciach medzi agentmi. Viac agentov automaticky neznamená viac inteligencie; môže to znamenať viac kolízií.

Praktický dopad sa týka aj hodnotenia agentov. Ak benchmarky merajú iba individuálne riešenie úloh, môžu preceňovať pripravenosť modelov na tímové nasadenie. Skutočné vývojové prostredie je plné nejasností, závislostí, čiastočne dokončených zmien a potreby vysvetľovať zámer. Benchmark, ktorý testuje spoluprácu, preto dopĺňa obraz o schopnostiach agentov a môže odhaliť slabiny, ktoré sa v bežných kódovacích testoch neukážu.

Autori zároveň nehovoria, že viacagentové systémy nemajú budúcnosť. Skôr ukazujú, že potrebujú inú infraštruktúru než jednoduché spojenie dvoch chatbotov. Pomôcť môžu jasnejšie protokoly, lepšie pracovné priestory, transakčné zmeny, explicitné vlastníctvo súborov, silnejšie plánovanie a kontrolné body, v ktorých sa agenti musia dohodnúť pred zlúčením práce. Inými slovami, spolupráca bude pravdepodobne vlastnosťou celého systému, nie iba samotného modelu.

Pre používateľov kódovacích agentov je záver triezvy. Ak jeden agent funguje dobre pri samostatnej úlohe, ešte to neznamená, že desať agentov bude fungovať desaťkrát lepšie. Pri produkčnom použití treba merať nielen úspešnosť riešenia, ale aj konflikty, regresie, čas strávený koordináciou a kvalitu komunikácie medzi agentmi. Dôležité bude aj to, či systém vie zlyhanie bezpečne zastaviť pred zlúčením kódu a či zanechá dostatočnú stopu na ľudskú revíziu, audit aj spätné učenie celého tímu v praxi. Stanfordský výsledok je preto užitočným varovaním pred predčasným presvedčením, že škálovanie agentov bude jednoduché tímové násobenie.