Stanford ukazuje koordinačný problém: dvaja AI kódovací agenti môžu byť horší než jeden

Stanford HAI upozorňuje na slabinu, ktorá je pre budúcnosť agentických AI systémov rovnako dôležitá ako samotná schopnosť písať kód. V experimentoch okolo benchmarku CooperBench sa ukázalo, že dvaja kódovací agenti pracujúci spolu môžu dosahovať horšie výsledky než jeden agent, ktorý úlohu rieši samostatne. Na prvý pohľad je to proti intuícii. V ľudských tímoch môže spolupráca pomôcť rozdeliť zložitejšiu prácu, zachytiť chyby a pokryť viac častí projektu naraz. Pri dnešných AI agentoch však spolupráca často pridáva nový typ zlyhania.

CooperBench skúma viac než 650 softvérových úloh v jazykoch Python, TypeScript, Go a Rust. Agenti môžu upravovať kód, spúšťať príkazy a navzájom si posielať správy v reálnom čase. Výsledok sa potom zlúči a vyhodnotí. Práve tento postup je dôležitý, pretože pripomína reálnu vývojársku prácu: nestačí, aby každý účastník lokálne napísal rozumný kus kódu. Zmeny sa musia dopĺňať, nesmú si odporovať, musia rešpektovať spoločnú architektúru a musia prejsť integračným testom.

Výskumníci tento jav označujú ako koordinačnú medzeru. Modely dokážu plynulo komunikovať a často pôsobia, akoby rozumeli sociálnemu kontextu práce. V skutočnosti však ich správy nemusia viesť k spoľahlivému rozdeleniu zodpovedností. Jeden agent môže ignorovať varovanie druhého, zasiahnuť do rovnakého súboru, prepísať cudziu zmenu alebo riešiť inú interpretáciu zadania. Komunikácia teda existuje, ale nefunguje ako záväzný sociálny mechanizmus, ktorý by u ľudí pomáhal predchádzať konfliktom.

Najzaujímavejšie je, že problém sa podľa Stanfordu najvýraznejšie objavuje pri stredne náročných úlohách. Veľmi ľahké úlohy zvládne jeden agent bez toho, aby spolupráca priniesla veľa hodnoty. Veľmi ťažké úlohy môžu byť za hranicou schopností oboch agentov. Stredná obtiažnosť je však presne miesto, kde by sa dalo očakávať, že delenie práce pomôže. Ak práve tam výkon klesá, znamená to, že slabinou nie je iba výkon modelu v izolácii, ale spôsob, akým agenti plánujú spoločnú prácu a reagujú na partnera.

Pre firmy, ktoré skúšajú viacagentové vývojárske workflowy, je to užitočné varovanie. Nestačí pustiť dva alebo tri modely nad rovnaký repozitár a očakávať, že sa ich schopnosti automaticky sčítajú. Pri ľuďoch existujú nástroje a návyky, ktoré spoluprácu držia pokope: jasné vlastníctvo modulov, review, task boardy, pravidlá pre mergovanie, testy a dohoda o rozhraní medzi časťami systému. AI agenti často dostanú len textovú inštrukciu a voľný priestor konať. Bez tvrdších koordinačných protokolov môže viac agentov znamenať viac šumu, nie viac produktivity.

Výsledky tiež spochybňujú jednoduchú predstavu, že problém vyrieši lepší prompt. Ak agent formálne vie napísať vetu „nezasahuj do tejto časti kódu“, ale druhý agent túto vetu nepremení na spoľahlivé obmedzenie svojich akcií, promptovanie naráža na hranicu. Potrebné môžu byť tréningové dáta a hodnotenie zamerané priamo na spoluprácu, nie iba na individuálne riešenie úloh. Modely by sa museli učiť deliť prácu, robiť záväzky, rešpektovať signály od partnera a overovať výsledok ako spoločný artefakt.

Benchmark má dopad aj mimo programovania. Mnohé vízie AI agentov počítajú s tímami špecializovaných systémov: jeden agent plánuje, druhý zbiera dáta, tretí píše report, štvrtý kontroluje riziká. Ak sa koordinačná medzera objavuje už v programovaní, kde sú výsledky relatívne dobre testovateľné, v otvorenejších obchodných alebo vedeckých úlohách môže byť ešte ťažšie odhaliť, kedy spolupráca zlyhala. Viacagentové systémy preto potrebujú meranie kvality koordinácie, nie iba konečný dojem z odpovede.

Pre vývojárov nástrojov to vytvára konkrétnu produktovú výzvu. Agentické IDE, CI systémy a orchestratóri by mali agentom poskytovať štruktúru: explicitné plány, zamykanie oblastí kódu, automatické zisťovanie konfliktov, priebežné testy, audit správ a jasné pravidlá, kto môže meniť ktorú časť projektu. Takéto mechanizmy sú menej efektné než demo dvoch modelov, ktoré si píšu v chate, ale môžu byť rozhodujúce pre spoľahlivosť.

Stanfordský signál preto netreba čítať ako tvrdenie, že viacagentové systémy nemajú zmysel. Skôr ukazuje, že spolupráca je samostatná schopnosť, nie automatický vedľajší produkt lepších jazykových modelov. Ak majú AI agenti pracovať v tímoch s ľuďmi aj medzi sebou, budú potrebovať tréning, nástroje a hodnotenie zamerané na sociálnu a technickú koordináciu. Bez toho môže druhý agent v projekte znamenať nie pomocníka, ale ďalší zdroj merge konfliktov.