Cloudflare nasadilo izolovaných AI agentov na triedenie chýb v projekte Astro

Cloudflare opísalo automatizovaný systém, ktorý v open-source projekte Astro preberá časť práce spojenej s triedením a riešením hlásených chýb. Pipeline číta nové GitHub issues, pokúša sa problém reprodukovať v izolovanom prostredí, diagnostikuje príčinu a pri nájdení opravy zverejní skúšobnú verziu balíka. Pôvodný autor hlásenia ju môže otestovať vo vlastnom projekte a až po jeho potvrdení automatizácia otvorí pull request naviazaný na danú tému.

Podľa Cloudflare sa počet otvorených issues v repozitári Astro znížil z viac než 200 na približne 30. Firma očakáva, že sa backlog môže dostať na nulu, čo by bolo prvýkrát vo viac než päťročnej histórii projektu. Nešlo pritom o hromadné zatváranie starých hlásení alebo vyhlásenie takzvaného issue bankruptcy. Prevádzkovatelia tvrdia, že výsledok dosiahli postupným spracovaním tém pomocou agentov a overovania opráv s používateľmi.

Workflow vznikol najskôr ako zručnosť pre kódovacieho agenta, ktorú mohli správcovia spúšťať lokálne. Rovnaký postup následne preniesli do GitHub Actions. Zručnosť kopíruje štyri základné etapy manuálnej práce: reprodukciu problému, diagnostiku s doplneným logovaním, overenie očakávaného správania podľa testov a dokumentácie a napokon prípravu opravy. Reprodukčný príklad sa pri poslednej etape mení na zlyhávajúci jednotkový test, aby bola chyba aj účinok zásahu zachytené opakovateľným spôsobom.

Jednotlivé fázy nevykonáva jeden agent v dlhom spoločnom kontexte. Cloudflare ich rozdelilo medzi izolovaných subagentov, ktorí si odovzdávajú zistenia sekvenčne cez súbor report.md. Cieľom je zmierniť tendenciu jazykového modelu presadzovať opravu aj v situácii, keď nahlásené správanie nemusí byť chybou. Agent určený na reprodukciu, diagnostiku alebo kontrolu tak dostáva užšie zadanie a jeho výstup sa stáva explicitným artefaktom pre ďalší krok.

Stav pipeline je uložený prevažne v samotnom GitHube. Automatizácia používa štítky issues ako jednoduchý stavový automat. Nové hlásenie dostane označenie, že potrebuje triáž, a po potvrdení náhľadovej opravy sa presunie do stavu overenej opravy. Systém nemusí udržiavať samostatnú databázu priebehu; aktuálnu fázu odvodzuje zo štítkov a predchádzajúcich komentárov. To zjednodušuje audit, pretože rozhodnutia, výstupy aj prechody zostávajú viditeľné priamo v repozitári.

Keď agenti pripravia možnú opravu, pipeline vytvorí náhľadové vydanie cez službu pkg.pr.new. Do issue pridá zhrnutie, úplné logy a pokyny na inštaláciu balíka. Dôležitou súčasťou slučky zostáva človek, ktorý chybu nahlásil: skúšobnú verziu nasadí vo svojom reálnom prostredí a potvrdí, či problém zmizol. Automatické vytvorenie pull requestu teda neprichádza bez spätnej väzby, hoci veľká časť technickej diagnostiky už prebehla bez zásahu správcu.

Z pôvodnej implementácie vyrástol otvorený framework Flue na stavbu podobných agentických automatizácií. Cloudflare zároveň ponúka samostatnú GitHub Action pre triáž. V zverejnenom príklade sa dajú určiť modely pre samotnú analýzu aj následné overenie a cesta k zručnosti uloženej v repozitári. Architektúra tak nie je viazaná iba na Astro, hoci výsledky prezentované firmou pochádzajú práve z tohto projektu a nemožno ich automaticky preniesť na každý kódový základ.

Praktický prínos sa netýka iba rýchlosti programovania. Generatívne nástroje výrazne zlacnili vytváranie issues, pull requestov a bezpečnostných hlásení, no náklady na ich čítanie a overovanie zostávajú na správcoch open-source projektov. Automatizovaná reprodukcia môže odfiltrovať neúplné alebo nesprávne hlásenia a pripraviť podklady k tým opodstatneným. Správca sa potom môže sústrediť na architektonické rozhodnutie a kontrolu zásahu namiesto opakovaného nastavovania reprodukčného prostredia.

Výsledky treba čítať ako prípadovú štúdiu prevádzkovateľa, nie ako nezávislý benchmark agentov. Zníženie backlogu nevypovedá samo osebe o kvalite každej opravy, počte ľudských zásahov ani nákladoch na inferenciu. Úspech závisí aj od dobrej testovacej infraštruktúry, reprodukovateľných hlásení a jasne definovaných stavov. Izolované sandboxes, verejné logy, explicitné odovzdávanie správ a potvrdenie reportérom však ukazujú konkrétnejší a kontrolovateľnejší model agentickej údržby než voľné zadanie, aby jeden agent „opravil repozitár“.