Curation-Bench skúša, či všeobecní agenti zvládnu kurátorstvo tréningových dát

Kurátorstvo tréningových dát patrí medzi menej viditeľné, no zásadné časti vývoja moderných modelov. Tím môže mať rovnakú architektúru aj tréningový recept, ale iný výber dát často rozhodne o tom, či model odpovedá presnejšie, bezpečnejšie alebo menej skreslene. Nový preprint Can Generalist Agents Automate Data Curation? sa pýta, či sa tento iteratívny proces dá zveriť všeobecným kódovacím agentom. Autori preto predstavujú benchmark Curation-Bench, v ktorom agenti navrhujú dátové politiky, spúšťajú tréning a podľa spätnej väzby ich upravujú.

Dôležité je, že benchmark nemení model ani tréningový recept. Fixuje prostredie a agentovi dáva prístup cez príkazový riadok: môže skúmať dáta, implementovať politiku, odovzdať ju do pevnej tréningovo-evaluačnej pipeline a potom ju revidovať. Takéto nastavenie je bližšie reálnej práci dátového výskumníka než jednoduchý textový test. Agent musí nielen navrhnúť nápad, ale ho aj premeniť na spustiteľný postup a vyhodnotiť výsledok v hlučnom prostredí.

V inštancii zameranej na dolaďovanie vision-language modelu dosiahli bežní agenti v priebehu desiatich iterácií úroveň silných publikovaných baseline metód pre výber dát. To je podstatný signál. Neznamená, že agenti nahrádzajú dátových kurátorov, ale naznačuje, že rutinné skúšanie politík a spätné vyhodnocovanie sa môže automatizovať viac, než bolo pred pár rokmi realistické. Pri rozsiahlych dátových sadách môže takáto automatizácia znížiť náklady na experimenty a urýchliť hľadanie použiteľného tréningového mixu.

Autori však upozorňujú na medzeru, ktorú nazývajú execution-research gap. Agenti síce vedia vykonávať cyklus, ale často zostávajú pri lokálnom dolaďovaní existujúcich variantov. Inými slovami, skúšajú malé úpravy toho, čo už robia, namiesto toho, aby systematicky hľadali nové rodiny metód. To je veľmi dôležitý záver pre firmy, ktoré dúfajú v plne autonómnych výskumných agentov. Automatizované vykonávanie nie je to isté ako dobrý výskumný úsudok.

Zaujímavá časť práce preto skúma lešenie, ktoré núti agenta pri každej iterácii citovať, implementovať a adaptovať predchádzajúcu metódu. Takýto scaffold posúva správanie od voľného promptovania k metodickejšiemu prieskumu. Podľa abstraktu scaffoldovaný agent autonómne zložil politiku výberu dát, ktorá prekonala silné publikované baseline metódy pri desatine dátového rozpočtu. Ak sa výsledok potvrdí v ďalších prostrediach, môže ísť o praktický argument pre agentov ako asistentov experimentálneho dizajnu, nie iba ako vykonávateľov skriptov.

Pre tréningové tímy je dôležité aj to, že benchmark je agenticky orientovaný. Mnohé hodnotenia agentov merajú vyriešenie izolovanej úlohy, napríklad opravu chyby v repozitári. Curation-Bench hodnotí uzavretú slučku, v ktorej agent musí opakovane čítať dáta, písať kód, spúšťať experimenty a rozhodovať sa podľa metriky. Takéto testy sú bližšie tomu, ako sa AI systémy budú používať v laboratóriách a MLOps prostrediach.

Praktický dopad môže byť dvojitý. Po prvé, benchmark poskytuje spôsob, ako porovnať agentov pri práci, ktorá je pre vývoj modelov ekonomicky dôležitá. Po druhé, práca naznačuje, že agenti potrebujú dobre navrhnuté procesné mantinely. Nestačí im povedať, aby našli lepšiu politiku; užitočnejšie je prinútiť ich opierať sa o existujúce metódy, explicitne ich adaptovať a dokumentovať, prečo skúšajú ďalší krok. To pripomína bežnú vedeckú prax viac než voľnú konverzáciu s chatbotom.

Pre verejnú diskusiu o autonómnych agentoch je tento výsledok triezvy. Ukazuje schopnosť automatizovať časť dátovej práce, ale zároveň pomenúva hranice otvoreného agentického výskumu. Ak majú agenti pomáhať pri vývoji budúcich modelov, ich úspech nebude stáť iba na silnejšom základnom modeli. Bude závisieť od benchmarkov, lešenia, auditov trajektórií a schopnosti rozlíšiť mechanické ladenie od skutočne nového metodického kroku.