OpenAI pripravilo GeneBench-Pro pre náročnejšie testovanie vedeckých agentov

OpenAI zverejnilo GeneBench-Pro, nový benchmark zameraný na vedecké úlohy v genomike, kvantitatívnej biológii a translačnej medicíne. Dôležité je, že nejde o ďalší test krátkych otázok alebo izolovaných znalostí. Cieľom je zistiť, či model vie urobiť sériu odborných rozhodnutí nad neporiadnymi dátami: čo z nich vôbec možno vyčítať, kedy je vzorka príliš slabá, aký model alebo odhad je vhodný a či výsledok už unesie praktické rozhodnutie.

Podľa OpenAI má GeneBench-Pro rozšíriť starší GeneBench smerom k realistickejším a tvrdším úlohám. Benchmark obsahuje 129 otázok v desiatich doménach a dvadsiatich jednej subdoméne. Každá úloha dáva modelu dátový súbor, stručný experimentálny kontext a cieľový estimand, teda veličinu, ktorú treba odhadnúť pre následné rozhodnutie. Model preto nemá iba nájsť správny príkaz alebo citovať biologický fakt, ale musí preskúmať dáta, zvoliť analýzu, priebežne meniť plán a vysvetliť, prečo je odpoveď použiteľná.

Takýto tvar benchmarku je dôležitý preto, že veľa súčasných vedeckých evalov naráža na hranicu medzi reprodukovateľnou úlohou a otvoreným výskumom. Pri reálnych biologických dátach často neexistuje jediná ideálna cesta. Dvaja dobrí analytici môžu použiť odlišné filtre alebo diagnostiky a stále prísť k obhájiteľnému záveru. GeneBench-Pro sa preto snaží merať skôr výskumný úsudok než doslovné napodobnenie referenčného riešenia. OpenAI tento typ úsudku nazýva research taste: reťazec rozhodnutí, ktoré určujú, či analýza dáva zmysel a kedy sa plán musí prepracovať.

Praktický význam je najväčší pre tímy, ktoré sledujú agentov ako pomocníkov pri analýze vedeckých dát. V biológii sa cena generovania dát dlhodobo znižuje, no spracovanie, kontrola kvality a interpretácia zostávajú úzkym hrdlom. Ak má model pomáhať pri genomike alebo medicínskom výskume, nestačí, aby vedel spustiť balík v Pythone. Musí rozpoznať, či návrh experimentu podporuje položenú otázku, či výsledok nie je artefaktom a kedy je potrebné vrátiť sa k dátam namiesto toho, aby sebavedomo dokončil chybný postup.

GeneBench-Pro tiež upozorňuje na problém, ktorý býva pri všeobecných modelových leaderboardoch menej viditeľný. Model môže dobre odpovedať na odborný kvíz a zároveň zlyhať v dlhšej analytickej slučke, kde potrebuje plánovať, kontrolovať predpoklady a opraviť vlastnú hypotézu. Pre vedecké nasadenie je práve táto slučka podstatná. Výsledok benchmarku tak môže byť užitočnejší než jedno číslo z univerzálneho testu, pretože ukazuje, kde sa model stráca: pri voľbe metódy, pri práci s neistotou, pri interpretácii alebo pri dokumentovaní rozhodnutí.

Pre laboratóriá a farmaceutické tímy to neznamená, že benchmark automaticky premení model na autonómneho vedca. Skôr nastavuje prísnejší rámec obstarávania a hodnotenia. Ak dodávateľ tvrdí, že jeho agent zvláda vedecké workflow, bude potrebné ukázať viac než pekný prehľad literatúry. Bude musieť preukázať, že model vie robiť kvalifikované rozhodnutia nad dátami a že jeho odpoveď je auditovateľná.

Rovnako dôležitá je otázka bezpečnosti a zodpovednosti. Vedecký agent, ktorý sa tvári presvedčivo, no nesprávne vyhodnotí štatistickú podporu, môže spôsobiť drahé experimentálne slepé uličky alebo nesprávne klinické hypotézy. Benchmarky ako GeneBench-Pro preto nie sú len akademickou metrikou. Sú aj nástrojom na rozlíšenie medzi modelom, ktorý vie asistovať pri príprave analýzy, a modelom, ktorého výstupy už možno pustiť do rozhodovacieho procesu s prísnejšou kontrolou.

OpenAI v materiáli zdôrazňuje aj snahu vyhnúť sa bežným zlyhaniam benchmarkov. Ak je úloha príliš neurčitá, skóre môže merať skôr preferenciu tvorcov testu než schopnosť modelu. Ak je zasa príliš uzavretá, model sa naučí reprodukovať recept. GeneBench-Pro sa pokúša nájsť stred: dostatočne realistické dáta a kontext, ale jasne definované rozhodnutie, ku ktorému má analýza smerovať.

Pre širší trh AI je to ďalší signál, že hodnotenie modelov sa posúva od všeobecných schopností k doménovým, procesným a auditovateľným testom. Vedecké nasadenia budú potrebovať leaderboardy, ktoré ukazujú nielen správnosť odpovede, ale aj kvalitu postupu a schopnosť pracovať s neistotou. GeneBench-Pro tento posun formuluje veľmi konkrétne: v biológii nestačí vedieť odpoveď, model musí vedieť, či otázku možno z daných dát vôbec férovo zodpovedať.