ABRA chce zmerať radiologických agentov v reálnom prehliadači snímok

Doterajšie benchmarky pre medicínske agentické systémy často predpokladali ideálny svet: model dostal vybraný obrázok, stručný opis úlohy a hodnotilo sa, či trafí odpoveď. Nová práca ABRA však posúva latku bližšie k tomu, ako vyzerá skutočná rádiologická práca. Namiesto jedného promptu dostáva agent pracovné prostredie s prehliadačom OHIF, serverom Orthanc a sadou nástrojov, cez ktoré sa musí sám pohybovať po snímkach, meniť okná zobrazenia, prepínať série alebo označovať konkrétne pixely. Autori tým cielia na rozdiel medzi modelom, ktorý vie rozprávať o snímke, a modelom, ktorý vie v medicínskom rozhraní naozaj pracovať.

ABRA podľa autorov obsahuje 655 programovo generovaných úloh rozdelených do troch stupňov náročnosti a ôsmich typov. Nejde teda len o jednoduché otázky na metadáta, ale aj o dlhšie postupy, kde musí agent nájsť správny rez, porovnať vyšetrenia v čase, pripraviť anotáciu alebo vyplniť BI-RADS hlásenie. Dôležité je aj to, že benchmark neberie obraz ako hotový textový vstup, ale ako prostredie, ktoré si agent musí aktívne skúmať. V praxi je to presne ten typ obmedzenia, na ktorom sa láme rozdiel medzi efektnou demo ukážkou a nástrojom, ktorý by mohol byť raz použiteľný v klinickom workflowe.

Autori postavili úlohy nad tromi známymi medicínskymi datasetmi vrátane LIDC-IDRI, Duke Breast Cancer MRI a NLST New-Lesion LongCT. Hodnotenie rozdeľujú na plánovanie, vykonanie a výsledok. Takýto rozpad je dôležitý, pretože ukazuje, kde sa agent pokazí. Model môže správne pochopiť zadanie a mechanicky zvládnuť ovládanie nástrojov, no stále zlyhať v samotnom vizuálnom rozpoznaní nálezu. Presne tento bod sa ukázal ako kľúčový aj v hlavných výsledkoch štúdie.

Desať skúšaných modelov, polovica uzavretých a polovica open-weight, dosiahlo pri reálnych anotačných úlohách aspoň 89 percent v časti Execution, teda v mechanickom ovládaní prostredia. To samo osebe nie je zanedbateľné, pretože ukazuje, že dnešné multimodálne modely už vedia používať nástroje a plniť viacstupňové pokyny. Problém však nastal pri metrike Outcome, ktorá meria, či sa agent dopracoval k vecne správnemu výsledku. Tam sa pri reálnych anotačných úlohách pohybovali len medzi 0 a 25 percentami, čo je na klinické použitie veľmi slabé číslo.

Najzaujímavejší zlom nastal v takzvanej oracle verzii úloh. Keď benchmark agentovi dodal simulovaný detektor nálezu a odobral mu najťažší kus vizuálneho rozpoznávania, výsledok Outcome na tých istých úlohách vyskočil na 69 až 100 percent podľa modelu. Inými slovami, úzkym hrdlom dnes nemusí byť samotná agentická orchestrácia ani práca s nástrojmi, ale to, že model ešte stále nedokáže dostatočne spoľahlivo vidieť to, čo má v obraze nájsť. To je pre trh dôležitý signál: mnohé tímy riešia workflow a tool calling, no v medicíne môže stále rozhodovať základná presnosť percepcie.

Pre vývojárov agentov v zdravotníctve je to praktická správa. Ak chcú zrýchliť cestu k použiteľným systémom, možno sa oplatí stavať hybridné zostavy, kde špecializovaný detektor alebo klasický počítačový vizuálny model dodáva kandidátne nálezy a jazykovo-multimodálny agent rieši navigáciu, porovnanie v čase, vysvetlenie a štruktúrovaný report. ABRA práve takýto kompromis spriehľadňuje. Nehovorí len, že model je dobrý alebo zlý, ale ukazuje, či zlyháva v pozorovaní, v plánovaní alebo v samotnom vykonaní úlohy.

Benchmark je dôležitý aj mimo medicíny. V širšej AI komunite sa čoraz viac ukazuje, že klasické jednorazové benchmarky prestávajú stačiť pre agentické systémy, ktoré pracujú v rozhraní, robia sekvenciu krokov a menia stratégiu podľa medzivýsledkov. ABRA tento trend prenáša do vysoko citlivého prostredia, kde je chyba drahá a vysvetliteľnosť nevyhnutná. Ak sa podobný prístup ujme, môžeme čakať viac benchmarkov, ktoré budú testovať modely v pracovnom rozhraní namiesto sterilného promptu.

Z pohľadu AI Feed je podstatné, že ABRA nevyrába ďalšie marketingové skóre, ale presnejšie pomenúva, kde sa dnešné modely lámu pri multimodálnych agentoch vo vysokorizikovej doméne. Pre nemocnice ani regulátorov to nie je zelená na autonómneho rádiologického asistenta. Je to skôr triezvy dôkaz, že tool-use vrstva dospieva rýchlejšie než samotná vizuálna spoľahlivosť. A práve takéto meranie môže byť v najbližších mesiacoch cennejšie než bombastické tvrdenia o tom, že agenti už zvládnu klinickú prácu bez dozoru.