Audit medicínskych VLM benchmarkov našiel stopy kontaminácie v tréningových dátach

Preprint na arXive sa pozerá na problém, ktorý je pri medicínskych vision-language modeloch mimoriadne citlivý: či verejné benchmarky naozaj merajú generalizáciu, alebo či sa niektoré ich obrázky a otázky mohli dostať do predtréningových dát. Autori auditujú datasety SLAKE-En, PathVQA, VQA-RAD a verejnú zrkadlovú časť OmniMedVQA pomocou viacerých detekčných metód. Cieľom nie je dokázať jednoduché memorovanie každého príkladu, ale zistiť, či existuje merateľný prekryv zdrojov a distribúcií.

V medicíne je kontaminácia benchmarkov vážnejšia než pri bežných obrázkových úlohách. Model môže vyzerať presne pri odpovediach na verejné otázky, no v skutočnosti ťažiť z toho, že veľmi podobné obrázky, popisy alebo štruktúra otázok boli dostupné počas predtréningu. Ak sa potom výsledok použije ako argument pre klinickú spoľahlivosť, vzniká falošná istota. Hodnotenie modelu v zdravotníctve musí byť prísnejšie, pretože chyba môže ovplyvniť diagnostiku, triáž alebo dôveru lekára v nástroj.

Autori používajú štyri rodiny detektorov. Skúmajú obrazové podobnosti voči zdroju PMC-OA-beta, poradie príkladov, obohatenie chvostových pravdepodobností a prekryv top odpovedí naprieč modelmi. Takýto viacvrstvový prístup je dôležitý, pretože žiadny detektor sám o sebe nedokáže bezpečne povedať, že model konkrétny príklad videl. Kombinácia signálov však môže ukázať, kde je benchmark podozrivo blízko verejne dostupným zdrojom.

Podľa abstraktu práca nachádza merateľný obrazový prekryv pri SLAKE-En. Pri jednom nastavení detektora je označených 19,8 percenta obrázkov, pri inom 4,2 percenta, zatiaľ čo kontrolné vzorky mimo domény dávajú nulové flagy. Autori zároveň uvádzajú dôležité obmedzenie: manuálna kontrola skôr naznačuje rovnakú modalitu a podobnú projekciu pri odlišných pacientoch než potvrdené pixelové duplikáty. Inými slovami, nejde automaticky o dôkaz, že model odpovedá z pamäte, ale o vážny signál zdrojového alebo distribučného prekryvu.

Textová časť je rovnako zaujímavá. Pri verejných VQA benchmarkoch sa často zdieľajú nielen obrázky, ale aj otázky a odpovede v strojovo čitateľnej podobe. Ak boli tieto páry roky voľne dostupné, tvorcovia predtréningových datasetov ich mohli neúmyselne zahrnúť. Model potom nemusí rozumieť medicínskemu obrazu tak dobre, ako naznačuje skóre; môže využívať známe formulácie alebo štatistické skratky.

Pre vývojárov medicínskych AI systémov z toho vyplýva praktické pravidlo: verejný benchmark nestačí. Treba mať aj uzavreté, čerstvé a dobre kurátorované testovacie sady, ktoré neboli dostupné počas predtréningu. Ideálne by mali byť oddelené podľa inštitúcie, času, modality a klinického scenára. Pri modeloch, ktoré kombinujú obraz a text, je potrebné kontrolovať oba kanály, pretože kontaminácia môže prísť cez obrázok, otázku, odpoveď alebo metadáta.

Práca tiež pripomína, že rýchly rast otvorených medicínskych VLM modelov potrebuje rovnako rýchly rast evaluačnej hygieny. Ak sa každý nový model porovnáva na rovnakých verejných sadách, leaderboard sa môže stať menej informatívnym. Zlepšenie skóre potom nemusí znamenať lepšiu klinickú schopnosť, ale lepšiu kompatibilitu s historicky dostupným benchmarkom. To je obzvlášť problematické pri marketingu modelov pre nemocnice alebo zdravotnícke firmy.

Pre reguláciu a obstarávanie je dôležité odlíšiť výskumný benchmark od dôkazu bezpečného nasadenia. Audit kontaminácie by mal byť súčasťou dokumentácie modelu podobne ako opis tréningových dát, limitácií a plánov monitorovania po nasadení. Ak dodávateľ tvrdí vysokú presnosť na verejnej sade, zákazník by sa mal pýtať, či bola testovaná možná kontaminácia a či existuje nezávislá validácia na neverejných dátach.

Autori preprintu nehovoria, že všetky výsledky medicínskych VLM sú bezcenné. Skôr ukazujú, že pri verejných sadách treba interpretovať skóre opatrne a s vedomím možného prekryvu. To je zdravý posun pre celé pole. Medicínska AI potrebuje modely, ktoré generalizujú na nových pacientov a nové pracoviská, nie iba excelujú v testoch, ktoré roky kolovali po internete. Bez takéhoto rozlíšenia sa môže pokrok v tabuľkách odtrhnúť od skutočnej klinickej spoľahlivosti.