Benchmark z akcelerometrov testuje, či tabuľkové AI modely zvládnu klinickú neistotu

Klinická medicína je plná tabuľkových dát: laboratórne hodnoty, dotazníky, demografia, merania zo senzorov a poznámky o životnom štýle sa často stretávajú v jednej analytickej úlohe. Napriek tomu mnoho AI benchmarkov zvýhodňuje text, obraz alebo synteticky čisté tabuľky, ktoré neodrážajú šum, nevyváženosť a demografické skreslenia reálnych zdravotníckych dát. Preprint Accelerometry-Derived Digital Biomarkers for Cardiometabolic Risk: A Population-Representative Tabular Benchmark with Uncertainty Quantification sa snaží túto medzeru zmenšiť.

Autor Federico Felizzi predstavuje benchmark založený na dátach NHANES 2003 až 2006. NHANES je americký populačný prieskum, ktorý kombinuje zdravotné vyšetrenia, laboratórne údaje, dotazníky a výber vzorky navrhnutý tak, aby lepšie reprezentoval obyvateľstvo. Nový benchmark používa 1 381 dospelých účastníkov s akcelerometriou z noseného senzora na boku, laboratórnymi biomarkermi nalačno, údajmi o strave a antropometrickými meraniami. Cieľom je predikovať tri kardiometabolické ukazovatele: glykovaný hemoglobín HbA1c, triglyceridy nalačno a C-reaktívny proteín CRP.

Dôležité je, že nejde iba o ďalšiu tabuľku pre súťaž v presnosti. Benchmark výslovne rieši vlastnosti, ktoré sú v klinickom nasadení bolestivé: komplexný výber vzorky, demografické nadvzorkovanie, podskupinovú férovosť a neistotu predikcií. V praxi nestačí, aby model mal dobrý priemerný výsledok. Ak vytvára príliš úzke intervaly pre jednu etnickú alebo vekovú skupinu, môže byť nebezpečný aj vtedy, keď globálna metrika vyzerá prijateľne.

Preprint porovnáva tri metódy: ridge regresiu ako jednoduchší lineárny základ, XGBoost ako silnú stromovú metódu a tabuľkový foundation model TabPFN v2. TabPFN je zaujímavý tým, že sa snaží preniesť ideu predtrénovaného modelu do tabuľkového učenia, kde sú tradične veľmi silné ručne ladené metódy typu gradient boosting. Podľa abstraktu dosahuje TabPFN v2 najlepší celkový výkon pri HbA1c a CRP, kým triglyceridy ostávajú ťažko predikovateľné, s hodnotou R² pod 0,05. To je vecne dôležitý výsledok: nie každý biomarker bude z pohybových a životnostylových premenných dobre odhadnuteľný.

Silnou stránkou práce je zahrnutie konformnej predikcie. Split conformal prediction vytvára intervaly, ktoré majú bez silných distribučných predpokladov pokrývať skutočnú hodnotu v stanovenej miere, tu na úrovni 90 percent. V zdravotníctve je to praktickejšie než samotná bodová predikcia. Lekár alebo výskumník potrebuje vedieť, či model hovorí „hodnota bude zrejme okolo tejto hranice“, alebo „možný rozsah je taký široký, že rozhodnutie treba opierať o ďalšie meranie“.

Výsledky podľa abstraktu ukazujú, že marginálne pokrytie je pri CRP a HbA1c blízko 90-percentného cieľa, ale pri triglyceridoch zaostáva. Ešte zaujímavejšie je podskupinové hodnotenie: pri niektorých skupinách sa objavuje lokálne podpokrytie, napríklad pri HbA1c u mexicko-amerických účastníkov. To presne ilustruje rozdiel medzi priemernou zárukou a tým, čo klinické rozhodovanie potrebuje. Model môže byť štatisticky kalibrovaný na celej populácii a zároveň menej spoľahlivý pre konkrétnu skupinu.

Pre AI vývojárov je benchmark užitočný aj ako pripomienka, že zdravotnícke tabuľkové modely treba hodnotiť inak než čisté Kaggle úlohy. Populačné váhy, demografické skupiny, senzorový šum a biologické limity predikovateľnosti sú súčasťou problému, nie okrajové detaily. Ak model nevie dobre predikovať triglyceridy, nemusí to byť len slabosť algoritmu; môže to odrážať genetické a biologické faktory, ktoré z dostupných premenných jednoducho nie sú dostatočne viditeľné.

Dopad môže byť najväčší pri vývoji digitálnych biomarkerov. Pohybové senzory, hodinky a mobilné zariadenia produkujú dáta, ktoré lákajú k zdravotným predikciám, no bez jasného merania neistoty môžu preceňovať vlastnú presnosť. Benchmark založený na NHANES dáva výskumníkom priestor testovať, či modely naozaj prinášajú klinicky použiteľný signál, alebo iba nachádzajú slabé korelácie, ktoré sa rozpadnú pri demografickej kontrole.

Autor zároveň zverejňuje kód a dáta v repozitári, čo je pre podobné benchmarky podstatné. Otvorený benchmark umožňuje opakovať výsledky, porovnať ďalšie tabuľkové modely a sledovať nielen presnosť, ale aj férovosť intervalov. Pre firmy a výskumné tímy pracujúce so zdravotníckou AI je to cenný testovací povrch: ukazuje, že budúce tabuľkové modely sa budú musieť obhajovať nielen lepšou metrikou, ale aj tým, ako spravodlivo priznávajú neistotu naprieč populáciou.

Zatiaľ ide o preprint a dataset má obmedzený rozsah 1 381 účastníkov, takže nejde o hotový klinický nástroj. Jeho význam je skôr metodický. Spája reálne populačné dáta, moderný tabuľkový model, klasické baseliny a konformné intervaly do jednej úlohy, ktorá sa pýta správnu otázku: nie iba či AI trafí biomarker, ale či vieme povedať, kedy jej predikcii veriť a pre koho je jej neistota férová.