Audit benchmarkov na detekciu depresie upozorňuje na krehké rebríčky a slabý prenos modelov

Nový arXiv preprint „A Multi-Probe Audit of Clinical-Interview Depression Detection Benchmarks“ sa vracia k oblasti, v ktorej sa AI často prezentuje veľmi sľubne, ale kde má zlyhanie mimoriadne citlivé dôsledky: automatizovaná detekcia depresie z klinických rozhovorov. Autori Takehiro Ishikawa a Jon Duke nepredstavujú ďalší veľký model, ktorý má prekonať tabuľku, ale auditujú samotné hodnotenie. Ich cieľom je zistiť, či benchmarky DAIC/E-DAIC, CMDC, ANDROIDS, MODMA a PDCH naozaj umožňujú spoľahlivo porovnávať systémy, ktoré pracujú s textom, audiom alebo kombináciou viacerých modalít.

Prvá sonda sa zameriava na E-DAIC a prísne delenie podľa subjektov. Pri leave-one-subject-out krížovej validácii autori uvádzajú, že ľahký hybridný model kombinujúci text a skóre z veľkého jazykového modelu dosiahol makro-F1 0,723. Podstatné však nie je iba samotné číslo. Ide o konzervatívny odhad mimo trénovaných subjektov, ktorý nezávisí od privilegovaného oficiálneho holdoutu. V medicínskych a psychologických aplikáciách je takýto rozdiel zásadný: model nesmie iba dobre rozpoznať ľudí, ktorým sa podobajú trénovacie dáta, ale musí obstáť pri nových pacientoch.

Druhá časť práce ukazuje, že oficiálny split E-DAIC nemusí byť dostatočne stabilný na jemné rebríčkové závery. Výskumníci prešli 96 konfigurácií modelov naprieč modalitami, poolingom a klasifikátormi. Poradie z vývojovej krížovej validácie sa s oficiálnym testom zhodovalo len mierne. Najlepší model podľa krížovej validácie skončil na oficiálnom teste až dvadsiaty, zatiaľ čo víťaz oficiálneho testu bol podľa krížovej validácie štyridsiaty prvý. Prekryv v top trojke bol nulový a zdanlivý víťaz zostával prvý iba v 32,3 percenta bootstrapovaných vzoriek subjektov.

To je dôležité varovanie pre vedeckú prax. Ak sa v benchmarku mení poradie modelov podľa toho, ako presne sa vzorkujú subjekty alebo aký split sa použije, rozdiely medzi prvým a piatym miestom nemusia byť vedecky zmysluplné. Pri klinických úlohách je lákavé oslavovať nový „state of the art“, ale tento audit naznačuje, že časť rebríčkov môže odrážať šum a špecifiká dátovej sady, nie skutočne robustnejšiu detekciu depresívnych symptómov.

Tretia sonda testuje externý prenos. Silné verejné baseline modely pre CMDC a ANDROIDS môžu mať takmer stropové výsledky na vlastnej dátovej sade, no pri zero-shot prenose na iné korpusy výkon výrazne slabne. Tento vzorec je pre zdravotnícku AI známy: model sa naučí kombináciu jazyka, protokolu rozhovoru, akustiky, demografie a spôsobu anotácie konkrétneho datasetu. Keď sa prostredie zmení, zdanlivo presný systém zrazu nemusí generalizovať.

Štvrtá sonda porovnáva textové a zvukové modely pri úsekoch rozhovorov s vysokou a nízkou hustotou symptómov. Autori používajú anotátor založený na SRDS a zisťujú, že textové skóre prudko rastie pri symptomaticky bohatších pasážach, zatiaľ čo audio skóre zostáva takmer ploché. Rozdiel medzi textom a audiom je kladný vo všetkých piatich náhodných seedeniach. Inými slovami, modely nemusia zachytávať „depresiu“ ako jednotný klinický stav, ale môžu reagovať najmä na explicitné slovné signály v konkrétnych častiach rozhovoru.

Pre vývojárov systémov na podporu duševného zdravia z toho vyplýva praktický dôsledok: nestačí uviesť jedno číslo presnosti. Potrebné je testovať oddelenie subjektov, stabilitu poradia, prenos medzi dátovými sadami a správanie modelu pri rôznych typoch rozhovorových úsekov. Ak sa systém má používať ako podporný nástroj pre klinika, mal by mať jasne popísané hranice a nemal by sa predávať ako univerzálny detektor.

Pre odbornú komunitu je práca užitočná aj tým, že presúva pozornosť od väčších architektúr k hodnotiacim protokolom. Klinické interview benchmarky sú často malé, drahé a citlivé. Ich oficiálne testy sa preto môžu stať príliš silným arbitrom, hoci nemusia podporovať jemné porovnávanie desiatok konfigurácií. Audit navrhuje, aby sa leaderboardy dopĺňali o intervaly neistoty, robustné krížové validácie, externé validačné sady a stresové testy založené na obsahových častiach rozhovoru.

Najdôležitejšie posolstvo je opatrnosť. AI môže pomôcť pri triedení, podpore rozhodovania alebo výskume duševného zdravia, no v tejto oblasti je rozdiel medzi benchmarkovou presnosťou a klinickou užitočnosťou mimoriadne veľký. Ak sa modely budú hodnotiť na krehkých splitových rebríčkoch, môžu získať dôveryhodnosť skôr, než bude jasné, čo presne sa naučili a či to funguje mimo pôvodného datasetu. Tento preprint preto nie je len technickou kritikou jedného benchmarku, ale výzvou na prísnejšie overovanie celej kategórie diagnostických AI systémov.