Nový red-teaming pre medicínske LLM ukazuje, že priemer maskuje kritické zlyhania

Nový preprint na arXive sa zameriava na problém, ktorý bude pri zdravotníckych LLM čoraz dôležitejší: bežné benchmarky môžu ukazovať pekné priemerné výsledky, no stále prehliadať malé množstvo veľmi nebezpečných zlyhaní. Práca predstavuje viacdoménový red-teaming rámec pre hodnotenie bezpečnosti, robustnosti a férovosti medicínskych veľkých jazykových modelov. Autori testovali jedenásť súčasných LLM na 690 klinicky ukotvených scenároch, ktoré pokrývajú deväť domén a viac než 150 podkategórií.

Podstatné je, že scenáre neboli len jednoduché otázky zo skúšobnice. Obsahovali adversariálne transformácie a eticky zložité situácie, ktoré sa môžu podobať reálnemu klinickému používaniu. Odpovede boli hodnotené sedemrozmerným rubrikovým systémom s asistenciou LLM a kontrolou človekom. Takýto prístup sa snaží zachytiť nielen to, či model pozná správny fakt, ale aj to, ako sa správa pri neistote, konflikte pokynov, citlivých demografických faktoroch alebo potenciálne škodlivej rade.

Výsledky podľa abstraktu ukazujú výrazné rozdiely medzi systémami. Priemerné skóre sa pohybovalo od 0,791 do 0,984, čo by na prvý pohľad mohlo pôsobiť povzbudivo. Autori však zdôrazňujú kritickejší záver: aj viaceré vysoko hodnotené systémy úplne zlyhali v jednotlivých bezpečnostne citlivých scenároch. To je presne typ rizika, ktorý sa v zdravotníctve nedá zakryť priemerom. Ak model zlyhá pri zriedkavej, ale závažnej situácii, dôsledok môže byť prakticky významnejší než tisíc správnych odpovedí v jednoduchších prípadoch.

Pre hodnotenie medicínskych AI systémov to má jasný dopad. Nestačí hlásiť celkové skóre na veľkom datasete. Potrebné je sledovať najhoršie prípady, kategórie rizika, stabilitu pri preformulovaní otázky a zlyhania v podskupinách pacientov. Model, ktorý má veľmi dobrý priemer, ale opakovane zlyhá pri psychiatrickej kríze, dávkovaní liekov, kontraindikáciách alebo sociálne citlivých faktoroch, nemôže byť považovaný za bezpečný len preto, že obstál v agregovanom teste.

Zaujímavá je aj kombinácia bezpečnosti, robustnosti a férovosti. V klinickej praxi sa tieto oblasti nedajú úplne oddeliť. Robustnosť voči adversariálnym formuláciám chráni pred neúmyselnými aj úmyselnými zavádzajúcimi vstupmi. Férovosť je dôležitá tam, kde model pracuje s demografickými alebo sociálnymi informáciami. Bezpečnosť zas vyžaduje, aby model vedel odmietnuť alebo opatrne formulovať radu, keď by priama odpoveď mohla uškodiť.

Práca tiež ukazuje smer, ktorým sa pravdepodobne posunú zdravotnícke evaluácie. Namiesto jedného leaderboardu budú potrebné viacvrstvové testy: klinické scenáre, adversariálne varianty, ľudská validácia hodnotenia, analýza podkategórií a testovanie najhorších zlyhaní. To je náročnejšie a drahšie, ale v medicíne primerané. Zdravotnícky model nemá byť len všeobecne múdry; musí byť predvídateľný v situáciách, kde používateľ nemusí vedieť rozpoznať chybu.

Pre nemocnice, poisťovne a tvorcov klinických nástrojov z toho vyplýva praktické varovanie. Ak dodávateľ AI asistenta ukazuje len vysoké priemerné skóre, treba sa pýtať na red-teaming, zlyhania podľa kategórií a správanie pri hraničných prípadoch. Rovnako dôležité je, kto hodnotenie vykonával a či bola súčasťou validácie aj ľudská klinická expertíza. LLM-asistované skórovanie môže urýchliť evaluáciu, ale v zdravotníctve nemá úplne nahradiť odborný dohľad.

Pre vývojárov modelov je tento typ práce nepríjemný, ale užitočný. Ukazuje, kde sú bezpečnostné medzery, ktoré sa nedajú opraviť len väčším tréningom alebo lepším všeobecným skóre. Model môže potrebovať špecializované guardraily, lepšie rozpoznanie neistoty, explicitné eskalačné pravidlá alebo odlišné správanie pre klinické domény. V niektorých prípadoch môže byť správna odpoveď nie medicínska rada, ale odporúčanie kontaktovať odborníka alebo núdzovú službu.

Záverečný význam preprintu je širší než zdravotníctvo. Pripomína, že pri nasadzovaní LLM do vysokorizikových oblastí sa musíme prestať spoliehať na priemerné hodnoty ako hlavný dôkaz bezpečnosti. Skutočná otázka znie: čo model urobí v najhoršom rozumnom prípade, pri nejasnom vstupe a pri používateľovi, ktorý mu môže veriť viac, než by mal. Práve tam sa rozhoduje, či je systém iba pôsobivý, alebo aj zodpovedne nasaditeľný.