Preprint testuje, ako medicínske VQA modely zabúdajú pri učení nových klinických úloh

Nový preprint na arXive sa venuje praktickému problému, ktorý bude pri klinických multimodálnych modeloch čoraz viditeľnejší: čo sa stane, keď sa systém po nasadení musí učiť nové typy medicínskych úloh bez toho, aby zabudol tie predchádzajúce. Práca s názvom „An Empirical Analysis of Continual Learning for Heterogeneous Medical Visual Question Answering“ skúma medicínske vizuálne odpovedanie na otázky, teda systémy, ktoré kombinujú obrazový vstup, klinickú otázku a textovú odpoveď.

Medicínske VQA nie je jedna úzka úloha. V nemocničnom prostredí môže model raz odpovedať na otázku klasifikácie, inokedy na multi-label zadanie, detekciu objektov, počítanie buniek alebo generovanie krátkej správy. Autori preto testujú heterogénne úlohy s rôznymi typmi dohľadu a výstupov. Práve táto rôznorodosť je dôležitá: model, ktorý pôsobí dobre na jednom datasete, nemusí zvládnuť postupné rozširovanie na nové klinické potreby.

Kľúčovým pojmom je kontinuálne učenie. Ide o prístup, pri ktorom sa model neučí všetko naraz v jednej statickej tréningovej dávke, ale postupne pridáva nové schopnosti. V ideálnom prípade by si zachoval staršie znalosti a zároveň sa prispôsobil novým dátam. V praxi však často nastáva katastrofické zabúdanie: model sa zlepší na poslednej úlohe, no zhorší sa na predchádzajúcich. V medicíne je takýto jav obzvlášť citlivý, pretože chyba nemusí byť iba technická, ale klinicky riziková.

Autori sa pýtajú tri veci. Po prvé, do akej miery existujúce metódy kontinuálneho učenia zmierňujú katastrofické zabúdanie. Po druhé, ako veľmi výsledok závisí od poradia úloh, teda či model dopadne inak, ak sa najprv učí klasifikáciu a potom generovanie správy, alebo naopak. Po tretie, sledujú vývoj nízkohodnostných adaptačných parametrov, známych ako LoRA, aby videli, ako sa menia váhy pri postupnom učení rôznych úloh.

Záver podľa abstraktu nie je veľmi optimistický. Súčasné metódy majú problém udržať rovnováhu medzi stabilitou a plasticitou, keď sa miešajú úlohy s rozdielnymi cieľmi a formátmi anotácií. Stabilita znamená, že model si drží staré schopnosti. Plasticita znamená, že sa vie naučiť nové. V heterogénnom medicínskom VQA sa tieto dve vlastnosti dostávajú do napätia a jednoduché prenesenie metód z bežného strojového učenia nemusí stačiť.

Pre nemocničné nasadenie je to dôležité z viacerých dôvodov. Klinické dáta sa menia, pribúdajú nové zobrazovacie modality, pracoviská používajú rozdielne protokoly a modely musia reagovať na nové otázky lekárov. Ak by sa každý update riešil kompletným pretrénovaním, bolo by to drahé, pomalé a ťažko auditovateľné. Kontinuálne učenie vyzerá ako prirodzená cesta, ale práca pripomína, že bez presných testov môže priniesť skryté regresie.

Zaujímavý je aj dôraz na poradie úloh. V produkčných systémoch sa modely často aktualizujú podľa toho, aké dáta práve pribudnú alebo ktorý tím potrebuje novú funkciu. Ak však poradie učenia výrazne ovplyvňuje zabúdanie, plánovanie aktualizácií sa stáva súčasťou bezpečnostného a kvalitatívneho riadenia. Nestačí merať výsledok po poslednom tréningu; treba sledovať, čo sa stalo so všetkými staršími úlohami.

Práca zároveň zapadá do širšej diskusie o tom, ako hodnotiť medicínske AI systémy. Benchmarks pre jednu úlohu môžu vyzerať presvedčivo, no klinická realita je sekvenčná, nerovnomerná a heterogénna. Model môže byť vystavený novým typom otázok, novým oddeleniam a inému rozdeleniu dát. Preto sú testy zabúdania, citlivosti na poradie a driftu adaptačných parametrov praktickejšie než jedno číslo presnosti na izolovanom datasete.

Pre vývojárov medicínskych vision-language modelov je hlavné odporúčanie jasné: aktualizácia modelu musí mať regresné testy naprieč staršími klinickými úlohami. Ak systém používa LoRA alebo podobné efektívne dolaďovanie, nestačí sledovať iba, či nové adaptéry fungujú; treba analyzovať, či sa ich zmeny neprejavujú stratou schopností inde. Pre regulátorov a nemocnice je to argument, aby pri nákupe alebo validácii takýchto nástrojov vyžadovali aj dôkazy o správaní po postupných aktualizáciách.

Autori uvádzajú, že kód a úplné experimentálne nastavenie majú byť verejne dostupné. To bude dôležité pre nezávislé overenie, pretože pri medicínskych modeloch rozhodujú detaily datasetov, rozdelenia úloh a metrík. Už samotný preprint však posúva debatu od otázky „vie model odpovedať na medicínsku otázku?“ k náročnejšej otázke „vie sa model meniť bez toho, aby ticho strácal staré klinické schopnosti?“