LLM kritiky zlepšili triedenie testových otázok, problémy s férovosťou však spoľahlivo nezachytili

Čo výskumníci skutočne testovali

Výskumníci Hotaka Maeda a Yikai Lu skúmali, či možno z textu testovej položky odhadnúť, či ju rozsiahly štandardizovaný testovací program prijme alebo natrvalo vyradí. Nehodnotili teda priamo odpovede žiakov ani ich schopnosti. Pracovali s historickými rozhodnutiami o 52 759 položkách z anglického jazyka a matematiky, pričom 34 % položiek bolo vyradených. Dôvody zahŕňali slabé psychometrické vlastnosti, obsahové chyby, technické nedostatky aj obavy zo zaujatosti, citlivosti, férovosti či prístupnosti. Práca bola najprv zverejnená ako preprint a neskôr aktualizovaná na druhú verziu, stále však nejde o recenzovaný výsledok.

Autori porovnali tri klasifikátory založené na modeli DeBERTaV3-large. Prvý dostával iba pôvodný text položky, druhý iba kritiku vygenerovanú modelom Qwen3 a tretí, označený ako fusion model, spájal reprezentácie otázky aj strojovej kritiky. Kritika mala pomenovať možné nedostatky, no nepredstavovala nezávislý odborný posudok: vytvoril ju ďalší jazykový model podľa dostupného textu. Najlepší kombinovaný systém dosiahol presnosť 0,75, F1 skóre 0,64, citlivosť 0,64, špecificitu 0,81 a plochu pod ROC krivkou AUC 0,80. Ide o užitočný experimentálny signál, nie o dôkaz, že možno odbornú kontrolu bezpečne automatizovať.

Výsledok AUC 0,80 znamená, že model vedel pomerne dobre zoradiť prijaté a vyradené položky podľa odhadovaného rizika. Neznamená to však, že v štyroch z piatich prípadov rozhodol správne, ani že rozpoznal konkrétnu príčinu problému. Celkové metriky navyše miešajú rozdielne typy nedostatkov: systém môže byť silný pri ľahšie viditeľnej obsahovej chybe a zároveň slabý pri kultúrnej zaujatosti alebo pri bariére pre ľudí so zdravotným znevýhodnením. Práve rozpad výsledkov podľa predmetov a dôvodov vyradenia preto prináša dôležitejšiu informáciu než jedno súhrnné číslo.

Matematika a jazyk vytvorili dva odlišné obrazy

Pri matematických položkách dosiahol fusion model F1 skóre 0,73 a AUC 0,86, zatiaľ čo pri anglickom jazyku iba F1 0,51 a AUC 0,72. Štúdia neposkytuje definitívne kauzálne vysvetlenie rozdielu. Rozumnou hypotézou je, že niektoré matematické chyby sú pevnejšie zachytené v logickej a textovej štruktúre zadania, kým jazykové úlohy viac závisia od širšieho kontextu, kultúrnych predpokladov a interpretácie. Túto domnienku však nemožno vydávať za overený záver, pretože experiment neizoloval všetky možné príčiny rozdielu.

Autori skúšali aj zníženie rozhodovacieho prahu z 0,5 na 0,25. Citlivosť sa potom zvýšila na 0,88 pri jazykových a 0,91 pri matematických položkách, takže filter zachytil väčšiu časť problematických návrhov. Súčasne však špecificita klesla na 0,31, respektíve 0,56. V praxi by tak systém poslal na kontrolu veľa otázok, ktoré by mohli byť prijateľné. Takýto kompromis môže byť rozumný pri lacnom prvotnom triedení veľkého počtu strojovo generovaných návrhov, iba ak falošné poplachy nepreťažia ľudí a automatické skóre nebude slúžiť ako konečný verdikt.

Najvážnejšie obmedzenie sa objavilo pri položkách označených pre zaujatosť, citlivosť, férovosť alebo prístupnosť, najmä v jazykovej časti. Fusion model ich podľa autorov identifikoval slabo. To koriguje príliš optimistickú predstavu, že všeobecný jazykový model dokáže nahradiť odborníkov na inkluzívne testovanie. Niektoré bariéry nemusia byť viditeľné bez poznania cieľovej populácie, spôsobu administrácie, pomôcok, kultúrneho prostredia alebo empirických odpovedí žiakov. Textový klasifikátor zároveň nemá k dispozícii psychometrické dáta, ktoré vzniknú až pilotným overením položky.

Užitočný filter, nie automatický schvaľovateľ

Praktickým použitím môže byť prioritizácia odborného preskúmania. Systém môže upozorniť na položky s vysokým odhadom rizika, zoskupiť podobné pripomienky alebo pomôcť editorom rozhodnúť, čím začať. Konečné posúdenie by však malo zostať na kombinácii predmetových expertov, psychometrikov a odborníkov na férovosť a prístupnosť. Pri závažných rozhodnutiach treba navyše uchovať dôvod, verziu modelu, použitý prah aj následné rozhodnutie človeka. Bez takejto stopy by organizácia ťažko zisťovala, či automatizácia systematicky prehliada určitý typ problému.

Význam práce rastie s rozširovaním automatického generovania otázok. Jazykový model môže vytvoriť množstvo návrhov rýchlejšie, než ich ľudia dokážu preveriť, takže kontrola sa stáva úzkym miestom. Spojenie generátora a automatického hodnotiteľa však môže vytvoriť uzavretú slučku: jeden model produkuje otázky a druhý ich filtruje podľa historických rozhodnutí, ktoré môžu obsahovať vlastné slepé miesta. Ak oba systémy uprednostňujú podobné formulácie, môžu potláčať nové, ale legitímne typy položiek alebo opakovane reprodukovať staršie vzory.

Prevádzkovateľ by preto nemal merať iba priemernú presnosť. Potrebuje sledovať výsledky oddelene podľa predmetu, vekovej skupiny, jazyka, typu úlohy a relevantných skupín používateľov. Dôležité je porovnávať model s novými odbornými rozhodnutiami, nie iba s historickým štítkom, a pravidelne kontrolovať falošne negatívne prípady. Pri férovosti je totiž nebezpečné práve to, čo filter neoznačil. Nasadenie má zmysel iba vtedy, ak skutočne šetrí odborný čas bez toho, aby sa slabšie preskúmanie presunulo na citlivé kategórie.

Slovenský a európsky kontext

Pre slovenské školy, vydavateľstvá a poskytovateľov digitálneho vzdelávania je podstatné, že výsledky pochádzajú z jedného veľkého testovacieho programu, dvoch predmetových oblastí a anglického jazykového prostredia. Nie je overené, či by rovnaký systém fungoval pri slovenčine, menších dátových súboroch, maturitných úlohách alebo testoch pre žiakov so špecifickými potrebami. Slovenčina má inú morfológiu a menší objem dostupných tréningových dát; to môže prenos ovplyvniť, no jeho veľkosť treba zmerať lokálnym pilotom, nie iba predpokladať.

Európsky akt o umelej inteligencii zaraďuje medzi vysokorizikové niektoré systémy používané vo vzdelávaní, napríklad na určovanie prístupu alebo prijatia, hodnotenie výsledkov vzdelávania, usmerňovanie vzdelávacieho procesu či monitorovanie zakázaného správania počas skúšok. Nástroj, ktorý iba interne filtruje návrhy testových položiek, nemusí automaticky patriť do každej z týchto kategórií; záleží na jeho zamýšľanom účele a skutočnom vplyve na ľudí. Ak by však jeho výstup priamo formoval hodnotenie žiakov alebo prístup k vzdelaniu, právne a riadiace požiadavky by boli podstatne prísnejšie.

Rada Európy pri AI vo vzdelávaní zdôrazňuje inkluzívnosť, transparentnosť, ochranu súkromia a zmierňovanie algoritmickej zaujatosti. Zistenia preprintu sú s týmto rámcom v súlade najmä v jednom bode: technická úspešnosť v priemere nepostačuje, ak systém zlyháva pri skupinách alebo vlastnostiach, ktoré potrebujú najväčšiu ochranu. Otvorenou otázkou zostáva prenos na iné jazyky a inštitúcie, stabilita po zmene modelu Qwen3, náklady ľudskej kontroly aj to, či kritiky prinášajú viac než jednoduchšie metódy. Najbezpečnejší záver preto znie, že LLM kritika môže rozšíriť triáž, ale nemá nahradiť odborné a empirické overovanie testových položiek.