SIFT skúša podnikové triedenie dokumentov, ktoré sa učí z vlastných eskalácií na LLM

Preprint SIFT sa venuje problému, ktorý v podnikoch často zostáva skrytý za všeobecnými rečami o umelej inteligencii: triedenie dokumentov nie je ťažké iba modelovo, ale hlavne organizačne. Kým v laboratóriu stačí pripraviť označený dataset a natrénovať klasifikátor, v reálnej firme sa kategórie menia, nové typy dokumentov prichádzajú priebežne a ľudia sa obávajú systému, ktorý by sa sám preučil na horšie správanie. Autori preto navrhujú SIFT, teda Self-Improving, Frozen-gate Training.

Základná myšlienka je pragmatická. Väčšinu stránok netriedi veľký jazykový model, ale lacnejšia CPU pipeline: SPLADE sparse encoder pripraví reprezentáciu textu a nad ňou rozhoduje LightGBM hlava. LLM vstupuje do procesu iba pri nízkej istote. Vtedy slúži ako sudca, ktorý dá verdikt k problematickému dokumentu. Tento verdikt sa následne zapíše späť do označeného korpusu, takže systém z reálnej prevádzky postupne zbiera nové tréningové príklady.

Takýto návrh cieli na ekonomiku, nie na rekordné skóre jedného veľkého modelu. Ak by každú stránku triedil LLM, cena by pri veľkých archívoch a dennom toku dokumentov rýchlo narástla. Ak však LLM rieši len neistú menšinu, môže drahý model učiť lacnejší klasifikátor. Autori tvrdia, že s rastúcim korpusom má klesať miera eskalácie a presnosť lacnej vrstvy sa má zlepšovať používaním systému.

Dôležitá časť práce je spôsob nasadenia nových dokumentových rodín. SIFT podľa autorov nevyžaduje veľký označovací projekt vopred. Nová oblasť sa opisuje deklaratívnym balíkom: priestorom štítkov, kotviacimi frázami a slovníkom pre LLM sudcu. To môže byť praktické napríklad pri interných právnych dokumentoch, zákazníckych požiadavkách, faktúrach, reklamáciách alebo zdravotníckych formulároch, kde sa kategórie líšia medzi organizáciami a nie je jednoduché získať tisíce kvalitných anotácií.

Najväčším rizikom takéhoto systému je však tiché zhoršenie. Ak sa model učí z vlastnej prevádzky, môže začať posilňovať chyby, ktoré prešli do korpusu. Autori preto navrhujú dvojdielnu bránu pred povýšením nového modelu. Prvou časťou je kontrola F1 skóre na kritických štítkoch, druhou zmrazená zlatá regresná množina, na ktorej sa model nikdy netrénuje. Ak ktorákoľvek časť zistí regresiu, povýšenie sa zastaví.

Toto je podstatné, pretože SIFT nepredáva samoučenie ako magickú automatizáciu bez kontroly. Skôr ukazuje, že priebežné preučenie môže byť prijateľné len vtedy, ak má jasnú bezpečnostnú brzdu. V podnikových systémoch môžu byť niektoré štítky citlivejšie než iné: napríklad právne záväzné dokumenty, urgentné sťažnosti alebo formuláre s osobnými údajmi. Zlepšenie pri bežných kategóriách nesmie ospravedlniť zhoršenie tam, kde chyba nesie vysoké náklady.

Pre prax je zaujímavé aj to, že architektúra používa interpretovateľnejšie a prevádzkovo dostupnejšie komponenty. SPLADE a LightGBM sa dajú spustiť lacnejšie než veľké generatívne modely a často sa jednoduchšie monitorujú. LLM sudca potom funguje ako drahá expertná vrstva, nie ako jediný motor systému. Takéto vrstvenie môže byť realistickejšie pre firmy, ktoré potrebujú stabilné SLA, audit a rozumný účet za inferenciu.

SIFT zároveň zapadá do širšieho trendu hybridných AI systémov. Namiesto otázky, či použiť klasický model alebo LLM, sa navrhuje kombinácia: lacný klasifikátor spracuje isté prípady, LLM rieši neistotu a regresná brána kontroluje, či sa systém nezhoršuje. Ak sa tento vzor osvedčí, môže sa objaviť aj mimo dokumentovej klasifikácie, napríklad pri smerovaní ticketov, kontrole compliance alebo predbežnom triedení vedeckých textov.

Treba však dodať, že ide o preprint, nie hotový priemyselný štandard. Otvorené zostávajú otázky kvality LLM sudcu, odolnosti voči driftu vstupov, útokom cez škodlivý text v dokumentoch a správneho nastavenia prahov neistoty. Aj tak je práca hodnotná, pretože rieši konkrétnu medzeru medzi akademickým klasifikátorom a podnikovou prevádzkou: ako sa učiť z nových prípadov bez toho, aby sa automatické preučenie stalo neviditeľným zdrojom regresií.