Tag
Všetky publikované články, v ktorých sa téma evaluácia objavuje ako dôležitý kontext. Aktuálne 7 textov v archíve.
Metóda SGBR-HC vyberá približne dvadsať pásiem pre hyperspektrálnu klasifikáciu a zároveň ukazuje, že náhodné delenie pixelov môže nafúknuť presnosť o desiatky percentuálnych bodov. Dôležitý je preto priestorovo oddelený test.
Práca na arXive analyzuje 284 interpretovateľných jazykových vlastností naprieč výstupmi 27 LLM a desiatimi doménami. Výsledok naznačuje, že detekcia AI textu môže byť vysvetliteľná, ale jej spoľahlivosť závisí od modelu, domény aj typu textu.
Amazon rozširuje Bedrock AgentCore o vlastné kódové evaluátory. Firmy tak môžu popri hodnotení cez LLM zaviesť aj deterministické kontroly JSON schém, číselnej presnosti, poradia krokov či únikov PII.
Nový paper navrhuje Sem-ECE, spôsob merania kalibrácie pri otvorenom otázkovaní. Namiesto sebahodnotenia modelu sleduje, ako často sa pri vzorkovaní vracia k rovnakému významu odpovede.
Výskumníci na arXive navrhujú AM-PPI, prístup pre monitoring klinickej AI po nasadení, ktorý kombinuje viac prediktorov rôznej ceny a presnosti. Cieľom je znížiť potrebu drahého ručného označovania bez toho, aby sa oslabila štatistická spoľahlivosť dohľadu.
Nový preprint na arXive opisuje ladenie veľkých jazykových modelov ako pozorovateľný systémový problém. Namiesto izolovaných promptových úprav skladá postup od záchytu chyby cez evaluáciu a interpretáciu až po úpravy dát, parametrov a následné dolaďovanie.
Nová výskumná práca navrhuje Filtered Reasoning Score, ktorý hodnotí iba najsebaistejšie reasoning trace modelu namiesto jednoduchého priemerovania všetkých pokusov. Cieľom je rozlíšiť modely, ktoré vyzerajú rovnako dobre v presnosti, no opierajú sa o rozdielne kvalitné uvažovanie.