#evaluácia modelov

Nový preprint preveruje klinické interview benchmarky pre detekciu depresie štyrmi sondami. Ukazuje, že oficiálne splitovanie môže meniť poradie modelov, silné výsledky sa horšie prenášajú medzi dátovými sadami a textové signály sa správajú inak než audio.

Projekt QIMMA od Technology Innovation Institute tvrdí, že arabské benchmarky sú plné systematických chýb a že bez predbežnej validácie môžu leaderboardy skôr mýliť než presne merať kvalitu modelov.