#leaderboardy

Projekt QIMMA od Technology Innovation Institute tvrdí, že arabské benchmarky sú plné systematických chýb a že bez predbežnej validácie môžu leaderboardy skôr mýliť než presne merať kvalitu modelov.

TII cez Hugging Face spustil QIMMA, arabský leaderboard, ktorý najprv validuje samotné benchmarky a až potom hodnotí modely. Signál je dôležitý pre firmy, ktoré chcú merať jazykové modely na menej pokrytých jazykoch oveľa spoľahlivejšie.