#arabčina

Nový benchmark AHA-Memes obsahuje 5-tisíc ručne anotovaných a približne 66-tisíc strojovo označených arabských mémov. Porovnáva textové, obrazové aj multimodálne modely a upozorňuje na význam kultúrneho kontextu.

TII cez Hugging Face spustil QIMMA, arabský leaderboard, ktorý najprv validuje samotné benchmarky a až potom hodnotí modely. Signál je dôležitý pre firmy, ktoré chcú merať jazykové modely na menej pokrytých jazykoch oveľa spoľahlivejšie.