NVIDIA a Hugging Face tlačia kórejských agentov cez syntetické persony
NVIDIA na Hugging Face ukazuje, ako postaviť kórejského AI agenta nad šiestimi miliónmi syntetických person vytvorených z oficiálnych štatistík bez práce s osobnými údajmi.
Tag
#Hugging Face
Všetky publikované články, v ktorých sa téma Hugging Face objavuje ako dôležitý kontext. Aktuálne 65 textov v archíve.
QIMMA chce opraviť arabské leaderboardy skôr, než budú merať modely
Projekt QIMMA od Technology Innovation Institute tvrdí, že arabské benchmarky sú plné systematických chýb a že bez predbežnej validácie môžu leaderboardy skôr mýliť než presne merať kvalitu modelov.
QIMMA tlačí arabské leaderboardy ku kvalite, nie len k skóre
TII cez Hugging Face spustil QIMMA, arabský leaderboard, ktorý najprv validuje samotné benchmarky a až potom hodnotí modely. Signál je dôležitý pre firmy, ktoré chcú merať jazykové modely na menej pokrytých jazykoch oveľa spoľahlivejšie.
IBM a Hugging Face otvárajú VAKRA: benchmark pre agentov v API a dokumentoch
VAKRA chce merať agentov v prostredí, kde nestačí pekná ukážka ani jeden tool call. Benchmark kombinuje tisíce lokálnych API, databázy a dokumenty, aby bolo vidieť, kde sa agent láme pri viac-krokovom rozhodovaní a reálnom vykonávaní úloh.
VAKRA ukazuje, kde sa enterprise AI agenti lámu medzi API a dokumentmi
IBM Research a Hugging Face rozobrali benchmark VAKRA, ktorý preveruje agentov v prostrediach bližších podnikovým workflowom než klasickým demo úlohám. Výsledok je nepríjemný: aj silné modely často zlyhávajú práve v reťazení nástrojov, mapovaní schém a práci s viacerými zdrojmi naraz.