Tag
Všetky publikované články, v ktorých sa téma Hugging Face objavuje ako dôležitý kontext. Aktuálne 32 textov v archíve.
Nový text na Hugging Face upozorňuje, že hodnotenie modelov a agentov už nie je len doplnok po tréningu. Pri drahých benchmarkoch, opakovaných behoch a multimodelových porovnaniach sa z evaluácií stáva samostatný nákladový problém.
DeepSeek predstavil radu V4 s miliónovým kontextom, no podstatnejší je iný posun: firma tvrdí, že nové modely výrazne znižujú priebežné výpočtové náklady aj pamäťové nároky pri veľmi dlhých behoch. To je dôležité najmä pre agentov, ktorí si do kontextu nesú históriu nástrojov, logov a medzikrokov.
Hugging Face reaguje na rastúci záujem o AI v kyberbezpečnosti tvrdením, že otvorené nástroje, auditovateľné workflowy a menšie špecializované modely môžu byť pre obranu dôležitejšie než uzavreté frontier systémy.
NVIDIA na Hugging Face ukazuje, ako postaviť kórejského AI agenta nad šiestimi miliónmi syntetických person vytvorených z oficiálnych štatistík bez práce s osobnými údajmi.
Projekt QIMMA od Technology Innovation Institute tvrdí, že arabské benchmarky sú plné systematických chýb a že bez predbežnej validácie môžu leaderboardy skôr mýliť než presne merať kvalitu modelov.
TII cez Hugging Face spustil QIMMA, arabský leaderboard, ktorý najprv validuje samotné benchmarky a až potom hodnotí modely. Signál je dôležitý pre firmy, ktoré chcú merať jazykové modely na menej pokrytých jazykoch oveľa spoľahlivejšie.
VAKRA chce merať agentov v prostredí, kde nestačí pekná ukážka ani jeden tool call. Benchmark kombinuje tisíce lokálnych API, databázy a dokumenty, aby bolo vidieť, kde sa agent láme pri viac-krokovom rozhodovaní a reálnom vykonávaní úloh.
IBM Research a Hugging Face rozobrali benchmark VAKRA, ktorý preveruje agentov v prostrediach bližších podnikovým workflowom než klasickým demo úlohám. Výsledok je nepríjemný: aj silné modely často zlyhávajú práve v reťazení nástrojov, mapovaní schém a práci s viacerými zdrojmi naraz.