Tag
Všetky publikované články, v ktorých sa téma evaluácia objavuje ako dôležitý kontext. Aktuálne 4 textov v archíve.
Zepto podľa Databricks nasadilo evaluačný rámec pre viacagentovú podporu s trasovaním, referenčnými dátami a kontrolou pred produkciou. Firma uvádza vyše 80 % automaticky vybavených tiketov a pokles nákladov o 65 %.
Nová štúdia ukazuje, že výsledky grafových neurónových sietí môžu skresľovať slabé benchmarky, diferencované dáta a nedostatočne vyladené lineárne baseline modely.
Ai2 zostavilo benchmark z reálnych individuálnych hodín matematiky, v ktorom model rozhoduje medzi primeranou pomocou a požiadavkou na samostatné uvažovanie. Aktualizované podklady zahŕňajú 520 vyvážených rozhodovacích momentov a 7 280 prehratí siedmich modelov; výsledky však hodnotia správanie v simulácii, nie skutočné učenie detí.
Hugging Face a Hume AI predstavili Real World VoiceEQ, rozsiahly benchmark pre hlasové modely. Namiesto samotnej chybovosti prepisu sleduje, či systémy zachytia emóciu, neistotu, identitu hlasu, šum a prirodzenosť reakcie v reálnom rozhovore.