Tag
Všetky publikované články, v ktorých sa téma evaly objavuje ako dôležitý kontext. Aktuálne 4 textov v archíve.
Čerstvý preprint ukazuje, že benchmarky pre jazykové modely môžu prenášať chybné alebo nejednoznačné štítky do ďalších testov. Autori používajú štatistickú metódu IRT a odpovede 114 modelov na odhad, kde sú položky pravdepodobne nesprávne označené.
Americký NIST premenoval konzorcium AI Safety Institute na širšie NIST AI Consortium, otvára členstvo novým organizáciám a presúva dôraz na meranie, evaly, inovácie a adopciu AI.
Nový technický návod AWS spája Bedrock, LangSmith a text-to-SQL agenta do praktického postupu na offline testovanie a online monitorovanie agentov. Téma je dôležitá pre tímy, ktoré chcú agentov dostať z demo fázy do produkcie.
Amazon Bedrock AgentCore pridáva vrstvu, ktorá z produkčných trás navrhuje úpravy promptov a popisov nástrojov a vie ich overovať dávkovým hodnotením aj A/B testom. Je to dôležitý posun od stavania agentov k ich systematickému dolaďovaniu po nasadení.