AI výskum

AI21 tvrdí, že budúcnosť agentov nie je v jednom veľkom black-boxe, ale v modulárnom rozdelení na reasoning, plánovanie a exekúciu. Takáto architektúra má zlepšiť auditovateľnosť, diagnostiku chýb aj praktické ladenie enterprise workflow.

AI21 opisuje nový typ skreslenia pri hodnotení coding agentov: posudzovateľ môže uprednostniť riešenie, ktoré vyzerá ako referenčná odpoveď, aj keď funkčne zlyhá. Téme dodáva váhu aj skoršie stanovisko OpenAI k obmedzeniam SWE-bench Verified.

Artificial Analysis spustil AA-AgentPerf, nový benchmark pre AI hardvér a inferenčné stacky. Namiesto krátkych dotazov používa reálne agentické trajektórie s dlhým kontextom, takže lepšie ukazuje, čo infraštruktúra zvládne v produkcii.

Nová práca sa vracia k téme uncertainty quantification pri konvolučných sieťach. Autori tvrdia, že bootstrap nad convexified neural networks môže ponúknuť konzistentnejší a výpočtovo úspornejší odhad neistoty pre rizikové nasadenia.

Nová práca na kontinuálnych multi-timescale agentoch ukazuje, že pridané moduly na self-monitoring či seba-predikciu neprinášajú samy osebe merateľný zisk. Zlepšenie sa objaví až vtedy, keď sú tieto signály priamo zapojené do rozhodovacej cesty agenta.

ArcDeck je multiagentový systém, ktorý pri prevode vedeckého článku do slidov najprv rekonštruuje logiku argumentu a až potom skladá osnovu a vizuály. Signálom je, že lepší výsledok neprichádza len z väčšieho modelu, ale zo štruktúry workflow.

Práca na arXive tvrdí, že aj silné jazykové modely vrátane GPT-4o majú väčší problém s abstraktným významom, než sa často predpokladá. Výsledok je dôležitý najmä preto, že odhaľuje slabinu, ktorú nezakryjú bežné benchmarky ani všeobecný dojem z plynulého textu.

Nový paper ukazuje, že samostatné moduly seba-monitorovania agentom veľmi nepomáhajú. Zisk sa objavuje až vtedy, keď sa ich výstupy napoja priamo na rozhodovaciu cestu.

Nová práca tvrdí, že jazykové modely môžu pomôcť s prekladom rozdielnych schém zdravotných záznamov. Cieľom je, aby model fungoval aj tam, kde sa štruktúra dát medzi nemocnicami líši.

Nový paper pripomína, že veľké jazykové modely nemusia mať pevné chápanie abstraktných významov. Na úlohe ReCAM zaostávajú aj za staršími fine-tuned modelmi.

Nová práca GoodPoint skúša urobiť z recenzentskej spätnej väzby nie len generovaný text, ale prakticky použiteľné odporúčania. Kľúčová myšlienka je nezvyčajná: kvalitu feedbacku odhadovať cez to, ako naň reagujú samotní autori vedeckých článkov.

VAKRA chce merať agentov v prostredí, kde nestačí pekná ukážka ani jeden tool call. Benchmark kombinuje tisíce lokálnych API, databázy a dokumenty, aby bolo vidieť, kde sa agent láme pri viac-krokovom rozhodovaní a reálnom vykonávaní úloh.