#výskum

Čerstvý preprint ukazuje, že benchmarky pre jazykové modely môžu prenášať chybné alebo nejednoznačné štítky do ďalších testov. Autori používajú štatistickú metódu IRT a odpovede 114 modelov na odhad, kde sú položky pravdepodobne nesprávne označené.

Nový preprint analyzuje dlhodobé trajektórie používateľov Microsoft Bing Copilot a porovnáva ich s WildChat-4.8M. Záver je triezvy: ľudia si návyky pri práci s LLM väčšinou neprispôsobujú tak rýchlo, ako naznačujú agregované trendy.

Nový arXiv benchmark InteractBind posúva hodnotenie modelov pre proteín-ligand väzby od jednoduchého skóre k lokalizácii väzbových miest a typov interakcií.

Výskumníci pripravili reprodukovateľný Universal Dependencies štýl pipeline pre grécke parlamentné texty v katharevouse. Spája OCR rekonštrukciu, LLM asistovanú anotáciu, validáciu a pevné benchmarky.

Preprint Asymmetric Scaling Laws from Sparse Features opisuje model, v ktorom testovaciu chybu určujú zriedkavé vlastnosti nevidené v trénovacích dátach. Výsledkom sú odlišné škálovacie exponenty pred a po prahu interpolácie.

Nový výskumný návrh z arXivu ukazuje, ako využiť smerovacie váhy v agentických a zložených AI systémoch na lacnú hierarchickú atribúciu. BOHM nenahrádza SHAP vo všetkom, ale rieši praktický problém, keď jednotlivé komponenty nie sú dostupné na opakované testovanie.

OpenAI opisuje dôkaz k Erdősovmu problému jednotkových vzdialeností ako míľnik pre AI v matematike. Dôležité je nielen tvrdenie o výsledku, ale aj to, ako bude komunita overovať autonómne nájdené dôkazy.

Preprint yvsoucom-iterkit opisuje deterministický AutoML rámec, ktorý zapisuje každú konfiguráciu pipeline ako analyzovateľný log a na dátach diabetu a mŕtvice skúma, ktoré komponenty naozaj menia výkon.

Nový arXiv preprint navrhuje varianty HSIC testu, ktoré pri testovaní nezávislosti nahrádzajú drahú permutačnú kalibráciu štandardným normálnym prahom a v experimentoch bežia 25- až 60-krát rýchlejšie.

Čerstvý preprint na arXive navrhuje dvojrozmerný rámec pre návrh AI agentov, ktorý prepája to, čo agent robí, s tým, ako je jeho workflow architektonicky poskladané.

Preprint AESOP upozorňuje na nový typ útoku proti zloženým inference pipeline. Namiesto lámana jedného modelu cieli na výber vykonávacej cesty a podľa autorov vie prudko nafúknuť výpočtové náklady aj latenciu celého systému.

Nový preprint ξ-DPO tvrdí, že pri direct preference optimization vie nahradiť ťažko čitateľnú margin schému interpretovateľnejším pomerovým cieľom. Pre tímy, ktoré dolaďujú modely na ľudských preferenciách, to môže znamenať menej slepého skúšania a ľahšie prenositeľné nastavenia.