Tag
Všetky publikované články, v ktorých sa téma reasoning objavuje ako dôležitý kontext. Aktuálne 15 textov v archíve.
AWS opisuje Self-Distilled Reasoning pre Amazon Nova: postup, ktorý pri supervised fine-tuningu využíva vlastné thinking tokeny základného modelu, keď tréningové dáta neobsahujú zlaté reťazce uvažovania.
Nový preprint navrhuje adaptívne jadrové orezávanie pre dlhé reťazce uvažovania. Metóda mení šírku výberu tokenov podľa neistoty modelu a hlási zisky najmä pri matematike a dodržiavaní inštrukcií.
Preprint na arXiv skúma chain-of-thought ako iteratívne spresňovanie odhadu v zjednodušenom modeli in-context učenia. Autori opisujú prechody medzi rýchlym zlepšovaním, saturáciou a overthinkingom.
OpenAI opisuje dôkaz k Erdősovmu problému jednotkových vzdialeností ako míľnik pre AI v matematike. Dôležité je nielen tvrdenie o výsledku, ale aj to, ako bude komunita overovať autonómne nájdené dôkazy.
Nový arXiv paper navrhuje tréningový rámec, v ktorom si jazykový model počas posilňovaného učenia pýta cielenú pomoc od troch špecializovaných agentov. Autori tvrdia, že takto vie zlepšiť matematické, vedecké aj programátorské úlohy bez toho, aby po tréningu na pomocníkov ďalej spoliehal.
Výskumníci z BAIR opisujú posun od dlhého lineárneho reťazca uvažovania k adaptívnemu paralelnému riešeniu, ktoré má znižovať latenciu aj chaos v kontexte.
Apple navrhuje spôsob, ako model ešte pred generovaním odpovede odhadne náročnosť otázky a pridelí jej primeraný rozpočet na uvažovanie. Cieľom je ušetriť tokeny bez citeľnej straty presnosti.
IBM tvrdí, že medzistupeň medzi pretréningom a post-tréningom nie je kozmetická optimalizácia. V stovkách experimentov mal zásadne pomôcť pri reasoning úlohách.
Práca EasyRL spája trochu označených „ľahkých“ dát, pseudo-labeling a postupné zosilňovanie náročnosti. Autori tvrdia, že tým zlepšujú reasoning výkon bez nákladov typických pre plne anotované RL pipeline.
Paper „The Spectral Geometry of Thought“ tvrdí, že v skrytých aktiváciách transformerov existujú opakujúce sa spektrálne vzory rozlišujúce reasoning od faktickej odpovede a že môžu pomôcť odhadnúť správnosť ešte pred finálnym výstupom.
Paper Think Multilingual, Not Harder tvrdí, že code-switching v reasoning modeloch nemusí byť chyba, ale užitočné správanie. Autori pripravili dátovo úsporný framework, ktorým chcú modely naučiť prepínať jazyky vtedy, keď to zlepšuje samotné uvažovanie.
Nová práca LACE navrhuje, aby sa paralelné reasoning vetvy počas inferencie navzájom ovplyvňovali. Namiesto viacerých izolovaných pokusov tak vzniká koordinované hľadanie riešenia, ktoré podľa autorov citeľne zvyšuje presnosť na náročných úlohách.