Tag
Všetky publikované články, v ktorých sa téma reinforcement learning objavuje ako dôležitý kontext. Aktuálne 11 textov v archíve.
Nový preprint ukazuje dvojstupňový postup, v ktorom sa model so štandardnou pozornosťou prevedie na sliding-window attention a následne doladí posilňovaným učením pre matematické úlohy.
OpenEnv sa presúva pod otvorenejší koordinačný model. Cieľom je spoločné prostredie, v ktorom sa budú dať trénovať a hodnotiť agentické modely pracujúce s nástrojmi.
Práca o Boolean Task Algebra tvrdí, že v deterministických prostrediach stačia na skladanie cieľových úloh univerzálna a prázdna úloha. Ak sa výsledok potvrdí, môže znížiť tréningové náklady pri logickom skladaní správania agentov.
Nový mechanizmus Delta Weight Sync v TRL posiela medzi trénerom a inferenčným serverom iba zmenené časti váh. Cieľom je lacnejší a praktickejší asynchrónny RL tréning veľkých modelov.
Apple ukazuje, že pri titulkovaní obrázkov nestačí tlačiť len na dĺžku a detail. BalCapRL kombinuje viac cieľov naraz, aby multimodálne modely menej halucinovali a písali použiteľnejšie popisy.
ServiceNow na Hugging Face rozobralo migráciu z vLLM V0 na V1 pri RL tréningu modelov a ukázalo, že kľúčové nie sú len nové optimalizačné schémy, ale najmä korektné logproby, runtime defaulty a správa váh počas behu.
Apple zverejnil výskum PORTool, ktorý sa snaží zlepšiť tréning agentov pracujúcich s externými nástrojmi. Namiesto odmeňovania len podľa finálneho výsledku rozdeľuje zásluhu aj po jednotlivých krokoch, aby model lepšie pochopil, ktoré volania nástrojov boli skutočne užitočné.
Práca EasyRL spája trochu označených „ľahkých“ dát, pseudo-labeling a postupné zosilňovanie náročnosti. Autori tvrdia, že tým zlepšujú reasoning výkon bez nákladov typických pre plne anotované RL pipeline.
Nová práca na kontinuálnych multi-timescale agentoch ukazuje, že pridané moduly na self-monitoring či seba-predikciu neprinášajú samy osebe merateľný zisk. Zlepšenie sa objaví až vtedy, keď sú tieto signály priamo zapojené do rozhodovacej cesty agenta.
Nový paper ukazuje, že samostatné moduly seba-monitorovania agentom veľmi nepomáhajú. Zisk sa objavuje až vtedy, keď sa ich výstupy napoja priamo na rozhodovaciu cestu.
Nová výskumná práca testuje, či sebamonitorovanie, self-prediction a subjektívne vnímanie času skutočne pomáhajú agentom v RL prostredí. Výsledok je triezvy: prídavné metakognitívne moduly bez hlbšej integrácie takmer nepomáhajú a niekedy sú iba ozdobou vedľa rozhodovacieho jadra.