Nový preprint modeluje, kedy hlbší chain-of-thought pomáha a kedy už škodí

Nový preprint na arXiv s názvom „An Asymptotic Theory of Chain-of-Thought in In-Context Learning“ sa pokúša dať teoretický rámec otázke, ktorá je v praxi veľmi viditeľná, ale stále málo pochopená: prečo niekedy viac krokov uvažovania modelu pomáha, inokedy neprinesie nič a v niektorých situáciách môže dokonca škodiť. Autori nehodnotia konkrétny komerčný model. Namiesto toho stavajú zjednodušený matematický model, v ktorom chain-of-thought predstavuje iteratívne spresňovanie odhadu počas in-context učenia.

Chain-of-thought, teda generovanie medzikrokov uvažovania pred finálnou odpoveďou, sa stal bežným spôsobom, ako z veľkých jazykových modelov dostať lepšie riešenie zložitých úloh. V produktoch sa často skrýva za pojmy ako reasoning effort, deep thinking alebo plánovanie. Praktická skúsenosť však ukazuje, že dlhšie uvažovanie nie je univerzálne lepšie. Niekedy model po niekoľkých krokoch nájde správnu štruktúru problému, inokedy sa zamotá do vlastných medzizáverov.

Preprint sa sústreďuje na teoreticky riešiteľný prípad in-context predikcie váh v lineárnej regresii. Testovacie uvažovanie je v ňom reprezentované ako opakované spresňovanie odhadu parametrov. Tento rámec je výrazne jednoduchší než skutočné jazykové modely, ale umožňuje odvodiť presné vzťahy medzi hĺbkou uvažovania, množstvom predtrénovacích dát a dĺžkou kontextu. Práve táto jednoduchosť je jeho výhoda: namiesto ďalšieho benchmarku ponúka analytický pohľad na mechanizmus.

Autori opisujú ostrý prechod medzi rôznymi režimami. V jednom režime ďalšie kroky prinášajú rýchle, až exponenciálne zlepšovanie. V inom sa zlepšovanie spomaľuje na polynomiálne tempo. Potom prichádza saturácia, kde ďalšia hĺbka už veľa nepridá. A napokon sa objavuje overthinking, teda stav, v ktorom príliš dlhé uvažovanie zhoršuje generalizačnú chybu. Aj keď ide o matematický model, intuícia je blízka praxi: viac výpočtu pri inferencii má optimálny bod.

Dôležitý je vzťah medzi hĺbkou uvažovania a kontextom. Ak model nemá dostatok relevantných informácií alebo ak je problém v danom nastavení štatisticky zle určený, ďalšie kroky nemusia priniesť skutočný signál. Môžu len opakovane prepracovať neistý odhad. Naopak, ak je v kontexte dostatočná štruktúra, iteratívne spresňovanie môže pomôcť nájsť lepší odhad. To naznačuje, prečo sa chain-of-thought nedá hodnotiť izolovane od dát a úlohy.

Pre vývojárov AI systémov je praktický odkaz opatrný: parameter „viac rozmýšľaj“ by nemal byť zapnutý automaticky pre všetko. V produkčných systémoch má dlhšie uvažovanie cenu v latencii, peniazoch a niekedy aj spoľahlivosti. Ak existuje režim overthinkingu, potom je potrebné merať nielen presnosť pri najdlhšom dostupnom reasoning móde, ale aj krivku výkonu podľa počtu krokov. Optimálne nastavenie môže byť rozdielne pre matematiku, právne sumarizácie, kódovanie alebo vyhľadávanie v dokumentoch.

Pre výskum hodnotenia modelov je preprint zaujímavý aj tým, že posúva debatu od samotnej presnosti k dynamike inferencie. Bežný benchmark často porovnáva jednu odpoveď jedného modelu. Reálne reasoning systémy však používajú rôzne rozpočty na tokeny, plánovanie, spätnú kontrolu alebo paralelné riešenia. Teoretický model, ktorý ukazuje fázy zlepšovania a saturácie, môže pomôcť navrhnúť lepšie testy: také, ktoré zisťujú, kedy sa dodatočný výpočet oplatí.

Treba však zdôrazniť, že výsledky nemožno priamo preložiť na všetky LLM. Lineárna regresia a vysokodimenzionálna asymptotika sú kontrolovaný matematický svet, nie plná zložitosť prirodzeného jazyka, nástrojov a agentických pracovných tokov. Hodnota práce je skôr v tom, že ponúka presný príklad mechanizmu, ktorý môže existovať aj vo väčších systémoch. Preprint preto nie je dôkazom, že konkrétny model „premýšľa príliš dlho“, ale dobrým varovaním pred jednoduchou vierou, že viac krokov vždy znamená lepší výsledok.