#dlhý kontext

DeepSeek predstavil radu V4 s miliónovým kontextom, no podstatnejší je iný posun: firma tvrdí, že nové modely výrazne znižujú priebežné výpočtové náklady aj pamäťové nároky pri veľmi dlhých behoch. To je dôležité najmä pre agentov, ktorí si do kontextu nesú históriu nástrojov, logov a medzikrokov.

Práca BASIS navrhuje spôsob, ako odpojiť pamäťové nároky backpropagácie od dĺžky sekvencie a batchu cez vyvážené skicovanie aktivácií. Ak sa výsledky potvrdia, môže ísť o praktický posun pre tréning dlhokontextových modelov na obmedzenom hardvéri.