Výskumníci zrýchľujú inferenciu pri dlhom kontexte pomocou adaptívneho výberu tokenov
Nový prístup sľubuje nižšie výpočtové náklady pri spracovaní dlhých vstupov bez dramatickej straty kvality. Pre poskytovateľov modelov môže ísť o dôležitý krok k lacnejšiemu nasadeniu.