Výskum
Autor: Redakcia AI Feed
Výskumníci zrýchľujú inferenciu pri dlhom kontexte pomocou adaptívneho výberu tokenov
Nový prístup sľubuje nižšie výpočtové náklady pri spracovaní dlhých vstupov bez dramatickej straty kvality. Pre poskytovateľov modelov môže ísť o dôležitý krok k lacnejšiemu nasadeniu.