#latencia

Nová práca kombinuje vrstvený aj vetný early exit pri LLM klasifikácii a ukazuje ďalšie zrýchlenie nad rámec bežných metód. Praktický prínos je najmä tam, kde sa úloha dá rozhodnúť už pri čiastočnom spracovaní vstupu.

Artificial Analysis spustil AA-AgentPerf, nový benchmark pre AI hardvér a inferenčné stacky. Namiesto krátkych dotazov používa reálne agentické trajektórie s dlhým kontextom, takže lepšie ukazuje, čo infraštruktúra zvládne v produkcii.

AWS ukazuje, že pri decode-heavy workloadoch môže špekulatívne dekódovanie citeľne znížiť latenciu aj cenu za vygenerovaný token. Kľúčom je vhodná dvojica draft a target modelu vo vLLM, nie iba najmenší možný draft model.

Gemini 2.5 sa posúva z demonštrácií do širšieho produktového balíka. Google zdôrazňuje nižšiu latenciu, dlhší kontext a lepšie nástroje pre firmy, ktoré model pripájajú k interným systémom.