Tag
Všetky publikované články, v ktorých sa téma latencia objavuje ako dôležitý kontext. Aktuálne 6 textov v archíve.
Nový arXiv preprint opisuje agenta, ktorý kombinuje rýchly router a pomalší LLM meta-kontrolér pre meniace sa edge prostredie. V simuláciách znižuje latenciu oproti statickým stratégiám o 65 až 73 percent.
Preprint AESOP upozorňuje na nový typ útoku proti zloženým inference pipeline. Namiesto lámana jedného modelu cieli na výber vykonávacej cesty a podľa autorov vie prudko nafúknuť výpočtové náklady aj latenciu celého systému.
Amazon rozširuje SageMaker AI o službu, ktorá má namiesto ručného ladenia sama navrhnúť overené nasadenie generatívnych modelov. AWS tým reaguje na problém, že pri produkčnej inferencii dnes firmy často netrávia čas modelom, ale výberom inštancií, backendov a kompromisov medzi cenou a latenciou.
Nová práca kombinuje vrstvený aj vetný early exit pri LLM klasifikácii a ukazuje ďalšie zrýchlenie nad rámec bežných metód. Praktický prínos je najmä tam, kde sa úloha dá rozhodnúť už pri čiastočnom spracovaní vstupu.
Artificial Analysis spustil AA-AgentPerf, nový benchmark pre AI hardvér a inferenčné stacky. Namiesto krátkych dotazov používa reálne agentické trajektórie s dlhým kontextom, takže lepšie ukazuje, čo infraštruktúra zvládne v produkcii.
Gemini 2.5 sa posúva z demonštrácií do širšieho produktového balíka. Google zdôrazňuje nižšiu latenciu, dlhší kontext a lepšie nástroje pre firmy, ktoré model pripájajú k interným systémom.