#LLM inference

Všetky publikované články, v ktorých sa téma LLM inference objavuje ako dôležitý kontext.

Výskum22. apríla 2026

Dvojrozmerný early exit sľubuje rýchlejšiu inferenciu LLM pri klasifikácii

Nová práca kombinuje vrstvený aj vetný early exit pri LLM klasifikácii a ukazuje ďalšie zrýchlenie nad rámec bežných metód. Praktický prínos je najmä tam, kde sa úloha dá rozhodnúť už pri čiastočnom spracovaní vstupu.