Výskum
Autor: Redakcia AI Feed
Dvojrozmerný early exit sľubuje rýchlejšiu inferenciu LLM pri klasifikácii
Nová práca kombinuje vrstvený aj vetný early exit pri LLM klasifikácii a ukazuje ďalšie zrýchlenie nad rámec bežných metód. Praktický prínos je najmä tam, kde sa úloha dá rozhodnúť už pri čiastočnom spracovaní vstupu.