Nový GPU kernel skúša zrýchliť LLM pri mierne riedkych váhach
Preprint a sprievodný kód ukazujú, že aj približne 50-percentná nepravidelná riedkosť váh môže na H100 priniesť reálne zrýchlenie inferencie, ak sa tomu prispôsobí formát matice aj CUDA kernel.