#speculative decoding

Poľská práca o Bielik 11B a UAG-Extended MLX-LM testuje speculative decoding medzi modelovými rodinami s odlišnými tokenizérmi na Apple Silicon. Výsledok je dôležitý pre lokálne nasadzovanie väčších modelov tam, kde nie je k dispozícii drahý GPU server.

AWS ukazuje, že pri decode-heavy úlohách možno cez speculative decoding citeľne znížiť cenu za výstupný token aj latenciu. Praktický odkaz je dôležitý: optimalizácia inferencie sa opäť stáva jednou z hlavných súťaží AI infraštruktúry.