#AI infra

AWS zverejnil praktický návod, ako zrýchliť decode-heavy LLM workloady cez špekulatívne dekódovanie na Trainium2 a vLLM. Téma je dôležitá preto, že práve výstupná fáza generovania často rozhoduje o cene, latencii aj tom, či sa agentické a chatové aplikácie oplatia v produkcii.

NVIDIA predstavila rodinu open modelov Ising pre kalibráciu kvantových procesorov a dekódovanie chýb. Dôležité nie je len spojenie AI a kvantových čipov, ale aj to, že firma otvára váhy, workflow aj benchmarky pre praktické nasadenie.

Gemma 4 už nie je len ďalší open model od Googlu, ale čoraz viac aj praktický kandidát na lokálny alebo hybridný AI stack, najmä vďaka multimodalite, Apache licencii a rýchlej podpore v širšom ekosystéme.