#inferencie

Amazon Web Services sprístupnil v SageMaker AI Studio používateľské rozhranie, ktoré má tímom odporúčať konfiguráciu inferencie pre generatívne modely. Novinka prenáša časť benchmarkovania z API do vizuálneho workflowu s profilmi použitia, porovnaním výsledkov a nasadením overenej konfigurácie.

Cerebras oznámil spoluprácu s juhokórejskou firmou Upstage. Model Solar 31B má na Cerebras Inference dosahovať až 2 000 tokenov za sekundu a cieliť na realtime podnikové aplikácie.

Apple opisuje MemoryLLM, výskumný prístup na oddelenie feed-forward vrstiev od self-attention. Cieľom je lepšie pochopiť, ako tokeny pristupujú k pamäťovým miestam v parametroch a či sa časť výpočtu dá presúvať medzi VRAM a úložiskom.

Cerebras spustil private preview funkcie Multi-LoRA pre Cerebras Inference. Firmy môžu obsluhovať viac LoRA adaptérov nad jedným základným modelom a prepínať ich po jednotlivých požiadavkách, čo má zjednodušiť nasadenie špecializovaných agentov aj znížiť náklady na podnikovú inferenciu.

AWS zverejnil detailný prípad Tomofunu, ktorý presúva detekciu správania domácich zvierat z GPU na čipy Inferentia2. Zaujímavý nie je len nižší účet za inferenciu, ale aj vzor, ako sa vision-language modely môžu s minimom zmien presúvať na špecializovaný hardvér mimo klasických GPU fariem.

Nová práca na arXive opisuje, ako PayPal testoval špekulatívne dekódovanie EAGLE3 nad doladeným modelom Nemotron. Pri vhodnom nastavení dosiahol citeľne vyššiu priepustnosť aj nižšiu latenciu a naznačuje, že časť agentických workloadov môže bežať lacnejšie bez ďalšieho hardvéru.

Google na Cloud Next predstavil ôsmu generáciu TPU v dvoch variantoch. TPU 8i cieli na rýchlu inferenciu pre agentické úlohy, zatiaľ čo TPU 8t je optimalizovaný na tréning veľkých modelov s masívnou pamäťovou kapacitou.

Nová práca LACE navrhuje, aby sa paralelné reasoning vetvy počas inferencie navzájom ovplyvňovali. Namiesto viacerých izolovaných pokusov tak vzniká koordinované hľadanie riešenia, ktoré podľa autorov citeľne zvyšuje presnosť na náročných úlohách.

Juhokórejský startup DeepX podľa Reuters pripravuje domáce IPO. Správa je zaujímavá najmä tým, že nejde o ďalšieho cloudového hráča, ale o firmu stavajúcu edge AI čipy pre úspornejšie lokálne nasadenie modelov v zariadeniach, priemysle a mobilite.

Výskumníci ukazujú, že sériu menších modelov možno koordinovať tak, aby spolu riešili zložitejšie úlohy bez potreby jedného extrémne drahého modelu. V praxi by to mohlo zmeniť ekonomiku inferencie.

Nový prístup sľubuje nižšie výpočtové náklady pri spracovaní dlhých vstupov bez dramatickej straty kvality. Pre poskytovateľov modelov môže ísť o dôležitý krok k lacnejšiemu nasadeniu.