#inferencie

Nová práca LACE navrhuje, aby sa paralelné reasoning trajektórie pri inferencii navzájom ovplyvňovali cez cross-thread attention. Namiesto viacerých izolovaných pokusov tak vzniká koordinované hľadanie riešenia s potenciálom znížiť redundantné chyby.

Amazon sprístupnil G7e inštancie s GPU NVIDIA RTX PRO 6000 Blackwell Server Edition v SageMaker AI. Dôležité nie sú len nové čipy, ale aj to, že AWS tlačí jednou GPU konfiguráciou hosting veľkých open modelov bližšie k praktickej ekonomike nasadenia.

Nová práca LACE navrhuje, aby sa paralelné reasoning vetvy počas inferencie navzájom ovplyvňovali. Namiesto viacerých izolovaných pokusov tak vzniká koordinované hľadanie riešenia, ktoré podľa autorov citeľne zvyšuje presnosť na náročných úlohách.

Juhokórejský startup DeepX podľa Reuters pripravuje domáce IPO. Správa je zaujímavá najmä tým, že nejde o ďalšieho cloudového hráča, ale o firmu stavajúcu edge AI čipy pre úspornejšie lokálne nasadenie modelov v zariadeniach, priemysle a mobilite.

Výskumníci ukazujú, že sériu menších modelov možno koordinovať tak, aby spolu riešili zložitejšie úlohy bez potreby jedného extrémne drahého modelu. V praxi by to mohlo zmeniť ekonomiku inferencie.

Nový prístup sľubuje nižšie výpočtové náklady pri spracovaní dlhých vstupov bez dramatickej straty kvality. Pre poskytovateľov modelov môže ísť o dôležitý krok k lacnejšiemu nasadeniu.