aifeed.skAI Feed

Kategória

AI výskum

Výskumné práce, metódy, reprodukovateľné výsledky a posuny v bezpečnosti modelov.

Apple zmapoval, kedy difúzne jazykové modely strácajú výhodu paralelného generovania
Výskum5 min čítania4 zdroje

Apple zmapoval, kedy difúzne jazykové modely strácajú výhodu paralelného generovania

Analýza Apple a univerzitných partnerov ukazuje, že paralelné generovanie tokenov samo osebe nezaručuje rýchlejšiu ani lacnejšiu inferenciu. Difúzne jazykové modely narážajú pri dlhom kontexte na opakované výpočty a pri dávkovom spracovaní zatiaľ lepšie škálujú autoregresívne modely; rozhodujúce bude zníženie počtu vzorkovacích krokov.

ARBITRAGE zrýchľuje matematické uvažovanie LLM až dvojnásobne, zatiaľ však iba v testoch
Výskum5 min čítania5 zdrojov

ARBITRAGE zrýchľuje matematické uvažovanie LLM až dvojnásobne, zatiaľ však iba v testoch

Výskumníci z UC Berkeley, Apple, ICSI a LBNL navrhli router, ktorý pri každom kroku odhaduje, či sa oplatí zapojiť výkonnejší jazykový model. Na matematických benchmarkoch hlásia až približne dvojnásobné zníženie latencie pri porovnateľnej presnosti, no výsledky pochádzajú z preprintu, vybraných otvorených modelov a kontrolovaného hardvéru.

Apple otestoval 1,7-miliardový neautoregresívny jazykový model v štyroch krokoch
Výskum4 min čítania3 zdroje

Apple otestoval 1,7-miliardový neautoregresívny jazykový model v štyroch krokoch

Apple vytrénoval 1,7-miliardový základný flow model na 2,1 bilióna tokenov a samodestiláciou z neho vytvoril Categorical Flow Map, ktorá generuje text už v štyroch inferenčných krokoch. Výsledok rozširuje možnosti paralelného generovania, zatiaľ však nepreukazuje nižšiu latenciu ani vyššiu kvalitu oproti porovnateľným autoregresívnym modelom.