ARBITRAGE zrýchľuje matematické uvažovanie LLM až dvojnásobne, zatiaľ však iba v testoch
Výskumníci z UC Berkeley, Apple, ICSI a LBNL navrhli router, ktorý pri každom kroku odhaduje, či sa oplatí zapojiť výkonnejší jazykový model. Na matematických benchmarkoch hlásia až približne dvojnásobné zníženie latencie pri porovnateľnej presnosti, no výsledky pochádzajú z preprintu, vybraných otvorených modelov a kontrolovaného hardvéru.
