MemoryLLM od Apple skúma, či sa vrstvy FFN dajú čítať ako pamäť transformera
Apple opisuje MemoryLLM, výskumný prístup na oddelenie feed-forward vrstiev od self-attention. Cieľom je lepšie pochopiť, ako tokeny pristupujú k pamäťovým miestam v parametroch a či sa časť výpočtu dá presúvať medzi VRAM a úložiskom.