Tag
Všetky publikované články, v ktorých sa téma KV cache objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
Výskumníci opisujú celoročnú produkčnú stopu platformy Chutes naprieč používateľmi, populárnymi aj menej využívanými modelmi. Sľubovaný súbor môže zlepšiť testovanie cache, plánovania kapacity a rozdeľovania záťaže, jeho verejné sprístupnenie a anonymizáciu však zatiaľ nemožno overiť.
Referenčná architektúra spája GPU cache, operačnú pamäť a zdieľaný NVMe pool Curvine. V teste zrýchlila čas do prvého tokenu až 2,7-násobne, výsledok však závisí od prekrývania promptov a siete.
Apple Machine Learning Research ukazuje, že tlak na lacnejší serving nemusí ísť len cez kvantizáciu či skracovanie kontextu. Nová práca skúša zmenšiť KV cache po hĺbke siete a zachovať pritom výkon aj priepustnosť.