TensorRT-LLM zapína novú správu KV cache pre desiatky rodín modelov
Predbežné vydanie TensorRT-LLM 1.3.0rc25 nastavuje KV Cache Manager V2 ako predvolenú voľbu pre široké spektrum modelov. NVIDIA súčasne upozorňuje na početné riziká pri distribuovanej prevádzke.