Databricks pridáva prompt caching pre otvorené modely a hlási rýchlejšiu inferenciu GPT-OSS
Databricks rozšíril automatické ukladanie opakovaných častí promptov aj na otvorené modely vo svojich Foundation Model API. Pri produkčnom nasadení GPT-OSS uvádza 2,5-násobný nárast priepustnosti a trojnásobne nižšiu mediánovú latenciu bez nutnosti manuálnej konfigurácie.