Tag
Všetky publikované články, v ktorých sa téma lokálna AI objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
Nová zmena v llama.cpp odstraňuje úzke miesta webového rozhrania pri streamovaní odpovedí. Najpomalší blok sa podľa meraní autora zrýchlil z 210,36 na 2,67 milisekundy na token, pričom samotné inferenčné jadro sa nemenilo.
Ollama oznámila investíciu 88 miliónov dolárov a tvrdí, že jej lokálnu a cloudovú vrstvu pre otvorené modely používa 8,9 milióna vývojárov.
Ollama v preview prepája svoj lokálny stack s frameworkom MLX a sľubuje výrazne rýchlejšie spúšťanie modelov na Apple Silicon. Pre používateľov Macov je dôležité, že lokálne agentické workflow sa tým posúvajú z hobby režimu bližšie k serióznej práci.