Tag
Všetky publikované články, v ktorých sa téma lokálna AI objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
Nová knižnica @huggingface/kernels sprístupňuje optimalizované výpočtové jadrá pre WebGPU. Má zrýchliť lokálnu inferenciu v prehliadači, no jej praktický dosah bude závisieť od hardvéru, ovládačov a podpory WebGPU.
Muse Glimmer spája multimodálne vstupy, volanie nástrojov a otvorené váhy v modeli určenom na lokálny beh. Dostupnosť pre 24 až 32 GB pamäte však závisí od kvantizácie a bezpečné nasadenie si vyžaduje ďalšie ochranné vrstvy.
LFM2.5-2.6B prináša lokálne volanie nástrojov, 128-tisícový kontext a širokú podporu inferenčných rámcov. Výkonové čísla pochádzajú najmä od výrobcu a medzi 16 podporovanými jazykmi nie je slovenčina.