Tag
Všetky publikované články, v ktorých sa téma Apple objavuje ako dôležitý kontext. Aktuálne 16 textov v archíve.
Výskumníci z Apple a Harvardu navrhujú pred unlearningom odfiltrovať tréningové body so zanedbateľným vplyvom na výstupy modelu. Na skúmaných jazykových a obrazových úlohách uvádzajú úsporu výpočtov až približne 50 %, nízky nameraný vplyv však sám osebe nedokazuje právne ani technicky úplné zabudnutie údajov.
Analýza Apple a univerzitných partnerov ukazuje, že paralelné generovanie tokenov samo osebe nezaručuje rýchlejšiu ani lacnejšiu inferenciu. Difúzne jazykové modely narážajú pri dlhom kontexte na opakované výpočty a pri dávkovom spracovaní zatiaľ lepšie škálujú autoregresívne modely; rozhodujúce bude zníženie počtu vzorkovacích krokov.
Výskumníci z UC Berkeley, Apple, ICSI a LBNL navrhli router, ktorý pri každom kroku odhaduje, či sa oplatí zapojiť výkonnejší jazykový model. Na matematických benchmarkoch hlásia až približne dvojnásobné zníženie latencie pri porovnateľnej presnosti, no výsledky pochádzajú z preprintu, vybraných otvorených modelov a kontrolovaného hardvéru.
Apple vytrénoval 1,7-miliardový základný flow model na 2,1 bilióna tokenov a samodestiláciou z neho vytvoril Categorical Flow Map, ktorá generuje text už v štyroch inferenčných krokoch. Výsledok rozširuje možnosti paralelného generovania, zatiaľ však nepreukazuje nižšiu latenciu ani vyššiu kvalitu oproti porovnateľným autoregresívnym modelom.
Benchmark DeepAmbigQA skúša, či vyhľadávacie LLM dokážu rozlíšiť nejednoznačné názvy a zostaviť úplný zoznam odpovedí. Výsledky autorov ukazujú vysokú presnosť jednotlivých položiek, ale slabé pokrytie celej požadovanej množiny.
DLR-Lock mení vnútornú architektúru jazykového modelu tak, aby zachoval jeho používanie, ale zvýšil náklady na spätný priechod a dolaďovanie. Ide o výskumnú obranu, nie o neprelomiteľný zámok.
Metóda Dual-Stage Registers zasahuje do obrazového enkodéra aj difúzneho denoizéra. V experimentoch autorov zlepšila viaceré ukazovatele generovania, výsledky však zatiaľ pochádzajú z nerecenzovaného preprintu.
Štúdia Apple oddeľuje vplyv dát, základného modelu a algoritmu pri preferenčnom ladení MLLM. Metóda BDHS znižuje závislosť od externého učiteľa, no výsledky zostávajú obmedzené na modely LLaVA a benchmarky.
Metóda LEAD kombinuje rozklad úlohy s krátkym výhľadom a prekrývajúcimi sa pokusmi. Má obmedziť situácie, keď jediný chybný krok nenávratne pokazí celé dlhé riešenie.
Dve nové práce z Apple Machine Learning Research riešia interaktívne dôkazy, pri ktorých overovateľ nemusí čítať celé dáta. Pre AI je to dôležitý základ pre auditovanie modelov, dátových analýz a tvrdení, ktoré vznikajú nad rozsiahlymi distribúciami.
Apple opisuje novú rodinu AFM 3 pre Apple Intelligence: dva modely majú bežať priamo na zariadeniach a tri serverové varianty na Private Cloud Compute, vrátane výkonnejšej konfigurácie s Google Cloud a GPU od NVIDIA.
Apple ukazuje, že pri titulkovaní obrázkov nestačí tlačiť len na dĺžku a detail. BalCapRL kombinuje viac cieľov naraz, aby multimodálne modely menej halucinovali a písali použiteľnejšie popisy.