OlmoEarth mení satelitné modely na infraštruktúru pre mapovanie celých kontinentov

Ai2 predstavilo produkčnú platformu OlmoEarth pre geopriestorovú inferenciu vo veľkom meradle. Nejde iba o ďalší model na rozpoznávanie satelitných snímok. Nová vrstva pokrýva celý postup od výberu vhodných záberov a ich prípravy cez spustenie modelu až po zostavenie geograficky súvislej mapy. Organizácie tak nemusia samy budovať zložitú distribuovanú infraštruktúru, aby mohli otvorené modely OlmoEarth použiť na monitorovanie odlesňovania, potravinovej bezpečnosti alebo rizika požiarov.

Modelová rodina OlmoEarth bola podľa Ai2 predtrénovaná približne na desiatich terabajtoch multimodálnych satelitných dát. Samotné váhy však riešia iba časť problému. Pri pozorovaní Zeme vstupujú do jedného výpočtu viaceré spektrálne pásma, snímače a časové rezy. Zábery pochádzajú od rôznych poskytovateľov, používajú rozdielne rozlíšenie i mapové projekcie a niektoré oblasti môžu zakrývať oblaky. Výstup navyše musí zostať presne zarovnaný so súradnicovou mriežkou, inak vzniknú na výslednej mape posuny alebo viditeľné švy.

Platforma preto oddeľuje prácu podľa toho, aký hardvér jej najviac vyhovuje. Sťahovanie, reprojekcia, zarovnanie a normalizácia snímok bežia na procesoroch s vysokou priepustnosťou vstupov a výstupov. Samotný dopredný priechod modelu využíva GPU a zapisuje len minimálne spracované výsledky. Následné spájanie okien, aplikácia masiek a export do formátov Zarr, GeoTIFF alebo GeoJSON sa vracajú na CPU. Drahé akcelerátory tak nečakajú na úlohy, ktoré dokáže lacnejšie zvládnuť bežný procesor.

Výpočtová vrstva OlmoEarth Run rozdelí zadané územie na oddiely vhodné pre jednotlivé pracovné uzly a tie ďalej na menšie okná spracovateľné nezávislými priechodmi modelu. Pri veľkosti jedného štátu môže ísť približne o stovku oddielov, pri kontinente o tisíce. Susedné časti sa mierne prekrývajú a systém ich pri skladaní vyrovná, aby sa hranice nepretavili do výsledného rastra. Takéto rozdelenie umožňuje rozšíriť jednu úlohu na tisíce paralelných procesov bez toho, aby vzdialené časti mapy na seba čakali.

Ai2 uvádza konkrétny test pri tvorbe mapy rizika požiarov pre celú Severnú Ameriku. V špičke bežalo približne 19 600 CPU a 994 GPU, pričom sieťová priepustnosť prekročila 168 GB za sekundu. Odhadovaných 4 737 hodín sériového výpočtu sa skrátilo na približne 30,5 hodiny reálneho času, teda asi 155-násobné zrýchlenie. Ide o čísla dodávateľa z konkrétneho behu, nie o univerzálny benchmark; dobre však ukazujú, že geopriestorová AI je rovnako dátovým a orchesračným problémom ako problémom kvality modelu.

Dôležitou súčasťou je výber správnych pixelov. Platforma pracuje s katalógmi podľa otvoreného štandardu STAC, no pri veľkej úlohe by tisíce súbežných metadátových dotazov mohli preťažiť externé služby. Ai2 preto udržiava vlastný priebežne aktualizovaný index. Pri optických snímkach Sentinel-2 môže uprednostniť zábery s najmenšou oblačnosťou, pri radarových dátach zase zohľadniť dostupné polarizačné kanály. Index uchováva aj odkazy na alternatívne umiestnenia rovnakých dát.

Pri samotnom čítaní systém využíva cloudovo optimalizované formáty, napríklad COG a Zarr. Namiesto stiahnutia celej satelitnej scény si vyžiada len rozsah bajtov potrebný pre konkrétny geografický oddiel. Rovnaký index pokrýva snímky zo Sentinel-1, Sentinel-2, Landsat aj NISAR a môže zásobovať aj anotačné nástroje. Praktickým dôsledkom je menší prenos dát, nižšia latencia a možnosť znovu použiť pripravenú vrstvu pri ďalších modeloch alebo opakovaných behoch nad rovnakým územím.

Pri tisícoch uzlov už zlyhanie nie je výnimka, ale očakávaná súčasť prevádzky. Každá úloha je navrhnutá tak, aby sa dala bezpečne zopakovať bez poškodenia výsledku. Systém sleduje stav, automaticky opakuje dočasne neúspešné kroky, rozlišuje opraviteľné a konečné chyby a podľa dostupnosti prechádza na alternatívneho poskytovateľa dát. Samostatné monitorovanie odhaľuje zastavené pracovné procesy a znovu ich spúšťa. To je podstatné pri mapách, kde jediný chýbajúci oddiel môže znehodnotiť celý výstup.

Pre verejný sektor, výskumné tímy a mimovládne organizácie je najdôležitejšie zníženie bariéry medzi otvoreným modelom a pravidelnou službou. Tím môže model doladiť na lokálnu úlohu, no bez dátovej prevádzky, kontroly kvality a opakovateľného spracovania sa z neho nestane nástroj pre rozhodovanie. OlmoEarth presúva dôraz od jednorazovej ukážky k monitorovaniu, ktoré možno spúšťať opakovane nad veľkým územím a porovnávať v čase.

Otvorené zostávajú otázky nákladov, dostupnosti zdrojových dát a prenositeľnosti tvrdených výsledkov na iné regióny či senzory. Ai2 uvádza, že kontinentálne úlohy dokáže spracovať približne za deň a za zlomky centu na štvorcový kilometer, konečný účet však závisí od rozlíšenia, modelu, paralelizácie, cache a cloudových kvót. Pre používateľov bude preto dôležité hodnotiť nielen presnosť mapy, ale aj úplnosť dát, neistotu predikcie, opakovateľnosť behu a cenu pravidelnej aktualizácie. Práve tým sa OlmoEarth odlišuje od bežného vydania modelových váh: ukazuje, čo všetko musí fungovať okolo modelu, aby sa pozorovanie Zeme dalo prevádzkovať v planetárnom meradle.