OlmoEarth: KI-gestützte Erdbeobachtung im kontinentalen Maßstab

Erdbeobachtung trifft Foundation-Modelle

Das Allen Institute for AI (Ai2) hat mit OlmoEarth eine Plattform vorgestellt, die geospatiale Foundation-Modelle von Fine-Tuning bis hin zu großflächiger Inferenz betreibt. Die OlmoEarth-Modelle wurden auf rund 10 Terabyte multimodaler Satellitendaten trainiert und finden Anwendung in Waldbrandvorhersage, Abholzungsmonitoring und Ernährungssicherheit.

Inferenz im kontinentalen Maßstab

Die Plattform teilt jede Anfrage in Tausende Partitionen auf und verteilt sie auf parallel arbeitende Rechenknoten. Eine aktuelle Waldbrand-Risikokarte für ganz Nordamerika demonstriert die Skalierung:

• ~19.600 CPUs und 994 GPUs gleichzeitig im Einsatz
• 168 GB/s Netzwerkdurchsatz
• 4.737 Stunden serielle Rechenzeit auf 30,5 Stunden Wanduhrzeit reduziert (155-fache Beschleunigung)
• Kosten von Bruchteilen eines Cents pro Quadratkilometer

Drei-Stufen-Pipeline und Fehlertoleranz

Die Architektur trennt Datenakquise (CPU/intensives I/O), Modellinferenz (GPU) und Postprocessing (CPU), damit GPUs nicht mit Vorarbeiten blockiert werden. Aufgaben sind idempotent und reentrant – bei Ausfällen erfolgen automatische Wiederholungen oder Fallbacks auf alternative Datenanbieter. Ein eigener Metadaten-Index über STAC-Kataloge verhindert, dass externe Dienste durch Lastspitzen überlastet werden.

Ausblick

Geplant sind automatisierte Modellläufe, Change-Detection-Alerts, agentenbasierte Werkzeuge und ein dediziertes Embedding-Modell für kostengünstigere Anwendungsfälle.

Quelle: HuggingFace Blog