OlmoEarth: KI-gestuetzte Erdbeobachtung im kontinentalen Massstab

Erdbeobachtung trifft Foundation-Modelle

Das Allen Institute for AI (Ai2) hat mit OlmoEarth eine Plattform vorgestellt, die geospatiale Foundation-Modelle von Fine-Tuning bis hin zu grossflaechiger Inferenz betreibt. Die OlmoEarth-Modelle wurden auf rund 10 Terabyte multimodaler Satellitendaten trainiert und finden Anwendung in Waldbrandvorhersage, Abholzungsmonitoring und Ernaehrungssicherheit.

Inferenz im kontinentalen Massstab

Die Plattform teilt jede Anfrage in Tausende Partitionen auf und verteilt sie auf parallel arbeitende Rechenknoten. Eine aktuelle Waldbrand-Risikokarte fuer ganz Nordamerika demonstriert die Skalierung:

• ~19.600 CPUs und 994 GPUs gleichzeitig im Einsatz
• 168 GB/s Netzwerkdurchsatz
• 4.737 Stunden serielle Rechenzeit auf 30,5 Stunden Wanduhrzeit reduziert (155-fache Beschleunigung)
• Kosten von Bruchteilen eines Cents pro Quadratkilometer

Drei-Stufen-Pipeline und Fehlertoleranz

Die Architektur trennt Datenakquise (CPU/intensives I/O), Modellinferenz (GPU) und Postprocessing (CPU), damit GPUs nicht mit Vorarbeiten blockiert werden. Aufgaben sind idempotent und reentrant – bei Ausfaellen erfolgen automatische Wiederholungen oder Fallbacks auf alternative Datenanbieter. Ein eigener Metadaten-Index ueber STAC-Kataloge verhindert, dass externe Dienste durch Lastspitzen ueberlastet werden.

Ausblick

Geplant sind automatisierte Modelllaeufe, Change-Detection-Alerts, agentenbasierte Werkzeuge und ein dediziertes Embedding-Modell fuer kostenguenstigere Anwendungsfaelle.

Quelle: HuggingFace Blog