Article

LeRobot v0.6.0: Robotik-Policies die die Zukunft "vorstellen"

LeRobot VLA-JEPA Robotik Hugging Face World Models

LeRobot v0.6.0 schließt den Robotik-Lern-Loop: World Models, die die Zukunft vorhersagen, Reward-Models für Erfolgserkennung, und ein Deployment-CLI, das Fehler in Trainingsdaten verwandelt.

Das Hugging Face LeRobot-Team veröffentlicht Version 0.6.0 mit einem Paradigmenwechsel: Statt nur auf Aktionen zu trainieren, lernen die neuen Policies nun, die Zukunft zu “imaginieren” - ähnlich wie menschliche Planung funktioniert.

World Model Policies: VLA-JEPA, FastWAM, LingBot-VA

Die drei neuen World Model Architectures:

VLA-JEPA (Vision-Language-Action Joint Embedding Predictive Architecture):

  • Lernt latente Repräsentationen zukünftiger Zustände
  • Plant intern, bevor agiert wird
  • Reduziert Trial-and-Error in der realen Welt

FastWAM (Fast World Action Model):

  • Optimiert für Geschwindigkeit
  • Geeignet für Echtzeit-Robotik-Anwendungen

LingBot-VA:

  • Sprache-basierte Action-Reasoning
  • Verbindet Sprachmodelle mit Robotik-Kontrolle

Neue VLAs im Model-Zoo

Version 0.6.0 erweitert die Vision-Language-Action (VLA) Modelle:

  • GR00T N1.7 - NVIDIAs Robotik-Foundation Model Update
  • MolmoAct2 - Verbesserte Action-Prediction
  • EO-1 - Effizientes On-Device Modell
  • EVO1 - Evolutionäre Robotik-Architektur
  • Multitask DiT - Diffusion Transformer für Multi-Task Szenarien

Reward Models: Wann ist der Roboter erfolgreich?

Zwei neue Reward-Model APIs:

  • Robometer - Bewertet Roboter-Task-Erfolg
  • TOPReward - Task-Oriented Performance Scoring

Diese Modelle ermöglichen automatisches Lernen aus Versuchen, ohne manuelle Annotation jeder erfolgreichen Aktion.

Datasets & Training

LeRobot 0.6.0 bringt signifikante Verbesserungen:

  • Depth-Support - End-to-End Tiefenverarbeitung
  • VLM-Powered Annotation - Automatische Sprach-Annotation von Datensätzen
  • Custom Video Encoding - Flexible Codec-Unterstützung
  • 2x schnelleres Data Loading
  • FSDP Training - Fully Sharded Data Parallel für große Modelle
  • Cloud Training - HF Jobs Integration

Deployment CLI mit DAgger

Der neue lerobot-rollout CLI implementiert DAgger-style Human-in-the-Loop:

  1. Roboter führt Task aus
  2. Mensch korrigiert bei Fehlern
  3. Korrekturen werden zu Trainingsdaten
  4. Iterativer Verbesserungsprozess

Six neue Simulations-Benchmarks

Vereint unter lerobot-eval:

  • Standardisierte Evaluationsumgebungen
  • Vergleichbare Metriken für Robotik-Policies
  • Integration mit existierenden Benchmarks

Fazit

LeRobot v0.6.0 wandelt Robotik-Lernen von Trial-and-Error zu planvoller Vorhersage. Die Integration von World Models und Reward-Models schließt den Lern-Loop - Roboter können nun aus Fehlern lernen und Erfolg autonom erkennen.

Quelle

LeRobot v0.6.0: Imagine, Evaluate, Improve - Hugging Face Blog