Article
NVIDIA Cosmos Fine-Tuning: Weltmodelle für Roboter
Parameter-effizientes Training für synthetische Roboter-Demos
NVIDIAs Cosmos Predict 2.5 ist ein großes Weltmodell, das physikalisch plausible Videos aus Text, Bildern oder Videoclips generiert. Um es für spezifische Domänen wie Roboter-Manipulation anzupassen, bietet NVIDIA jetzt LoRA- und DoRA-Fine-Tuning an.
Warum Parameter-Effizientes Training?
Roboter-Demonstrationsdaten sind teuer und langsam zu sammeln. Synthetische Trajektorien aus einem fine-getunten Video-Weltmodell bieten eine skalierbare Alternative. Full-Fine-Tuning eines 2B-Modells ist ressourcenintensiv und riskiert katastrophales Vergessen.
LoRA (Low-Rank Adaptation) und DoRA (Weight-Decomposed Low-Rank Adaptation) injizieren kleine trainierbare Adapter-Module in das gefrorene Basismodell. Das reduziert den Speicherbedarf und hält die Adapter-Dateien klein und portabel.
Hardware-Anforderungen
- Python 3.10+
- PyTorch 2.5+ mit CUDA
diffusers,accelerate,peft
Für Single-GPU-Training reicht eine moderne GPU mit 16GB+ VRAM. Multi-GPU-Training wird über accelerate unterstützt.
Workflow-Übersicht
- Datensatz vorbereiten: Roboter-Videos aus der Zielumgebung
- Training starten: LoRA/DoRA mit dem vorgegebenen Script
- Adapter exportieren: Kleine Dateien, einfach zu wechseln
- Inferenz: Synthetische Trajektorien für Roboter-Lernen generieren
Code-Beispiel
from diffusers import DiffusionPipeline
import torch
# Base model laden
pipe = DiffusionPipeline.from_pretrained(
"nvidia/cosmos-predict-2.5",
torch_dtype=torch.bfloat16
)
# LoRA-Adapter anwenden
pipe.load_lora_weights("./my-robot-adapter")
pipe.to("cuda")
# Synthetische Demo generieren
video = pipe("robot picking up red cube", num_frames=64)
Praktische Anwendungen
- Robotik-Forschung: Syntetische Trajektorien für Imitation Learning
- Simulation: Domain-Adaptierung für spezifische Kameras und Umgebungen
- Data Augmentation: Erweiterung kleiner Datasets
Der vollständige Guide inklusive Multi-GPU-Training ist im HuggingFace Blog verfügbar.