NVIDIA Cosmos: Fine-Tuning für Roboter-Videogenerierung

Parameter-effizientes Training für World Models

NVIDIA Cosmos Predict 2.5 ist ein großes World Model für physikalisch plausible Videos. Um es für spezifische Domänen wie Roboter-Manipulation anzupassen braucht es gezieltes Fine-Tuning. Der Guide zeigt wie LoRA und DoRA mit kleinen Adapter-Modulen das Training praktisch machbar machen.

Warum LoRA/DoRA statt Full Fine-Tuning

• Reduzierte Speicheranforderungen drastisch
• Adapter-Dateien bleiben klein und portabel
• Training auf einzelner GPU möglich
• Flexibler Austausch von Adaptern für verschiedene Domänen

Synthetic Robot Trajectories

Roboter-Demonstrationsdaten zu sammeln ist langsam und teuer. Der Fine-Tuning-Ansatz ermöglicht synthetische Trajektorien für robot learning. Er eliminiert das Risiko des katastrophalen Vergessens bei Full Fine-Tuning.

Tutorial-Umfang

Der Guide deckt Training mit diffusers- und accelerate-Bibliotheken ab. Sowohl Single- als auch Multi-GPU-Setups werden erklärt. Der Workflow führt von der Vorbereitung der Daten bis zur Generierung synthetischer Roboter-Videos für nachgelagerte Lernaufgaben.

Link: Original bei HuggingFace