Models
NVIDIA Cosmos3-H-Dreams: Generative Echtzeit-Simulation für Gallenblasen-OPs
Von der Tischplatte in den Körper
Die erste Cosmos-H-Dreams-Version (auf Cosmos-Predict2.5) simulierte Naht-Aufgaben auf dem Labortisch. Cosmos3-H-Dreams lernt nun aus Videos und Roboterkinematik echter Eingriffe auf der CMR-Surgical-Versius-Plattform. Laut NVIDIA ist es der erste Echtzeit-Generativsimulator, der auf klinischen Cholezystektomie-Aufnahmen trainiert wurde und live per Kinematik steuerbar ist.
Technik
- Basis: Cosmos3-H-Embodied-Nano (16 Mrd. Parameter), vortrainiert auf Open-H-Embodiment, danach als bidirektionaler „Teacher“ auf kuratierte OP-Videos spezialisiert.
- 28 Aktionsdimensionen: Pose und Greifer beider Arme, Energiesteuerung, Thumbstick-Achsen und -Tasten; Instrumente sind ein Cadiere-Greifer und ein monopolarer Haken.
- Training mit 832 × 480 Video, Aktionen bei 10 Hz.
- Destillation in Vier- und Zwei-Schritt-Studentenmodelle für niedrige Latenz; Streaming über die Inferenzbibliothek FlashDreams.
- Läuft interaktiv auf einer einzelnen NVIDIA RTX PRO 6000.
Warum schwierig?
Im Körper beeinflussen kleine Bewegungen die ganze Szene: Gewebe dehnt sich, Reflexionen wandern, Rauch verdeckt die Sicht. Das Modell muss Anatomie und Instrumente über die Zeit stabil halten und Steuerbefehle sichtbar umsetzen. NVIDIA betont, dass visueller Realismus keine biomechanische Korrektheit beweist.