Google DeepMind lässt eine 70-jährige Liebesgeschichte neu entstehen - Frame für Frame

Der Dokumentar-Kurzfilm “Love, Rendered” zeigt, wie DeepMind-KI-Modelle verblassende Erinnerungen wieder lebendig machen. Er folgt Burt und Ethelle Shatz, verheiratet seit über 70 Jahren, durch Burts kognitiven Niedergang. Eine ihrer kostbarsten Erinnerungen - der Tag ihres Kennenlernens in einem Studenten-Co-op in Cleveland - wurde nie fotografiert oder gefilmt. Sie existierte nur in ihren Köpfen. Regie führte die Oscar-nominierte Dokumentarfilmerin Liz Garbus, ko-produziert von Darren Aronofskys Kreativ-Venture Primordial Soup.

Der technische Ansatz

Die Rekonstruktion kombinierte zwei Techniken. Erstens Image-Restoration: Generative Modelle stellten Schwarz-Weiß-Fotos aus der Jugend des Paares wieder her - die Basis für alle späteren Recreationen. Zweitens Performance-Capture: Burts und Ethelles heutige Mikro-Manierismen - die spezifische Kopfneigung, kurze Zuckungen in der Sprechweise, die feinen Kraehenfalten - wurden auf ihre jüngeren Abbilder gemappt. Ethelle saß als aktive Co-Creatorin daneben und korrigierte Details wie die Kurve einer Treppe oder die Form eines Absatzes.

Mehr als eine technische Demo

Der Film knüpft an Reminiscence Therapy an - die klinische Praxis, mit sensorischen Reizen Erinnerungen zu stimulieren. Was aber passiert, wenn eine Erinnerung an keine solchen Reize geknueft ist? Die Antwort des Teams: menschliche Regie in jedem Schritt, KI nur als Werkzeug.

Selbst ausprobieren: In der Gemini-App lassen sich eigene Familienfotos restaurieren und kolorieren - Prompt: “Restore and colorize this photo, preserve the appearance, expression and pose of the people.”

Link: Original im Google Blog