Real oder simuliert?

Hightech-Strategie Real oder simuliert?

Computergrafik simuliert immer perfekter Menschen und Umgebung, Handbewegungen ebenso wie ein neues Automodell. Das ist nur mit großem mathematisch-wissenschaftlichem Aufwand möglich - daher ein Thema der Zukunftsaufgabe "Digitale Wirtschaft und Gesellschaft" der Hightech-Strategie der Bundesregierung.

5 Min. Lesedauer

Professor Theobalt bei der Erprobung des virtuellen Spiegels

Der virtuelle Spiegel bei der Kleideranprobe

Foto: Max-Planck Institut für Informatik/Bellhaeuser

"Mein Schatz!" Ein Zitat des eigenartigen Wesens Gollum, das die Kinobesucher der Herr-der-Ringe-Trilogie fasziniert hat. Kann man jemanden so verkleiden? Tatsächlich entstand Gollum im Computer. Ein Schauspieler mit einem speziellen, mit zahlreichen Sensoren bestückten Anzug spielte die Rolle. Dutzende von Kameras nahmen in speziell präparierten und beleuchteten Studios die Szenen auf. Anschließend musste Bild für Bild im Computer in monatelanger Arbeit der Schauspieler in die Figur des Gollum umgewandelt werden. Der Kostenaufwand war dementsprechend so gewaltig, dass er nur in einer Hollywood-Produktion dieser Größenordnung möglich war.

Perfekte Animation

Aufzeichnung einer Sportsituation und Umwandlung in virtuelles Skelett

Virtuelles Skelett entsteht in Echtzeit

Foto: Max-Planck Institut für Informatik/Bellhaeuser

Entsprechend unrealistisch, wenn auch zunehmend besser, sind Figuren in Computerspielen. Sie werden in der Regel vollständig am Computer erzeugt. Ob es allerdings jemals gelingen wird, Bewegungen so realistisch darzustellen, dass man keinen sich wirklich bewegenden Menschen als Vorlage benötigt, steht in den Sternen.

Insofern stellt sich für die Wissenschaft die Frage, ob sich der Aufwand der Hollywoodproduktionen drastisch reduzieren lässt. Professor Christian Theobalt vom Saarbrücker Max-Plack-Institut für Informatik hat hier einen Durchbruch erzielt und für sein Projekt "CapReal" den mit 1,5 Millionen Euro dotierten EU-Forschungspreis erhalten. Das Bundeswirtschaftsministerium zeichnete das Projekt mit einem der Hauptpreise im Wettbewerb "IKT innovativ" aus.

Mathematik ersetzt Aufwand

Anders als in Hollywood gelingt ihm die Animation über ein mathematisches Verfahren. Wenige handelsübliche Kameras nehmen die Personen vor beliebigem Hintergrund auf. Damit dies funktioniert, muss der Computer einiges über die Objekte und das Licht einer Szene wissen. Dieses Wissen zusammen mit den konkreten Aufnahmen schafft dann ein mathematisches Modell, aus dem die Animation abgeleitet wird.

Umwandlung von Bildern über das virtuelle Skelett hin zur Animation

Umwandlung von Videos zu bewegten Animationen

Foto: Max-Planck Institut für Informatik

Im ersten Schritt wird die Person vermessen und daraus ein digitales Skelett mit 19 Gelenken entwickelt. Die Bewegungen der späteren Aufnahmen werden dann in Echtzeit auf das digitale Skelett übertragen. So kann man sofort ein Strichmännchen auf dem Monitor sehen, das sich wie die aufgenommene Person bewegt – und dies aus beliebiger Perspektive.

Schließlich werden Haut und Kleidung digital übergezogen, sodass die Figur der gefilmten immer ähnlicher wird. Theobalt ist davon überzeugt, dass aus seinem Verfahren bald Animationen entstehen können, die von der Realität nicht mehr zu unterscheiden sind.

Mimik erfassen und simulieren

Stereoaufnahme des Gesichts und vom Computer erzeugtes Gesicht

Mimik dreidimensional erkannt

Foto: Max-Planck Institut für Informatik

Ein weiterer wichtiger Teilaspekt ist die dreidimensionale Gesichtssimulation, bisher in Hollywood nur mit gewaltigem technischem Aufwand möglich. Auch hier haben die Saarbrücker Forscher zusammen mit Experten anderer Einrichtungen Methoden entwickelt, um Gesichter bis hin zu einzelnen Muskelgruppen des Gesichts mit einfachsten technischen Mitteln in den Computer zu übertragen. Damit lässt sich vom Computer eine lebensechte Mimik erzeugen. So kann das Gesicht einer Person aufgenommen und auf das Gesicht einer anderen übertragen werden.

Für Kinofans sicher eine tolle Perspektive, aber hat die Entwicklung auch einen Nutzen für den Alltag und andere Anwendungsbereiche? Tatsächlich gibt es schon viele Ideen. Eine davon ist der virtuelle Spiegel. Der Kunde betrachtet sich auf einem Monitor, sieht aber nicht sein Spiegelbild, sondern eine Simulation mit anderem Makeup, einer neuen Brille oder geänderter Kleidung.

Ball beobachtet den Abschlag

Für den Sport besteht die Möglichkeit, Bewegungsabläufe exakt dreidimensional zu erfassen. Details des Ablaufs lassen sich dann an der simulierten Figur im Detail aus beliebigem Blickwinkel betrachten. "Der Abschlag eines Balls beim Golf könnte aus jeder Perspektive gezeigt werden", so Theobalt, "wenn es sein muss auch aus der Perspektive des Balls."

Eine weitere von der Arbeitsgruppe um Theobalt entwickelte Methode bezieht sich nur auf die Hand und eine äußerst detaillierte Erfassung der Handbewegung. Der Computer erfasst so kleinste Bewegungsabläufe und interpretiert sie. So können die dreidimensional erfassten Bewegungen der Hand eine Maschine oder den Computer steuern, ohne eine Tastatur oder einen Bildschirm berühren zu müssen.

Verfahren zum Entfernen störender Teile aus einer Videoaufnahme

Person spurlos entfernt

Foto: Max-Planck Institut für Informatik

Detaillierte mathematische Analysen eines Videos ermöglichen vielfältige Veränderungen des Films, nicht nur für Animationen. So kann es wichtig für einen Film sein, unerwünschte Störungen zu beseitigen. Es lassen sich mit einem neuartigen Verfahren Personen aus einem Film entfernen, einschließlich etwaiger Schatten. Dabei wird der eventuell auch bewegte Hintergrund perfekt aus den Videosequenzen rekonstruiert, in denen die Störung noch nicht oder nicht mehr vorhanden ist. In einem Beispielfilm sieht man Musiker auf der Bühne. Jemand läuft vor ihnen durch das Bild. Auf dem grafisch rekonstruierten Video ist von dieser Person nichts mehr zu sehen.

Simulationen für die Industrie

Grafische Verfahren sind aber auch von großer Bedeutung für die Industrie, wie Professor Philipp Slussalek vom Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) erläutert. In dem von ihm geleiteten Forschungsbereich "Visual Computing" geht es darum, die reale Welt akkurat zu modellieren und zu simulieren. Daraus lassen sich Vorhersagen etwa über geplante Veränderungen und ihre Auswirkungen treffen. Der Forschungsbereich "Agenten und Simulierte Realität" benutzt sehr große, hoch detaillierte 3D-Modelle, um interessante Szenarien zu modellieren. Dabei kann es gleichermaßen gehen um komplexe Produktionslinien, antike Städte oder biologische Zellen.

Dass das nicht ganz einfach ist, verdeutlich Slussalek an Licht und Schatten. Zwei konkurrierende mathematische Verfahren kommen zu unterschiedlichen Darstellungen, die beide nicht ausreichend die Realität wiedergeben. Erst durch eine Kombination beider Verfahren gelang den Forschern ein Durchbruch bei der Simulation bestimmter Licht- und Schattensituationen.

Virtueller Prototyp

Wie wichtig so etwas sein kann, lässt sich bei der Einführung eines neuen Automodells erklären. Der Entwicklungsaufwand ist so gewaltig und der Bau von Prototypen so teuer, dass das neue Modell zuerst oder ausschließlich im Computer simuliert wird. Dabei geht es aber um ganz winzige Details, etwa um Schatten, den die Türkante wirft. Wenn es nicht gelingt, diese Schatten und die Ansicht des Fahrzeugs perfekt zu simulieren, kann es zu millionenschweren Fehlentwicklungen kommen.

Ein Anwendungsbeispiel der Forschungsarbeiten ist die Simulation und Visualisierung von Produktionsprozessen. Durch die steigende Individualisierung von Produkten müssen Rüst- und Umlaufzeiten immer kürzer werden. Dies lässt sich durch dreidimensionale Simulationen erreichen, da hier ohne Eingriff in die laufende Produktion, Veränderungen vorab durchgespielt und geübt werden.

Ungeahnte Möglichkeiten

Es liegt auf der Hand, dass auch die Planung neuer Siedlungen sehr viel besser gelingt, wenn man sie virtuell durchwandern kann. Dies erfordert möglichst perfekte optische Simulationen.

All das sind nur Beispiele, die zeigen, welche Bedeutung der Computer für unterschiedliche grafische Anwendungen hat. Welche Perspektiven sich für die Zukunft ergeben, ist kaum abzuschätzen. Freuen können wir uns darauf, dass uns das Kino in immer realistischer wirkende Traumwelten versetzen wird.