Das neue Gesicht Hollywoods

Auf einer Hochbahn, die durch Downtown fährt, steckt der maskierte Mann im rot-blauen Anzug in Schwierigkeiten.

Er kämpft nicht nur gegen einen verrückten Wissenschaftler, der versucht, ihn mit Robotertentakeln zu töten, sondern muss auch die Passagiere im Zug retten. Für den Superhelden Peter Parker, auch bekannt als Spider-Man, gehört das zum Tagesgeschäft – aber für ein Elite-Team von Grafik-Gurus bedeutet es monatelange Arbeit.

Ausverkauf oder Retter?

Diese Geschichte war Teil unserer Ausgabe vom September 2004



  • Siehe den Rest der Ausgabe
  • Abonnieren

Diese Actionsequenz aus dem Megahit Spider-Man 2 hat diesen Sommer Millionen von Kinobesuchern geblendet. Schauen Sie sich den Bösewicht Doctor Octopus (gespielt vom Schauspieler Alfred Molina) genau an und Sie werden ihn wahnsinnig grinsen und schreien sehen, während er oben und an den Seiten des Zuges entlangläuft. Später in der Szene verliert Spider-Man (Tobey Maguire) seine Maske, als er sich an der Vorderseite des Zuges abstützt und ihn kreischend zum Stehen bringt. Seine hektische Mimik wirkt überzeugend natürlich.

Bei all dem schnellen Querschneiden zwischen Superhelden- und Bösewicht-Bildern ahnt der Zuschauer wahrscheinlich nicht, dass die Gesichter und Figuren, die die meiste Zeit auf der Leinwand erscheinen, nicht echt sind. Vielmehr handelt es sich um digitale Mischungen, die in einem Computer bei Sony Pictures Imageworks in Culver City, Kalifornien, erstellt wurden.

Wir sind an einem Punkt angelangt, an dem wir alles computergeneriert machen können. Alles, vom zerbrochenen Glas im Zug bis hin zu allen Gebäuden, Gleisen und Menschen, sagt Mark Sagar, ein Grafik-Supervisor von Spider-Man 2 und Imageworks’ ansässiger Experte für digitale menschliche Gesichter. Er zeigt auf die Zugsequenz, die auf seinem Computerbildschirm abgespielt wird. Beobachten Sie, was die Kamera macht. Hier geht es schnell am Zug entlang, dann unter den Darstellern, dann vor ihnen, dann eine Totale. Wie könnte man das mit einer echten Kamera machen? Aber die digitalen Gesichter auf den Menschen sind das letzte, entscheidende Stück dieses Puzzles. In der Vergangenheit erforderte das Zusammenfügen von Filmmaterial echter Schauspieler in eine digitale Szene echte Kameras, schwierige Stunt-Arbeiten und Feinabstimmungen, um das Aussehen der echten und digitalen Bilder aufeinander abzustimmen. Die Fähigkeit, computergeneriert alles zu tun, einschließlich menschlicher Gesichter, eröffnet eine Fülle von kreativen Möglichkeiten.

Fotorealistische digitale Gesichter – solche, die in Standbildern oder auf dem großen Bildschirm als echt gelten können – gehören zu den letzten Grenzen der Computergrafik. Bis vor kurzem sahen digitale Gesichter bei genauer Betrachtung unecht aus und wurden daher auf schnelle Schnitte und Hintergrundaufnahmen verbannt. Das Problem ist, dass wir außerordentlich sensibel darauf sind, wie menschliche Gesichter aussehen sollten; Es ist viel einfacher, Menschen mit einem computergenerierten T. Rex zu täuschen als mit einem digitalen Menschen. Aber Fortschritte beim Rendern von Haut, beim Beleuchten digitaler Szenen und beim Analysieren von Filmmaterial von echten Schauspielern als Referenz ermöglichen es Künstlern und Programmierern jetzt, die Textur und Bewegung jedes winzigen Pixelflecks in einem computerisierten Gesicht zu steuern. Das Sony-Team hofft, dass das Publikum den Unterschied zwischen Tobey Maguire und seinem digitalen Double nicht erkennen kann – vielleicht das erste Mal, dass eine solche Wahrhaftigkeit erreicht wurde.

Die Einsätze sind riesig. Digitale Effekte sind ein Milliardengeschäft und wachsen schnell; Heutzutage kann das Budget eines typischen Blockbuster-Films 150 Millionen Dollar betragen, von denen die Hälfte an Effektfirmen geht. Tatsächlich ist Spider-Man 2 nur ein Beispiel für Hollywoods zunehmenden Einsatz modernster Grafikforschung, um bessere digitale Schauspieler zu schaffen, von Stuntdoubles von Neo und der Vielzahl von Agent Smiths in den Matrix-Filmen bis hin zu Gollum in der Herr der Ringe-Serie . Es ist an einem Punkt angelangt, an dem die Industrie Witze darüber macht, Schauspieler durch Computer zu ersetzen (die Prämisse des Films S1m0ne von 2002). Und Sony Pictures Imageworks, 1992 gegründet und mit mehr als 40 Spielfilmen, steht an der Spitze der Effekthäuser, die um das Geschäft großer Studios konkurrieren (siehe Making Faces ,).

Aber der wahre Vorteil digitaler Schauspieler besteht nicht darin, Live-Szenen zu ersetzen: Sie liefern Szenen, die die Zuschauer an Orte führen, an die kein echter Schauspieler oder Kamera-Setup gehen könnte. Es gibt Regisseuren mehr Flexibilität und ermöglicht es ihnen, Aktionen auszuführen, die sie mit echten Stuntleuten nicht tun können, sagt Scott Stokdyk, der für die Spider-Man-Serie verantwortliche Visual Effects Supervisor bei Imageworks. In der Vergangenheit haben Regisseure und Cutter den Schnitt im Wesentlichen um verschiedene schnelle Aktionen und Kamerawinkel herum massiert, um eine Geschichte zu vermitteln, sagt Stokdyk. Jetzt haben sie diese Art von Grenzen nicht. Auf diese Weise befreit, können Regisseure synthetischen Schauspielern folgen, während sie in schwungvoller Zeitlupe um Wolkenkratzer sausen und Kugeln ausweichen. Darüber hinaus können Schauspieler digital gealtert oder entaltert werden, ohne stundenlang mit Make-up verbringen zu müssen. Längst verstorbene Filmstars könnten sogar digital wiederbelebt werden.

Und Filme sind nur der Anfang. Techniken zur Erschaffung digitaler Menschen erweitern die Grenzen der Computergrafik und -schnittstellen. Diese Bemühungen könnten auffallend realistische medizinische Trainingssimulationen, lebensechte Avatare für E-Mail- und Internet-Chatrooms und bald viel überzeugendere Charaktere in Spielen und interaktiven Filmen ermöglichen. Die Technologie, sagt Sagar, ist absolut bereit für die Hauptsendezeit.

Virtuelles Gesicht

Mark Sagar war schon immer zwischen Kunst und Wissenschaft hin- und hergerissen. Nach dem College verbrachte er drei Jahre damit, die Welt zu bereisen, um seinen Lebensunterhalt mit Porträtskizzen zu verdienen. Aber das Tauziehen an der Technologie veranlasste ihn, an die Graduiertenschule in seiner Heimat Neuseeland zurückzukehren, um Ingenieurwissenschaften zu studieren. Ich hätte nie gedacht, dass ich Jahre meines Lebens damit verbringen würde, das menschliche Gesicht zu studieren, gibt er zu, während er in seinem Büro bei Imageworks sitzt, umgeben von Büchern und Aufsätzen über visuelle Wahrnehmung.

Zu hören, wie Sagar das menschliche Gesicht als Mehrkanalsignalgerät beschreibt, deutet darauf hin, dass seine wissenschaftliche und technische Seite gewonnen hat. Das Verständnis der Wissenschaft hinter Gesichtern ermöglicht es ihm, die Botschaft einer digitalen Figur auf dem Bildschirm effektiver zu vermitteln. Ausdrücke wie niedergeschlagene Augen, eine gerunzelte Stirn oder eine gekräuselte Lippe zeigen den emotionalen Zustand einer Person an und geben Hinweise auf ihre Absicht.

wie viele verschiedene Zauberkarten gibt es

Sagars Weg nach Hollywood öffnete sich fast zufällig. Mitte der 1990er Jahre entwickelte er als Doktorand an der University of Auckland und als Postdoc am MIT Computersimulationen des menschlichen Auges und Gesichts, die Ärzten in der Ausbildung helfen könnten, chirurgische Techniken zu erlernen. Seine Simulationen sahen so echt aus, dass ein Team von Dotcom-Unternehmern ihn davon überzeugte, ein Grafik-Startup namens LifeFX in Newton, MA, mitzugründen. Ihre Mission: Kommerzialisierung von Software, die jeder, vom Filmemacher über Web-Unternehmen bis hin zu E-Mail-Anbietern, verwenden kann, um fotorealistische Abbilder von Menschen zu erstellen.

Sagar wurde bald zu einer führenden Autorität für digitale Gesichter für die Unterhaltung. 1999 kam er nach Los Angeles, um an

computergenerierte Gesichtsanimationen für Filme, darunter eine des Schauspielers Jim Carrey. Paul Debevec, ein Grafikforscher, der sich mit der Schaffung virtueller Umgebungen und der Weiterentwicklung digitaler Beleuchtungstechniken einen Namen gemacht hat, sah Sagars Filme auf einer Konferenz und war fasziniert: Er hatte noch nie so überzeugende falsche Gesichter aus der Nähe gesehen. Das war der Moment, der mich dazu brachte, wirklich zu glauben, dass in den nächsten fünf Jahren ein fotorealistisches Computergrafik-Gesicht entstehen würde, sagt Debevec, die heute am Institute for Creative Technologies der University of Southern California arbeitet (siehe Hollywoods Master des Lichts, TR März 2004).

Die beiden Wissenschaftler gingen eine Zusammenarbeit ein und nutzten Debevecs Beleuchtungstechniken, um Sagars digitale Gesichter zu rendern – eine Kombination, die sie schnell an die Spitze des Feldes katapultierte. Es stellt sich heraus, dass die richtige Beleuchtung eine große Sache ist, wenn Sie versuchen, ein Gesicht zu simulieren. Im Gegensatz zu früheren Computersimulationen, die in verschiedenen Kontexten seltsam aussahen und durch Versuch und Irrtum angepasst werden mussten, konnten die Gesichter von Sagar und Debevec an die Beleuchtung in jeder Szene angepasst werden. Das liegt daran, dass sie mit einer umfangreichen Datenbank echter Gesichter gebaut wurden, die aus verschiedenen Blickwinkeln fotografiert und von vielen verschiedenen Lichtkombinationen beleuchtet wurden. Als LifeFX 2002 zusammenbrach, schnappte sich Imageworks Sagar speziell wegen seiner Expertise in Gesichtern.

Er begann sofort mit der Arbeit an dem ersten Spielfilmtest dieser Techniken: Spider-Man 2. Die Actionszenen des Films erforderten detaillierte und ausdrucksstarke Simulationen der Gesichter bekannter Schauspieler – ein besonders schwieriges Problem, sagt Sagar. Das Publikum lehnt nicht nur schnell menschliche Ersatzgesichter im Allgemeinen ab, sondern reagiert auch besonders sensibel auf Gesichter, die es erkennt; jede Diskrepanz zwischen digital und real könnte als Fälschung wahrgenommen werden. Damit die Simulationen funktionierten, benötigten die Forscher viele Referenzaufnahmen der realen Schauspieler unter verschiedenen Lichtverhältnissen.

Also verbrachten Maguire und Molina jeweils einen Tag in Debevecs Labor. Unter der Aufsicht des Forschungsprogrammierers Tim Hawkins saßen sie in einem speziellen Apparat, der Lichtbühne genannt wurde, während vier Standbildkameras Hunderte von Bildern ihrer Köpfe und Gesichter aufnahmen, die eine Vielzahl von Gesichtsausdrücken machten und von Blitzen aus jedem möglichen Winkel beleuchtet wurden. Außerdem ließen sich die Schauspieler Laserscans und Gipsabdrücke von ihren Köpfen und Gesichtern anfertigen, um am Computer hochauflösende digitale 3D-Modelle ihrer Konterfeis anfertigen zu können.

Bei Imageworks schrieben Sagar und sein Team benutzerfreundliche Software, damit Dutzende von Künstlern die Gigabyte an Bilddaten nutzen konnten, ohne sich in technischen Details zu verzetteln. Um die Zugsequenz zum Beispiel richtig aussehen zu lassen, kombinierte die Software von Sagar Bilder aus Debevecs Setup zu Composites, die der realen Beleuchtung am Filmset entsprachen, und bildete die Composites dann auf 3D-Computermodelle der Schauspieler ab. Um die Gesichter in Bewegung zu setzen, manipulierten Animatoren die Modelle Bild für Bild, wobei vorhandene Bilder und Videos der Schauspieler als grobe Orientierung dienten. Die Software berechnete Beleuchtungsänderungen basierend auf der Verformung der Gesichtsmodelle – und beleuchtete die digitale Haut entsprechend. Das Ergebnis: Synthetische Darsteller, die wie Maguire und Molina aussehen (mit denen aus Fleisch und Blut geschnitten) sausen durch die Luft, um Wolkenkratzer, über Züge und unter Wasser, und die ganze Zeit über gefühlvoll.

Imageworks ist ein Paradebeispiel dafür, wie Effekthäuser neue Forschungsergebnisse schneller in ihre Produktionspipelines integrieren als noch vor wenigen Jahren. (Während das Publikum von dem, was in letzter Zeit im Multiplex gezeigt wurde, begeistert sein mag, hat sich die grundlegende Grafiktechnologie in Filmen in den 1990er Jahren nicht viel geändert.) Zuvor gab es eine sehr lange Verzögerung. Etwas würde entwickelt, und dann würde man zehn Jahre warten, bis ein Softwareunternehmen es kommerzialisiert, sagt J. P. Lewis, ein Experte für Grafik und Animation am Computer Graphics and Immersive Technology Lab der University of Southern California. Ich denke, Unternehmen sind sich der Forschung viel bewusster und neigen dazu, viel schneller darauf zu springen.

Bei einem Spaziergang durch die dunklen Flure von Imageworks in diesem Frühjahr ist das Team bemüht, den mehr als 800 Effektaufnahmen für Spider-Man 2 den letzten Schliff zu geben. Es ist ein junges, hippes Publikum mit modischen Brillen und Erinnerungsstücken aus dem Film auf ihren Schreibtischen – Fotos, Actionfiguren, ein Gesichtsabdruck von Tobey Maguire. An dem Tag, an dem er seine letzte Aufnahme für den Film ausliefert, beklagt Visual Effects Supervisor Stokdyk, dass keine Zeit mehr ist. Die größte Herausforderung, sagt er, bestand darin, Molinas manchmal echtes, manchmal digitales Gesicht mit seinem Doc Ock-Kostüm und der Umgebung im Comic-Stil zu kombinieren. Der Realität zu entsprechen, seufzt er, sei fast unmöglich.

Setzen Sie Ihr Spielgesicht auf

Tatsächlich haben digitale menschliche Gesichter trotz der Millionen von Dollar, die für das Problem geworfen wurden, noch einen Weg vor sich. Was noch zu tun ist, mag wie inkrementelle Schritte erscheinen – Augenbewegungen weniger roboterhaft machen, Veränderungen des Blutflusses erfassen, sodass die Wangen erröten, die Haut beim Lächeln genau richtig falten – aber sie summieren sich. Die letzten 20 Prozent könnten 80 Prozent unserer Zeit in Anspruch nehmen, um richtig zu sein – aber wir sind definitiv bei den letzten 20 Prozent, sagt Darin Grant, Director of Technology bei Digital Domain in Venice, CA, die Charakteranimationen für das I. Roboter.

Am Ende entscheidet das kommerzielle Publikum über den Wert dieser digitalen Doppelgänger. Der ultimative Test für das, was wir tun, ist, wie es auf dem Bildschirm aussieht und wie es in die Produktion umgesetzt wird, sagt Grant. Sein Kollege Brad Parker, Visual-Effects-Supervisor und Regisseur bei Digital Domain, behauptet, dass digitale Menschen sich für Filmemacher immer mehr auszahlen werden – und für die Grafik-Community. Es ist eine große Sache, sagt er. Es vereint alles, was an Computergrafik schwierig ist.

Warum es ein so schwieriges Problem ist – genau das, was unsere Augen bei einem digitalen Menschen als falsch wahrnehmen – ist noch nicht gut verstanden. Aber die Grafikforscher der University of Southern California, Lewis und Ulrich Neumann, versuchen es herauszufinden. In jüngsten Experimenten zeigte ihre Gruppe Freiwilligen Einblicke in echte und digitale Gesichter, um zu sehen, ob sie den Unterschied erkennen konnten. Die Ergebnisse waren verblüffend – und frustrierend. Wir haben ein Jahr damit verbracht, an diesen Gesichtern zu arbeiten, aber wir konnten die Leute keine Viertelsekunde lang täuschen, sagt Lewis. Er prognostiziert, dass diese Arbeit zu statistischen Modellen des Verhaltens echter menschlicher Gesichter führen wird, die wiederum Software-Tools liefern, mit denen Künstler ihre Augen genau so bewegen oder Ausdrücke auf andere subtile Weise ändern können, die für die Glaubwürdigkeit entscheidend sein könnten.

Solche Fortschritte sollten dramatische Auswirkungen haben. Steve Sullivan, Direktor für Forschung und Entwicklung bei Industrial Light and Magic in San Rafael, CA, sagt: „Wir werden wahrscheinlich in 10 Jahren zurückblicken und denken, dass die digitalen Doppelgänger von heute schrecklich primitiv aussehen.

Und es werden nicht nur Filme sein, die ein Facelift bekommen. Dieselben grafischen Simulationstools, die Filmemacher zu beherrschen beginnen, werden auch dazu beitragen, den nächsten großen Markt für digitale Gesichter zu befeuern: Videospiele. Heutige Spiele bieten schillernde Kreaturen und Landschaften, aber ihre menschlichen Charaktere sind nicht einmal annähernd fotorealistisch. Es ist einfach nicht praktikabel, in jedem Blickwinkel und Ausdruck zu programmieren, der im Verlauf eines mehrstufigen, interaktiven Spiels auftreten kann.

Hier kommt George Borshukov ins Spiel. Borshukov, ein Informatiker, der hochmoderne digitale Menschen für die Matrix-Filme entwickelt hat (all diese Smiths in Reloaded und Revolutions sind von seinem Team), wendet jetzt Gesichtstechnologie auf Spiele an. Borshukov, ein ehemaliger Technologie-Supervisor bei ESC Entertainment in Alameda, CA, ist vor kurzem zum Videospiel-Powerhouse Electronic Arts in Redwood City, CA, gewechselt. Er sagt, dass Gaming-Hardware der nächsten Generation der Demonstration von Techniken für fotorealistische Gesichter in Echtzeit nahe kommen wird, dass jedoch Kompromisse, Annäherungen und Datenkomprimierung erforderlich sind, um dies zu erreichen.

Das Problem ist, dass bei Spielen alles im Handumdrehen passieren muss. Es dauert jedoch immer noch einige Stunden, um ein einzelnes Bild der besten digitalen Gesichter von heute zu rendern. Das ist praktikabel, wenn Sie Monate haben, um die Szenen zu produzieren, wie in einem Film. In einem Spiel oder einem interaktiven Film kann es jedoch vorkommen, dass das gewünschte Bild nicht existiert, bis der Benutzer es mit einer Joystickbewegung bestellt. Um dies praktikabel zu machen, ist eine Software erforderlich, die tausendmal schneller ist.

Fünf Jahre später, sagen Experten, könnte eine Mischung aus einem Spiel und einem Film es den Zuschauern/Spielern ermöglichen, ihre eigenen Filme zu entwerfen und zu inszenieren und sogar selbst in die Action einzutauchen. Sie könnten den Film zuerst bespielen, indem Sie Fotos von echten Personen scannen – zum Beispiel von Ihnen und Ihren Freunden – und eine Software ausführen, die fotorealistische 3D-Modelle dieser Personen erstellt. Dann könnten Sie in Echtzeit die Handlung des Films über einen Handheld-Controller oder eine Tastatur steuern – vom Zoomen der Kamera um die Charaktere bis hin zum Laufen des Hauptdarstellers in eine bestimmte Richtung. Interaktive Unterhaltung, sagt Borshukov, ist die wahre Zukunft.

Blick in die Zukunft

Zurück bei Imageworks wirbelt ein Sturm der Aktivität um Mark Sagar herum. Die Künstler sind im Crunch-Modus für ein weiteres digitales Schauspielerprojekt, The Polar Express im Herbst dieses Jahres, das auf dem beliebten Kinderbuch basiert. Aber Sagar, der nicht direkt an diesen Bemühungen beteiligt ist, ist fasziniert von dem, was weiter hinten liegt – ein eleganterer Ansatz für digitale Gesichter, der auf zugrunde liegenden wissenschaftlichen Prinzipien basiert. Ich sehe die heutige Arbeit als Zwischenstufe, in der wir noch viele Daten erfassen müssen, sagt er. Schließlich wird alles mathematische Modelle verwenden, wie sich Dinge bewegen und wie sie Licht reflektieren.

Sagar sieht auch viel breitere Anwendungen digitaler Menschen in medizinischen Grafiken, kooperativen Trainingssimulationen für Rettungskräfte und Mensch-Computer-Schnittstellen, die Benutzern helfen könnten, effektiver mit Maschinen und anderen Personen zu kommunizieren. Außerhalb der Unterhaltungsindustrie forschen große Unternehmen wie Microsoft und Honda an fortschrittlicher Grafik und menschlicher Modellierung, einschließlich Software, mit der Sie realistische virtuelle Charaktere und digitale Avatare nur basierend auf einem Foto erstellen können. Verwandte Algorithmen könnten Computern auch helfen, Gesichter zu erkennen und Ausdrücke zu interpretieren, entweder aus Sicherheitsgründen oder um die Bedürfnisse eines Benutzers vorherzusagen.

Wir befinden uns in einem interessanten Alter, in dem wir beginnen, Menschen bis ins letzte Detail zu simulieren, sagt Sagar. In seiner Aussage liegt eine gewisse Ironie. Sobald digitale Menschen richtig gemacht sind, werden sie von der Realität nicht mehr zu unterscheiden sein; Das Publikum wird nicht einmal erkennen, dass Künstler und Wissenschaftler wie Sagar das Gesicht der Unterhaltung – und der Gesellschaft – verändert haben.

Gregory T. Huang ist Mitherausgeber von TR.

verbergen

Tatsächliche Technologien

Kategorie

Unkategorisiert

Technologie

Biotechnologie

Technologierichtlinie

Klimawandel

Mensch Und Technik

Silicon Valley

Computer

Mit News Magazine

Künstliche Intelligenz

Platz

Intelligente Städte

Blockchain

Reportage

Alumni-Profil

Alumni-Verbindung

Mit News Feature

1865

Meine Sicht

77 Mass Avenue

Treffen Sie Den Autor

Profile In Großzügigkeit

Auf Dem Campus Gesehen

Lerne Den Autor Kennen

Alumni-Briefe

Nicht Kategorisiert

77 Massenallee

Rechnen

Tech-Richtlinie

Lernen Sie Den Autor Kennen

Nachrichten

Wahl 2020

Mit Index

Unter Der Kuppel

Feuerwehrschlauch

Unendliche Geschichten

Pandemie-Technologieprojekt

Vom Präsidenten

Titelstory

Fotogallerie

Empfohlen