3D-Gesichter aus 2D-Videos

By Jörg Viola / 3. Oktober 2014
3D-Modelle inklusive Animation können aus Youtube-Videos erstellt werden. Quelle: grail.cs.washington.edu

3D-Modelle inklusive Animation können aus Youtube-Videos erstellt werden. Quelle: grail.cs.washington.edu

Gut, zugegeben: Farbe hat Prinz Charles schon eingebüßt. Auch die charakteristischen Ohren werden in der schwarz-weißen 3D-Animation unterschlagen, doch seine Mimik, sein Lächeln oder sein Stirnrunzeln sind täuschend echt.

US-Forscher haben ein Verfahren entwickelt, mit dem sie aus beliebigen 2D-Videoaufnahmen eine dreidimensionale Animation erstellen können, in der sich das Gesicht genau wie das im Originalvideo verhält. Eine spezielle Aufnahmetechnik ist hierfür nicht vonnöten. Digitales Bildmaterial wie Videos und Fotos einer Person reicht aus, um die Animation digital nachzubilden. Je mehr Material, desto besser, deswegen haben sich die Forscher der Universität Seattle auch zunächst an Prinz Charles, Arnold Schwarzenegger, Tom Hanks und George W. Bush versucht. Die Wissenschaftler haben ihr Verfahren „Total Moving Face Reconstruction“ kürzlich auf der European Conference on Computer Vision (ECCV) in Zürich vorgestellt.

Weder Videos noch Fotos sind extra für die Animation aufgenommen. Zunächst wird ein Basismodel des Gesichts anhand mehrerer Fotos erstellt. Dieses wird dann in ein 3D-Modell umgewandelt. Und dann lernt das Gesicht sich auszudrücken, indem es die gleichen Gesichtsausdrücke wie sein Video-Pendant bekommt. Details wie Schatten, Falten, Haut etc. werden ebenfalls angepasst.

Grundlage kann jedes Video sein. Große Kontraste sind allerdings ein Problem. Schattenwürfe und Lichtreflexionen können einen Teil der Bildinformation verdecken. Im 3D-Modell bleibt eine Lücke, die dem Betrachter aber in der Regel nicht weiter auffällt.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Quellen:

http://www.golem.de/news/computergrafik-us-forscher-modellieren-gesichter-in-videos-dreidimensional-1409-109436.html

http://www.pcgameshardware.de/Internet-Thema-34041/News/3D-Modelle-aus-Youtube-Videos-1137515/

http://www.pctipp.ch/news/fun/artikel/3d-gesichter-aus-beliebigen-youtube-videos-80992/