CREW

Avatar onderzoek

Het creëren van immersieve omgevingen in VR en het vermengen van digitale technologie met (podium)kunsten vult CREW aan met doorgedreven onderzoek naar manieren om digitale personages of avatars te integreren. Dit is ook het onderwerp van ons Horizon 2020 onderzoeksproject PRESENT. Binnen PRESENT mikken we niet alleen op fotorealisme, maar ook op realisme in bredere zin, wat veel andere aspecten inhoudt, aspecten die vaak onderschat of zelfs genegeerd worden.

Scanning technologie heeft een lange weg afgelegd en vandaag is het mogelijk om bijna fotorealistische personages in VR te integreren. Hier botsen we echter op een probleem dat in het jargon omschreven wordt als ‘the uncanny valley’. Wat inhoudt dat hoe dichter we fotorealisme benaderen, hoe minder empatisch we worden ten aanzien van artificiële personages. We vinden ze griezelig, ontwrichtend of inderdaad unheimlich. Het is mogelijk om deze kloof te overbruggen door in te zetten op perfectie, maar de gelimiteerde verwerkingscapaciteit laat dit in VR nog niet toe. Bovendien stelt zich de vraag of we dit echt willen. Realisme is niet het doel op zich, we streven eerder naar expressie en creativiteit.

Wanneer we het fotografische aspect laten vallen, kunnen we andere eigenschappen ontlokken: bewegingen, groepsgedrag, spraak en niet-verbale communicatie maken een personage geloofwaardig. In het verleden hebben we vastgesteld dat zelfs wanneer we een beperkte hoeveelheid ‘bewegingsdata’ van een acteur capteren, het de acteur bij digitale reproductie herkenbaar maakt. De essentie van menselijke lichaamstaal kan uitgedrukt worden in slechts enkele bewegende punten. We zijn ervan overtuigd dat het capteren van die essentie een sterke catalysator kan zijn voor een geloofwaardige levendigheid, een die los staat van de beperking die een fotografische blik opwerpt. We kunnen gebruik maken van deze aspecten om gestyleerdere en overtuigende personages te creëren, menselijke eigenschappen voor zonderlinge wezens die ons niet langer afstoten met hun bijna perfecte – en ironisch genoeg vaak geïdealiseerde looks.

Meer gestyleerd is dus het te volgen pad, maar ook typisch cartooneske figuren willen we niet, die roepen een zeer specifieke atmosfeer op. Om onze werelden te bevolken onderzoeken we momenteel drie benaderingen voor het maken van personages.

We hebben een anatomisch geïnformeerde synthetische avatar; gemodelleerd in 3D ontwikkeld, die als basis en ‘plaatsvervanger’ kan fungeren. Hij is specifiek ontworpen voor expressieve lichaamsbeweging, slank en androgyn.

Parallel modelleren we lichaamsdelen in klei die we vervolgens digitaliseren. Een analoge toets leidt tot een heel andere soort materie, organisch en grotesk.

Tenslotte onttrekken we incidenteel gescande menselijke figuren aan onze 3D omgevingsscans en integreren deze op hun beurt. Met hun sculpturale trekken passen ze perfect in onze omgevingsscans.