CREW

Beweging en belichaming in VR

Toen ik begon bij CREW, kwam Eric vaak terug op het belang van de vrije beweging in VR, het doorkruisen van grote ruimtes. Ik was niet meteen mee. Natuurlijk zijn grote ruimtes fijn, maar uiteindelijk draait VR om beeld en geluid, ongeacht hoe je je beweegt. Na een tijdje besefte ik dat er toch wat voor te zeggen viel. Het punt is namelijk niet de ruimte, maar de beweging. Onze geest bepaalt de ruimte namelijk aan de hand van onze eigen beweging.

Ik denk dat het inzicht stamt uit de experimenten van CREW met 360° video ‘VR’. Bij dit type immersie wordt enkel de rotatie van het hoofd gevolgd, het is niet interactief in strikte zin. CREW ontwikkelde een immersieve trukendoos, waaronder het gegeven dat wanneer participanten in dezelfde richting als de camera bewegen, ze het gevoel krijgen door de camera te kijken. Als je daarbovenop ook ledematen toont die op dezelfde manier bewegen als de ledematen van de participant, dan resulteert dit in een sterk gevoel van belichaming (meer hierover later) en dus een hoge graad van immersie.

Even terug naar 3D VR. De enscenering voor computerspellen heet ‘roomscale’: je kan manoeuvreren binnen een ‘kamer’ van 4 bij 4 meter. Het systeem volgt niet enkel de rotatie van je hoofd, maar ook je verplaatsing binnen de kamer (de zogenaamde ‘six degrees of freedom’). Die kamer is echter zo beperkt dat je niet echt kan wandelen. Bovendien ben je meestal ook gekluisterd aan een PC. Spelontwikkelaars hebben hier creatieve oplossingen voor bedacht, zoals het gebruik van een controller voor verplaatsingen. Het is als het ware het VR-equivalent van een elektrische rolstoel. Het werkt min of meer, maar veroorzaakt simulatieziekte. Een andere oplossing is teleportatie: je wijst een locatie aan en wordt prompt naar daar verplaatst. Dit veroorzaakt geen bewegingsziekte, maar het zondigt tegen een van mijn hoofdprincipes: overtreed nooit de regels van tijd en ruimte zonder consequenties. Het gevolg is dat je onthecht geraakt van de immersie.

Wanneer je in een onbekende fysieke ruimte arriveert, is het eerste wat je doet: rondwandelen, de dimensies opnemen en de ruimte intern reconstrueren. We zien dit gedrag vaak bij kinderen, niet gehinderd door beleefdheid of reserve. Waarom zou dit anders zijn in de virtuele ruimte? De perceptie van diepte wordt daar net zo goed bepaald door beweging, meer nog dan door stereoscopie. We zien dit goed geïllustreerd door de installatie Collateral Rooms.

Bij het testen van ons StrapTrack-systeem — een toestel dat de participant lokaliseert in grote ruimtes — was het makkelijk vast te stellen wanneer de immersie totaal was: deelnemers liepen met zekere tred ver de ruimte in. Als ontwaakt in Wonderland gingen ze van links naar rechts, de virtuele wereld was niet langer iets om te aanschouwen, maar een plek om te zijn, om in te bewegen.

We missen echter nog een tweede component: belichaming. Belichaming is sterk in 360° video, maar minder in grafische VR. Met computer-renders bereiken we nooit de graad van belichaming en aanwezigheid van vroegere producties als Eux of U_Raging Standstill. Waarom? Het lijkt alsof we ons makkelijker identificeren met een omgeving en een zicht op een lichaam, als het fotografisch is.

Het eerste wat mensen doen in VR is naar hun handen kijken, en dan naar hun voeten. Zonder dure en omslachtige motion-capturing, volgt een VR-headset enkel je hoofd. Controllers kunnen je daarbovenop nog erg rudimentaire ‘handen’ geven. We zien wel nieuwe ontwikkelingen in dit gebied: sommige systemen kunnen bijvoorbeeld ook je vingers volgen en een techniek die ‘inverse kinematics’ heet bootst je lichaam na enkel en alleen op basis van de beweging van je hoofd en je handen. Het is verre van perfect, maar het brengt ons weer een stap dichter bij belichaming. Je kan nu virtuele objecten grijpen, je lichaam in een spiegel zien of handbewegingen maken. Zodoende verkrijgen we macht in een virtuele wereld. De volgende stap is non-verbale communicatie.

Deze principes zijn de voorwaarden voor het werk in VR, artistiek en technisch onderzoek dat we verrichten in het kader van het PRESENT Horizon 2020 EU project. Binnen het frame van vrije beweging en belichaming kunnen we ervaringen creëren met echte acteurs, virtuele avatars en een mix van de twee.

Isjtar