Belangrijkste afhaalrestaurants
- Nvidia toonde onlangs een techniek die 2D-foto's in slechts enkele seconden in 3D-scènes verandert.
- De methode gebruikt computerkracht om te schatten hoe licht zich in de echte wereld gedraagt.
- De metaverse is een gebied waar 3D-scènes nuttig zijn omdat ze vanuit elk cameraperspectief kunnen worden bekeken.
Nieuwe kunstmatige intelligentie (AI)-technologie van Nvidia zou binnenkort 2D-foto's in slechts enkele seconden in 3D-scènes kunnen veranderen, waardoor het creëren van meeslepende virtuele ruimtes zoals de metaverse net zo triviaal als tekstverwerking wordt.
Nvidia heeft onlangs de fotomethode Instant NeRF gedemonstreerd, die rekenkracht gebruikt om te benaderen hoe licht zich in de echte wereld gedraagt. Het kan je oude foto's transformeren in een videogamescène, of het kan worden gebruikt om robots en zelfrijdende auto's te trainen om de grootte en vorm van objecten uit de echte wereld te begrijpen.
"3D-beeldvorming brengt een nieuwe wereld van transformatie", vertelde Oren Debbi, de CEO van Visionary.ai, een computervisiebedrijf dat zijn 3D-algoritmen op het Nvidia-platform uitvoert, in een e-mailinterview aan Lifewire. "Als je 3D gebruikt, boots je de diepte van de werkelijkheid in de scène na en maak je het beeld levendiger en realistischer. Naast AR/VR en industriële camera's, waar 3D heel gewoon is, zien we dat het nu op bijna elke smartphone wordt gebruikt zonder de gebruiker zelfs weten."
Afmetingen toevoegen
De eerste instant-foto, 75 jaar geleden gemaakt met een Polaroid-camera, was bedoeld om de 3D-wereld snel vast te leggen in een 2D-beeld. Nu werken AI-onderzoekers aan het tegenovergestelde: een verzameling stilstaande beelden in seconden omzetten in een digitale 3D-scène.
Dit proces staat bekend als inverse rendering en gebruikt AI om te schatten hoe licht zich in de echte wereld gedraagt, waardoor onderzoekers een 3D-scène kunnen reconstrueren uit een handvol 2D-beelden die vanuit verschillende hoeken zijn genomen. Nvidia beweert dat het een aanpak heeft ontwikkeld die deze taak vrijwel onmiddellijk volbrengt.
Nvidia gebruikte deze aanpak met een nieuwe technologie die neurale stralingsvelden of NeRF wordt genoemd. Het bedrijf zegt dat het resultaat, genaamd Instant NeRF, de snelste NeRF-techniek tot nu toe is. Het model heeft slechts enkele seconden nodig om te trainen op enkele tientallen stilstaande foto's en kan vervolgens de resulterende 3D-scène binnen tientallen milliseconden renderen.
"Als traditionele 3D-representaties zoals polygonale mazen verwant zijn aan vectorafbeeldingen, zijn NeRF's als bitmapafbeeldingen: ze vangen de manier waarop licht uitstra alt van een object of binnen een scène op een hoge dichtheid", David Luebke, vice-president voor grafisch onderzoek bij Nvidia, zei in een persbericht: "In die zin zou Instant NeRF net zo belangrijk kunnen zijn voor 3D als digitale camera's en JPEG-compressie zijn geweest voor 2D-fotografie - waardoor de snelheid, het gemak en het bereik van het vastleggen en delen van 3D enorm zijn toegenomen.”
Het verzamelen van gegevens om een NeRF te voeden, vereist dat het neurale netwerk enkele tientallen beelden vastlegt die zijn genomen vanaf meerdere posities rond de scène, evenals de camerapositie van elk van die opnamen.
De NeRF traint een klein neuraal netwerk om de scène te reconstrueren door de kleur van het licht te voorspellen dat in elke richting uitstra alt, vanaf elk punt in de 3D-ruimte.
De aantrekkingskracht van 3D
De metaverse is een gebied waar 3D-scènes nuttig zijn omdat ze vanuit elk cameraperspectief kunnen worden bekeken, vertelde Brad Quinton, oprichter van het Perceptus Platform voor augmented reality (AR), aan Lifewire in een e-mailinterview. Net zoals we in het echte leven door een kamer kunnen lopen en de inhoud vanuit veel verschillende hoeken kunnen zien, kunnen we met een gereconstrueerde 3D-scène virtueel door een ruimte bewegen en deze vanuit elk perspectief bekijken.
"Dit kan met name handig zijn voor het creëren van omgevingen voor gebruik in virtual reality," zei Quinton.
Programma's zoals Apple's Object Capture gebruiken een techniek genaamd fotogrammetrie om virtuele 3D-objecten te maken van een reeks 2D-afbeeldingen. De 3D-modellen zullen veel worden gebruikt in virtual reality- en AR-toepassingen, voorspelde Quinton. Sommige AI's, zoals die in het Perceptus AR Platform, gebruiken bijvoorbeeld 3D-modellen om inzicht te krijgen in de echte wereld, wat re altime AR-toepassingen mogelijk maakt.
Het gebruik van 3D-beelden bootst ook de echte diepte in een scène na en maakt het beeld levendiger en realistischer, zei Debbi. Om een Bokeh-effect te creëren (ook wel portretmodus of filmische modus genoemd), is 3D-dieptemapping nodig. De techniek wordt op bijna elke smartphone gebruikt.
"Dit is al de standaard voor professionele videografen die films filmen, en dit wordt de standaard voor elke consument", voegde Debbi eraan toe.
