2D 사진을 3D 모델링 엔비디아 신기술 GANverse3D

2D 사진을 3D 모델링 엔비디아 신기술 GANverse3D

 

최근 인기 예능 프로그램에서 티랩스를 이용한 실감 3D 스캔 VR 영상이 소개되면서 폭발적인 관심을 끌었는데 곧이어 엔비디아에서 새로운 방식의 3D 모델링 기술을 발표하였습니다.

 

 

엔비디아는 최근 자사 AI 리서치 랩에서 개발한 GANverse3D 애플리케이션을 공개했는데 해당 기술은 2차원 평면 이미지를 사실적인 3D 모델로 변환해주는 기능으로 엔비디아는 해당 기술에 대해서 특정 자동차 사진 한 장만으로, 사실적인 전조등, 후미등, 점멸등까지 완비한 3D 모델을 구축해 가상의 장면에서 주행하게 만들 수 있다고 설명했습니다.

 

 

지난 2010년대 초반 시야각을 이용해서 3D 입체화면을 구현해 아바타 등 일부 영화 컨텐츠 산업의 변화가 있었던 시기가 있는데 그때와는 전혀 다른 기술이라 기대가 되는 부분입니다.

 

 

엔비디아는 GANverse3D 기술을 통해서 건축가, 크리에이터, 게임 개발자, 디자이너들은 3D 모델링 분야에 대한 전문성이나 투자 자본이 없이도 3D 오브젝트를 손쉽게 만들 수 있다고 밝혔습니다.

 

GAN이란 생성적 적대 신경망을 뜻하는데 엔비디아 연구자들은 흔하게 얻을 수 있는 자동차 이미지와 같은 실세계 데이터에서 다시점 이미지를 얻기 위해 GAN 모델을 활용했고 GAN 모델의 신경망 레이어를 조작해 데이터 생성기로 변환시키는 방식이다.

 

 

 

자동차 사진을 예로 들면 주차된 차량 주변을 걸으며 서로 다른 각도에서 사진을 찍듯 동일한 오브젝트를 다양한 각도에서 묘사하는 이미지들을 합성해 다시점 이미지를 얻고, 2D 이미지에서 3D 메시 모델을 추론하는 프로세스인 역 그래픽용 렌더링 프레임워크에 연결했다.

 

 

GANverse3D는 이러한 훈련을 통해 단일 2D 이미지만으로 3D 메시 모델을 구현할 수 있다. 이를 통해 자동차와 건물이 포함된 일반 이미지를 3D 모델로 변환할 수 있으며, 동물을 비롯한 무엇이든 표현이 가능하다고 밝혔습니다.

 

 

 

엔비디아 측은 "GANverse3D를 엔비디아 옴니버스 플랫폼의 확장 기능으로 가져와 엔비디아 RTX GPU로 실행하면 모든 형태의 2D 이미지를 3D로 재현할 수 있다"라고 밝히면서 " 980년대에 큰 인기를 끌었던 TV 드라마 ‘전격 Z작전’에서 범죄에 맞서 싸우며 대중의 사랑을 한 몸에 받았던 자동차 키트도 재현이 가능하다"고 밝혔습니다.

 

 

엔비디아 연구원은 일반적인 파이프라인 대신 합성 데이터를 활용한 실제 이미지로 훈련을 진행하여 AI 모델이 실제 애플리케이션들과 만났을 때 한층 뛰어난 일반화 능력을 보여준다고 덧붙였습니다.

 

AI, VR, 3D모델링, 메타버스 등 코로나 19가 가져다준 새로운 기술은 앞으로의 세상을 더욱 기대하게 하는 것 같습니다.