스테레오스코픽 3D 이미징 기술

Stereoscopic 3D imaging technology

 

이 S3D 라는 분야에 대하여 필자는 오래전부터 연구와 실행을 해 봤습니다.

지금부터 약 15년전의 그 환경에서는 앞서가는 작업이었다고 생각됩니다. AI라는 용어를 일부인들에게만 연구 목적 대화에 등장하던 그때 온갖 프로그램들을 섭렵해 보고 어느 Tool이 가장 목적에 도달하기 쉬운가 하며 사용을 했습니다.

경험했던 일들을 하나하나 나열 할 수는 없지만 기억을 되살려 기록으로 남겨봅니다.

 

 

일단 이 분야에서 사용하던 기본적인 용어들이 있습니다. 지금도 그 분야 작업을 하시는 분이라면 모두 알고 있을 용어들입니다.

잠시 조금만 알아봅니다.

 

1. 스테레오스코피 (스테레오스코픽 이미징): 두 개의 조금 다른 각도에서 촬영한 이미지를 사용하여 입체감을 생성하는 기술.
2. 양안 시차 (Binocular Disparity): 두 눈이 서로 다른 위치에서 보는 이미지 간의 차이, 입체 시각의 기초.
3. 3D 안경: 스테레오스코픽 이미지를 올바르게 보기 위해 사용되는 특수 안경. 여기에는 적청 안경, 편광 안경, 셔터 안경 등이 포함될 수 있음.
4. 편광 (Polarization): 편광 안경과 같은 장비를 사용하여 서로 다른 방향으로 편광된 두 이미지를 분리하는 기술.
5. 액티브 셔터 시스템 (Active Shutter System): 셔터 안경을 사용하여 화면에 빠르게 번갈아 나타나는 두 이미지를 분리하는 기술.
6. 적청 (Anaglyph): 적색과 청색 필터를 사용하여 두 이미지를 중첩시키고 분리하는 전통적인 3D 기술.
7. 입체감 (Depth Perception): 물체가 공간상에서 얼마나 멀리 떨어져 있는지를 인식하는 능력.
8. 가상 현실 (Virtual Reality, VR): 완전히 입체적인 가상 환경을 만드는 기술.
9. 증강 현실 (Augmented Reality, AR): 실제 환경에 가상 요소를 추가하는 기술.
10. 홀로그래피 (Holography): 빛의 간섭과 회절을 이용하여 입체 이미지를 만드는 기술.

 

그 당시에는 유튜브에는 거의 자료가 없었고 구글링으로 관련 분야의 연구를 하며 올렸던 블로그나 논문등을 검토해가며 작업을 했습니다. 위 용어들을 보니 과거로의 여행을 하는듯 보입니다.

몇년을 걸쳐 작업 하던중 만난 프로그램들과 지금도 새로이 이어져 내려오는 프로그램들 몇개 나열해 봅니다.

1. Agisoft PhotoScan & Metashape: 이 프로그램은 사진 측량을 통해 모델링하는데 사용되며, 특히 인물 피규어 스튜디오에 특화된 것으로 알려져 있습니다. 360도로 촬영한 여러 장의 2D 사진을 기반으로 3D 모델링을 생성합니다.
2. Capturing Reality RealityCapture: 이 소프트웨어는 비교적 빠른 속도로 3D 모델을 생성할 수 있으며, 테스트 결과에 따르면 매우 빠른 처리 속도와 만족스러운 결과를 제공합니다.
3. 3DF ZEPHYR PRO: 여러 장의 사진 또는 동영상을 통해 3D 모델링을 생성할 수 있는 소프트웨어입니다. 특이한 점은 동영상을 통해서도 3D 모델링이 가능하다는 것입니다.
4. 3DSOM Pro: 이 프로그램은 여러 장의 사진을 통해 3D 모델링을 만들어 주며, 고품질 텍스처 맵을 작성하여 표면 색상을 표시합니다.
5. AutoCAD: AutoCAD는 2D 도면 설계를 3D 객체와 프로토타입으로 전환하는 데 사용됩니다. 이는 건축, 엔지니어링 및 다양한 디자인 분야에서 널리 사용됩니다.
6. 어도비의 AI 기술 LRM (Large Reconstruction Model): 5억 개가 넘는 매개변수를 가진 확장성이 뛰어난 트랜스포머 기반 신경망 아키텍처를 사용하며, 2D 이미지를 고품질의 3D 모델로 빠르게 재구성할 수 있습니다. 이 기술은 AR, VR, 게임, 애니메이션, 산업 디자인 등 다양한 분야에 혁신을 가져올 것으로 기대됩니다.
7. NeRF (Neural Radiance Fields): 여러 방향에서 찍은 2D 이미지를 입력으로 받아 3D 형태와 빛의 반사 방식을 학습하고, 사실적인 3D 장면을 구현합니다. NVIDIA의 Instant NeRF는 이 기술을 활용하여 빠르고 효율적인 3D 장면 변환을 가능하게 합니다.
8. EG3D 및 Giraffe HD: 이러한 모델들은 사실에 가까운 3D 이미지를 생성할 수 있으며, 특히 GiraffeHD는 3D 이미지에서 조작 가능한 특징을 추출하는 데 효과적입니다. 사용자는 이미지의 모양, 색상, 장면 또는 배경 등을 선택할 수 있습니다.

이러한 기술들은 3D 콘텐츠 제작, 가상 현실, 그래픽 디자인 등 다양한 분야에서 새로운 차원의 경험을 제공하고 있으며, 디지털 세계의 창의성과 혁신을 위한 강력한 도구가 되고 있습니다.

사실 지금은 2D 이미지를 3D로 바꾸는 작업을 쉽게 할 수 있습니다. 인공지능과 더불어 좀 더 빠르고 쉽게 해주기도 합니다.

15년전에는 작업 툴이 있었습니다만 워크플로우 중 기본만 도와주는 정도 였고 반 자동 혹은 거의 수동으로 해야 했습니다.

 

무슨이야기인가 하시는 분들이 계시리라 봅니다.

 

2010년 이전에는 3D 기술이 있었지만 비용이 어마어마 했습니다.

3D 영화를 제작하는데 가장 중요한 양안 고화질렌즈가 달린 카메라가 있어야 제대로 된 입체영화를 찍을 수 있었거든요~

 

그렇게 고급 3D 영화가 나오기도 했지만 이미 나왔던 아주 오랜 영화들, 또는 새로 제작하지만 일반 2D 카메라로 해상도만 높여 찍는 방법도 한 방법이었습니다.

2D 카메라로 찍고 어찌 3D 영화를 만드나... 바로 그것이 굉장한 작업이었습니다.

 

2D 이미지를 3D 이미지로 바꾸려면 2D이미지 한장을 깊이값(Depthmap)을 만들어야 하고 오리지날 이미지와 Depthmap 이미지를 합쳐서 SBS (Side By Side) 이미지를 만드는 것입니다.

지금은 뎁스맵이라는 것이 각종 프로그램을 통해 쉽게 나옵니다. 약간의 보정만 있으면 되는데 말이죠.

 

일단 쉽게 이해하게끔 아래가 작업순서의 이미지입니다.

2D 원본 이미지입니다.

 

 

2D 이미지를 깊이값을 주어서 이런 흑백 Depthmap을 생성합니다. 밝은색일수록 앞으로 튀어 나오는 것입니다.

원본과 뎁스맵을 합쳐 아래와 같은 Side by side 이미지를 만듭니다.

 

 

그러면 입체안경을 끼고 보면 3D 화면이 되는겁니다.

저 과정이 어마무시한겁니다.

 

영화는 24fps(1초에 24장 이미지), TV는 30fps이므로 영화 1초만 제작해도 24장을 만들어야 합니다.

그당시에는 인력이 남아도는 중국이 많이 만들었댔습니다.

영화 한편에 120분이라고 하면 24*60초*120분=172,800장의 이미지를 만들어야 영화 한편이었습니다.

Depthmap 만드는 과정이 여러가지 방법이 있는데 프로그램을 사용하지 않는다고 가정하면 펜툴로 하나하나 그려야 하는겁니다. 그리고 한 객체당 깊이값을 주는데 전체화면 구성에 비교해서 전면과 스크린 그리고 후면에 대한 값을 각각 255~0의 단계로 배치를 합니다. 

 

The parallax types: 

positive parallax(화면 앞으로 돌출 0값_white) / zero parallax (모니터 스크린 127값_gray) / negative parallax (후면 즉 모니터의 뒷쪽으로 들어감 255값_black)

 

영화가 객체 하나하나마다 가구나 건물면 이외에는 단면인 것이 없습니다. 그것도 정면에 똑바로 서야 면을 한값으로 주는데 사람같은 경우 굴곡이 있으므로 그라데이션으로 값을 주어야 합니다.

지금 생각해도 저걸 어찌했나 싶군요~ 물론 좀 더 편하고 퀄리티 좋으려고 그 후 많은 프로그램들을 응용해보고, 아예 팀을 나눠 프로그램을 제작까지 해보기도 했습니다.  

 

암튼 이글을 읽는 여러분께 학습 시키고자 하는 것이 아니니 머리 아파하지 마시기 바랍니다.

경험치들은 다음으로 계속됩니다.

 

 

@Exobrain