VR시선추적기술-Foveated Rendering

지금까지는 VR을 사용하는 End User의 관점에서 획득할 수 있는 이점들에 대해 살펴봤다면, VR을 제조하는 회사의 관점에서 VR시선추적기기를 사용하면 어떤 특장점을 가질 수 있는지 살펴보려합니다. 제조사는 다양한 고객을 고려해서 VR HMD를 만듭니다. 이들의 고객은 VR 콘텐츠를 만드는 스튜디오일 수도 있고, VR 콘텐츠를 즐기는 일반사용자일 수도 있으며 정부나 연구자 일 수도 있습니다. 그래서 새로운 버전의 VR HMD를 만들때 다양한 고객들을 만족시킬 방법을 우선순위로 찾고 적용하게 됩니다.

시선추적기술이 VR 환경에서 유독 특별한 대우를 받는 이유가 있습니다. 바로 ‘실제를 보는 것과 같은’ 느낌을 줄 수 있다는 것입니다. 2D화면은 아무리 크더라도 진짜라는 착각을 불러일으키지는 않습니다. 하지만, VR을 쓰면 때로는 현실인지 가상인지 분간이 가지 않기도 합니다.

포비티드 랜더링(Forveated Rendering)은 사용자가 응시하고 있는 부분은 고화질로, 그 외 부분은 저화질로 처리하는 기술입니다. 시선추적을 이용하여 디스플레이에서 사람이 실제 물체를 볼 때와 같은 원리를 구현한다고 생각하시면 됩니다.

우리 눈은 어떤 원리로 물체를 볼까요? 먼저 눈의 근육은 물체의 거리에 따라 수축하고 이완하며 보고자 하는 물체를 찾아냅니다. 그리고 빛이 반사되어 눈에 들어오면 각막, 동공, 그리고 수정체를 거쳐 망막(retina)에 상을 맺고 이 정보를 시신경을 통해 뇌로 전달합니다. 망막의 중심에는 중심시를 담당하는 작은 부위가 있는데, 이를 황반(Fovea)라고 부릅니다. 사람이 어떤 것을 볼 때, 중심시 이외의 부분은 비교적 흐릿하게 보이기 때문에 중심시가 향하지 않는 부분은 알아차리기가 어렵습니다.

https://www.high-endrolex.com/3

Eye anatomy illustration from Beginning Psychology (v. 1.0) via Creative Commons (by-nc-sa 3.0). Labels modified for this page.

이제 여기까지 읽으셨다면 포비티드 랜더링(Foveated Redering)이 이 중심시(Fovea)에 기반하는 기술이라는 것을 눈치채졌을 겁니다. 사용자가 어느 부분을 응시하고 있는지 정확한 위치를 알아야만 중심시와 주변시를 구별할 수 있고, 색상이나 대비와 같은 요소들을 어색하지 않게 처리해 낼 수 있기 때문에 시선추적기술이 필요한 것입니다. 그리고 시선추적기술의 오차범위가 좁고 정확할수록 기술의 활용 효과는 높아지게 됩니다.

2016년 NVIDIA와 독일 시선추적회사인 SMI(Senso Motorif Instruments)가 함께 진행했던 연구

** 참고로 SMI는 2017년 Apple이 인수

그럼 시선추적기술이 적용된 포비티드 랜더링 기술이 제조사에게 주는 이점은 무엇일까요?

1. 그래픽의 성능을 높여줍니다.

사용자가 바라보고 있는 부분만 최대 화질로 구현하고 나머지 부분은 저화질로 처리하게 되면 화면전체를 1전체를 고화질로 채우는 것보다 훨씬 연산 부하가 적게 듭니다. 실시간으로 시선을 추적하여 Dynamic foveated Rendering을 하게 되면, Full Rendering을 하는 것보다 안정적이기 때문에 복잡한 콘텐츠를 표시하더라도 GPU의 처리가 크게 늘어나지 않아 그래픽 성능이 높아지게 됩니다. 이 사실은 이미 여러 논문과 저널을 통해 확인이 되었기 때문에 제조사가 시선추적기술을 고려하는 가장 우선적인 이유라고 볼 수 있습니다.

2. 눈의 피로도를 줄여줄 수 있습니다.

VR 멀미 때문에 VR기기 자체를 꺼려하는 사람들이 많습니다. VR멀미가 해결되었다면 지금쯤 VR시장은 훨씬 빠르게 성장했을 것입니다. VR제조사가 가장 해결하고 싶어하는 부분이기도 하죠. VR멀미는 다양한 원인에 의해 발생하는데, 그 중 하나는 VR화면 전체가 고화질로 보여졌을 때의 피로감입니다. 이는 작은 스마트폰으로 콘텐츠를 보다가 갑자기 큰 대형 화면에서 콘텐츠를 시청할때와 같은 느낌입니다. 또렷한 색상과 빛을 뿜어내고 있는 화면을 보면 우리 눈이 피로해 질 수 밖에 없습니다. 그리고 때로는 VR 멀미로 이어지기도 하죠.

이는 포비티드 랜더링 기술이 주는 이점이라기 보다는 포비티드 랜더링을 구현하는 시선추적기술이 가지는 잠재력에 가깝습니다. 워낙 다양한 원인이 있어 VR멀미를 해결하는 완벽한 방법은 아니지만 눈의 피로도를 낮추기 때문에 VR 멀미 개선에 도움이 될 수 있습니다. GPU의 부하를 낮추고 그래픽의 성능을 높이는 1번의 이점뿐만 아니라 향후에 VR 멀미를 개선할 수도 있는 방법으로 시선추적기술이 유력하게 꼽히고 있기 때문에 제조사에게는 큰 고려지점입니다.

비주얼캠프는 언제부터 VR 시선추적기술을 개발해 왔을까?

비주얼캠프는 2015년부터 꾸준히 VR시선추적기술을 연구하고 발전시켜왔습니다. 비주얼캠프 개발팀에게는 모바일 환경에 최적화된 시선추적기술을 만들자는 개발비전이 있었습니다. 그래서 2017년 삼성 엑시노스8890의 올인원 VR HMD 레퍼런스 모델에 적용될 수 있었고 HTC VIVE 제품라인의 유선 VR 기기인 VIVE, VIVE Pro 뿐 아니라 무선 올인원 HMD인 VIVE Focus에서 구동하는 시선추적 소프트웨어 역시 경쟁사보다 먼저 시장에 선보일 수 있었습니다. 현재는 웹 기반 시선분석 솔루션인 TrueGaze VR Analysis와 함께 연구용으로 판매되고 있습니다.