VR 컨텐츠 개발이 어려운 이유 with Vision Pro

 

 Apple의 Vision Pro가 출시되었습니다. 20만 대 사전 예약, 반품 행렬 등 그동안 수많은 사건이 있었고 논란도 많았습니다. 현재 시점으로 조금 정리된 것 같은데, 메타에서는 이 기회를 틈타 자사의 VR기기를 홍보하고 있습니다. 특히 메타의 경우 LG와 협력하여 새로운 퀘스트 4를 출시할 계획이라는 루머도 도는데요. 이 포스트에서는 왜 VR콘텐츠 보급이 어려운지, 킬러앱의 등장은 없는 건지 여부에 대해 개발자의 시선에서 소개하겠습니다. 

 

1. 기존의 VR 컨텐츠 개발

 우선 몇 가지 도구가 필요합니다. 기존 소프트웨어&게임 개발의 경우 컴퓨터만 있어도 충분했으나 VR콘텐츠의 경우 기본적으로 요구하는 성능이 높습니다. 채도가 높아질수록 어지러움을 덜 느낀다는 연구도 있을 만큼, 콘텐츠 자체가 화려해야 하고 화려하기 때문에 고성능이 될 수밖에 없습니다. 게다가 시중에 나와있는 헤드셋을 구매해야 한다는 점도 개발 지연의 영향일 듯합니다.

• 고사양의 컴퓨터
• 헤드셋

 

 개발을 위해서는 VR기기와 컴퓨터 화면을 번갈아가면서 작업해야 합니다. 조금이라도 VR개발을 해보신 분들은 아시겠지만 이게 상당히 불편합니다. 콘텐츠를 빌드하면 VR기기를 사용해서 프리뷰해봐야 하고 아니다 싶으면 다시 컴퓨터로 돌아와서 작업해야 합니다. 언리얼 엔진으로 작업하든 다른 플랫폼으로 작업하든 불편한건 매한가지입니다. 사용자 입장에서 번거로운 부분이 개발자 입장에서는 더더욱 번거로운 셈이죠.

 

https://www.youtube.com/watch?v=Z4sClxhgsxk&ab_channel=SmartPoly

 

 위 영상에서 VR 콘텐츠를 세팅하는 방법을 알려줍니다. 개발하기 위해서는 일단 착용하고 있어야 합니다. 베터리 타임을 약 2시간, 보통 게임 개발하시는 분들이 하루에도 몇 시간씩 작업하는걸 보면 터무니 없이 적은 시간입니다. 그만큼 개발에 쓸 시간을 충분히 확보하지 못한다는 이야기죠.

 

 이를 위해서는 VR기기에 테스팅 그라운드가 필요합니다. VR 컨텐츠 개발을 위한 앱이나 플랫폼이 필요한 거죠. 즉, VR기기를 착용하면서 데스크톱 환경을 볼 수 있어야 하고 데스크톱에서 플레이하는 동시에 바로 VR화면이 동작해야 합니다. 앱을 나가는 순간 다시 모니터로 돌아오는 것이죠. 이 과정을 패스스루를 통해 할 수 있다면 베스트겠지만 적어도 표시된 글자의 해상도가 개선되지 않는 한 한계가 있다고 봅니다. 적어도 VR기기를 뒤집어쓰고 책을 읽을 정도는 돼야 한다는 거죠.

 

 이 외에도 제가 콘텐츠를 개발해 보며 느낀 문제점은 더 있습니다.

 

 

2. 텍스쳐 표시 한계

 우선 현실에 있는 콘텐츠는 고해상도를 넘은 인간의 눈이 인지 가능한 범위까지 해상도가 높아집니다. 반면 모니터나 스크린은 해상도에 제한이 있을 수밖에 없죠. 특히 VR기기 특성상 레이턴시를 줄여야 하는데, 베터리를 고려하면 해상도를 낮출 수 밖에 없습니다. 바로 이 점에서 VR의 기술적 한계가 명확하게 드러나게 됩니다. 현재 이 시장은 고착화 상태에 빠져있습니다. 마치 예전 AI기술이 그랬듯, 비전은 있지만 기술이 없습니다. 해상도를 인간이 인지 불가능한 수준으로 높이면서 레이턴시 0.1ms 정도로 줄이고 헤르츠를 240hz로 지원하면서 저전력인 디스플레이는 이 세상에 아직 없습니다. 무엇 하나를 개선하면 나머지를 포기해야 하는 딜레마 상황인 셈입니다.

 

 이러한 기술적 한계는 VR에 콘텐츠가 부족하다는 말로 성장하는 못한다는 주장을 정면으로 반박합니다. VR시장은 물론 활용 가능한 컨텐츠가 부족하지만 실제로는 기기가 없습니다. 기기의 기술적이 뒷받침되지 않은 상태로 여러 기술이 개발되곤 있지만, 적절한 하드웨어 없이 최상의 소프트웨어를 기대하는건 욕심입니다. 

 

 모바일 시장이 그랬듯이, 또 지금 AI시장이 그렇듯이 모든 기술 시장에 바탕에는 하드웨어가 있습니다. 모바일의 경우 통신 및 칩셋의 소형화 + 저전력 + 고성능을 성공시켰고, AI기술은 그래픽카드의 비약적 발전 덕분에 가능해졌습니다. 사실 현재 개발된 AI 기술의 기본은 전부 오래전에 나온 개념입니다. 그 개념을 계승한 여러 연구와 상용화 끝에 빛을 보고 있는 겁니다.

 

무어의 법칙

 

 

 모든 기술 발전은 계단식으로 성장합니다. 중간중간에 정체기가 있는 것이죠. 그러다가 급성장하는 법입니다. 만약 고해상도 텍스쳐를 위화감 없이 표현할 수 있는 기술이 개발되면 그제야 VR시장은 급변할 거라고 예상합니다.

 

3. 엔진의 한계와 지원 미흡

 VR콘텐츠를 개발하기 위한 두 가지 엔진이 존재합니다. 언리얼과 유니티. 맞습니다. 게임엔진입니다. 앱을 개발하기 위해서는 안드로이드 스튜디오 또는 스위프트로 대표되는 네이티브 플랫폼, 리엑트와 플러터로 대표되는 크로스플랫폼, 웹으로 대표되는 웹앱. 이렇게 총 3가지의 방법이 존재합니다. 바로 같은 이유로 모바일 시장이 엄청난 시장이 될 수 있었던 배경입니다. 개발자로 하여금 자유도가 충분히 주어지고 여러 가지 방법으로 앱을 개발할 수 있게 되니 자연스럽게 여러가지 시도를 해볼 수 있던 겁니다.

 

 그러나 VR개발을 위해서는 저 2개 아니면 방법이 없습니다. 물론 웹을 사용하는 ThreeJS, C++과 OpenGL을 통한 처음부터 개발등 어려운 방법이 존재하나 적어도 현재 시점 OpenGL를 다루는 개발자는 거의 없습니다. 심지어 엄청나게 어렵습니다. 개발자로 하여금 만들기 까다로운 소프트웨어가 존재하는데 그중 하나가 바로 게임엔진입니다. OpenGL는 게임엔진을 만들기 위한 표준 중 하나이고요. ThreeJS는 성능 한계가 명확해서 잘 사용하지 않습니다.

 

 그렇다면 저 두 게임엔진을 통해 VR 콘텐츠를 비교적 쉽게 개발이 가능하냐? 그것도 아닙니다. 지원이나 호환성은 여전히 무지하고 공식문저는 개판입니다. 개발자 경험(DX)가 전혀 고려되지 않았습니다.

 

 결국 콘텐츠를 만들기 위한 도구가 없습니다. 마치 앱 초기 시장과도 비슷한데, 2008년 이후 앱스토어가 개발되고 10년 정도 흘러 안정화가 되었다면 적어도 현재 시점에서 몇 년은 지나야 컨텐츠 개발이 쉬워질걸로 봅니다. 여기서 애플이 시장진입을 했다면 관련 SDK의 보급도 원활할걸로 예상되고요. 만약 그렇지 않다면 기존 앱을 개발하는 방식에 3D 인터렉션을 추가하는 방향으로 변화할수 있다고도 봅니다. 숏폼 컨텐츠를 3차원으로 볼 수 있다면 중독성 있겠죠.

언리얼 엔진 유니티

 

 

4. 그래서 비전 프로의 비전은

 아는 분을 통해 비전 프로를 써봤습니다. 막 크게 와닿지는 않는데, 한 가지 놀라운 경험을 했습니다. 바로 무감각입니다. 놀랄 정도가 아니라는 건 그만큼 현실적이라는 반증이고 조금 무거운 스키고글을 쓴 느낌이었습니다. 엄청 불편하긴 했어도 시각적으로 불편함은 전혀 없었습니다. 제 경험과 다른 유튜버분들의 의견을 종합해 볼 때 "아직은 무리지만, 가능성이 보인다" 정도로 요약할 수 있겠습니다. 

 

 그냥 바로 앞에 거대한 모니터 화면이 있었습니다. 그게 다입니다. 너무나 현실적이라서 동시에 익숙하게 느껴졌습니다. 바로 그 점이 기존 VR기기와의 차별점처럼 느껴졌습니다. 외부 출장을 자주 다니시는 분들, 집보다 현장이나 업무공간을 주로 다니시는 분들에게 적합한 기기라는 생각이 들었습니다. 명확하게 비즈니스맨을 위한 제품인 셈이죠.

 

 VR기술의 본질은 3차원 투사에 있습니다. 과연 기존 2차원 디스플레이에서 3차원으로 동작시키는 게 무슨 큰 의미가 있냐?라고 질문해야만 답이 나온다는 겁니다. 막연하게 "디스플레이에 한 차원을 더 투시하면 좋을 거야" 또는 "몰입감이 더욱 증가할 거야"라고 질문할 수 있습니다. 이 문제에 대해서는 과연 몰입감이 필요한가? 굳이 한 차원을 더 보여줘야 하는가? 라는 의심을 해보아야 합니다.

 

 대부분의 물리적 경험은 3차원 공간으로 이루어져 있습니다. 인간의 시각 세포 또한 공간을 인지하도록 변화했고요. 따라서 3차원을 통한 인지기능은 2차원으로 투사하는 것보다 더 즉각적으로 이루어집니다. 정보의 해석이 불필요해지는 것이죠. 즉, 2차원 디스플레이를 보는 경험보다 다양한 인지적 경험을 누릴 수 있게 해 줍니다. 그러한 인지적 경험은 즉각적인 보상회로를 강화시킵니다. 도파민 경로에 자극을 주게 됩니다. 사업하는 분들은 "고객으로 하여금 도파민을 느끼게 하라"라는 명제를 들어보셨을 겁니다. 현대 IT산업의 주 축이 도파민 위에 올라와 있을 정도로 그 중요성은 어마무시합니다. 

 

 언급한 명제에 따라 새로운 도파민 자극을 줄 수 있다면 제품을 사용하는 사람으로 하여금 지속적으로 사용하게 만듭니다. 산업의 성장인 것입니다. 제가 언급한 몇 가지 기술적 어려움만 해결된다면 자연스럽게 시장은 성장할 것으로 보입니다. 정보의 표현이 더 즉각적으로 표현될 수 있다면 그 자체만으로도 사업적 가치가 충분하다고 볼 수 있습니다.