VR은 오리지널 Oculus Rift 이후로 먼 길을 왔지만 개선의 여지가 있습니다. Foveated 렌더링은 소수의 헤드셋에서 볼 수 있는 고급 기술이지만 곧 출시될 Sony의 PSVR 2 헤드셋에 표준으로 탑재된다는 소문이 있습니다.
“포비티드” 렌더링이란 무엇입니까?
우리는 2018년에 포비티드 렌더링을 VR의 미래의 중요한 부분으로 강조했지만 몇 년이 지난 후에도 여전히 모호한 개념입니다. 포비티드 렌더링이 무엇인지에 대한 주요 단서는 그 이름에서 나옵니다. NS 중심와 망막의 중심 부분입니다. 망막은 빛을 신경 신호로 변환하고 뇌에서 처리하여 보는 이미지로 처리하는 눈의 해부학적 부분입니다.
중심와만이 날카롭고 상세한 시야를 제공합니다. 중심와(fove)는 시야의 1~2%만 차지하는데, 어떻게 우리가 시야를 그렇게 선명하게 인지할 수 있습니까? 대답은 우리의 눈이 “단속 단속”으로 알려진 스캐닝 패턴으로 끊임없이 움직이고 있다는 것입니다. 환경에 대한 우리의 날카로운 시각을 스캔함으로써 우리의 뇌는 고해상도 사진을 엮습니다. 물론 당신은 이 과정을 의식적으로 알지 못합니다.
여기에서 foveated 렌더링(말 그대로)이 그림에 나타납니다. 시청자가 한 번에 화면의 작은 부분에서만 세부 정보를 볼 수 있는데 왜 전체 장면을 최대 세부 묘사로 렌더링합니까? 주어진 순간에 뷰어의 중심와가 가리키는 위치를 추적함으로써 GPU는 리소스를 해당 지점으로 리디렉션할 수 있습니다. 이것은 뷰어가 사용 가능한 컴퓨터 성능이 실제로 할 수 있는 것보다 훨씬 더 높은 품질의 렌더링된 이미지를 볼 수 있음을 의미합니다.
포비티드 렌더링은 여전히 드물다
VR 헤드셋은 포비티드 렌더링을 위한 완벽한 플랫폼입니다. 화면이 고정된 위치에서 머리에 고정되어 있기 때문에 중심와 위치를 비교적 간단하게 추적할 수 있습니다. 하지만 상대적으로 고가의 시선추적 기술을 헤드셋에 통합하고 소프트웨어 API(응용 프로그래밍 인터페이스)를 작성하고 정보를 활용할 수 있는 게임 엔진을 개발해야 합니다.
상상할 수 있듯이 오늘날 구입할 수 있는 VR 헤드셋에는 포비티드 렌더링을 위한 시선 추적 기능이 내장되어 있지 않습니다. 그럼에도 불구하고 VR 하드웨어 및 소프트웨어 개발자는 분명히 준비하고 있습니다.
예를 들어 Oculus Quest SDK(소프트웨어 개발 키트)는 고정 포비티드 렌더링을 지원합니다. 이것은 시선 추적에 의존하지 않지만 전체 이미지 주변에서 렌더링 세부 사항을 줄이는 foveated 렌더링의 관련 버전입니다. 사용자가 화면의 중앙 부분을 보고 있는 한 충분히 작동하지만 고개를 돌리지 않고 VR 세계를 둘러보면 이미지의 품질이 낮은 요소가 드러납니다.
콘솔 성능 최대한 활용하기
VR 세계의 그러한 고급 기능이 주류 콘솔 VR 플랫폼에서 기능하는 이유는 무엇입니까? 주된 대답은 PS5와 같은 콘솔이 고정된 처리 능력 풀로 몇 년 동안 생존해야 한다는 것입니다. PC VR의 경우 원하는 이미지 품질을 얻기 위해 무차별 대입을 사용하여 더 강력한 하드웨어로 계속 업그레이드할 수 있습니다.
PS4용 오리지널 PSVR을 통해 Sony는 스마트하게 작업하면 최소한의 하드웨어로 트리플 AAA VR 경험을 만들 수 있음을 이미 시연했습니다. 오늘날 PS5의 사양은 인상적이지만 1~2년 안에 보행자가 될 것이므로 하드웨어에 포비티드 렌더링과 같은 효율적인 성능 배율기를 구축하는 것은 초기 하드웨어 비용이 증가하더라도 합리적인 조치입니다.
PS4 Pro와 같은 맥락에서 또 다른 미드세대 업그레이드가 보이더라도 여전히 문제가 해결되지 않습니다. 결국 더 강력한 콘솔 업데이트가 있더라도 플랫폼용으로 출시된 모든 소프트웨어는 여전히 원래 모델에서 잘 실행되어야 합니다.
VR에서 상호 작용하는 새로운 방법
시선 추적을 사용하는 포비티드 렌더링은 더 효율적인 렌더링과 더 나은 품질의 시각적 효과를 제공합니다. VR 세계와 상호 작용하는 새로운 방법을 제공합니다. 소프트웨어가 장면 내에서 사용자가 보고 있는 위치를 정확히 알고 있으면 해당 정보를 입력으로 사용할 수 있습니다. 예를 들어, 캐릭터가 당신의 시선에 반응하거나 어드벤처 게임에서 단서를 발견하는 것과 같은 이벤트를 트리거하는 데 도움이 될 수 있습니다. 이것은 개발자가 제시할 잠재적인 용도에 관한 한 확실히 빙산의 일각에 불과합니다. 그러나 VR 경험과 게임이 이러한 역학을 통합하려면 먼저 시선 추적 포비티드 렌더링에 폭넓은 설치 기반이 필요합니다.
만약… Foveated 렌더링이 주류가 된다면?
PSVR 2가 마침내 최종 형태로 공개되고 실제로 시선 추적 및 포비티드 렌더링이 구현되면 주류 VR을 극적으로 변화시킬 수 있습니다. 콘솔은 플랫폼 간 개발을 위한 최소 요구 사항을 효과적으로 설정합니다. 첫 번째 PSVR은 가장 큰 VR 설치 기반 중 하나이며 PS5는 Sony가 만들 수 있는 한 빨리 판매되고 있습니다. PSVR 2가 적어도 전작만큼 잘 팔린다면 VR 게임 개발자가 포비티드 렌더링을 위한 시스템 수준 지원을 활용할 강력한 인센티브가 있습니다.
이러한 모든 개발이 제대로 이루어지면 차세대 독립 실행형 및 PC VR 헤드셋에도 당연히 시선 추적 포비티드 렌더링이 통합되는 것이 놀라운 일이 아닙니다. PSVR 2가 이 차세대 기능을 주류로 밀어 넣을 수 있다면 전체 VR 산업에 도움이 될 것입니다.
