첫 번째 영화인 Roundhay Garden Scene은 130여 년 전에 촬영되었습니다. 그 동안 우리가 실사 영화에서 보던 인간은 실존 인물이었지만, 컴퓨터 그래픽의 출현 이후로 그것이 바뀌기 시작했습니다.
우리는 불쾌한 계곡을 떠납니다
사람의 얼굴은 컴퓨터 그래픽(CG) 또는 실용적인 특수 효과를 사용하여 설득력 있는 방식으로 복제하는 것이 가장 어려웠습니다. 인간의 두뇌는 얼굴을 인식하는 데 가장 적합하므로 우리는 거기에 없는 얼굴도 볼 수 있습니다. CG 얼굴이 실제라고 믿도록 관객을 속이는 것은 거의 효과가 없으며 일부는 소위 “불쾌한 계곡”에 빠지게 됩니다.
불쾌한 골짜기는 우리가 인공적인 인간의 얼굴에 소름 끼치게 느끼기 시작하는 얼굴 리얼리즘의 연속체에서 지점입니다. 다음과 같은 일부 영화 폴라 익스프레스, 로 유명합니다. 얼굴 딥페이크와 같은 기계 학습 솔루션뿐만 아니라 처리 능력 및 렌더링 방법의 발전이 이러한 상황을 변화시키고 있습니다. 최신 게임 콘솔의 실시간 그래픽도 사실적인 얼굴에 매우 가깝습니다.
그만큼 매트릭스 각성 Unreal Engine 5 데모는 이를 놀라운 방식으로 보여줍니다. 겸손한 가정용 콘솔에서 실행되지만 많은 장면에서 실제 배우와 원래 CG 캐릭터의 복제가 모두 사실적으로 보입니다. 또 다른 환상적인 예는 Netflix 앤솔로지 시리즈입니다. 사랑, 죽음 + 로봇. 일부 에피소드에는 CG 또는 실제로 분류할 수 없는 CG 얼굴이 있습니다.
성능 캡처의 황금기
불쾌한 골짜기를 떠나는 것은 단지 사실적인 얼굴을 만드는 것 이상입니다. 또한 캐릭터의 얼굴과 몸의 순간을 올바르게 잡아야 합니다. 이제 영화 제작자와 비디오 게임 개발자는 디지털로 캡처한 연기를 전문으로 하는 Andy Sirkis와 같은 배우의 움직임과 표정을 정확하게 캡처할 수 있는 도구를 갖게 되었습니다.
개척적인 작업의 대부분은 James Cameron의 화신, 오늘날에도 여전히 유효합니다. 그러나 감탄할 만한 훌륭한 현대 모션 캡처 작업이 부족하지 않습니다. 마블 시네마틱 유니버스의 타노스는 또 다른 주목할만한 최근 사례입니다.
아바타(3-디스크 확장 소장판 + BD-Live)
James Cameron의 획기적인 영화는 스토리가 스펙터클의 뒷자리를 차지하더라도 여전히 놀라운 VFX 업적으로 남아 있습니다.
지금 쇼핑하기
$36.99 
퍼포먼스 캡처의 장점은 연기자가 CG 캐릭터처럼 보일 필요가 없다는 것입니다. 같은 종일 필요도 없습니다! 또한 한 명의 배우 또는 소수의 배우 그룹이 전체 캐릭터를 연기할 수 있음을 의미합니다. 같은 캐릭터에 대한 모션 데이터를 제공하는 배우와 스턴트 사람을 가질 수도 있습니다.
딥페이크된 목소리가 완성되고 있다
사실적인 합성 배우를 만드는 것은 사실적인 비주얼 프로덕션 그 이상입니다. 배우들은 자신의 목소리를 사용하여 연기를 완성하며 아마도 다른 모든 것을 합치는 것만큼이나 중요할 것입니다. CG 배우에게 목소리를 주고 싶을 때 몇 가지 옵션이 있습니다.
당신은 성우를 사용할 수 있습니다. 그것은 원래 캐릭터입니다. 원래 배우가 아직 살아 있는 캐릭터를 다시 만드는 경우 보컬 성능을 더빙할 수 있습니다. 사망했거나 심각한 일정 충돌이 있는 사람을 다시 불러올 때 가장을 사용할 수도 있습니다. Rogue One에서 Peter Cushing의 부활한 모습을 Grand Moff Tarkin으로 만났을 때 Guy Henry는 음성과 성능 캡처를 모두 제공했습니다.
가장 흥미로운 예는 Luke Skywalker의 어린 시절 모습입니다. 만달로리안 (그리고 나중에 보바 펫의 책). 마크 해밀이 CG 얼굴을 가진 대인 배우를 사용하는 장면의 라인을 녹음하는 대신 AI 소프트웨어를 사용했습니다.
그 앱은 Respeecher라고 불리며, 그의 경력의 그 시대의 Mark Hamill의 녹음 자료를 제공함으로써 그것의 합성 레플리카를 만드는 것이 가능했습니다. 대부분의 사람들이 실제로 Hamill의 음악을 듣고 있지 않다는 사실조차 깨닫지 못했기 때문에 오디오 딥페이크가 짧은 시간에 먼 길을 왔다는 것은 의심의 여지가 없습니다.
실시간 딥페이크의 등장
Deepfakes는 전통적인 CG 얼굴에 대한 진정한 경쟁이 되고 있습니다. 루크 스카이워커의 CG 페이스 만달로리안 멋지게 보이지는 않았지만 YouTube 사용자 Shamook은 딥페이크 기술을 사용하여 얼굴을 멋지게 꾸며서 불쾌한 계곡의 더 맛있는 쪽으로 끌어왔습니다. VFX YouTubers Corridor Crew는 한 단계 더 나아가 CG 얼굴 대신 딥페이크 기술을 사용하여 자신의 배우와 함께 전체 장면을 다시 촬영했습니다.
결과는 놀랍지만 고급 컴퓨터에서도 이 품질의 딥페이크 비디오를 만드는 데 오랜 시간이 걸립니다. 현대 CG의 렌더 팜 요구 사항과 비슷하지만 사소하지도 않습니다. 그러나 컴퓨터의 힘은 계속 발전했고 이제는 실시간으로 일정 수준의 딥페이커를 수행하는 것이 가능합니다. 특수 기계 학습 컴퓨터 칩이 향상됨에 따라 딥페이크 기술이 합성 행위자의 얼굴을 처리하는 것이 결국 훨씬 빠르고 저렴하며 현실적이 될 수 있습니다.
AI는 원래 얼굴을 만들 수 있습니다
영화와 TV에서 수백 번 얼굴을 본 덕분에 누구나 브래드 피트나 패트릭 스튜어트를 알아볼 수 있습니다. 이 배우들은 실제 얼굴을 사용하여 캐릭터를 묘사하므로 우리는 그들의 얼굴을 해당 캐릭터와 연관시킵니다. 2D와 3D 애니메이션이나 만화책의 세계에서는 상황이 다릅니다. 아티스트는 실제 사람처럼 보이지 않는 캐릭터를 만듭니다. 글쎄, 적어도 의도적으로는 아닙니다!
AI 소프트웨어를 사용하면 이제 사실적인 사람 얼굴로 비슷한 작업을 수행할 수 있습니다. 이 사람은 존재하지 않습니다로 이동하여 몇 초 안에 실제가 아닌 사람의 사실적인 얼굴을 생성할 수 있습니다. Face Generator는 한 단계 더 나아가 상상 속의 인물의 매개변수를 조정할 수 있습니다. 그 얼굴이 여전히 약간 가짜처럼 보인다면 모든 사람이 오픈 소스 소프트웨어로 사용할 수 있는 NVIDIA의 AI 얼굴 생성 소프트웨어 StyleGAN을 확인하십시오.
이와 같이 생성된 얼굴은 합성된 음성 및 성능 캡처와 결합되어 실제로 존재하는 배우처럼 보이지 않는 캐릭터를 제공할 수 있습니다. 결국, 우리는 공연을 제공하기 위해 인간이 필요하지 않을 수 있습니다. 합성 캐스트를 조종하는 인형극이 전체 이야기를 들려줄 수 있는 미래를 약속합니다.
진실은 허구보다 더 낯설다
2002년 영화에서 S1m0ne, Al Pacino는 합성 CG 여배우 전체 천을 만들 수 있는 실험적인 소프트웨어를 발견한 감독을 연기합니다. 그는 그녀를 스타가 되도록 꼭두각시로 조종하지만, 결국 가면이 벗겨지고 세상은 그들이 존재하지도 않은 누군가에게 아물고 있다는 사실을 알게 됩니다.
오늘날 현실 세계의 기술 궤적은 Simone과 같은 여배우를 더 이상 공상 과학이 아닌 어느 시점에서 현실적 가능성으로 만들고 있습니다. 유일한 차이점은 Simone이 비밀로 유지되어야 했으며 그렇지 않으면 대중이 반란을 일으킬 것이라는 점입니다. 현실 세계에서 우리 모두는 우리 배우들이 합성이라는 것을 알게 될 것입니다. 우리는 신경 쓰지 않을 것입니다.
관련된: 감지할 수 없는 딥페이크를 처리하는 방법
