earticle

영어

This study addresses limitations of traditional Virtual Production (VP), such as high equipment dependency (LED-based VP), lighting and shadow mismatches, and spill effects in green screen VP. It explores an AI-based VP workflow as a solution. Using the same footage, green screen and AI-based methods were compared, with foreground separation, relighting, and shadow compositing implemented via SwitchLight and Unreal Engine. The AI approach improved lighting harmony and production efficiency, enabling precise lighting and faster results. However, relighting is not yet real-time and faces issues like high-resolution dependency and frame flickering. The study proposes a practical AI-based VP model for small-scale production and education, aiming to enhance temporal consistency and quality evaluation in future work.

한국어

본 연구는 기존 버추얼 프로덕션(Virtual Production, VP)이 갖는 높은 장비 의존성(LED 기반 VP)과 실제와 가상의 조명과 그림자 불일치, 스필(녹색 반사) 현상 등으로 인한 합성 품질 저하 문제(그린 크로마키 기반 VP)를 지적하고, 이를 극복하기 위한 인공지능(AI) 기반 VP 워크플로우의 가능성을 탐색하였다. 동일한 실사 푸티지를 활 용하여 그린스크린 기반 VP 방식과 AI 기반 방식을 비교 분석하였으며, 전경 분리, 리라이팅, 그림자 합성의 각 단 계를 SwitchLight와 Unreal Engine을 활용해 실험적으로 구현하였다. 실험 결과 AI 기반 방식은 라이팅의 조화와 제작 효율성 면에서 기존 방식에 비해 유의미한 개선을 보여주었다. 특히, AI 기술을 통한 전경 분리와 PBR 기반 리라이팅은 보다 정밀한 조명 재현과 빠른 시간 내 결과물 생성을 가능하게 하였다. 다만, 리라이팅은 아직 실시간 합성은 아니며, 고해상도 소스에 대한 의존성과 일부 프레임에서 발생하는 깜빡임 현상 등 아직 해결해야 할 기술적 한계도 확인되었다. 본 연구는 중소규모 제작 환경과 교육 현장에 적용할 수 있는 실용적인 AI 기반 VP 모델을 제 시하며, 향후 프레임 단위 temporal inconsistency(시공간 일관성)강화와 품질 평가 체계 구축을 통해 AI 기반 VP의 실용성과 완성도를 더욱 높이고자 한다.