earticle

영어

This study compares and analyzes four representative real-time Neural Style Transfer models under identical conditions within a unified DirectML-based execution environment. All models were trained using the MS-COCO (content) and WikiArt (style) datasets, and inference was performed using ONNX Runtime with the DirectML Execution Provider built on DirectX 12. The evaluation metrics include inference speed, GPU memory usage, PSNR, SSIM, LPIPS, temporal consistency (TC), and structural coherence (C). Experimental results show that Fast Style Transfer and ReCoNet achieved the highest FPS and lowest VRAM usage, with ReCoNet demonstrating particularly high temporal stability, making it suitable for video applications. AdaIN exhibited strong flexibility by enabling real-time arbitrary style transfer, while SANet achieved fine-grained stylistic expressiveness at the cost of higher computational overhead. This study addresses the long-standing issue of non-standardized NST comparisons and is expected to contribute to model selection and benchmarking standardization for real-time graphics and game-engine environments.

한국어

본 연구는 DirectML 기반 통합 실행 환경에서 대표적인 실시간 Neural Style Transfer 모델 4종을 동일 조건에서 비교·분석하였다. 모든 모델은 MS-COCO(콘텐츠)와 WikiArt(스타일) 데이터셋을 사용하여 학습되었으며, ONNX Runtime과 DirectML Execution Provider(DirectX 12 기반)를 이용해 추론을 수행하였다. 평가 지표로는 추론 속도, GPU 메모리 사용량, PSNR, SSIM, LPIPS, 시간적 일관성(Temporal Consistency), 구조 유지(Coherence)를 사용하였다. 실험 결과, Fast Style Transfer와 ReCoNet은 가장 높은 FPS와 낮은 VRAM 사용량을 기록하였으며, 특히 ReCoNet은 높은 시간적 안정성을 보여 비디오 응용에 적합함을 확인하였다. AdaIN은 임의 스타일을 실시간으로 적용할 수 있는 유연성을 보였고, SANet은 세밀한 스타일 표현력은 우수하나 높은 연산 비용이 요구되었다. 본 연구는 기존의 비표준화된 NST 비교 문제를 해결하고, 이를 통해 실시간 그래픽스 및 게임 엔진 환경에서의 NST 모델 선택과 벤치마크 표준화에 기여할 수 있을 것으로 기대된다.