원문정보
A Genetic Algorithm-Based Fine-Tuning Framework for Vector-Quantized Variational Autoencoders
초록
영어
This paper proposes a genetic algorithm-based fine-tuning framework to improve the performance of pre-trained Vector Quantized Variational Autoencoders (VQ-VAE). While VQ-VAE models have demonstrated excellent performance in learning discrete latent representations for complex data distributions, their performance has been limited by underutilized codebook tokens, particularly those representing local features, resulting in incomplete feature capture. To overcome these limitations, we propose a Codebook Genetic Algorithm (CGA) that selectively optimizes underutilized tokens and enhances their representational capabilities. Through experiments, we demonstrate that our proposed method effectively improves the representation of local features while maintaining computational efficiency, achieving more balanced codebook utilization and enhanced reconstruction quality across various datasets.
한국어
본 논문은 사전 학습된 벡터 양자화 변분 오토인코더(VQ-VAE)의 성능을 향상시키기 위한 유전 알고리즘 기반의 미세 조정 프레임워크를 제안한다. VQ-VAE 모델은 복잡한 데이터 분포에 대한 이산 잠재 표현 학습에서 우수한 성능을 보여왔으나, 코드북의 저활용 토큰들, 특히 지역 특징을 표현하는 토큰들의 불완전한 특징 포착으로 인해 그 성능이 제한적이었다. 이러한 한계를 극복하기 위해 본 연구에서는 코드북 유전 알고리즘(CGA)을 제안하여 저활용 토큰들을 선택적으로 최적화하고 이들의 표현 능력을 향상시키는 방법을 제시한다. 실험을 통해 제안된 방법이 계산 효율성을 유지하면서도 지역 특징의 표현을 효과적으로 개선하여, 다양한 데이터셋에서 더 균형 잡힌 코드북 활용도 와 향상된 재구성 품질을 달성할 수 있음을 입증했다.
목차
Abstract
1. 서론
2. 관련 연구
2.1 벡터 양자화 변분 오토인코더 연구
2.2 유전 알고리즘 기반 최적화
2.3 딥러닝에서의 메타 휴리스틱 알고리즘 활용
3. 제안 방법
3.1 프레임워크 개요
3.2 학습 목적 함수와 손실 함수
3.3 코드북 유전 알고리즘(CGA)
4. 실험 및 분석
4.1 MNIST 데이터셋 기반 기초 성능 평가
4.2 세부 특징 보존 능력 평가
5. 결론
감사의 글
참고문헌
