earticle

영어

Research on continual learning to prevent catastrophic forgetting problem of deep learning has recently expanded from classification models to generative models. However, the continual learning of generative models relies on task-specific input data, which poses constraints on pivacy issues and limited memory resources in the real world. In other words, considering the black-box property of neural networks and their relatively small memory size, there is a need to replace inaccessible data. In this paper, we propose the first model, called Data-Free Continual Learning of Generative Network (DF-CLG), which receives pre-trained inference model as input instead of directly accessing task-specific data. Specifically, the generative model is trained to synthesize the data used in the training by constraining the statistics of batch normalization layers stored in the pre-trained inference network. Subsequently, by applying representative continual learning methods, namely regularization-based and rehearsal-based approaches, it is demonstrated that the proposed generative model can alleviate catastrophic forgetting. It is worth noting that regularization-based methods, which are known for their relatively poor performance in continual learning, show comparable or superior performance to rehearsal-based methods in the proposed generative model.

한국어

딥러닝의 치명적 망각 현상(Catastrophic forgetting)을 방지하기 위한 지속 학습 연구는 최근 분류모델에서 생성 형 모델로 확장되고 있다. 하지만 생성형 모델의 지속 학습은 태스크별 입력 데이터에 의존하며, 이는 현실 세계에 서 프라이버시 문제와 한정된 메모리 자원에 따른 제약이 존재한다. 즉, 신경망의 블랙박스 특성과 상대적으로 작은 메모리 크기를 고려하여, 접근 불가능한 데이터를 대체할 필요가 있다. 이에 본 논문에서는 태스크별 데이터에 직접 접근하는 대신, 해당 데이터를 사전 학습한 추론형 신경망만을 입력으로 받아 생성형 모델을 지속 학습하는 모델 (Data-Free Continual Learning of Generative Network, DF-CLG)을 처음으로 제안한다. 구체적으로, 사 전 학습된 추론형 신경망에 저장된 배치 정규화 계층의 통곗값을 제약하여 학습에 사용된 데이터를 역으로 합성하는 생성형 신경망을 학습한다. 이후, 대표적인 지속 학습 기법인 규제 기반 방법과 리허설 기반 방법을 적용하여, 제안 된 생성형 신경망의 치명적 망각 현상이 완화될 수 있음을 보인다. 주목할 점은, 지속 학습에서 상대적으로 저조한 성능으로 알려진 규제 기반 방법이 제안된 생성형 모델에서 리허설 기반 방법에 준하거나 우수한 성능을 보인다는 것이다.