earticle

영어

This paper compares and analyzes the classification performance of latent vectors in the encoder-decoder model. A typical encoder-decoder model, such as an autoencoder, transforms the encoder input into a latent vector and feeds it into the decoder. In this process, the encoderdecoder model learns to produce an decoder output similar to the encoder input. We can consider that the latent vector of the encoder-decoder model is well preserved by abstracting the characteristics of the encoder input. Further, it is possible to apply to unsupervised learning, if the latent vector guarantees a sufficient distance between clusters in the feature space. In this paper, the classification performance of latent vectors is analyzed as a basic study for applying latent vectors in encoder-decoder models to unsupervised and continual learning. The latent vectors obtained by the stacked autoencoder and 2 types of CNN-based autoencoder are applied to 4 kinds of classifiers including KNN and random forest. Experimental results show that the latent vector using the CNN-based autoencoder with a dense layer(about 97%) shows superior classification performance by up to 2% compared to the result of the stacked autoencoder(about 95%). Based on the results in this paper, it is possible to extend the latent vector obtained by using a CNN-based auto-encoder with dense layer to unsupervised learning.

한국어

본 논문에서는 인코더-디코더 모델(encoder-decoder model)에서 잠재 벡터(latent vector)의 분류 성능을 비교 분석한다. 오토인코더와 같은 일반적인 인코더-디코더 모델은 인코더 입력을 잠재 벡터로 변환하고 이를 디코더에 입력하여 인코더 입력과 유사한 출력을 생성하도록 학습한다. 이와 같은 인코더-디코더 모델의 잠재 벡터는 인코더 입력의 특징을 추상화하여 잘 보존한다고 고려할 수 있다. 나아가 잠재 벡터가 특징 공간에서 클러스터들 사이에서 구분이 가능한 거리를 보장한다면 이를 비지도 학습에 적용하는 것이 가능하다. 본 논문에서는 인코더-디코더 모델 에서의 잠재 벡터를 비지도 학습 및 점진적 학습에 적용하기 위한 기초 연구로서 잠재 벡터의 분류 성능을 분석한 다. 이를 위해 스택트 오토인코더(stacked autoencoder)와 2가지 종류의 CNN(Convolutional Neural Network) 기반 오토인코더를 바탕으로 각각 구해지는 잠재 벡터를 KNN(K-Nearest Neighbor)과 랜덤 포레스 트(random forest)를 포함하는 4가지 종류의 분류기에 적용한다. 실험 결과 완전 연결 계층(fully connected or dense layer)를 가지는 CNN 기반의 오토인코더를 사용한 결과 평균 정확률은 약 97%이고 스택트 오토인코더의 결과는 약 95%로 2% 정도 우수한 분류 성능을 보이는 것을 확인할 수 있다. 본 논문에서의 연구를 바탕으로 완전 연결 계층을 가지는 CNN 기반의 오토 인코더를 이용하여 구해지는 잠재 벡터를 비지도 학습에 적용하는 것으로 확 장하는 것이 가능하다.