원문정보
SpeedyCNet : Acceleration of Training Time for CNN Model by Passage of Hierarchical Learners and Step by Step Classification
초록
영어
The purpose of this paper is to reduce the time required to train models in progressing image classification using convolutional neural networks (CNNs) among several fields of deep learning. In the case of a typical CNN model, it is the End-to-End method in which all input data passes through all the layers that make up the model to get result. However, the architecture of the deep learning model (SpeedyCNet : Speedy Classification Networks) proposed in this paper is built under the hypothesis that there are data that computers can easily extract features and quickly classify them. SpeedyCNet consists of a total of four learners, and the training data passes through each learner sequentially, pre-classifying is performed, and the classified data is no longer used for learning in continuing learners. MNIST and CIFAR-10 data were used to confirm the performance of SpeedyCNet, and the training results were compared using the VGG 16 model as a comparison group. As a result of training using each data, the speed was 27 times (applied to MNIST) and 3 times (applied to CIFAR-10) faster than when training using VGG 16, respectively. In addition, in terms of accuracy, it was confirmed that the accuracy of SpeedyCNet was similar to or partially improved from the accuracy of VGG 16.
한국어
딥러닝의 여러 분야 중 CNN(Convolutional Neural Network)을 이용하여 이미지 분류를 진행함에 있어 모델을 훈련시키는데 소요되는 시간을 단축시킴에 있다. 일반적인 CNN 모델의 경우는 입력된 모든 데이터들이 모델을 구성하는 여러 층을 모두 통과하여 결과값이 도출되는 End-to-End 방식이다. 그러나 본 논문에서 제안하 는 딥러닝 모델(SpeedyCNet : Speedy Classification Network)의 아키텍처는 컴퓨터가 쉽게 특징을 추출하여 빠 르게 분류할 수 있는 데이터와 그렇지 못한 데이터가 존재할 것이라는 가설아래에서 구축되었다. SpeedyCNet는 총 4개의 학습기로 구성되어 있으며 학습데이터들이 각 학습기를 순차적으로 통과하며 사전 분류가 이루어지고 분류가 종료된 데이터는 더 이상 학습에 사용되지 않아 컴퓨터가 수행해야 하는 계산량이 감소하는 구조를 가지 고 있다. SpeedyCNet의 성능을 확인하기 위하여 MNIST와 CIFAR-10데이터를 활용하였으며 비교군으로는 VGG 16모델을 이용, 훈련결과를 비교하였다. 훈련속도의 경우 MNIST데이터에 대해서는 VGG 16의 훈련속도보 다 27배정도 빨랐으며, CIFAR-10 데이터에 대해서는 3배 정도의 빠름을 확인할 수 있었다. 뿐만 아니라 정확도 의 측면에서는 VGG 16이 보여주는 정확도와 유사하거나 일정부분 향상되었음을 확인하였다.
목차
Abstract
Ⅰ. 서론
Ⅱ. 기존 연구
2.1 학습률 조절(Learning rate decay)
2.2 전이학습(Transfer Learning)
2.3 데이터 분산화(Data Parallelism)
2.4 모델의 분산화(Model Parallelism)
Ⅲ. 제안하는 방법론
3.1 VGG 16 모델 기본구조
3.2 SpeedyCNet 아키텍처
3.3 SpeedyCNet의 파라미터
Ⅳ. SpeedyCNet의 훈련
4.1 SpeedyCNet의 훈련자원 및 데이터
4.2 모델 훈련 및 평가방법
Ⅴ. 실험 결과 및 분석
5.1 훈련 시간 감소평가
5.2 모델의 정확도 평가
Ⅵ. 결론
REFERENCES