원문정보
A Study on the Improvement of Classifier Using Knowledge Distillation Based on the Separation of Probability Distribution
피인용수 : 0건 (자료제공 : 네이버학술정보)
초록
한국어
본 논문에서는 교사-학생 프레임워크에서 학생이 교사의 클래스 확률을 모사하는 새로운 Knowledge Distillation 방법을 제시한다. 전통적인 Knowledge Distillation 기법은 교사와 학생의 logits을 soften시켜 모방을 진행하지만, 제안하는 방법은 기존 방법과 다르게 교사와 학생의 Top-1 확률값을 포함한 확률분포와 Top-1의 확률값과 나머지 logits을 분리하고 soften시켜 dark knowledge를 생성하여 새로운 확률분포를 만든다. 학생은 교사의 분리된 각각의 2가지 형태의 클래스 확률을 모방하여 성능을 높인다. CIFAR 데이터셋에서 resnet, vgg, wrn과 같은 다양한 네트워크로 제안하는 방법론의 우수성을 실험을 통해 입증한다.
목차
요약
1. 서론
2. 관련연구
2.1 배경지식
2.2 제안하는 방법
3. 실험방법
3.1. 데이터셋
3.2. 실험환경
4. 실험결과
4.2 잘 알려진 다른 KD방법론과 성능 비교
5. 결론
Acknowledgement
참고문헌
1. 서론
2. 관련연구
2.1 배경지식
2.2 제안하는 방법
3. 실험방법
3.1. 데이터셋
3.2. 실험환경
4. 실험결과
4.2 잘 알려진 다른 KD방법론과 성능 비교
5. 결론
Acknowledgement
참고문헌
저자정보
참고문헌
자료제공 : 네이버학술정보