earticle

논문검색

Poster Session IV MR-IoT/AI 융합 플랫폼

확률분포 분리기반 지식증류를 활용한 분류기 개선에 관한 연구

원문정보

A Study on the Improvement of Classifier Using Knowledge Distillation Based on the Separation of Probability Distribution

최준용, 정석화, 황원준

피인용수 : 0(자료제공 : 네이버학술정보)

초록

한국어

본 논문에서는 교사-학생 프레임워크에서 학생이 교사의 클래스 확률을 모사하는 새로운 Knowledge Distillation 방법을 제시한다. 전통적인 Knowledge Distillation 기법은 교사와 학생의 logits을 soften시켜 모방을 진행하지만, 제안하는 방법은 기존 방법과 다르게 교사와 학생의 Top-1 확률값을 포함한 확률분포와 Top-1의 확률값과 나머지 logits을 분리하고 soften시켜 dark knowledge를 생성하여 새로운 확률분포를 만든다. 학생은 교사의 분리된 각각의 2가지 형태의 클래스 확률을 모방하여 성능을 높인다. CIFAR 데이터셋에서 resnet, vgg, wrn과 같은 다양한 네트워크로 제안하는 방법론의 우수성을 실험을 통해 입증한다.

목차

요약
1. 서론
2. 관련연구
2.1 배경지식
2.2 제안하는 방법
3. 실험방법
3.1. 데이터셋
3.2. 실험환경
4. 실험결과
4.2 잘 알려진 다른 KD방법론과 성능 비교
5. 결론
Acknowledgement
참고문헌

저자정보

  • 최준용 아주대학교
  • 정석화 아주대학교
  • 황원준 아주대학교

참고문헌

자료제공 : 네이버학술정보

    함께 이용한 논문

      0개의 논문이 장바구니에 담겼습니다.