earticle

영어

This paper presents an overview of the concept, recent trends, and applications of Knowledge Distillation (KD). KD is a model compression technique that transfers knowledge from a large teacher model to a smaller student model while maintaining performance. The core mechanism involves designing a loss function based on soft targets, with knowledge typically transferred in the form of logits, feature representations, or relational information. KD can be implemented in various forms such as offline, online, and self-distillation, and has been widely applied in computer vision tasks including image classification, object detection, and semantic segmentation—often leveraging structural information or attention maps for improved performance. In natural language processing, representative models include DistilBERT and TinyBERT, with recent advancements focusing on black-box distillation from API-based conversational LLMs. Challenges such as teacher-student capacity gaps, biased knowledge transfer, and data dependency remain, and future directions include using auxiliary teachers, data-free distillation, and theoretical analyses. KD holds both practical utility and academic significance in advancing model efficiency and democratizing AI deployment.

한국어

본 논문은 지식 증류(Knowledge Distillation, KD)의 개념, 최신 동향 및 응용을 소개한다. KD는 대형 모델의 지식을 소형 모델에 전 달해 성능을 유지하면서도 모델을 경량화하는 기술이다. 수식적으로는 소프트 타겟을 기반으로 한 손실 함수 설계가 핵심이며, 로짓 (모델이 예측한 결과값) 기반, 특징 기반, 관계 기반 지식이 주요 전달 형태이다. KD는 오프라인, 온라인, 자기 증류 등 다양한 방식으로 구현되며, 컴퓨터 비전에서는 이미지 분류, 객체 검출, 영상 분할 분야에 적용된다. 특히 구조적 정보나 어텐션 맵을 활용한 기법들이 좋은 성능을 보이고 있다. 자연어 처리 분야에서는 DistilBERT, TinyBERT 등으로 대표되며, 최근에는 API 기반 대화형 LLM에 대한 블랙박스 증류도 활발하다. 한계점으로는 교사-학생 간 용량 차이, 지식 편향 전이, 데이터 의존성 등이 있으며, 이를 극복하기 위한 보 조 교사, 데이터프리 증류, 이론적 분석 등이 향후 과제로 제시된다. KD는 모델 압축과 AI 기술 확산에 있어 실용성과 학술적 중요성을 동시에 지닌 기술이다.