earticle

논문검색

인터넷방통융합

양자화 기반의 모델 압축을 이용한 ONNX 경량화

원문정보

Lightweight of ONNX using Quantization-based Model Compression

장두혁, 이정수, 허준영

피인용수 : 0(자료제공 : 네이버학술정보)

초록

영어

Due to the development of deep learning and AI, the scale of the model has grown, and it has been integrated into other fields to blend into our lives. However, in environments with limited resources such as embedded devices, it is exist difficult to apply the model and problems such as power shortages. To solve this, lightweight methods such as clouding or offloading technologies, reducing the number of parameters in the model, or optimising calculations are proposed. In this paper, quantization of learned models is applied to ONNX models used in various framework interchange formats, neural network structure and inference performance are compared with existing models, and various module methods for quantization are analyzed. Experiments show that the size of weight parameter is compressed and the inference time is more optimized than before compared to the original model.

한국어

딥 러닝의 발전으로 다양한 AI 기반의 응용이 많아지고, 그 모델의 규모도 매우 커지고 있다. 그러나 임베디드 기기와 같이 자원이 제한적인 환경에서는 모델의 적용이 어렵거나 전력 부족 등의 문제가 존재한다. 이를 해결하기 위해 서 클라우드 기술 또는 오프로딩 기술을 활용하거나, 모델의 매개변수 개수를 줄이거나 계산을 최적화하는 등의 경량화 방법이 제안되었다. 본 논문에서는 다양한 프레임워크들의 상호 교환 포맷으로 사용되고 있는 ONNX(개방형 신경망 교환 포맷) 포맷에 딥러닝 경량화 방법 중 학습된 모델의 양자화를 적용한다. 경량화 전 모델과의 신경망 구조와 추론 성능을 비교하고, 양자화를 위한 다양한 모듈 방식를 분석한다. 실험을 통해 ONNX의 양자화 결과, 정확도는 차이가 거의 없으며 기존 모델보다 매개변수 크기가 압축되었으며 추론 시간 또한 전보다 최적화되었음을 알 수 있었다.

목차

요약
Abstract
Ⅰ. 서론
1. 연구내용
Ⅱ. ONNX
1. ONNX 포맷
2. 딥 러닝 모델을 ONNX로 변환
3. ONNX런타임
Ⅲ. 양자화
1. 학습 후 양자화
Ⅳ. 실험 및 결과
1. 추론 시간 및 정확도
2. 모델 추론 시 메모리 할당량 비교
V. 결론 및 향후 연구
References

저자정보

  • 장두혁 Duhyeuk Chang. 학생회원, 한성대학교 컴퓨터공학부
  • 이정수 Jungsoo Lee. 학생회원, 한성대학교 컴퓨터공학과
  • 허준영 Junyoung Heo. 정회원, 한성대학교 컴퓨터공학부

참고문헌

자료제공 : 네이버학술정보

    ※ 기관로그인 시 무료 이용이 가능합니다.

    • 4,000원

    0개의 논문이 장바구니에 담겼습니다.