earticle

영어

Recent advancements in Artificial Intelligence (AI) technology have led to active development of large-scale models, but their deployment remains challenging in resource-constrained environments. To address this, compression techniques such as quantization and pruning are applied, primarily targeting floating-point model parameters to reduce their size. By analyzing the distributions of the mantissa and exponent, key components of floating-point representation, more effective optimization can be achieved. In this study, we divided the parameters of widely used AI models into mantissa and exponent components for histogram analysis, applied bit removal-based compression, and evaluated its impact on performance. The analysis revealed that removing exponent bits had a greater impact on performance, while removing some mantissa bits caused no significant degradation.

한국어

최근 인공지능 기술의 발전으로 대규모 모델 개발이 활발해졌지만, 이러한 모델들은 자원이 제한된 모바 일 기기에서 활용이 어렵다는 한계가 있다. 이를 해결하기 위해 양자화(Quantization)와 프루닝(Pruning)과 같은 압축 기법들이 활용되며, 주로 부동소수점 값을 가지는 모델 파라미터들을 경량화하는 작업이 이루어진다. 따라서 부동소수점의 구성 요소인 가수부와 지수부 값들의 분포를 해석하고 이를 기반으로 경량화를 적절히 수행한다면 더욱 효과적인 최적화가 가능하다. 이러한 동기를 바탕으로, 본 연구에서는 주요 인공지능 모델들의 파라미터를 가수부와 지수부로 분할하여 히스토그램 분석을 수행한 후 비트 제거 기반 압축을 적용하고 성능을 평가하였으며, 지수부 비트 제거는 성능에 큰 영향을 미치며, 상대적으로 가수부 비트는 일정량 제거해도 성능 저하가 크지 않음을 확인하였다.