earticle

영어

OpenAI's ChatGPT showed remarkable improvements over existing technologies, and active research and development and utilization of generative AI began. Advances in computing power have led to the use of large-scale artificial intelligence language models (LLMs). This study presents methods to evaluate performance when building an LLM and factors to be considered throughout the entire process of building an LLM to increase performance. It includes the entire process of building a model by learning from raw data and fine-tuning the created backbone model. We present how to improve performance from considering the quantity and quality of learning data, model and parameter size, learning frequency, and fine tuning. When it comes to the English dataset, there have been achievements in improving performance while reducing the model size, while in the case of Korean, it is essential to build and disseminate an open source model that is small but has excellent performance and can be used without restrictions for research and development and services.

한국어

OpenAI의 ChatGPT는 기존 기술보다 놀랍게 향상된 기능을 보여주었고 생성형 AI에 대한 활 발한 연구개발과 활용이 시작되었다. 컴퓨터 성능의 비약적인 발전으로 거대한 크기의 인공지능 언어 모델(LLM)을 활용하게 되었다. 본 연구는 LLM을 구축할 때 성능을 평가할 방법과 성능을 높이기 위 해 LLM의 구축 모든 과정에 걸쳐 고려해야 할 요인을 제시한다. 원시 데이터로부터 학습하여 backbone 모델을 만드는 것부터 만들어진 모델에 fine-tuning을 통해서 최종 모델을 구축하는 과정을 포함한다. 학습 데이터의 양과 품질, 모델 및 파라미터크기, 학습횟수 및 fine-tuning에 관련된 방안을 제시한다. 영문모델은 크기를 줄이면서 성능을 높이는 성과가 있는 반면에 한국어 모델은 작고 성능이 우수하면 서 연구개발과 서비스에 제한 없이 활용 가능한 오픈소스 모델의 구축과 보급이 필수적이다.