earticle

영어

The recent trend among companies is to leverage generative AI technologies to create high value-added new business models. This involves enhancing differentiated competitiveness through the intelligent automation of products and services, as well as improving the efficiency of business operations. The integration of generative AI is anticipated to significantly contribute to improved management performance by enhancing the accuracy and speed of corporate decision-making. This study investigates the factors influencing the inference performance of generative AI using LLM based on structured data provided by a company's ERP system. The study tested experimental hypotheses concerning the learning method, the quality of training data, and the optimization variations of LLM model architecture and hyperparameters. The experimental results indicated that, in terms of learning methods, LLM Fine-Tuning outperformed Prompting for structured data learning. Additionally, during Fine-Tuning, key factors affecting performance were identified as the quality of training data, the composition of training data, training cycles, and LLM parameters. This research contributes to the application and development of search technologies based on structured datasets and provides direction for the utilization of LLMs, thereby enhancing the use of LLMs in corporate operations.

한국어

최근 기업은 생성형 AI 기술을 기반으로 부가가치 높은 새로운 사업모델을 창출하거나, 제품과 서비스의 지능 화 자동화를 통해 차별화된 경쟁력을 제고하고 기업의 내부 업무 운영 효율화를 위해 많은 노력을 기술이고 있다. 생 성형 AI 접목을 통하여 기업의 의사결정의 정확성과 스피드 향상을 통해 경영 성과 향상에 크게 기여할 것이라고 기 대하고 있다. 본 연구는 LLM을 활용하여 기업의 ERP가 제공하는 정형 데이터를 기반으로 생성형 AI의 추론 성과 에 미치는 영향 요인을 확인하기 위하여 학습방식, 학습 데이터의 품질, LLM모델 아키텍처와 하이퍼 파라미터의 최 적화 변동에 따른 실험가설을 검증하였다. 실험 연구 결과 학습방식에 있어서는 Prompting 방식 보다는 LLM Fine-Tuning 방식이 정형 데이터 학습에 좋은 성능을 보임을 확인하였다. 또한 Fine-Tuning 수행 시, 성능에 영향 을 미치는 주요 요소로서 학습 데이터의 품질, 학습 데이터 구성, 학습주기 (Epoch), LLM 파라미터 (Temperature, Top-k, Top-p)등으로 확인되었다. 본 연구는 정형데이터셋 기반의 검색 기술의 적용과 발전에 기여함과 동시에 LLM 활용 방향성을 제공함으로써 기업 운영에 LLM의 활용을 제고하는데 의미와 가치가 있다.