초록 열기/닫기 버튼
인터넷을 통해 대규모 데이터가 유통되면서 인터넷 이용자들은 자신에게 필요한 데이터를 찾기 어려워졌다. 또한, 데이터의 형태가 텍스트인 경우 텍스트를 압축 및 요약하는 작업이 요구되고 있는 실정이다. 본 논문에서는 한국어 텍스트에 대해서 학습한 Transformer Encoder-Decoder 기반의 KoBART(Korean Bidirectional and Auto-Regressive Transformers) 모델을 활용하여 한국어로 구성된 텍스트를 압축 및 요약하기에 효율적인 시스템을 구축하였다. 본 시스템은 추출요약을 수행하는 전처리기와 생성요약을 수행하는 KoBART 모델로 구성하였다. 전처리기는 한국어의 언어학적 특징을 고려하여 특정 문구가 출현하였을 경우 해당 문장을 중심으로 추출요약을 수행하고 KoBART 모델은 전처리기가 처리하지 않은 텍스트들에 대해서 생성요약을 수행한다. 제안하는 시스템은 한국어로 구성된 텍스트를 압축 및 요약하기 위하여 한국어의 언어학적 특징을 고려한 전처리기와 사전학습 언어모델인 KoBART 모델을 활용하였으며 일반적인 추출요약 모델과 생성요약 모델에 비해 우수한 성능을 보였다. 이는 특정 국가의 언어가 가지는 특징을 보다 상세하게 분석하고 활용하는 방안이 우수한 성능의 사전학습 언어모델만을 활용하는 것보다 좋은 결과를 기대할 수 있다는 점을 시사한다. 본 논문이 언어학적 특징과 우수한 성능의 사전학습 언어모델의 시너지를 전파하는데 선도하는 연구가 될 수 있을 것으로 기대된다.
As large-scale data is distributed through the Internet, it has become difficult for Internet users to find the data they need. In addition, when the form of data is text, it is required to compress and summarize the text. In this paper, we construct an efficient system for compressing and summarizing text composed of Korean using the Transformer Encoder-Decoder-based KoBART (Korean Bidirectional and Auto-Regulatory Transformers) model. This system consisted of a preprocessor that performs an extraction summary and a KoBART model that performs a generation summary. The preprocessor performs an extraction summary based on the sentence when a specific phrase appears considering the linguistic characteristics of the Korean language, and the KoBART model performs a generation summary on texts not processed by the preprocessor. The proposed system used the preprocessor considering the linguistic features of Korean and the KoBART model, which is a pre-learning language model, to compress and summarize text composed of Korean, and showed superior performance compared to the general extraction summary model and generation summary model. This suggests that a method of analyzing and utilizing the characteristics of a specific country's language in more detail can expect better results than using only a pre-learning language model with excellent performance. It is expected that this paper will be a leading study in spreading the synergy of the pre-learning language model with linguistic features and excellent performance.
