earticle

영어

This study proposes a two-stage detection system for the pre-hoc filtering of harmful expressions in Korean LLM training data and validates its effectiveness using related datasets. Harmful expressions were defined into 11 categories (insult, profanity, sexism, obscenity, racial/region, disability, age, religion, political ideology, occupation, and violence/crime). Public Korean corpora were collected and preprocessed through deduplication, normalization, and quality filtering, while preserving multi-label annotations to capture contextual and implicit harms. The final corpus consisted of 200,000 sentences (100,000 harmful and 100,000 non-harmful). In Stage 1, a binary classifier rapidly distinguished harmful from non-harmful sentences, while Stage 2 performed fine-grained multi-label classification across the 11 categories using KoGPT-2, KrMedium (KR-BERT), KoELECTRA, and KcELECTRA. Experimental results showed that all models achieved F1-scores above 0.99 in Stage 1, and that KcELECTRA outperformed the others in Stage 2 with a micro-F1 of 0.8291 and ROC-AUC of 0.9122. In conclusion, this study proposed a detection framework for harmful expressions in Korean and validated its effectiveness through experiments.

한국어

본 논문에서는 LLM 학습 데이터에서 한국어 유해표현을 사전에 정화하기 위해 2단계 검출 체계를 제안 하고, 관련 데이터를 활용하여 유효성 검증을 진행하였다. 유해표현은 11개 카테고리(모욕, 욕설, 외설, 폭력범죄조 장, 성혐오, 연령차별, 인종·지역 차별, 장애, 종교, 정치성향, 직업비하)로 정의하고, 데이터는 공개 한국어 코퍼스 에서 수집하여 중복 제거, 정규화, 품질필터를 거쳐 전처리했으며, 다중레이블 분류를 통해 맥락적/암시적 유해를 포착할 수 있도록 구성하였다. 최종 코퍼스는 총 20만 문장(유해 10만/비유해(정상) 10만)으로 구성하였다. 유해표 현 검출 1단계는 이진 탐지로 유해/비유해 문장을 빠르게 식별하고, 2단계에서는 11개 범주 다중레이블 분류로 정 밀 판별한다(모델: KoGPT-2, KrMedium(KR-BERT), KoELECTRA, KcELECTRA). 실험결과 1단계는 모든 모 델에서 F1-score가 0.99 이상의 매우 높은 성능을 나타냈고, 2단계는 KcELECTRA가 micro-F1 0.8291, ROC‑AUC 0.9122로 다른 모델 대비 높은 성능을 나타냈다. 결론적으로, 본 연구는 한국어 유해표현에 대한 유해표현 검출 체계를 제시하고, 실험을 통해서 효과를 검증하였다.