earticle

영어

This study experimentally analyzes the sensitivity of the filtering mechanism of a large language model (LLM) to changes in paraphrase. Five prompts (original text and four paraphrases) with identical meaning were fed to the Falcon-7B-Instruct model, and the responses were compared. The model output detailed hazard information (chemical combination, assembly, distribution, etc.) not only for direct hazard requests (Original Prompt) but also for circumlocutions that retained the intent (Paraphrases 2-4). Conversely, for a specific combination of phrases (Paraphrase 1), the model generated an ethical rejection response, demonstrating the effectiveness of the filtering mechanism. This experiment demonstrates that current LLM safety systems rely on the "surface representation" of the prompt, not its meaning. Furthermore, the analysis suggests that LLMs are vulnerable to paraphrase attacks in the absence of semantics-invariant filtering.

한국어

본 연구는 대형 언어 모델(LLM)의 필터링 메커니즘이 표현(paraphrase)의 변화에 얼마나 민감한지를 실험적으로 분석한 결과를 다룬다. 동일한 의미를 가진 다섯 개의 프롬프트(원문 및 네 가지 패러프레이즈)를 Falcon-7B-Instruct 모델에 입력하 여 응답을 비교한 결과, 직접적인 위험 요청(Original Prompt) 뿐만 아니라, 의도만 유지한 우회적 표현들(Paraphrase 2~4)에 서도 모델이 상세한 위험 정보(화학물질 조합, 조립, 배포 등)를 출력함을 확인하였다. 반면 일부 특정 표현 조합(Paraphrase 1)의 경우에는 모델이 윤리적 거부 응답을 생성, 필터링이 작동함을 보였다. 이 실험은 현재의 LLM 안전 시스템이 프롬프트 의 의미가 아닌 “표면 표현”에 의존하고 있음을 보여주며, semantics-invariant filtering (의미 불변 필터링)이 구현되지 않은 상태에서 LLM은 패러프레이즈 공격에 취약함을 시사하는 것을 분석하였다.