원문정보
Fine-Tuning On-Device LLMs for Socratic Question Generation and Performance Evaluation
초록
영어
This study investigates the educational applicability of on-device lightweight large language models (LLMs) through fine-tuning with a Korean-translated version of the SocratiQ dataset, which is built upon the Socratic method of questioning. Two compact models, Gemma 1B and LLaMA 1B, were fine-tuned using the LoRA approach, and their performances were evaluated. Both models achieved a BERTScore F1 of approximately 0.75, indicating high semantic similarity with reference questions. Gemma 1B demonstrated slightly higher linguistic consistency and clarity, while LLaMA 1B showed superior inference efficiency, with an average response time of under one second. Sample analysis also revealed that both models were capable of generating diverse types of Socratic questions in contextually appropriate ways. The results suggest that fine-tuned lightweight LLMs can serve as viable educational tools for AI-assisted questioning, even in resource-constrained or privacy-sensitive environments. This work offers foundational evidence for integrating on-device AI in self-directed learning and classroom support systems.
한국어
본 연구는 생성형 인공지능의 교육적 활용 가능성을 모색하기 위해, 소크라테스식 문답법 기반의 질의응답 데이터셋(SocratiQ)의 한 국어 번역본을 활용하여 경량 온디바이스 대형언어모델(LLM) 두 종류(Gemma 1B, LLaMA 1B)에 대해 LoRA 방식의 파인튜닝을 수 행하고 그 성능을 비교하였다. 실험 결과, 두 모델 모두 BERTScore 기준 약 0.75 수준의 의미 유사도를 달성하였으며, Gemma 1B는 질문 표현의 정교성과 일관성 측면에서 우수한 성과를 보였다. 반면 LLaMA 1B는 평균 1초 미만의 추론 시간을 기록하여 실시간 응답 에 더 적합한 효율성을 나타냈다. 또한 일부 사례 분석을 통해 두 모델이 문맥에 따른 다양한 소크라테스식 질문 유형을 생성할 수 있음 을 확인하였다. 본 연구는 온디바이스 환경에서도 교육용 LLM이 실질적 질문 생성 도구로 활용될 수 있음을 실증적으로 제시하며, 향 후 경량 AI 기반의 자기주도 학습 지원 시스템 설계에 유의미한 기초 자료를 제공한다.
목차
ABSTRACT
Ⅰ. 서론
Ⅱ. 이론적 배경
1. 소크라테스식 문답법의 교육적 가치
2. 소크라테스식 질문 생성(SoQG)을 위한 데이터셋과 모델 연구
3. LLM 기반 소크라테스 튜터의 교육적 효과
4. 온디바이스 LLM과 교육 응용 가능성
Ⅲ. 연구 설계
1. 연구 설계 개요
2. 데이터셋 구축
3. 실험 모델 및 LoRA 기반 파인튜닝 설정
4. 학습 구성
5. 평가 방법
Ⅳ. 연구 결과
1. 모델 학습 결과
2. 정량 평가: BERTScore
3. 효율성 평가: 추론 시간
Ⅴ. 결론
참고문헌
