earticle

영어

This study originated from the recognition that formative assessment is both absent and necessary in the weekly Military Moral Strength and Political Education. Considering the practical challenges of facilitators or troop information and education officers manually creating formative assessment items each week, a generative AI prompt named the Novice’s Checklist was developed to automate the creation of items, including explanations for correct answers and distractors, for easy use in educational settings. The quality of the AI-generated items was evaluated through a comparative experiment with human-generated items. While AI-generated items were not inferior in terms of distractor appeal and their educational importance, they showed shortcoming in factual flaws or issues compared to human-generated items. Subsequently, the psychometric properties of the AI-generated items were analyzed using KR-20 and IRT. The reliability was found to be acceptable given the number of items, and the overall difficulty was low, while discrimination was high. Finally, the alignment of the AI-generated items with the content taught during lessons was examined through a comparison of correct response rates between attendance and non-attendance groups. The results showed that the attendance group consistently achieved higher correct response rates than the non-attendance group, confirming no significant flaws as a formative assessment.

한국어

본 연구는 주간 정신전력교육에 형성평가가 부재하고 또한 필요하다는 인식에서 출발하였다. 그런데 교육 진행 교관이나 정훈장교가 매주 형성평가 문항을 직접 제작한다는 것은 현실적으로 어려우므로, 교육 현장에서 쉽게 활용할 수 있도록 문항을 자동으로 출제하고 정답·오답 해설까지 제공하는, Novice’s Checklist 방식이라 명명한 생성형 AI 프롬프트를 우선 개발하였다. 그리고 이 프롬프트에 기초하여 생성된 문항들이 질적으로 양호한지 인간 출제 비교 실험을 통해 검토했다. 오답의 전반적인 매력 차원과 교육적 의미와 중요성 차원에 있어서는 부족하지 않았지만, 사실에 관한 결함이나 논쟁 차원에 있어서는 AI 출제가 인간 출제에 비해 부족함을 확인하였다. 다음으로, 생성된 문항들의 측정학적 특성은 어떠한지 KR20 및 IRT 분석을 통해 검토했다. 신뢰도는 문항 수를 감안하면 수용 가능한 수준으로 나타났고, 전반적으로 난이도는 쉽고 변별도는 높은 것으로 나타났다. 끝으로, 생성된 문항들이 수업 중에 가르치고 배운 내용과 의미 있게 관련된다고 할 수 있는지 참석/불참 집단 정답률 차이 검정을 통해 검토했다. 참석 집단이 불참 집단보다 정답률이 높다고 할 수 있다는 상식적이고 당연한 결과를 얻어 형성평가로서의 중대한 결함은 없음을 확인하였다.