earticle

영어

This paper describes two methods previously developed for estimating conditional standard errors of measurement: the binomial method and the IRT method. These methods are based on different underlying assumptions. The binomial method employs the binomial model as the distribution of errors and the IRT method is based on the unidimensional IRT model assumption. Two methods are compared using real data that were gathered in America. Followings were found: CSEM results from the two methods were similar and error variances could be overestimated in the binomial method when item difficulties in a test were rather different. Based on results, it could be concluded that when IRT parameters were estimated for test development purpose CSEM estimated by IRT method is worth considering. However, when internal consistency reliability such as KR-20 and standard error of measurement were reported, CSEM estimated by the binomial method would be recommended.

한국어

이 연구의 목적은 실제 학생들이 치른 검사를 자료로 이항모형방법과 IRT 방법을 사용하여 조건부 측정오차(CSEM)를 추정하고 그 결과를 비교하고자 하는 것이었다. 사용된 5개 소검사의 개요를 살펴보고, CSEM 추정을 위한 두 방법을 고찰하고, 두 방법에 의한 결과를 비교하였다. IRT 방법에 비해 이항모형방법의 추정 신뢰도와 표준오차가 일반인에게 친숙한 문항내적일관성 신뢰도와 SEM(측정표준오차)과 비슷하여 두 값을 보고하고 있는 경우에는 CSEM 보고 시 이항모형방법의 사용을 권장하였다. 5개 소검사에서 이항모형방법과 IRT 방법의 CSEM 경향이 현격한 차이를 보이지 않고, 만점과 만점 하나 낮은 점수에서 이항모형방법의 CSEM은 해석에 제한을 가지고, 두 방법에서 추정 신뢰도와 표준오차의 경향이 비슷하고, 문항들간 난이도 차이가 상대적으로 큰 검사의 경우 이항모형방법에서 오차분산 과다추정의 위험이 존재함으로, 검사 개발과 척도화 과정에서 IRT 모형을 사용하고 있는 경우에는 IRT 방법 CSEM의 사용을 고려할 필요가 있음을 지적하였다.