Reactivity of Concurrent Verbal Reports in Second Language Acquisition Research: A Methodological Synthesis

As a research method to collect concurrent, real-time data about learners’ cognitive processes, concurrent verbal reports have been widely used in second language acquisition (SLA) research. However, concerns have also been expressed about their validity. A substantial number of studies in SLA have empirically investigated whether concurrent verbal reports are reactive (i.e., whether the act of verbalizing changes the thought processes under investigation) over the last fifteen years or so. Building upon the growing body of research syntheses in second language research (e.g., Plonsky, 2013), this paper presents a methodological synthesis which systematically reviews the primary empirical investigations into the reactivity of concurrent verbalization in SLA. Eighteen unique published study reports qualified for inclusion were retrieved. Each study report was then coded for methodological features related to sampling, study design, statistical analyses, and data reporting practices. The results indicate some strengths and a number of areas in need of attention and improvements in methodological practices and reporting transparency. In addition, the findings point to several directions for future empirical studies to advance our understanding of the important methodological issue of reactivity.

학습자들의 인지 과정에 대한 데이터를 동시적이고 실시간으로 수집하기 위한 연구 방법으로서, 동시언어보고 기법(concurrent verbal reports)은 제2언어습득(SLA) 분야 연구에서 폭넓게 사용되어 왔다. 그러나, 그 신뢰도·타당성(validity)에 대해서 우려가 제기되어 온 것도 사실이다. 제2언어습득(SLA) 분야에서는 지난 15년 여간 동시언어보고 기법의 반응성(reactivity), 즉 동시언어보고 기법이 사고 과정을 바꾸는가에 대한 연구가 상당히 활발하게 이루어져 왔다. 제2언어 연구에서 점차 활성화되고 있는 연구 종합 연구들(예, Plonsky, 2013)에 더해, 본 연구는 2020년까지 출판된, 동시발화법의 반응성에 대한 제2언어습득 분야의 실험 연구들과 유사 실험연구들을 방법론적 측면에서 체계적으로 고찰하고자 하였다. 본 연구에서는 메타분석 기법을 활용하여 관련 문헌들을 검색하였고, 연구에서 설정한 선정기준에 적합한 총 18편의 논문을 대상으로 선정하였다. 각각의 연구에 대해 표본 추출, 연구 설계, 통계적 분석 방법, 데이터 보고와 관련된 방법론적 특성들을 코딩한 후 분석하였다. 연구 결과, 방법론적 측면과 데이터 보고의 투명성 측면에서 여러 가지 강점들과 더불어 앞으로 많은 주의와 개선이 요구되는 사항들이 발견되었다. 본 연구의 결과를 바탕으로, 동시발화법의 반응성에 대한 앞으로의 실험 연구들에 대해 제언하였다. 본 연구는 해당 주제에 대한 후속 연구의 방법론적 측면을 향상시키고, 나아가 제2언어습득 연구 방법론에서 중요한 문제인 동시언어보고 기법의 반응성에 대해 보다 정확한 이해를 도모하는 데 기여할 것으로 여겨진다.