내용 타당도는 무엇이며 왜 시험 설계의 출발점이 되는가

내용 타당도

— 영어능력평가론 시리즈 ⑩

타당도에 대한 논의가 추상적으로 느껴지는 이유는 많은 경우 그 개념이 실제 시험 설계 과정과 분리되어 설명되기 때문이다. 그러나 평가 실무에서 타당도는 매우 구체적인 질문에서 출발한다.

시험은 무엇을 묻고 있는가, 그리고 그 질문은 측정하려는 능력을 제대로 대표하고 있는가라는 질문이 바로 그것이다. 이 질문에 답하는 과정이 내용 타당도(content validity) 논의의 핵심이다.

앞선 글 「타당도 관점의 변화는 시험 설계를 어떻게 바꾸었는가」에서는 현대적 타당도 관점이 시험 설계 전반에 어떤 영향을 미쳤는지를 살펴보았다. 이번 글에서는 타당도를 구성하는 첫 번째 핵심 근거인 내용 타당도가 무엇이며 왜 시험 설계의 출발점으로 여겨지는지를 중심으로 설명한다.

내용 타당도의 기본 개념

내용 타당도는 시험 내용이 측정하려는 능력이나 지식 영역을 얼마나 충실하게 대표하고 있는지를 의미한다.

이 개념은 시험 문항과 측정 대상 간의 관계에 초점을 둔다. 시험이 의도한 능력 영역의 일부만을 다루거나 핵심 요소를 빠뜨린다면 내용 타당도는 낮아진다.

이 관점에서 내용 타당도는 시험이 무엇을 측정하는지를 가장 직접적으로 보여주는 근거다. 시험 문항 하나하나가 모여 시험 전체의 성격을 결정하기 때문에, 내용 타당도는 시험의 정체성을 규정하는 기준이라고 볼 수 있다.

왜 내용 타당도가 출발점인가

시험 설계에서 가장 먼저 이루어져야 할 작업은 측정 대상의 정의다. 평가 설계자는 측정하려는 능력이 무엇인지, 그리고 그 능력이 어떤 요소로 구성되어 있는지를 명확히 해야 한다.

내용 타당도는 바로 이 정의가 시험에 어떻게 반영되었는지를 검토하는 역할을 한다.

내용 타당도가 확보되지 않은 상태에서 다른 타당도 근거를 논의하는 것은 의미가 제한적이다. 시험 내용이 측정 대상과 어긋난다면 점수 해석이나 결과 사용에 대한 논의 역시 출발선부터 흔들리게 된다.

이 때문에 내용 타당도는 모든 타당도 논의의 출발점으로 여겨진다.

내용 타당도와 시험 목적의 관계

내용 타당도는 시험 목적과 분리해서 이해할 수 없다. 시험 목적이 무엇인지에 따라 포함되어야 할 내용의 범위와 깊이가 달라지기 때문이다.

앞선 글 「영어시험은 왜 만들어지는가: 시험 목적의 분류」에서 살펴본 것처럼 시험 목적이 달라지면 시험 설계의 기준 역시 달라진다.

예를 들어 능숙도 시험에서는 실제 언어 사용 상황을 폭넓게 대표하는 내용이 중요하다. 반면 성취도 시험에서는 교육과정에서 다룬 내용이 얼마나 충실히 반영되었는지가 핵심 기준이 된다.

이처럼 내용 타당도는 시험 목적에 따라 상대적으로 판단된다.

내용 타당도는 문항 수의 문제가 아니다

많은 사람들은 내용 타당도를 문항 수의 문제로 오해한다. 시험 범위를 넓게 다루고 문항을 많이 출제하면 내용 타당도가 높아질 것이라고 생각하기 때문이다.

그러나 내용 타당도에서 중요한 것은 대표성이다.

시험 문항은 측정 대상의 핵심 요소를 적절한 비중으로 반영해야 한다. 핵심 요소가 빠지거나 부차적인 내용이 과도하게 강조될 경우 시험은 측정 대상의 왜곡된 모습을 제시하게 된다.

따라서 내용 타당도는 단순히 많은 내용을 포함하는 것과 동일하지 않다.

시험 명세서와 내용 타당도

시험 명세서(test specification)는 내용 타당도를 확보하기 위한 핵심 도구다.

시험 명세서는 측정 대상의 구성 요소와 각 요소가 시험에서 어떻게 반영되는지를 명시한다. 이 문서는 시험 설계자가 임의로 문항을 구성하는 것을 방지하고 내용 대표성을 체계적으로 관리할 수 있도록 돕는다.

내용 타당도 검토는 시험 명세서를 기준으로 이루어진다. 시험 문항이 명세서에서 제시한 영역과 비중을 충실히 반영하고 있는지가 핵심 판단 기준이 된다.

내용 타당도와 전문가 판단

내용 타당도는 통계 분석만으로 완전히 판단할 수 없다. 이 근거는 전문가의 판단에 크게 의존한다.

평가 전문가와 해당 분야의 내용 전문가가 시험 내용을 검토하고 측정 대상과의 적합성을 평가한다.

이 과정에서 중요한 것은 합의된 기준이다. 개인의 직관이나 경험에만 의존한 판단은 신뢰성을 확보하기 어렵다. 따라서 내용 타당도 검토는 체계적인 절차와 명확한 기준 아래에서 이루어져야 한다.

내용 타당도와 학습자의 관점

내용 타당도는 설계자와 전문가만의 문제가 아니다. 학습자의 관점에서도 중요한 의미를 가진다.

학습자는 시험에 포함된 내용을 통해 무엇이 중요한 학습 목표인지 인식하게 된다.

시험 내용이 학습 목표와 일치할 경우 학습자는 평가를 학습의 일부로 받아들일 수 있다. 반대로 시험 내용이 학습 목표와 어긋날 경우 학습자는 혼란을 느끼고 학습 방향을 잘못 설정할 가능성이 높아진다.

이 점에서 내용 타당도는 학습 경험의 질과도 연결된다.

내용 타당도의 한계

내용 타당도가 중요하다고 해서 그것만으로 시험의 질을 보장할 수 있는 것은 아니다.

시험 내용이 적절하더라도 수행 과정이나 점수 해석에 문제가 있다면 시험의 타당도는 여전히 제한된다.

이러한 이유로 내용 타당도는 다른 타당도 근거와 함께 검토되어야 한다. 내용 타당도는 출발점이지만 전체 그림을 완성하는 유일한 요소는 아니다.

정리

이 글에서는 내용 타당도가 무엇이며 왜 시험 설계의 출발점으로 여겨지는지를 살펴보았다.

내용 타당도는 시험 내용이 측정 대상 능력을 얼마나 충실히 대표하는지를 판단하는 핵심 기준이다. 시험 목적, 시험 명세서, 전문가 판단, 학습자 경험은 모두 내용 타당도와 깊이 연결되어 있다.

영어능력평가가 신뢰받는 평가 도구로 기능하기 위해서는 내용 타당도에 대한 체계적인 검토가 반드시 필요하다.

다음 글 「내용 타당도는 실제로 어떻게 검토되는가」에서는 내용 타당도를 판단할 때 사용되는 기준과 절차, 그리고 실제 평가 과정에서 자주 발생하는 오류를 중심으로 살펴볼 것이다.

 

이 글은 영어 언어를 영어능력평가론의 중심으로 영어 문법과 의미 체계의 형성 과정을 분석하는 글입니다.
본 블로그는 영어능력평가로의 언어학적 관점에서 영어를 설명하는 콘텐츠를 제공합니다.

내용 타당도