왜 타당도는 영어능력평가에서 가장 중요한 기준인가

타당도는 영어능력평가에서 가장 중요한 기준

— 영어능력평가론 시리즈 ⑦

영어능력평가를 논의할 때 가장 자주 등장하는 개념 가운데 하나가 타당도(validity)다. 많은 사람은 타당도를 시험이 얼마나 정확한지를 판단하는 기술적 기준으로 이해한다. 그러나 언어평가 연구에서 타당도는 단순한 정확성의 문제가 아니다. 타당도는 시험이 무엇을 측정하고 있는지, 그리고 그 점수 해석과 사용이 정당한지를 묻는 핵심 개념이다. 강의 자료에서도 전통적 관점은 “시험이 측정하려는 바를 정확히 측정하는 정도”로 설명하지만, 최근 관점은 시험 점수의 해석과 사용을 이론과 증거가 얼마나 지지하는가에 초점을 둔다.

앞선 글 「평가가 학습을 지원하기 위해 반드시 갖춰야 할 설계 원칙」에서 살펴보았듯이, 학습을 지원하는 평가는 학습 목표와 평가 목표가 연결될 때 가능하다. 이번 글에서는 그 연결을 가능하게 하는 핵심 기준이 왜 타당도인지, 그리고 왜 타당도가 영어능력평가의 다른 품질 기준보다 더 근본적인 위치를 차지하는지를 살펴본다.

1. 타당도는 시험의 목적을 묻는 질문이다

타당도에 대한 가장 단순한 설명은 시험이 측정하려는 것을 제대로 측정하는 정도라는 것이다. 그러나 이 정의만으로는 타당도의 중요성을 충분히 설명할 수 없다. 현재 언어평가 이론에서 타당도는 시험 자체의 속성이라기보다, 특정 점수 해석과 사용이 적절한가를 묻는 개념으로 이해된다. 다시 말해 “이 시험은 좋은가”보다 “이 시험 점수를 이렇게 해석하고 사용하는 것이 정당한가”가 더 중요한 질문이 된다.

transcripts_validity

이 점에서 타당도는 시험의 목적과 직접 연결된다. 시험이 어떤 결정을 지원하기 위해 만들어졌는지 분명하지 않다면, 그 시험의 타당도 역시 분명하게 설명할 수 없다.

2. 학습을 지원하는 평가는 타당한 평가여야 한다

앞선 글에서 강조했듯이 학습을 지원하는 평가는 학습 목표와 평가 목표가 일치할 때 가능하다. 이것은 곧 타당도의 핵심 조건이기도 하다. 강의 자료에서도 시험 목적, 측정하려는 능력, 그리고 점수 해석이 서로 연결되어야 평가가 의미를 가진다고 설명한다.

 

예를 들어 의사소통 능력을 기르는 교육과정에서 문법 지식만을 주로 측정하는 시험이 사용된다면, 학습자는 시험 대비를 위해 학습 방향을 바꾸게 된다. 이 경우 시험은 학습을 지원하지 못하고 오히려 학습을 왜곡한다. 따라서 학습을 지원하는 평가는 결국 타당한 평가일 때만 가능하다.

3. 타당도는 하나의 속성이 아니라 근거의 축적이다

많은 학습자는 타당도를 “있다/없다” 식으로 이해한다. 그러나 실제 평가 이론에서는 타당도가 단일한 고정 속성으로 다뤄지지 않는다. 최근 관점에서 타당도는 다양한 증거를 통해 점진적으로 뒷받침되는 개념이다. 전통적으로는 내용 타당도, 준거관련 타당도, 구인 타당도 같은 범주로 설명되었지만, 최근에는 이를 각각의 “타당도 종류”라기보다 타당도 논거를 구성하는 증거의 유형으로 본다.

 

즉 시험 내용이 측정하려는 능력을 얼마나 대표하는지, 시험 수행이 실제 언어 사용과 어떤 관련을 갖는지, 점수 해석이 합리적인지와 같은 질문들이 함께 검토되어야 한다. 이런 점에서 타당도는 단순한 체크 항목이 아니라 논증(argument)의 구조에 가깝다.

 

4. 점수 해석이 타당도의 핵심이다

앞선 글 「같은 영어시험이라도 결과 해석이 달라지는 이유」에서 살펴본 것처럼, 시험 점수는 그 자체로 완성된 의미를 가지지 않는다. 점수는 항상 해석을 통해 의미를 얻는다. 그래서 최근 타당도 개념은 점수 해석의 정당성을 중심으로 전개된다. 강의 자료 역시 타당도를 점수 해석과 사용에 대한 적절성으로 설명한다.

 

예를 들어 어떤 시험 점수를 근거로 학습자의 전반적인 영어 능력을 판단하려면, 정말 그 점수가 그런 해석을 지지할 수 있는지 검토해야 한다. 이 검토가 빠지면 점수는 객관적 수치처럼 보이더라도 실제로는 약한 근거 위에서 과도하게 사용될 수 있다.

5. 시험 결과 오용 문제는 결국 타당도 문제다

시험이 본래 의도하지 않은 방식으로 사용될 때, 많은 사람은 그것을 단순한 활용상의 문제로 생각한다. 그러나 평가 이론의 관점에서 보면 이것은 타당도 문제다. 시험 결과가 설계된 해석 범위를 벗어나 사용되면, 그 점수의 의미는 왜곡된다. 강의 자료에서도 타당도는 시험 점수의 사용과 관련된 개념이며, 특정 상황에서 검증된 타당도가 다른 상황까지 자동으로 보장되지는 않는다고 설명한다.

 

이 점은 「시험 결과 해석의 혼란이 교육 현장을 왜곡하는 방식」에서 다룬 문제와도 연결된다. 시험 결과 오용은 단지 현장의 실수가 아니라, 타당도에 대한 이해 부족이 교육 왜곡으로 이어진 사례라고 볼 수 있다.

6. 타당도는 윤리와 책임의 문제이기도 하다

타당도는 단순히 기술적 품질을 따지는 개념이 아니다. 영어시험 점수는 교육 기회, 선발, 배치, 자격 부여처럼 개인의 삶에 중요한 영향을 미치는 결정에 사용된다. 강의 1주차에서도 언어시험은 어떤 이에게는 문을 열어 주고 어떤 이에게는 문을 닫는 gate-keeper 역할을 할 수 있다고 설명한다.

 

따라서 타당하지 않은 해석과 사용은 단순한 오류가 아니라 부당한 결과를 낳을 수 있다. 이 점에서 타당도는 공정성, 책임성, 윤리성과 연결된다. 시험 설계자와 사용자 모두 시험 결과가 어떤 영향을 만들어내는지 고려해야 하며, 바로 그 이유 때문에 타당도는 사회적으로도 중요한 기준이 된다.

7. 왜 타당도는 다른 기준보다 우선하는가

시험 품질을 논할 때는 신뢰도, 실용성, 효율성, 진정성 같은 기준도 중요하다. 실제 강의에서도 시험의 유용성은 타당도뿐 아니라 신뢰도, 진정성, 영향, 실용성과 함께 논의된다.

 

그러나 아무리 채점이 일관되고 운영이 효율적이어도, 시험이 측정하려는 능력과 점수 해석이 적절하지 않다면 그 시험은 교육적으로 가치가 낮다. 신뢰도 높은 시험이 항상 좋은 시험은 아니라는 점도 자료에서 분명히 지적된다. 신뢰도는 일관성을 의미할 뿐, 그 시험이 올바른 대상을 측정하고 있다는 보장은 아니다.

 

이 때문에 타당도는 다른 기준보다 앞선다. 타당도는 시험이 무엇을 측정하고, 그 결과가 어떻게 사용될 수 있는지를 정당화하는 가장 근본적인 기준이기 때문이다.

정리

이 글에서는 왜 타당도가 영어능력평가에서 가장 중요한 기준으로 여겨지는지를 살펴보았다. 타당도는 시험이 무엇을 측정하는지에 대한 질문일 뿐 아니라, 그 점수 해석과 사용이 정당한지를 묻는 핵심 개념이다. 학습을 지원하는 평가는 타당한 평가일 때만 가능하며, 시험 결과 오용 문제 역시 결국 타당도 문제와 연결된다.

 

영어능력평가가 교육과 사회에서 책임 있게 사용되기 위해서는 타당도에 대한 이해가 반드시 필요하다. 다음 글에서는 타당도를 바라보는 관점이 전통적 개념에서 최근의 해석 중심 관점으로 어떻게 변화해 왔는지를 역사적 흐름 속에서 살펴볼 것이다.

 

이 글은 영어 언어를 영어능력평가론의 중심으로 영어 문법과 의미 체계의 형성 과정을 분석하는 글입니다.

본 블로그는 영어능력평가로의 언어학적 관점에서 영어를 설명하는 콘텐츠를 제공합니다.

타당도는 영어능력평가에서 가장 중요한 기준