타당도 관점의 변화는 시험 설계를 어떻게 바꾸었는가

 

타당도 관점의 변화 시험 설계

— 영어능력평가론 시리즈 ⑨

타당도 개념의 변화는 단순한 이론적 논쟁에 그치지 않았다. 타당도를 시험 도구의 속성으로 보던 관점에서 시험 결과 해석과 사용을 중심으로 이해하는 관점으로 이동하면서 평가 실무 전반이 달라지기 시작했다.

앞선 글 「타당도 개념의 변화: 전통적 타당도에서 해석 중심 타당도로」에서는 타당도를 바라보는 관점이 어떻게 변화해 왔는지를 살펴보았다. 이번 글에서는 이러한 변화가 실제 영어시험 설계와 평가 운영에 어떤 구체적인 변화를 가져왔는지를 중심으로 설명한다.

현대적 타당도 관점에서 시험 설계자는 더 이상 문제를 만드는 기술자에 머물 수 없다. 시험 결과가 어떻게 해석되고 어떤 영향을 미치는지까지 고려해야 하는 책임이 강조되기 때문이다.

시험 설계의 출발점이 달라졌다

전통적인 시험 설계는 측정할 능력을 정의하고, 그 능력을 대표하는 문항을 만드는 데 초점을 두었다. 시험의 완성도는 문항의 정확성과 난이도 조절로 판단되는 경우가 많았다.

그러나 현대적 타당도 관점에서는 시험 설계의 출발점이 달라진다.

시험 설계자는 먼저 시험 결과가 어떤 해석과 결정을 지원해야 하는지를 고민해야 한다. 시험 점수가 학습자의 능력을 판단하는 데 사용되는지, 교육 배치를 위한 자료로 사용되는지, 혹은 학습 피드백 제공이 목적인지를 명확히 설정해야 한다.

이러한 관점은 앞선 글 「왜 타당도는 영어능력평가에서 가장 중요한 기준인가」에서 설명한 타당도의 핵심 의미와도 연결된다.

시험 명세서의 역할 변화

타당도 관점의 변화는 시험 명세서(test specification)의 역할도 확장시켰다.

과거의 시험 명세서는 문항 수, 난이도, 평가 영역을 정리한 기술 문서에 가까웠다. 그러나 현대적 시험 명세서는 시험 해석과 사용의 범위를 설명하는 문서로 기능한다.

시험 명세서에는 다음과 같은 내용이 포함되기 시작했다.

• 시험 결과 해석의 기준
• 시험 점수의 사용 목적
• 결과 사용의 한계

이러한 변화는 시험 결과의 오용을 사전에 예방하려는 시도라고 볼 수 있다.

문항 설계에서 수행 맥락의 중요성

현대적 타당도 관점은 문항 설계 방식에도 중요한 변화를 가져왔다.

단순히 정답을 맞히는 문항보다 학습자가 어떤 맥락에서 언어를 사용하는지를 드러내는 문항이 강조되기 시작했다. 이는 시험 수행이 실제 언어 사용과 얼마나 관련되는지를 중요한 타당도 근거로 보기 때문이다.

이러한 변화는 다음과 같은 평가 방식의 확산으로 이어졌다.

• 실제적 과제(authentic tasks)
• 통합형 문항(integrated tasks)
• 수행 평가(performance assessment)

문항은 더 이상 분절된 지식을 확인하는 도구가 아니라 언어 사용 과정을 관찰하는 도구로 설계되기 시작했다.

점수 보고 방식의 변화

타당도 관점의 변화는 점수 보고 방식에도 영향을 미쳤다.

과거에는 총점 하나가 시험 결과를 대표하는 경우가 많았다. 그러나 현대적 평가에서는 점수의 해석 가능성이 중요해지면서 다양한 보조 정보가 함께 제공된다.

예를 들어 다음과 같은 정보들이 추가된다.

• 영역별 점수
• 수행 특성 설명
• 점수 해석 가이드

이러한 정보는 시험 결과가 단순한 비교 지표로 오용되는 것을 줄이는 역할을 한다.

시험 결과 사용에 대한 명시적 안내

현대적 타당도 관점에서는 시험 결과 사용에 대한 명시적 안내가 중요해졌다.

시험 설계자는 시험 결과가

• 어떤 용도로 사용될 수 있는지
• 어떤 용도로 사용되어서는 안 되는지

를 분명히 제시해야 한다.

이러한 안내는 시험 점수가 설계 의도를 벗어나 사용되는 것을 방지하는 중요한 장치가 된다.

검증 과정의 지속적 성격

타당도 관점의 변화는 시험 검증 과정을 일회성 절차에서 지속적 과정으로 전환시켰다.

시험이 한 번 개발되면 끝나는 것이 아니라, 실제 사용 과정에서 발생하는 문제를 지속적으로 점검하고 수정해야 한다는 인식이 확산되었다.

예를 들어 다음과 같은 상황이 검토 대상이 된다.

• 특정 집단에게 불리한 결과가 나타나는 경우
• 시험 결과가 예상과 다르게 해석되는 경우

이러한 검토는 시험이 실제 환경에서 어떻게 작동하는지를 확인하는 과정이다.

평가 운영과 관리의 변화

시험 설계뿐 아니라 평가 운영 방식도 변화했다.

감독, 채점, 결과 보고 과정에서 발생할 수 있는 다양한 변인은 시험 결과 해석에 영향을 미친다. 따라서 시험 운영의 일관성과 공정성은 타당도 논의의 중요한 부분으로 포함된다.

평가 운영은 더 이상 단순한 행정 절차가 아니라 시험 결과 해석의 신뢰성을 지탱하는 기반으로 이해된다.

평가 전문가에게 요구되는 새로운 역량

타당도 관점의 변화는 평가 전문가에게 새로운 역량을 요구한다.

평가 전문가는 단순히 통계 분석 능력만을 갖추는 것이 아니라 다음과 같은 능력을 함께 갖추어야 한다.

• 시험 결과 해석 설명 능력
• 시험 결과 사용에 대한 안내 능력
• 평가의 사회적 영향 분석 능력

이러한 변화는 평가를 기술적 작업이 아니라 판단과 책임의 영역으로 이해하게 만든다.

정리

이 글에서는 타당도 관점의 변화가 실제 시험 설계와 평가 실무에 어떤 변화를 가져왔는지를 살펴보았다.

시험 설계의 출발점, 문항 구성, 점수 보고 방식, 결과 사용 안내, 검증 과정에 이르기까지 평가 실무 전반에서 중요한 변화가 나타나고 있다. 이러한 변화는 영어능력평가를 보다 책임 있고 학습 친화적인 방향으로 이끌고 있다.

다음 글 「타당도를 구성하는 주요 근거 유형은 무엇인가」에서는 타당도를 뒷받침하는 다양한 근거 유형이 무엇이며, 각 근거가 어떤 역할을 하는지를 구체적으로 살펴본다.

 

이 글은 영어 언어를 영어능력평가론의 중심으로 영어 문법과 의미 체계의 형성 과정을 분석하는 글입니다.
본 블로그는 영어능력평가로의 언어학적 관점에서 영어를 설명하는 콘텐츠를 제공합니다.

타당도 관점의 변화 시험 설계