영어능력평가란 무엇인가: 왜 ‘측정’이 아니라 ‘판단’의 문제인가

영어능력평가는 왜 ‘측정’이 아니라 ‘판단’의 문제

— 영어능력평가론 시리즈 ①

영어능력평가는 흔히 점수를 매기는 시험으로 이해된다. 시험을 보고 채점을 하면 점수가 나오고, 그 점수에 따라 서열이 결정된다고 생각하기 쉽다. 그러나 실제 언어평가 연구에서 시험은 단순한 측정 도구로 이해되지 않는다. 언어평가는 어떤 능력을 중요하게 볼 것인지, 어떤 기준으로 사람을 구분할 것인지, 그리고 그 결과를 어떤 결정에 사용할 것인지에 대한 판단 구조 위에서 작동하는 제도적 행위로 이해된다.

이 글은 영어능력평가론 시리즈의 첫 번째 글로, 영어능력평가를 단순한 점수 산출의 기술이 아니라 판단의 문제로 바라보는 관점을 제시한다. 이후 글에서는 이러한 판단이 어떤 기준과 철학을 통해 형성되고 관리되는지를 단계적으로 살펴볼 것이다.

1. 영어능력평가는 단순한 점수 산출 과정이 아니다

많은 사람들은 영어능력평가를 시험을 통해 점수를 계산하는 과정으로 이해한다. 시험을 보고 채점을 하고, 점수를 기준으로 합격과 불합격을 결정하는 방식이 일반적으로 익숙하기 때문이다.

하지만 점수는 평가 과정의 마지막에 나타나는 결과일 뿐이다. 그 점수가 만들어지기까지는 다양한 선택과 배제의 과정이 존재한다. 어떤 문제를 시험에 포함할 것인지, 어떤 능력을 더 중요하게 볼 것인지, 점수를 어떤 방식으로 해석할 것인지와 같은 결정들이 모두 평가 설계 과정에서 이루어진다.

이러한 결정들은 통계적 계산이나 기술적 절차만으로 이루어지지 않는다. 결국 이 모든 과정은 평가 설계자가 내리는 판단을 통해 이루어진다.

2. 기술이 발전해도 평가의 본질은 바뀌지 않는다

언어평가 연구에서는 시험의 품질을 설명하기 위해 여러 기술적 요소가 논의된다. 예를 들어 시험 문항을 어떻게 설계할 것인지, 채점의 일관성을 어떻게 확보할 것인지, 시험의 신뢰도를 어떻게 높일 것인지와 같은 문제들이 중요하게 다루어진다.

이러한 요소들은 분명 평가의 품질을 결정하는 중요한 기준이다. 그러나 기술이 아무리 발전해도 해결할 수 없는 질문이 남는다.

바로 무엇을 영어 능력이라고 볼 것인가라는 질문이다.

이 질문은 통계적 계산으로 해결할 수 있는 문제가 아니다. 그것은 평가가 사회에서 어떤 역할을 수행해야 하는지에 대한 가치 판단의 영역에 속한다.

3. 영어 능력을 정의하는 순간 평가의 방향이 결정된다

영어능력평가에서 가장 먼저 이루어지는 판단은 무엇을 영어 능력으로 볼 것인가에 대한 선택이다.

예를 들어 평가 설계자는 다음과 같은 선택을 해야 한다.

• 읽기, 듣기, 말하기, 쓰기 중 어떤 능력을 평가할 것인가
• 실제 의사소통 능력을 중심으로 볼 것인가
• 문법 정확성을 중심으로 평가할 것인가

이러한 선택에 따라 시험의 성격은 완전히 달라진다. 어떤 시험은 문법과 독해 능력을 중심으로 구성되고, 어떤 시험은 실제 의사소통 능력을 강조한다. 이 차이는 기술적 문제가 아니라 평가 철학의 차이에서 비롯된다.

4. 시험 점수의 의미는 사용 목적에 따라 달라진다

평가에서 또 하나 중요한 판단은 시험 결과를 어떤 목적으로 사용할 것인가에 관한 문제다.

같은 시험 점수라도 사용 목적에 따라 의미는 크게 달라질 수 있다. 예를 들어 시험 점수가 대학 입학 선발에 사용될 때와 학습 진단을 위한 자료로 사용될 때는 그 의미가 완전히 다르다.

이처럼 평가에서 중요한 것은 점수 자체가 아니라 그 점수가 어떤 결정을 정당화하는 데 사용되는가이다. 평가는 언제나 어떤 결정을 뒷받침하는 근거로 사용되며, 이 지점에서 평가의 책임 문제가 등장한다.

5. 평가 논쟁이 발생하는 이유

평가가 사회적 논쟁의 대상이 되는 상황을 떠올려 보면 흥미로운 사실을 발견할 수 있다. 대부분의 갈등은 점수 계산 오류 때문에 발생하지 않는다.

오히려 다음과 같은 질문에서 논쟁이 시작된다.

• 왜 이런 방식으로 시험을 만들었는가
• 왜 이 능력이 중요하다고 판단했는가
• 왜 이 기준으로 사람을 선발했는가

이 질문들은 모두 평가가 기술적 절차를 넘어 판단의 영역에 속한다는 사실을 보여준다.

6. 평가 설계자의 역할은 판단을 관리하는 것이다

영어능력평가를 판단의 문제로 이해하면 평가 설계자의 역할도 달라진다. 평가 설계자는 단순히 시험 문항을 만드는 기술자가 아니다. 그는 어떤 능력을 평가할 것인지, 어떤 기준으로 점수를 해석할 것인지, 그 기준이 사회에 어떤 영향을 미칠 것인지를 고려해야 하는 책임 있는 판단자다.

평가를 사용하는 기관 역시 이 판단 구조에서 자유로울 수 없다. 시험 결과를 이용해 선발이나 배치를 결정하는 순간, 그 기관 역시 평가 결과에 대한 책임을 함께 지게 된다. 평가를 외부 기관에 맡겼다고 해서 판단의 책임까지 외주화할 수는 없다.

7. 좋은 평가는 자신의 기준을 설명할 수 있는 평가다

이 관점에서 보면 좋은 평가는 단순히 신뢰도가 높은 시험이 아니다. 좋은 평가는 어떤 기준을 사용했는지 공개하고, 그 기준이 왜 선택되었는지를 설명할 수 있는 평가다.

평가의 핵심 조건은 단순한 기술적 정확성이 아니라 설명 가능성(accountability)이다. 평가 기준이 명확하게 드러나고, 그 기준이 사회적으로 정당화될 수 있을 때 평가에 대한 신뢰도 역시 높아진다.

정리

이 글에서는 영어능력평가를 단순한 측정 기술이 아니라 판단의 구조 위에서 작동하는 제도적 행위로 바라보는 관점을 제시했다. 평가는 무엇을 평가할 것인지 결정하는 순간부터 이미 판단의 연쇄 속에 들어가며, 점수는 그 연쇄의 마지막에 나타나는 결과일 뿐이다.

이러한 관점은 이후 논의의 출발점이 된다. 평가 연구에서 중요한 개념인 타당도, 신뢰도, 공정성, 책임성은 모두 어떤 판단을 어떻게 관리할 것인가라는 질문으로 연결된다.

 

다음 글에서는 「왜 공정성은 동일한 대우를 의미하지 않는가」를 주제로 영어능력평가에서 말하는 공정성의 의미와 평가 판단의 첫 번째 기준이 어떻게 형성되는지를 살펴볼 것이다.

 

이 글은 영어 언어를 영어능력평가론의 중심으로 영어 문법과 의미 체계의 형성 과정을 분석하는 글입니다.
본 블로그는 영어능력평가로의 언어학적 관점에서 영어를 설명하는 콘텐츠를 제공합니다.

영어능력평가는 왜 ‘측정’이 아니라 ‘판단’의 문제