측정평가 : 타당도, 신뢰도, 객관도, 실용도 (바람직한 평가도구의 기준)

• 바람직한 평가도구의 기준 : 타당도, 신뢰도, 객관도, 실용도

---

 

1. 타당도

• 한 검사가 측정하려는 내용 (혹은 평가목표)를 얼마나 충실히 측정하고 있는가

• 타당도의 종류 : 내용타당도, 준거타당도(공인,예언), 구인타당도, 결과타당도, 안면타당도

• 내용타당도 : 교과타당도, 논리적 타당도라고도 하며 측정하려고 하는 내용을 명백히 정의하여 내용이 목적한 바를 그대로 측정하고 있는가를 따지는 방법이다. 학력검사를 제작할 때 많이 검토되는 타당도이며, 단순히 내용분석을 하거나 논리적 사고에 의하여 판단되는 것이기 때문에 수량적으로 표시되지 않으며, 전문가에 의해 판단된다.

• 공인타당도(준거) : 검사1과 준거2의 상관, 혹은 검사 1과 검사2과의 상관을 내어, 그 둘 사이에 어느정도의 상관관계가 있는가를 따지는 타당도. 즉, 공인이 있는가를 따지는 타당도이다. 지능검사와 성격검사의 상관을 내는 것은 공인타당도의 한 예이다.

• 예언타당도(준거) : 한 검사가 얼마나 예언적인 능력을 가지고 있는가를 알아보는 방법으로, 미래에 관계된다. 이 때의 준거는 시간적으로 미래의 행동특성이 된다.

• 구인타당도 : 한 검사가 조작적으로 정의되지 않은 어떤 특성이나 성질을 측정했을 때, 그것을 과학적 개념으로 분석하고, 의미를 부여하는 과정의 타당도이다.

• 결과타당도 : 평가결과를 교수학습과정에서 얼마나 의미있게 활용하였는가의 정도를 말한다. 예컨대 수행평가는 학습들의 최종 성적을 산출하기보다는 오히려 교수학습의 개선을 목적으로 하기 때문에 평가결과가 얼마나 유용하고 가치있는가를 판단하는 결과타당도의 개념을 더욱 중시한다고 할 수 있다.

• 안면타당도 : 의도한 특성을 측정하고 있는 것 처럼 보이게 하는 정도로, 논리성과 분석력이 결여되어 있으며, 주관적인 평가방법이다.

 

 

2. 신뢰도

• 어떤 평가도구를 가지고 설정된 교육내용이나 목표를 얼마나 정확하고 안정적으로 평가할 수 있는가의 정도

• 신뢰도의 종류 : 재검사신뢰도, 동형검사신뢰도, 반분신뢰도, 문항내적합치고

• 재검사신뢰도 : 검사의 안정성계수 라고도 하며 한 검사를 동일 집단에 일정한 시간간격을 두고 2번 실시해서 얻는 두 검사 결과의 상관계수의 정도이다. 간격이 짧으면 신뢰도가 커지고, 길면 낮아지기 때문에 적정한 시간간격은 2~4주가 좋다. 전후검사실시에서 여러조건을 동일하게 통제하기가 힘들며 기억효과와 연습효과라는 단점이 있다.

• 동형검사신뢰도 : 동형성계수라고도 하며, 검사의 문항이 동질적인 내용으로 구성된 두개의 동형검사를 제작하여 가은대상에게 실시하여 얻은 점수 사이의 상관을 산출하는 방법이다. 기억효과, 연습효과를 최소한으로 감소시킬 수 있으나, 실제적으로 두 검사가 거의 같거나 완전히 같은 동질적인 검사로 구성하기 쉽지 않다는 것이 단점이다.

• 반분신뢰도 : 한 검사에서 검사 후 두 부분으로 나누어 따로 채점하여 그 득점간의 상관계수를 산출하는 방법이다. 검사문항이 동질적이지 못하면 신뢰도계수는 과소평가되며, 속도검사인 경우 신뢰도계수가 과대평가 될 위험이 있다.

• 문항내적합치도 : 검사 각각의 문항을 독립된 한 개의 검사단위로 생각하여 합치성 동질성, 일치성을 종합하는 평가방법. 문항난이도가 거의 비슷하고 그 범위가 0.3~0.7 정도, 아루 어려운 문항이나 아주 쉬운 문항이 별로 없을 때 적절하다. 검사속 문항들 사이의 신뢰도계수는 급내 상관계수로 나타낼 수 있다.

 

 

3. 객관도

• 평가 채점자에 대한 신뢰도로, 한 검사의 측정결과가 검사자 혹은 채점자 간에 어느정도 일치하는가의 정도이다.
• 객관도향상방법 : 평가도구의 객관화, 평가자의 자질향상, 명확한 기준 설정, 선택형 평가문항지향, 공동채점
• 평가자의 주관에 의해 평가되는 검사나 선발, 성적부여를 위한 검사에서 객관도는 매우 중요하게 다루어진다. 그 이유는 평가자에 따라 동일한 검사라도 점수부여방법이 달라질 수 있기 때문이다.
• 수행평가는 객관도를 확보한 후에 실시되어야 한다.
• 객관도를 추정하는 방법은 신뢰도를 추정하는 방법과 동일하다.
• 두명의 평가자에 의해 부여된 검사점수 간 상관으로 객관도를 추정할 때에는 재검사 신뢰도 계수를 사용할 수 있다.
• 세명 이상의 평가자에 의해 시행된 검사점수의 객관도를 추정할 때에는 급내상관계수를 이용하면 된다.
• 신뢰도를 추정할 때에는 동일한 검사를 여러번 시행한 검사 점수를 분석하지만, 객관도를 분석할 때에는 여러 명의 평가자에 의해 부여된 검사 점수를 분석하면 된다.
• 일치도 / 일치도 + 불일치도 × 100 = 객관적 신뢰도의 값

 

 

4. 실용도

• 한 검사도구가 경비, 시간, 노력을 적게 들이고도 소기의 목적을 얼마나 잘 달성할 수 있느냐의 정도를 나타내는 것.

• 실용도의 조건 : 채점의 간편성, 실시절차의 간편성, 해석과 활용의 용이성, 비용 시간 노력의 절약 등이 있다.

---