체육측정평가 : 경계손실 일치도계수와 준거지향검사의 문제점

• 경계손실 일치도계수 : 1) 합치도, 2) 카파계수, 3) 수정된 카파계수
• 준거지향검사의 문제점 : 자의성, 분류오류

---

1. 준거지향검사에서의 신뢰도

• 분류의 일관성으로 정의

• 준거지향검사를 2번 반복실시하여, 처음 검사에서 완수자로 분류된 피험자가 두번째 검사에서 다시 완수자로 분류된다면 신뢰도가 높다 할 수 있다.

• 경계손실 일치계수는 분류의 일관성을 결정하는 적절한 방법이다.

  기준점수로부터 멀리 떨어져 있는 분류오류와 근접한 분류오류의 심각성이 동일한 것으로 가정하고 신뢰도를 추정한다.

 

 

2. 합치도 ( =일치도)

• 우연적으로 합치되는 경우를 고려하지 않은 상태에서의 분류합치비율

• 합치도계수 (P) 는 2번 반복하여 측정한 준거지향검사의 유관표의 A + D (분류정확확률)

• 합치도계수는 (기준점수의 위치, 검사의 길이, 점수의 이질성 등)의 영향을 받는다

  기준점수가 평균에 가까운 것 보다 양 극단에 위치할때검사 항목이 많고 피험자의 점수가 큰 범위를 나타낼 수록 합치도계수는 커진다.

• 0.5 이하 값은 의미가 없다.

• 완수자, 미수자가 많은 집단일수록 합치도계수는 커지며 기준점 근처(기준점이 평균에 가까울때 )에 위치한 학생이 많을수록 낮아지게 된다.

• 계산과 해석이 간편

• 표본수가 작은 경우와 큰 경우에 추정한 값이 유사하여 30명 정도의 소표본에서도 추정이 가능

• 실제로 완수자인 피험자가 우연히 두 번째 검사에서 미수자로 분류될 수 있는 우연적 합치를 고려하지 못한다.

• 이러한 우연적 합치의 영향을 고려한 신뢰도지수가 카파계수이다.

• 준거지향검사에서의 (결정타당도계수)는 준거검사와 결정검사를 실시하여 유관표를 작성한 것이고, (합치도계수)는 동일한 검사를 2번 실시하여 유관표를 작성한 것이 다를 뿐, 이 둘의 계산절차는 동일하다.

 

 

 

3. 카파계수

• 카파계수는 우연히 2번의 검사에서 모두 완수자나, 모두 미수자로 분류된 피험자(우연적 합치)의 영향을 배제한 준거지향검사의 신뢰도지수

• 주변비율 : [ (A+B) × (A+C) ] + [ (D+B) × (D+C) ]

• k = 일치도계수 - 주변비율 / 1 - 주변비율

• 카파계수는 -1.0 ~ +1.0 의 범위를 갖지만, 해석상 의미가 있는 범위는 0 ~ 1.0 이다

• 신뢰도는 ' 어떤 검사가 피험자를 일관되게 분류하는데 어느 정도 긍정적인 기여를 하는가' 를 의미하기 때문에 음수의 카파계수는 신뢰도 측면에서 의미가 없다.

• 피험자의 점수분포의 극단에 기준점수가 위치할수록 카파계수는 낮게 추정되었다. ( 합치도와 반대 )

• 표본수가 작을 때 추정된 카파계수는 표본수가 많을 때 추정된 카파계수보다 크게 나타나는 문제점이 있다.

 

 

4. 준거지향검사의 문제점

• 자의성 : 준거지향검사의 기준을 설정하는 방법은 매우 다양하지만, 어떤 방법을 사용하더라도 기준설정 과정에 평가자의 자의성이 개입되는 것을 부정하기 어렵다. 때문에 기준설정이 가능한 과학적 방법으로 이루어지도록 노력해야 하며, 충분한 경험과 지식을 갖춘 전문가로 구성된 집단에 의해 기준을 설정한다면 자의성의 문제를 어느 정도 해결할 수 있을 것이다.

• 분류오류 : 오완수자나, 오미수자로 잘못 분류된 피험자가 나타나는 분류오류가 생길 수 있다. 분류오류를 감소하기 위한 방안으로 1) 검사를 반복측정하여 좀 더 정확한 분류를 하거나 2) 2개 이상의 기준점수를 설정하여 분류오류가 나타날 가능성을 감소시킬 수 있다.

---

경계손실일치도지수

 

threshold loss agreement indices

 

평정자 또는 평가자에 의하여 분류의 일치정도를 나타내는 지수이다. 여러 가지 다양한 방법이 제안되었으나 크게 일치도 통계인 p와 Cohen의 Kappa로 구분된다. p는 두 개의 동형검사로 피험자를 숙달자와 미숙달자로 분류하였을 때, 두 검사를 통하여 일관성있게 분류된 피험자의 비율을 말하며, Cohen의 Kappa는 우연에 의하여 일관되게 분류된 확률을 일치도 통계인 p에서 제거한 일치도 지수를 말한다(교육측정·평가·연구·통계 용어사전, 1995).