체육 측정평가 : 신뢰도계수(R) 추정방법

• 재검사 신뢰도
• 평행검사 신뢰도
• 내적일관성 신뢰도 : 1) 반분검사신뢰도, 2) 크롬바알파계수
• 급내상관계수(변량분석) : 1) 일원분산분석, 2) 이원분산분석

---

  일반적으로 신뢰도계수를 추정하는 방법은 재검사 신뢰도, 평행검사 신뢰도, 내적일관성 신뢰도 등이 있다. 이러한 방법들로 산출된 신뢰도계수는 추정된 값이다.

---

1. 재검사 신뢰도

• 동일한 검사를 동일한 집단에게 두 번 실시하여 두 검사 점수 간 상관으로 신뢰도를 추정 (안정성계수)
• 문제점 :
  • 반복수행의 효과로 인해 기억효과, 연습효과 : (과대추정)
  • 대상자의 태도변화, 피험자의 동기 및 태도 불성실 : (과소추정)
  • 검사의 측정 환경 변화 등이 문제가 된다.

 

•  때문에 두 검사의 측정 환경을 동일하게 만들고,
• 두 번의 검사에 성실히 참여하도록 방법을 강구해야 한다.
• 두번째 검사에서 연습효과가 나타나지 않도록 검사의 난이도를 조정할 필요성이있음.

 

 

2. 평행검사 신뢰도

• 두 개의 평형검사, 동일 집단, 두 검사점수 간 상관계수로 추정
• 두 검사의 진점수와 오차점수 분산이 동일한 것으로 간주된 검사
• 문제점 :
  • 1) 완벽하게 똑같은 평행검사를 만드는 것이 쉽지 않고,
  • 2) 평행검사를 제작한 검사자의 능력에 따라 신뢰도계수가 영향을 받는 단점

 

•  평행검사 제작이 어려워 대안검사를 사용한다.
• 평행검사 신뢰도는 시험의 간격이 문제가 되지 않으며, 재검사 신뢰도에 비해 간편하게 신뢰도가 추정되고 기억효과, 연습효과를 줄일 수 있는 장점이 있다.

 

 

3. 내적 일관성 신뢰도

• 단 1번의 검사로 신뢰도를 추정하는 방법
• 반분검사 신뢰도, 크롬바 알파 계수

 

     1) 반분검사 신뢰도

• 전체검사의 신뢰도계수 = 2 * 반분검사의 신뢰도계수 / 1 + 반분검사의 신뢰도계수
• 예를들어 축구 리프팅 검사를 10회 시행하여 이 검사의 홀수 시행과 짝수 시행한 검사 점수의 반분검사 신뢰도를 추정했더니 0.8 이었다면 전체 검사의 신뢰도는 얼마일까?
• Pxx' = 2 ( 0.8 ) / 1 + 0.8 = 1.6 / 1.8 = 0.89 가 된다.
• 검사 점수를 두 개로 나누어 두 검사 점수의 상관계수로 추정.
• 반분하는 방법에 따라 신뢰도가 달라질 수 있기 때문에
• 반분하는 방법은 (짝수,홀수), 문항특성에 의한 분류(문항난이도, 문항변별도)가 가장 신뢰롭다.
• 전체 검사의 신뢰도를 계산을 위해 스피어브라운 예측 공식을 사용하여 교정한다.
• 즉 신뢰도계수는 반분검사의 신뢰도계수와 전체검사의 신뢰도계수가 있다.
• Pxx' = 2 Pyy' / 1 + P yy'
• 검사를 여러개로 나누었을 때 해당되는 공식은 아래와 같다.
• Pxx' = N Pyy' / 1 + ( N -1 ) * Pyy'
• 단점 : 검사를 양분하는 방법에 따라 신뢰도계수가 다르게 추정된다. 반분검사 신뢰도를 추정할 때 사용하는 상관계수가 이변량통계치이다.
• 이변량통계치란, 서로 다른 두 개의 변인 간 관계에서 나타나는 통계치라는 의미로, 반분검사 신뢰도는 하나의 검사 점수를 이용하므로 단변량통계치를 이용해야 적절하다. 이러한 문제점을 해결할 수 있는 방법이 크롬바 알카 계수라 할 수 있다.

 

     2) 크롬바 알파 계수

• 검사를 인위적으로 반분하지 않고 검사를 구성하는 (문항의 분산)을 이용하여 신뢰도를 추정하는 방법으로 지필검사나 설문지 문항의 신뢰도를 추정할 때 주로 사용된다.
• 시험 문제의 일관성을 나타내는 계수로 시험 문항의 신뢰성을 평가하는 척도이다. 계수는 0~1의 값을 갖는데, 값이 높을수록 신뢰도가 높다. 보통 0.8~0.9의 값이면 신뢰도가 매우 높은 것으로 보며, 0.7 이상이면 바람직한 것으로 본다.
• 크론바흐 알파계수 (a) = {항목 개수÷(항목 개수-1)}×{1-(항목변량들의 합÷전체측정 변량)}
• a = 문항수 * ( 1 - 각문항의의분산 / 총점의분산 ) / 문항수 - 1
• 총점의 분산에 비해 각 문항들의 분산이 작을수록 알파계수가 커진다.
• 즉, 각 문항에서 피험자들이 유사한 점수를 나타내 각 문항의 분산이 작을 때 알파계수는 큰 값을 나타낸다.
• 각 문항 간 상관이 커서 문항내적상관의 평균이 커지면 알파계수가 커지게 된다.
• 반분검사에 비해 크롬바 알파 계수는 검사를 둘로 나누지 않아도 되며 각 문항이 나타내는 일관성의 정도에 따라 추정된다.
• 다른 신뢰도보다 낮은 신뢰도를 추정하지만, 검사도구를 신뢰도로 평가할 때 보수적으로 평가하는 것이 바람직하므로, 크롬바 알파 계수를 신뢰도 지수로 사용하는 것을 권장한다.

 

 

4. 급내상관계수

• 급내상관계수는 아노바 분산분석을 이용하여 신뢰도를 추정하는 방법으로, 반복하여 측정된 측정치의 분산 성분을 이용하여 추정한다.
• 일원분산을 적용할 경우에 관찰점수 분산은 피험자간 평균제곱합이며, 오차점수분산은 피험자내 평균제곱합이된다.

 

---