통계학, 마케팅, 여론조사 등 설문조사에 관련한 학습을 할 때 항상 중요하게 나오는 말이 바로 신뢰도와 타당도입니다. 보통 책에는 신뢰도는 타당도의 필요조건이고, 타당도는 신뢰도의 충분조건이라는 말이 나옵니다.

그러나 몇 번을 읽어봐도 저 말은 쉽게 이해가 되지 않습니다. 뭐가 필요하고 뭐가 충분하다는 것인지… 그러나 신뢰도와 타당도는 그림으로 보면 쉽게 이해할 수 있습니다.

신뢰도는 보통 어떤 것을 똑같이 해낼 수 있는 일관성을 말하고 타당도는 의도한 대로 결과를 잘 도출해내는 정확성을 말합니다.

본 자료에서는 두 예제를 준비하였습니다. 하나는 남성이 조금 더 익숙한 사격이라는 개념으로, 다른 하나는 대다수 여성의 일상인 화장을 주제로 하였습니다.

신뢰도와 타당도(사격 예시)

높은 신뢰도 / 낮은 타당도

앞에도 언급했듯이 신뢰도는 같은 조건에서 반복했을 때 결과가 얼마나 일관되는지를 말합니다. 위의 그림에서는 총알이 맞은 지점들이 얼마나 가깝게 모여 있는지를 보면 됩니다.

총알이 맞은 지점들이 좁게 모여 있으면 결과의 일관성이 높고, 넓게 흩어져 있으면 낮습니다. 영점조절은 이렇게 형성된 탄착군의 위치를 조준점에 맞추는 과정이므로, 탄착군이 좁게 모이는 것과는 구별해야 합니다.

위의 그림은 총알이 맞은 지점들이 좁게 모여 있어 신뢰도는 높으나, 맞추고자 했던 중앙 과녁에서 벗어나 있으므로 이 비유에서는 타당도가 낮은 결과입니다.

총알이 한곳에 모인다고 해서 반드시 목표에 맞는 것은 아닙니다. 이처럼 결과가 일관되더라도 목표와는 다를 수 있으므로, 신뢰도가 높다는 이유만으로 타당도까지 높다고 볼 수는 없습니다.

높은 신뢰도 / 높은 타당도

위의 그림은 정중앙 맞추고자 하는 목표를 모두 맞췄습니다. 같은 자리에 모두 들어왔기에 신뢰도도 높은 결과이며 의도했던 가운데에 명중해 타당도도 높은 결과입니다.

이 그림에서는 반복한 사격 결과가 목표 중심에 가깝고 서로도 좁게 모여 있으므로, 목표에 맞는 정도와 결과의 일관성이 모두 높은 모습을 보여줍니다.

낮은 신뢰도 / 낮은 타당도

위의 그림은 총알이 맞은 지점들이 서로 흩어져 있고 목표 중심에서도 벗어나 있습니다. 이 비유에서는 신뢰도와 타당도가 모두 낮은 결과라고 할 수 있습니다.

결과의 흩어짐을 줄이는 것과 목표 중심에 가깝게 맞추는 것을 각각 살펴봐야 하는 상황입니다.

신뢰도와 타당도(화장 예시)

이번에는 여성의 일상 중 하나인 화장과 비교해 보고자 합니다.

높은 신뢰도 / 낮은 타당도

위의 그림은 머릿속으로 화장을 어떻게 할지 구상을 했으나, 막상 화장을 하니 생각대로 안 그려지는 상황입니다. 깔끔하게 그리고 싶은데 매번 똑같이 비뚤비뚤 그려집니다. 하루 이틀이면 좋은데 계속 생각대로 화장이 되지를 않습니다. 상상에 비해 숙련도가 부족해 손이 못 따라가는 것입니다.

매번 생각과는 다르게 화장을 해서 의도와는 다르므로 타당도가 떨어지는 상황이나, 일관되게 같은 결과가 반복되므로 신뢰도(결과의 일관성)는 높은 상황이라고 볼 수 있습니다.

높은 신뢰도 / 높은 타당도

이번에는 매일매일 원하는 대로 화장을 잘 하는 화장 고수의 경우입니다. 생각한 대로 그려내 타당도가 높고, 매일 같은 결과를 반복하므로 신뢰도(결과의 일관성) 또한 높습니다.

이 예시에서는 원하는 모양과 실제 결과가 일치하고, 그 결과도 매일 일관되게 반복됩니다.

낮은 신뢰도 / 낮은 타당도

이 경우는 이상적으로 하고 싶은 화장이 있어 노력하여 그리지만 매번 다른 결과가 나옵니다. 상상한 대로 화장을 못하는 것도 아쉬운데, 어떤 날은 잘 되는 거 같다가 또 어느 날은 실망스럽고… 실력도 들쭉날쭉합니다.

원하는 대로 그리지 못해 타당도가 떨어지고, 결과도 매번 달라져 신뢰도(결과의 일관성) 역시 낮은 상황이라고 볼 수 있습니다.

이상으로 신뢰도와 타당도의 개념에 대해 살펴보았습니다. 신뢰도는 일관성, 타당도는 정확성이라는 개념을 알고, 위의 그림을 참고하면 조금 더 쉽게 이해하는데 도움이 될 것으로 생각합니다. 이는 설문조사나 검사와 관련해서 중요한 개념이므로 확실하게 이해하는 계기가 되었기를 바랍니다.