별(*)을 기다리며
- 검정 이야기 -
실험 연구를 시도하는 학생들에게는 보통 집단 비교의 방법을 알려 준다. 두 약 중에 어떤 것이 더 효과가 있는지, 2개 또는 3개 반 중 어느 반의 학습법으로 더 점수가 향상되었는지, 운동 전후에 몸이 얼마나 달라졌는지 뭐 그런 연구가 무난하고 실제로 많다.
집단 간 카지노 게임의 차이를 살피는 통계 기법만 익히면 되는데, 바로 t-검정(‘티검정’)과 분산 분석(ANOVA, ‘아노바’)이다. t-검정은 2개 집단의 평균이 다른지를 확인하는 방법, 분산 분석은 3개 집단 이상의 평균 차이를 확인하는 방법이다.
<t-검정 – 두 카지노 게임이 정말 다른가
A반 학생들에게는 시험 전 커피를, B반 학생들에게는 아무것도 주지 않았다. 그리고 수학 시험 점수를 비교해 보았더니, A반의 카지노 게임 점수는 88점, B반은 79점이었다. 얼핏 보면 A반이 더 좋은 성적을 거둔 듯하다. 하지만 과연 ‘진짜 의미가 있는 차이’일까, 아니면 단순한 우연일까?
<분산 분석 – 세 카지노 게임 이상의 비교
A반은 커피, B반은 녹차를 마시고, C반은 아무것도 먹지 않았다. 그리고 평균 점수는 A반 88점, B반 84점, C반 80점. 이렇게 세 카지노 게임 이상을 한꺼번에 비교할 때 분산 분석이라는 것을 한다.
그런데 차이가 있다는 결과가 나왔더라도 '적어도 한 카지노 게임의 평균이 다르다'라는 결론만 내릴 수 있다. 어떤 카지노 게임의 평균이 다른가를 추가로 확인해야 하는데, 이것이 사후 검정(Post Hoc Test, ‘포스트 혹’)이다.
Tukey, Scheffé, Duncan(투키, 셰페이, 던컨) 등의 방법이 있으며, 사후 검정을 통해 “A반과 C반은 통계적으로 평균 차이가 있는 카지노 게임이지만, B반과 C반은 차이가 없다”라는 식의 구체적인 결론을 내릴 수 있다.
<별이 떠야 성공이다
사실 통계로 논문을 쓴 친절한 선후배가 있고 정말 필요한 것만 1:1로 배운다면, 최종 결과를 해석하는 건 생각보다 어렵지 않다. SPSS, 엑셀 같은 것에 숫자를 입력하고 확인해야 하는 값에 별(*)이 붙어 있는지를 확인하면 되는데, 이 별이 바로 '두 집단의 평균에 차이가 있다'라는 것을 보여 준다.
'*' 이 있다면카지노 게임의 차이가인정되어 일단은 실험이 성공했다고 볼 수 있지만, '*' 표시가 없다는 것은 카지노 게임의 차이가 있다고 해도 통계적으로 의미가 없다는 것이어서 사실상 망한 논문이 된다.
별이 뜨지 않으면 결국 논문 컨설팅 업체를 찾아가거나 선배들에게 전화를 걸어 방법을 찾게 된다. 다양한 꼼수를 총동원해서 별이 나올 때까지 실험을 반복하거나 집단을 쪼개거나 하는, 연구 윤리에는 당연히 어긋나는 'p-hacking(피해킹)'을 시도한다.
연습 삼아 쓰는 학위 논문 작성임을 감안하고 이런 과정도 모두 수련의 일부로 보아서인지 그냥 눈감아 주는 경우가 많다. (결과가 통계적으로 유의미한 것인지 아니면 우연히 나타난 것인지에 관한 설명에 사용되는p-값이라는 것이 있는데, 'p-hacking'은 결국 결과의 유의미함을 주장하기 위해 분석을 반복하거나 조건을 임의로 바꾸는 행위 정도로만 알자).
카지노 게임의 차이가 없다는 것, 효과가 없다는 것을 증명하는 그런 학위 논문은 없다.
“별이 떠야 통과다.”
