요즘 과학에서 재현성 위기(reproducibility crisis)란 말은 자주 듣습니다.
이번 주 <Nature>지는 이 문제에 대해 본격적으로 다루었습니다.
재현성 위기가 어떤 것인지, 그것을 어떻게 할 것인지에 대해서는 아니고, 과연 그런 위기가 존재하는지, 그에 대해 어떻게 생각하는지에 대해 설문조사한 결과를 보여주고 있습니다. (1,576명의 연구자를 대상으로 설문조사를 했다고 하는데, 그 1,576명이 어떤 사람들인지는 자세히 밝히고 있지 않습니다. - 제가 잘 찾지 못한 것일 수도 있습니다.)
심각한 재현성 위기가 있다고 답한 사람이 51%에 달했습니다. (Editorial에서는 2/3가 그렇다고 답했다고 하는데, 아마도 모르겠다고 한 사람을 뺐을 때 2/3에 가깝다고 그렇게 계산한 것 같습니다)
그런데, 좀 혼란스러운 것이 각각 분야의 과학자들은 자신들의 분야에서 연구 논문이 꽤 믿을 만하다고 여기고 있다는 답을 하고 있습니다. 특히 물리학과 화학에서는 더욱 긍정적입니다. 이에 대해서 존스홉킨스 대학의 미생물학자 Arturo Casadevall은 재현성이 어떤 것인지에 것에 대한 consensus가 아직 확립되지 않아서 그런 것이라고 지적하고 있습니다. 그래서 일단은 이에 대한 정립부터 필요한 것 같습니다.
또한 데이터를 보면 다른 사람의 실험에 대해 재현하려고 했을 때 실패한 경우가 자신의 실험에 대한 것보다 많은 것을 알 수 있습니다. 특히 화학 분야에서는 80% 이상이 다른 사람의 실험에 대해 재현이 되지 않은 경험을 가지고 있다고 했네요. 반면 지구과학이나 환경과학 분야에서는 자신의 실험에 대해 약 40%정도만 재현이 실패한 경험이 있다고 답했습니다.
이런 재현성 문제에 대해서 한 가지 이슈는, 다른 사람의 실험을 재현해보려고 하지 않는다는 것입니다. 과학 학술지는 독창적인 것을 좋아하기 때문에 남이 한 것을 다시 했다고 잘 실어주지 않기 때문에 아주 이슈가 되거나, 그것을 이용하기 위한 것이 아닌 이상 재현을 잘 시도하지 않습니다. 설문에서도 재현 실험을 발표하려고 시도해보았는지를 묻고 있는데, 아주 일부만 발표를 시도했고, 재현이 성공적인 경우에 발표할 수 있는 경우가 많았다고 답하고 있습니다.
재현을 위해서 procedure를 확립하고 있는지에 대한 설문에 대해 34%가 아니라고 답하고 있습니다. 단 33%만이 5년 이내에 그런 절차를 밟았다고 하니 그런 재확인 과정은 실험실 단위에서는 드물게 행하는 것을 알 수 있습니다.
무엇이 그런 재현되지 않는 연구를 만드는 요소가 무엇인지에 대한 질문에 대해 가장 많은 답변은 선택적으로 발표하는 것(selective reporting), 출판에 대한 압력(pressure to publish), 통계분석의 문제점, 실험실에서 반복 실험의 부재 등을 꼽고 있습니다.
끝으로 어떻게 하면 재현성을 높일 수 있을지에 대해서는 대체로 예상 가능한 답변들입니다. 통계 분석을 잘 한다거나, 지도를 잘 한다거나, 실험 디자인을 잘 한다거나, 더 잘 가르친다거나, 실험 내에서 validation을 잘 한다거나, 그런 재현 실험에 대한 인센티브를 준다거나 하는 것들입니다.
사실, 재현성 문제는 부주의의 문제일 수도 있고, 실력의 문제일 수도 있고, 도덕성의 문제일 수도 있습니다. 그런데 문제는 파급력은 그게 어떤 원인이냐와 상관없다는 것입니다. 그래서 내가 도덕적으로 문제는 없다 하더라도(의도적으로 실험 데이터를 조작하거나 하는 것), 아무런 잘못이 없다고 할 수는 없다는 얘기입니다. 아마도 제 연구에도 재현되지 않는 것들이 있을 겁니다(분명히!). 중요한 것은 그것을 최소화해야 하는 것이고, 그러기 위해서는 일단 인식부터 잘 해야 할 것 같습니다.