핵심 내용 요약
최근 스위스, 영국, 독일 등의 연구 자금 지원 기관들은 일부 연구 자금을 “추첨”을 통해 배분하는 방식을 시도하기 시작했습니다. 그 이유는 전통적인 동료 평가 방식에서 “자금 지원 여부의 경계선” 근처에서 평가자들의 점수 차이가 크고, 신청서의 질을 정확하게 구분할 수 없어 강제적으로 순위를 매기는 것이 단지 “정확한 것처럼 보이는” 것에 불과하기 때문입니다. 추첨 방식에는 여러 가지가 있는데, 일부는 평가자들이 구분할 수 없는 신청서들 중에서만 추첨을 하고, 일부는 질적 기준을 통과한 모든 신청서를 대상으로 추첨을 하며, 또 다른 일부는 먼저 추첨을 한 후에 신청자들에게 신청서를 완성하도록 합니다. 이러한 방식은 신청자의 다양성(예: 소규모 기관, 소수 민족, 여성 연구자의 비율 증가)을 높이고 평가자의 부담을 줄여주지만, 운에 따라 납세자의 돈이 배분된다는 점에서 논란이 있습니다. 또한 일부 학자들은 추첨이 프로젝트와 기존 지식 체계의 연관성을 무시한다고 주장합니다. 현재 과학계는 이러한 방식의 장기적인 효과를 계속 탐구하고 있습니다.
1. 왜 추첨을 해야 할까? – 전통적인 평가 방식의 “가짜 정확성” 문제
전통적인 연구 자금 평가 방식은 전문가들이 신청서를 정확하게 순위 매길 수 있다고 가정하지만, 실제로는 다음과 같은 문제가 있습니다:
- 점수 차이가 크다: 2018년 《PNAS》의 연구에 따르면, 43명의 평가자가 25개의 미국 NIH 신청서에 점수를 매겼지만 거의 합의에 이르지 못했습니다. 스위스 SNSF의 데이터 팀은 대부분의 신청서 점수가 비슷한 수준에 머물렀으며, 평가자들은 단지 양수나 음수를 추가하여 구분할 뿐이었는데, 이러한 차이는 실제 질의 차이가 아닐 수 있는 “잡음”일 수 있습니다.
- 자금 지원 여부의 경계선 근처의 ‘회색 지대’: SNSF는 매년 10억 달러를 지원하는데, 이 경계선이 바로 이 “회색 지대”를 통과합니다. 예를 들어, 23위와 27위의 신청서는 실제로 수준이 비슷하지만, 평가자는 반드시 한쪽을 선택해야 하며, 이는 마치 눈을 감고 복권을 뽑는 것과 같습니다. 결과는 운에 달려 있지만 “전문가의 판단”인 것처럼 보입니다.
따라서 기관들은 “정확성”을 강조하기보다는 한계를 인정하고, 평가로 해결할 수 없는 부분을 추첨으로 해결하기로 결정했습니다.
2. 추첨은 어떻게 이루어지나? – 세 가지 다른 방식
각 기관의 추첨 규칙은 다르지만, 대체로 세 가지 유형으로 나눌 수 있습니다:
1. 보수적인 방식 (스위스 SNSF): 먼저 신청서를 평가하여 분명히 좋은 것과 나쁜 것을 걸러내고, 남은 신청서들 중에서 추첨을 통해 지원자를 결정합니다. 이는 “전문가가 먼저 선별하고, 운이 부족한 부분을 보완하는” 방식입니다.
2. 대담한 방식 (영국 국립 학술원): 질적 기준을 통과한 모든 신청서를 추첨 대상으로 합니다. 예를 들어, 소액 지원의 경우 신청 건수가 600건에서 1100건으로 70% 증가했는데, 이는 이전에는 신청하기 어려웠던 소규모 기관의 연구자들이 기회가 있다고 느꼈기 때문입니다.
3. 진보적인 방식 (독일 StIL): 먼저 추첨을 하고, 추첨에 당첨된 사람들만이 신청서를 완성할 수 있습니다. 이 방식으로 평가자들은 많은 저질의 신청서를 볼 필요가 없어 비용이 68% 줄었으며, 여성 연구자의 비율도 40.8%에서 45%로 증가했습니다.
3. 추첨이 가져온 이점 – 다양성과 효율성의 향상
몇 가지 실험 결과는 다음과 같습니다:
- 신청자의 다양성 증가: 영국의 소액 지원에서 아시아계 연구자의 비율이 13%에서 19%로 증가했으며, 지원을 받은 비율도 11%에서 17%로 증가했습니다. 이전에는 거의 지원을 받지 못했던 애버딘 대학교와 같은 소규모 기관도 지원을 받았습니다. 독일 StIL의 여성 연구자 지원 비율도 38%에서 47%로 증가했습니다.
- 신청 건수 증가: 영국의 사례에서는 이전에는 “소규모 기관 출신이라면 기회가 없다고 생각했던” 많은 사람들이 이제 신청을 하게 되어 신청 건수가 거의 두 배로 증가했습니다.
- 평가자의 부담 감소: 독일의 경우 먼저 추첨을 하고 나서 평가를 하여 불필요한 신청과 평가 작업을 줄였으며, 비용이 3분의 2로 감소했습니다.
- 거절당한 사람들에게의 위로: 영국은 이제 신청자에게 “지원 기준을 충족하지 못했는지, 아니면 기준은 충족했지만 추첨에 당첨되지 않았는지”를 알려줍니다. 기준은 충족했지만 추첨에 당첨되지 않은 사람들은 이 결과를 바탕으로 다른 기금에 신청할 수 있으며, 이는 일종의 “질적 보증”이 됩니다.
4. 반대 의견: 추첨이 정말 “공정한가?”
모든 사람이 이 방식을 받아들이는 것은 아니며, 주요 우려 사항은 다음과 같습니다:
1. 감정적인 반감: 복권을 직접 고르는 것을 좋아하는 사람들처럼, 연구자들도 자신의 노력이 전문가에게 인정받기를 원하며, 운에 의존하는 것을 싫어합니다. 따라서 완전한 추첨 방식은 받아들여지지 않으며, 대부분은 “평가 + 추첨”의 혼합 방식을 사용합니다.
2. 대중의 인식 문제: 정치인과 납세자들은 “우리의 돈으로 추첨을 한다”는 것을 책임감 없는 것으로 여길 수 있으며, 기관들은 “전문성이 없다”는 비판을 받을 수 있습니다. 예를 들어, 호주의 지원 기관은 이 제안을 처음 받았을 때 매우 부정적인 반응을 보였습니다.
3. 학문적인 우려: 프랑스 철학자 Bedessem은 추첨이 프로젝트와 기존 지식 체계의 연관성을 무시한다고 지적합니다. 프로젝트의 가치는 그것이 기존 연구와 어떻게 연결되는지, 사용된 방법이 적절한지에 달려 있지만, 추첨은 이러한 요소를 고려하지 않고 단지 “기준을 충족했는지”만을 보기 때문입니다. 현재의 실험들은 추첨을 통해 지원받은 프로젝트의 장기적인 질에 대한 중요한 질문에 답하지 못하고 있습니다.
5. 미래의 방향: 추첨이 주류가 될까?
아직 확실하지 않지만, “점점 더 많은 사람들이 이 방식을 시도하려는” 추세입니다:
- 영국은 이 방식의 시험을 2028년까지 확대할 계획이며, 독일도 마찬가지입니다.
따라서 추첨은 앞으로 더 많은 기관에서 사용될 가능성이 있으며, 연구와 지원의 효율성을 향상시킬 것으로 기대됩니다.