Краткое содержание анализа
В последние годы научно-исследовательские фонды в Швейцарии, Великобритании, Германии и других странах начали применять систему жеребьевки для распределения части финансирования. Причина в том, что традиционная методика оценки заявок с помощью коллегиального рецензирования приблизительно на уровне «границы финансирования» (то есть на границе между получением и невозможностью получения средств) сопровождается большими различиями в оценках рецензентов, что делает невозможным точное различие качества заявок; попытки их сортировки лишь создают иллюзию точности. Существует несколько вариантов жеребьевки: в некоторых случаях жеребьевка проводится только среди заявок, оценки которых рецензенты не могут различить; в других — после того, как заявки проходят первоначальную проверку качества; еще в других случаях заявители сначала получают возможность заполнить полные формы заявок, а затем проводится жеребьевка. Этот подход увеличивает разнообразие участников (например, увеличивается доля малых организаций, представителей меньшинств и женщин-исследователей), снижает нагрузку на рецензентов, но вызывает споры: некоторые считают, что распределение денег налогоплательщиков на основе случайности неправомерно, а другие утверждают, что жеребьевка игнорирует взаимосвязь между проектами и существующей системой знаний. Научное сообщество продолжает исследовать долгосрочные последствия применения этой практики.
Почему используется жеребьевка? — Проблема «ложной точности» традиционной оценки
Традиционная методика оценки научных заявок предполагает, что эксперты могут точно их сортировать, но на практике:
- Большие различия в оценках: исследование 2018 года в журнале PNAS показало, что 43 рецензента дали разные оценки 25 заявкам на финансирование от Национальных институтов здравоохранения США (NIH), и согласия между ними практически не было. Команда из Швейцарского научного фонда (SNSF) обнаружила, что большинство оценок сосредоточено в одной области (так называемом «облаке оценок категории B»); рецензенты могли лишь добавлять плюсы или минусы для дополнительной сортировки, но эти различия могли быть результатом случайных ошибок, а не реальных различий в качестве заявок.
- «Серая зона» вблизи границы финансирования: ежегодно SNSF выделяет 1 миллиард долларов; граница финансирования проходит именно через это «облако». Например, заявки, занявшие 23-е и 27-е места, по сути имеют одинаковое качество, но рецензенты должны выбрать одну из них; это похоже на выбор при закрытых глазах, результат зависит от случая, но создается впечатление, что решение принимается экспертами.
Поэтому организации решили признать ограничения традиционных методов и использовать жеребьевку для решения тех вопросов, которые невозможно решить с помощью рецензирования.
Как проходит жеребьевка? — Три варианта применения
Правила жеребьевки различаются в зависимости от организации и можно разделить их на три категории:
1. Консервативный подход (Швейцарский научный фонд SNSF): сначала проводится оценка заявок; заявки, явно хорошие или плохие, отсеиваются, оставшиеся заявки рассматриваются с помощью жеребьевки. Это эквивалентно тому, что эксперты сначала выявляют качественные заявки, а жеребьевка помогает решить остальные случаи.
2. Смелый подход (Британский национальный академический совет): все заявки, прошедшие первоначальную проверку качества, попадают в пул для жеребьевки. Например, количество заявок на небольшие суммы финансирования увеличилось с 600 до 1100 (на 70%), поскольку многие ранее не решались подавать заявки (в том числе исследователи из малых организаций), теперь они считают, что у них есть шанс.
3. Агрессивный подход (Немецкий научный институт StIL): сначала проводится жеребьевка; только те, кто выигрывает, получают возможность заполнить полные заявки. Это снижает нагрузку на рецензентов (они не должны рассматривать множество низкокачественных заявок); доля женщин-исследователей увеличилась с 40,8% до 45%.
Какие преимущества принесла жеребьевка?
Результаты нескольких экспериментов очевидны:
- Увеличение разнообразия участников: в Великобритании доля азиатских исследователей среди получателей небольших сумм финансирования увеличилась с 13% до 19%, доля получивших финансирование — с 11% до 17%; финансирование получили 112 организаций, включая малые университеты, ранее редко получавшие гранты. В Германии доля женщин-исследователей, получивших финансирование, увеличилась с 38% до 47%.
- Увеличение количества заявок: в Великобритании количество заявок увеличилось почти вдвое, поскольку многие ранее считали, что у них нет шансов из-за принадлежности к малым организациям.
- Снижение нагрузки на рецензентов: в Германии жеребьевка снизила количество ненужных заявок и работу рецензентов на две трети.
- Утешение для отклоненных заявок: в Великобритании заявителям теперь сообщают, не прошли ли они оценку или не выиграли жеребьевку; те, кто не прошел оценку, могут использовать это как подтверждение качества своей работы для подачи заявок в другие фонды.
Критика жеребьевки: действительно ли она справедлива?
Не все поддерживают этот подход; существуют три основных возражения:
1. Эмоциональное сопротивление: исследователи хотят, чтобы их работа была оценена экспертами, а не зависела от случая. Поэтому полностью случайный подход встречает низкую поддержку; чаще используется комбинированный подход (рецензирование + жеребьевка).
2. Восприятие общественностью: политики и налогоплательщики могут считать, что использование денег налогоплательщиков для жеребьевки неразумно; организации боятся критики за некомпетентность. Например, в Австралии реакция на предложение о применении жеребьевки была очень негативной.
3 Глубокие научные опасения: французский философ Бедессем считает, что жеребьевка игнорирует взаимосвязь между проектом и существующей системой знаний; ценность проекта зависит от его соответствия научным стандартам, а не от случая.
В целом, жеребьевка позволяет справиться с ограничениями традиционных методов оценки научных заявок, но имеет свои недостатки.