Совершенствование процесса экспертного рецензирования: сбор дополнительной информации и реализация исследований с большой степенью риска/высокой доходностью

Многие органы государственного управления, которые на протяжении долгих лет были щедрыми спонсорами научных исследований, ставят под сомнение общественную ценность таких исследований (Mervis, 2013).  Например, соглашение о «Качестве исследований» требует от Президента Национального научного фонда лично гарантировать, что каждое финансируемое предложение имеет первостепенное значение для общества (Палата представителей, 2009 г.). Это пример стремления многих политиков иметь четкую грань между исследованиями и созданием экономической и социальной значимости. Польза и практичность данного требования не принимаются во внимание. Вместо этого предлагается более «экономически рациональный» подход для содействия в принятии решений. Это важный шаг. Если академическое сообщество не выполняет пожелания заинтересованных сторон в плане ухода от полной зависимости от традиционных методов экспертной оценки, основанных на  консенсусе,  то заинтересованные стороны, скорее всего, выдвинут требования без воздействия и участия научного сообщества (Mervis, 2013). В таких случаях обычно применяется метод оценки по чистой приведенной стоимости (OMB, 1992),  тем самым увеличивая риск того, что исследования будут неправильно рассчитаны в рамках государственного и отраслевых бюджетов.

Кроме того, дополнительная информация на протяжении всего процесса рассмотрения будет способствовать более обширному обсуждению и более эффективному принятию решений.

Реальные опционы и процесс экспертного рецензирования

При предлагаемом подходе экспертного рецензирования используется не только информация, полученная в результате среднего показателя оценки экспертного мнения, но также и различные мнения судей. Несмотря на то, что процесс обсуждения довольно успешно устраняет определенные типы предвзятости (Mutz et al., 2015;  Bornmann and Daniel, 2007), процессы содействия в принятии решений обеспечивают значимость, выделяя различия во мнениях, которые могут быть дополнительно обсуждены и оценены. При этом исследуются возможные источники предвзятости (Lee et al., 2013; Bornmann et al., 2008) , а также учитывается значимость различных мнений. Такой подход применим во всех областях исследований независимо от того, являются ли они естественными, социальными или прикладными науками. Рассмотрение различий с точки зрения рецензента также важно из-за возможности использования альтернативных техник и методов (количественные или качественные исследования в социальных науках), теоретической базы (нормальные или ненормальные науки), различного прикладного подхода (например, магнитный или инерционный метод в исследовании термоядерного синтеза). Таким образом, использование метода ценообразования опционов Блэка Шоулза улучшает содействие в принятии решений при выборе исследовательских проектов.

Таблица 1

Сводная информация о влиянии на рассмотрение проектов в зависимости от оценки комитета и волатильности при учете относительной перспективности проектов.

Номер проекта	1	2	3	4	5	6	7	8	9	10	11	12
Эксперт 1	8	10	7	10	10	10	10	10	10	10	9	2
Эксперт 2	8	6	9	10	6	6	5	6	6	4	9	2
Эксперт 3	8	10	7	10	7	7	7	7	7	4	10	10
Эксперт 4	8	6	9	10	8	7	7	7	7	10	10	10
Эксперт 5	8	10	7	4	8	8	8	7	7	8	3	9
Эксперт 6	8	6	9	4	8	8	8	8	7	8	2	9
Групповая оценка	8.00	8.00	8.00	8.00	7.83	7.67	7.50	7.50	7.33	7.33	7.17	7.00
Волатильность	0.00	2.19	1.10	3.10	1.33	1.37	1.64	1.38	1.37	2.73	3.66	3.90
Предполагаемое текущее значение	9.19	6.40	8.19	5.14	7.76	7.65	8.18	7.58	7.54	5.20	4.08	3.74
Цена исполнения опциона	0.00	1.85	0.89	2.62	1.04	1.01	1.98	0.96	0.90	2.10	2.82	2.97
Излишки (Недостаток)	−1.00	0.85	−0.11	1.62	0.04	0.01	0.98	−0.04	−0.10	1.10	1.82	1.97

Чтобы добиться этого улучшения, используется модель Блэка Шоулза (Black, 1973) — лауреата Нобелевской премии 1997 года в сфере экономики. Поскольку модель Блэк-Шоулз не связана со сферой управления исследованиями, предлагается краткое объяснение, для получения дополнительной информации читателям рекомендуется воспользоваться данной ссылкой Newton et al. (2004).  Модель Блэк-Шоулз является наиболее подходящей финансовой методикой для рассмотрения исследований, поскольку она моделирует изменение значения с течением времени как эквивалент броуновскому движению.  Это означает что, текущая значимость исследования зависит от его рыночной значимости в момент времени (t) и от его волатильности. В таком случае, возможно, что исследование будет неожиданно безуспешным и снизит значимость до нуля, что приведет к потере всех инвестиций. Тем не менее, также возможно, что исследования будут неожиданно успешными, и в этом случае значение может со временем увеличиваться до очень высокого уровня — поскольку потенциальное увеличение значения не ограничено. Узнав метод Блэка-Шоулза и его актуальность, рассматривается возможность применения данного метода в процессе экспертной оценки.

Текущей доминирующей практикой для оценки и отбора исследований является экспертное рецензирование (Jayasinghe et al., 2003; Cook et al., 2005; Britt Holbrook and Frodeman, 2011). Оценки, представленные участниками комитета, для каждого рассматриваемого проекта, используются для определения того, какие проекты кандидатов финансировать. Первоначальный подсчет может быть использован как способ отсеивания менее перспективных проектов или в качестве отправной точки для обсуждения (Mutz et al., 2015; Lamont, 2010). Беспокойство вызывает тот факт, что скрининг исследований со средним показателем имеет тенденцию устранять более рискованную науку с высокой доходностью, поскольку существует огромное варьирование в воспринимаемой величине значимости исследования во время принятии решения. Например, исследование транзисторов проводилось, как попытка найти переключающийся механизм для использования в телефонии. Никто теоретически не оценивал, что это будет полезный механизм для создания новых отраслей — цифровая электроника, компьютер и Интернет. Инвесторов и лиц, принимающих решения в органах государственного управления и промышленности часто привлекают внимание проекты с низким уровнем риска, так как, принимающее решение лицо, не может легко объяснить свою поддержку неудавшегося проекта, который априори имел высокую вероятность провала. В отсутствие исследований с  высоким уровнем риска наше понимание науки и экономических и социальных выгод, полученные в результате научных исследований, значительно уменьшаются.

Различия показателей участников комитета не только отражают рискованность проекта, но и качество предложений. Каждый рецензент в своей интерпретации придерживается своего мнения по поводу значения, которое нужно придать для каждого аспекта качества, уровня личных потребностей с помощью предлагаемых и, возможно, некоторых комбинаций различных личных предубеждений.  (Lee et al., 2013; Lamont, 2010).   Метод оценивание опционов Блэка – Шоулза полезен не только для  скрининга и в качестве отправной точки для обсуждения, но он также дает представление об экономической ценности, поскольку ученые указывают на относительную ценность различных проектов — путем оценки предполагаемого соотношения значимости и стоимости.

Эта информация ценна для содействия в принятии решений при первоначальном скрининге, обсуждении и принятии окончательного решения. Поскольку затраты четко отражаются для каждого рецензента во время процесса экспертного рецензирования, то оценка  является показателем рыночной стоимости в некоторых недолларовых выражениях. Есть возможность сравнить средний показатель оценки проектов, поскольку они могут быть рассмотрены как непрерывные переменные (Likert, 1932).  Предоставив теоретическую базу для рассмотрения относительной значимости каждого исследовательского проекта в отношении их рискованности, этот подход будет применяться для сравнения использования политики, которая может распознавать исследования высокого риска/высокой доходности (House of Representatives, 2009) , в отличие от более традиционных экономических аргументов, которые требуют избранные и неизбранные представители государственной власти (Mervis, 2013; OMB, 1992).

Поскольку исследование путем моделирования выявляет условия, при которых произойдут изменения в решениях, то такой метод потребует более углубленного изучения, которое выходит за рамки этой статьи. Следовательно, предлагается образец, чтобы проиллюстрировать потенциальное влияние метода оценивания опционов Блэка – Шоулза — что-то, что может быть быстро сделано аналитиком с использованием веб-калькуляторов. Предлагаются группы из 6 человек, чтобы проиллюстрировать, как оценка групп может существенно различаться в зависимости от того, используется ли модель оценивания опционов Блэка – Шоулза или метод определения среднего значения относительной значимости и ценности каждого проекта (Таблица 1).  Чтобы рассмотреть ценность проектов с высоким риском/высокой доходностью в качестве критерия отбора, рассматриваются четыре проекта с разным уровнем согласия (риска). Для рассмотрения «качественных» проектов используются  восемь примеров с более низким рейтингом (значимостью). В каждом случае приведены оценки группы вместе со средними баллами. Традиционный подход заключается в поддержке проектов с наивысшей оценкой экспертных рецензентов: проекты от одного до четырех. (В случае Соглашения о качестве исследований — это решение должно быть подвергнуто сертификации пригодности рекомендаций экспертной оценки). Для ситуаций с высоким уровнем риска/высокой доходностью следует учитывать волатильность или риск проведения исследований. На финансово эффективных рынках волатильность определяется, учитывая стандартное отклонение возврата инвестиций с течением времени. Поскольку для научно-исследовательских проектов нет рынка, невозможно рассматривать относительное мгновенное изменение рыночной цены, однако разница в анализе рецензентов позволяет провести экспертную оценку волатильности. Следовательно, волатильность принимается как стандартное отклонение оценки группы из 6 человек. Для целей иллюстрации (Таблица 1) и сравнения был выбран ряд типичных значений: процентная ставка без риска установлена в размере 4%, продолжительность для всех исследовательских проектов была взята как 60 месяцев, а цена реализации в конце исследовательской программы была установлена равной 10. В конечном итоге, в качестве текущей оценки исследования используется среднее значение экспертных оценок. С помощью этих значений можно применить уравнение Блэка-Шоулза для определения экономически подходящей суммы, необходимой для исследования (Таблица 1, Цена исполнения опциона, строка 10). Поскольку считается, что каждый проект требует идентичных инвестиций/затрат (-1), разница между расчетным значением и фактической стоимостью (Таблица 1, строка 11: избыток или дефицит стоимости) показывает, оправданы или нет затраты на исследования (путем вычитания Стоимости инвестиций (1) из Цены исполнения опциона). Касаемо волитальных исследований существует повышенная вероятность существенного неожиданного увеличения стоимости исследования, поэтому они являются более перспективными, чем, если бы они оценивались на основании усреднения рейтингов группы рецензентов. Если существует сильный консенсус в отношении того, какую пользу несёт исследовательский проект, текущая стоимость исследования очень близка к цене исполнения (см. Таблицу 1, проект 1), поскольку маловероятно, что исследование предложит результаты, которые будут более или менее ожидаемыми. Следовательно, расходы на дальнейшие исследования будут менее привлекательны с точки зрения финансовых опционов.

Что касается выбора проектов в рамках ценообразования опционов, следует выбрать проекты с наибольшей положительной разницей между рассчитанной стоимостью исследовательской деятельности и фактической стоимостью исследования. В случае Таблицы 1 четыре наиболее привлекательных проекта: 4, 10, 11 и 12. Это подтверждает случай рассмотрения проектов по степени риска и выделяет проекты с высоким уровнем риска/высокой доходностью по сравнению проектами, выбранными традиционным способом на основе среднего показателя (выбранные проекты: 1-4). Следовательно, при принятии решения экспертном комитетом рецензентов должны учитываться волатильность оценок участников комитета, поскольку это обеспечивает другой более рентабельный выбор проектов. С первого взгляда легко предположить, что существующая система коллегиального обзора приравнивается к тому, что было предложено в Соглашении о качестве исследований, но это не так. Наиболее вероятным результатом реализации Соглашения о качестве исследований является первоначальное одобрение ряда проектов с наибольшими средними показателями оценки рецензентов (проекты с 1 по 4), за которыми следует традиционный финансовый анализ, такой как чистая текущая стоимость. Такая оценка учитывала бы дисконтированный по времени доход, который может быть связан с исследованием, поскольку это стандартный инструмент финансирования проектов, используемый правительством (OMB, 1992). По мере увеличения риска проведения исследований будет использоваться более высокая ставка дисконтирования, что приведет к устранению проектов с высоким уровнем риска, таких проектов как № 4 (таблица 1), который был рекомендован как при традиционном экспертном обзоре, так и в предлагаемом подходе. Поскольку исследования с низкими рисками и четкой финансовой доходностью были традиционно сфокусированы на промышленности, то процедуры, которые в дальнейшем сосредоточат  государственные средства на задачах, преследуемых частным сектором, не нужны и даже пагубны. Тем не менее, незначительные корректировки существующей системы рецензирования могут поддерживать стремление к исследованиям с более высокой доходностью и предоставлять систему рецензирования, которая сможет легче обосновать рентабельность проекта. Внедрив языковую поддержку и технику принятия решений, используемые бизнес и финансовым сообществами, которые не относятся к исследовательским, станет легче понимать значимость экспертной оценки и процессов, связанных с обзорами и обсуждениями комитетов.

В заключение

Процесс применения реальных опционов для оценки государственных и/или негосударственных грантов и фондов, является довольно простым, поскольку в Интернете доступно несколько калькуляторов подсчета ценообразования по методу Блэка-Шоулза. В дополнение к применению этой методики для содействия в принятии решений при выборе программы НИОКР для контрактов, грантов и других механизмов финансирования следует провести исследование на основе моделирования, чтобы понять диапазон обстоятельств, в которых принятие решений явно отличается, если применяется метод ценообразования опционов Блэка — Шоулза.

Прежде всего, следует рассмотреть возможные варианты использования реальных опционов в процессе обсуждения и управления, такие как организация исследований, с тем, чтобы более рискованные моменты исследовательских программ были рассмотрены на ранней стадии, и более рутинные задачи использовались для обучения студентов в университетах или исследовались при  разработках в государственных или корпоративных лабораториях.

Оригинал статьи: http://www.sciencedirect.com/ Linton, J.D., Improving the Peer review process: Capturing more information and enabling high-risk/high-return research

Перевели и адаптировали: Big Time