Переоценка поощрения и признания в науке

Германия, Нидерланды и другие ведущие исследовательские страны приняли правильное решение отказаться от цитирования как определяющего показателя.

Ближе к концу января Немецкий совет по науке и гуманитарным дисциплинам предположил, что настало время для «перезагрузки» немецкой научной системы. Согласно их анализу, пандемия Covid-19 выявила слабые места в системе исследований, в том числе акцент на количестве, а не на качестве и отсутствие особого упора на обучении, политических консультациях и передаче знаний.

В то время как Немецкий совет по понятным причинам сосредоточился на немецкой системе, эти вопросы имеют гораздо более обширную географию. Когда исследовательское сообщество сигнализирует о том, что поощрения, основанные на цитировании и количестве статей, должны быть пересмотрены, издатели, серьезно относящиеся к поддержке науки, должны обратить на это внимание.

Анализ из Германии отражает дискуссию, которая ведется в Нидерландах в течение некоторого времени. Около 18 месяцев назад голландские исследовательские институты и спонсоры объявили о разработке новой системы признания и поощрения, что означало бы отказ от количества цитирований в качестве определяющей метрики.

Это мышление было основано на идее, что текущая практика приводит к злоупотреблениям (даже если они незначительны в процентном отношении) и расточительству (что является крупномасштабным). Концепция в Нидерландах состоит в том, чтобы публиковать меньше статей, но с более глубокой и большей значимостью. Ученые в Нидерландах уже на правильном пути, и университеты задают правильный тон в этом отношении. В то время как Нидерланды всегда преуспевали в мире цитирования, страна продолжит работать с альтернативными показателями, которые измеряют влияние науки на общество.

Чтобы четко обдумать следующие шаги по признанию и поощрению исследований, давайте вернемся к некоторым основам.

Почему исследователи публикуются?

Исследователи делают публикации, чтобы обмениваться знаниями, получать признание своей работы и постоянно фиксировать результаты и идеи. Делясь своей работой, они создают отправную точку для проверки и дальнейшего изучения другими. Это начало широкомасштабной и глобальной обратной связи, направленной на установление наиболее достоверных научных истин. Другая обратная связь происходит со статьями об элементах исследования. Они образуют невидимую сеть советов и отзывов о методологиях, качестве методов, результатах исследования и выводах. Это позволяет науке постоянно совершенствоваться. Издатели разного рода деятельности играют в этом важную роль благодаря своей сети назначенных редакторов, которые организовывают рецензирование.

Какова роль цитирования?

Показатели цитирования являются хорошим показателем влияния научных статей на науку. Как правило, вы можете предположить, что то, что цитировалось, имеет хорошее влияние. Ученые цитируют других по ряду причин: потому что они используют методологии, выводы или результаты других; потому что они не согласны с другими; потому что документ был воспроизведен или не может быть воспроизведен.

Однако связь между цитированием и влиянием не всегда ясна и не всегда коррелирует. Есть великие открытия, которые изначально редко цитировались, например, открытие японских лауреатов Нобелевской премии Исаму Акасаки, Хироши Амано и Сюдзи Накамура. В тоже время, есть заоблачные количества цитирований посредственных статей. Но в целом цитаты указывают на то, какие исследования повлияли на других исследователей.

Каковы недостатки цитирования и как они используются не по назначению?

Ученых слишком часто судят на основе средней цитируемости журнала (JIF), а не цитирований статьи, что похоже на награждение бегуна на основе средней скорости забега, а не его индивидуальной скорости. Если ученых вознаграждают за цитирование или количество статей, это порождает злоупотребления. На практике это больше не применяется, в свое время Китай подсчитывал уровень влияния исследований путем суммирования всех цитирований независимо от количества статей, поэтому публикация большего количества материала вознаграждается, даже если ни одна статья не имеет высокой цитируемости.

Неправильное использование цитат может принимать различные формы, одни из которых более вредны, чем другие. Исследователь может разделить статью на несколько статей, чтобы получить несколько ссылок на каждую. Это неприятно, но относительно безвредно. Еще выше по шкале неправомерного использования появляются такие формы поведения, как влияние на экспертную оценку посредством мошенничества с личными данными, влияние на цитирование посредством скрытых соглашений о цитировании, рецензирование, инструктирующее автора цитировать их, и даже прямое создание результатов, чтобы можно было написать статью.

В целом, мы ежегодно наблюдаем тысячи случаев мошенничества с исследованиями или публикациями; К счастью, среди 2,5 миллионов отправленных материалов такие случаи остаются относительно редкими. В большинстве случаев мы обнаруживаем эти проблемы до публикации благодаря бдительности рецензентов и редакторов, а также с помощью таких инструментов, как проверка сходства Crossref на базе iThenticate. Обычно мы можем без проблем предотвратить появление этих публикаций, избегая таким образом ущерба репутации отдельного человека или исследовательской группы.

Однако существует множество нарушений этики, которые не так просто обнаружить, например, манипуляции с изображениями. В настоящее время выявление таких случаев требует кропотливой работы редакторов и рецензентов. Многие прецеденты можно найти только с помощью крупномасштабного анализа данных и распознавания образов, которому все в большей степени помогает анализ с помощью искусственного интеллекта. Но эти инструменты по-прежнему требуют, чтобы редактор оставался за рулем, когда дело доходит до интерпретации результатов и принятия решений по тысячам статей. Эта судебно-медицинская работа, выполняемая издателями и редакторами, почти незаметна для подавляющего большинства исследователей. Между тем, более сложные случаи мошенничества со статьями проскальзывают в сети и публикуются, несмотря на все усилия. В таком случае наша обязанность как издателей обновлять литературу путем исправлений и опровержений под руководством редакторов наших журналов, которые расследуют дела в соответствии с передовой отраслевой практикой, в том числе Комитетом по этике научных публикаций (COPE).

Злоупотребления в науке — последнее, что нужно обществу. Подавляющее большинство науки играет жизненно важную роль как противоядие от «альтернативных фактов» и других интриг. На данный момент доверие к науке все еще высоко, но это доверие подтачивается этими злоупотреблениями.

В конечном итоге наука служит обществу. Иногда, как в случае с фундаментальными исследованиями, социальная значимость может стать очевидной только спустя годы. В прикладных исследованиях результаты видны гораздо быстрее. Возникает вопрос: «Как ученые могут продемонстрировать влияние своих исследований на общество?» Они могут сами ясно описать это влияние, но издатели и информационные компании могут им очень помочь.

Какие примеры новых показателей показывают влияние науки на общество?

Я привел несколько примеров того, как показатели могут помочь продемонстрировать влияние науки на общество:

• Отслеживание наличия исследовательской статьи в общей прессе или социальных сетях с помощью алгоритмов, которые ежедневно просматривают тысячи газетных отчетов в поисках научных новостей. По умолчанию, например, влияние статьи в СМИ теперь отображается для каждой статьи в ScienceDirect с помощью Plum Metrics примерно для 0,5 миллиона статей ежегодно.
• Отслеживание ссылок в государственной политике или влиянии медицинской практики.
• Отслеживание вклада статьи в Цели устойчивого развития (ЦУР) или разнообразие, аналогично тому, как мы используем Scopus для отображения вклада журнала в ЦУР.
• Отображение вклада статьи в международное сотрудничество или сотрудничество между университетами и промышленностью.
• Отображение вклада статьи в ссылки на предложения о новых исследованиях или ссылки на научные статьи.
• Отображение вклада в инновации, например, через патенты.

Все эти влияния измеримы. Конечно, ни одна из этих новых метрик не является безошибочной или идеальной сама по себе. Но вместе они обеспечивают гораздо более широкий взгляд на науку и поощряют ученых за то, что они смотрят внутрь и не теряют актуальность.

Современные информационные компании, такие как Elsevier, могут работать в тесном сотрудничестве с институтами знаний для поддержки этих новых показателей релевантности.

Меньше – больше

Возвращаясь к одному из вопросов, заданных Немецким советом по науке и гуманитарным исследованиям: «Должны ли ученые публиковать больше или меньше?» — Я рискну и скажу меньше. Прежде всего, они должны быть вознаграждены за то, что они меньше пишут и больше сосредотачиваются на результатах и выводах. В настоящее время редакторы Elsevier отклоняют 75% заявок. Отклоненные рукописи просто не подходят для этого отдельного журнала, слишком мало влияют на их сферу деятельности или не вписываются в рамки журнала. Половина всех поступающих рукописей (до 2,5 миллионов в год только для Elsevier, причем это число растет с каждым годом) немедленно отклоняется. Другая половина достается в среднем двум рецензентам. Каждый из них тратит на обзор по пять часов. Половина этих статей возвращается с рекомендацией не публиковать их в журнале по разным причинам.

Это означает потраченное впустую время и энергию. Поэтому я подписываюсь под девизом: «Пишите меньше, но лучше».

Пришло время пересмотреть систему поощрений

Переоценка способа вознаграждения за исследования — это также место, где издатели могут по-новому добавить ценность. Elsevier рано начал размещать журналы в Интернете, что способствовало огромному скачку в доступности результатов исследований и продуктивности науки. Таким же образом мы сделали положительный выбор и вступили в новую эру, и отображение влияния науки на общество является хорошим примером этого, важной частью нашей миссии в области науки и здравоохранения.

Другой взгляд на научную оценку может вызвать самоанализ в том, как делятся научными результатами. Нынешний формат научных статей восходит к веку бумаги, времени переплетенных обложек. Можно ли помимо оценки стимулов к публикации также оценить форму и процесс научной отчетности? Можно ли сделать упор на более быстрые и краткие отчеты, в которых повторное использование (и удобочитаемость для людей и компьютеров) методов, данных и выводов имеет первостепенное значение? Помимо оптимизации передачи знаний, это также повысит воспроизводимость науки.

Я поделился этими мыслями о поощрении и признании в науке с профессором Рианн Летшерт, ректором Маастрихтского университета. Она ответила:

Голландская программа признания и поощрения направлена на фундаментальное изменение способа признания и поощрения ученых, где мы будем диверсифицировать академические карьерные пути, перейдём от количественной оценки результатов к качественной и уделим особое внимание развитию лидерских навыков в академических кругах. Мы приветствуем новый подход, изложенный здесь Филиппом, который хорошо согласуется с нашим взглядом на признание и поощрение.

Прочтите о голландской программе признания и наградах

В общем, серьезные издатели поддерживают науку, когда ее практики выражают пожелание, чтобы поощрения, основанные на цитировании и объеме статей, были пересмотрены. Нынешняя практика ведет к мелким злоупотреблениям и огромной трате драгоценного времени ученых. Поэтому я бы поддержал точку зрения, разделяемую Нидерландами и Германией, о публикации меньшего количества статей с более глубокой или широкой актуальностью. Благодаря новым оценочным метрикам, которые используются, Нидерланды по-прежнему будут получать высокие оценки, и эти новые показатели будут стимулировать новые формы обмена знаниями как внутри науки, так и за ее пределами. Такие показатели будут способствовать оптимальной передаче знаний в научном сообществе и гарантировать, что сама наука останется близкой обществу — даже после этой пандемии.

Авторы

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Перевод:

Компания Big Time