Научные журналы отдают предпочтение работам, в которых рассказывается о положительных результатах. Ученый отправил в журнал две одинаковые работы, в одной из которых делался вывод о преимуществе одного подхода над другим, а в другой подходы оказывались равноценными. Большая часть рецензентов одобрила первую статью.
Рецензенты научных журналов отдают предпочтение работам, в которых рассказывается о положительных результатах. К такому выводу пришел американский врач из университета Вашингтона Сет Леопольд (Seth Leopold), который провел необычный эксперимент. Он отослал в научные журналы практически идентичные статьи, отличающиеся только выводами. О результатах опыта Леопольда пишет портал Nature News.
Обе работы были выдуманы от начала и до конца. В статьях Леопольд сравнивал две стратегии применения антибиотиков у больных, которым предстоит операция. Все тесты и клинические испытания были "проведены" на очень высоком уровне со всеми необходимыми контролями. В первой статье "авторы" приходили к выводу, что одна из стратегий является более эффективной, а во второй не нашли преимуществ ни у одной из них.
Со статьями Леопольда ознакомились около сотни рецензентов журнала Journal of Bone and Joint Surgery. Каждый из них читал только один из вариантов исследования. В итоге статью с положительными результатами одобрило к публикации 98 процентов из видевших ее рецензентов. Для второй статьи эта цифра составила 71 процент. При этом претензий к разделу "Методы", который был одинаковым в обеих работах, у рецензентов "плохого" варианта было намного больше, чем у рецензентов "хорошего".
Для дополнительной проверки влияния результатов статьи на экспертную оценку Леопольд внес в свои статьи пять несущественных ошибок (например, в одном месте цифры в тексте и в сводной таблице не соответствовали друг другу). Каждый рецензент статьи с положительными результатами в среднем замечал 0,3 ошибки. Рецензенты, читавшие вторую статью, находили по 0,7 ошибки каждый.
Леопольд полагает, что полученные им результаты свидетельствуют о предвзятом отношении рецензентов. Несмотря на профессионализм, все они являются людьми и хотят, чтобы лекарства работали и помогали.
Леопольд также отправил свои статьи в другой журнал - Clinical Orthopedics and Related Research, однако результаты эксперимента не позволили делать статистически достоверных выводов. Автор полагает, что рецензенты могли догадаться, что с работами не все "чисто". С другой стороны, провал второго опыта может свидетельствовать о том, что на оценку рецензентов влияют какие-то еще факторы помимо выводов, делаемых в статьях.
Опыты с фальшивыми статьями, подобные тому, который провел Леопольд, вызывают неоднозначную реакцию научного сообщества. Некоторые исследователи считают, что такие методы в принципе неприменимы в науке. Дискуссии по этому поводу в России разгорелись после эпизода с Корчевателем. Подробно об этой истории Ленте.Ру рассказал ее автор Михаил Гельфанд.
У научных журналов нашли предубеждение против работ с отрицательными результатами
Научные журналы отдают предпочтение работам, в которых рассказывается о положительных результатах. Ученый отправил в журнал две одинаковые работы, в одной из которых делался вывод о преимуществе одного подхода над другим, а в другой подходы оказывались равноценными. Большая часть рецензентов одобрила первую статью.
Рецензенты научных журналов отдают предпочтение работам, в которых рассказывается о положительных результатах. К такому выводу пришел американский врач из университета Вашингтона Сет Леопольд (Seth Leopold), который провел необычный эксперимент. Он отослал в научные журналы практически идентичные статьи, отличающиеся только выводами. О результатах опыта Леопольда пишет портал Nature News.
Обе работы были выдуманы от начала и до конца. В статьях Леопольд сравнивал две стратегии применения антибиотиков у больных, которым предстоит операция. Все тесты и клинические испытания были "проведены" на очень высоком уровне со всеми необходимыми контролями. В первой статье "авторы" приходили к выводу, что одна из стратегий является более эффективной, а во второй не нашли преимуществ ни у одной из них.
Со статьями Леопольда ознакомились около сотни рецензентов журнала Journal of Bone and Joint Surgery. Каждый из них читал только один из вариантов исследования. В итоге статью с положительными результатами одобрило к публикации 98 процентов из видевших ее рецензентов. Для второй статьи эта цифра составила 71 процент. При этом претензий к разделу "Методы", который был одинаковым в обеих работах, у рецензентов "плохого" варианта было намного больше, чем у рецензентов "хорошего".
Для дополнительной проверки влияния результатов статьи на экспертную оценку Леопольд внес в свои статьи пять несущественных ошибок (например, в одном месте цифры в тексте и в сводной таблице не соответствовали друг другу). Каждый рецензент статьи с положительными результатами в среднем замечал 0,3 ошибки. Рецензенты, читавшие вторую статью, находили по 0,7 ошибки каждый.
Леопольд полагает, что полученные им результаты свидетельствуют о предвзятом отношении рецензентов. Несмотря на профессионализм, все они являются людьми и хотят, чтобы лекарства работали и помогали.
Леопольд также отправил свои статьи в другой журнал - Clinical Orthopedics and Related Research, однако результаты эксперимента не позволили делать статистически достоверных выводов. Автор полагает, что рецензенты могли догадаться, что с работами не все "чисто". С другой стороны, провал второго опыта может свидетельствовать о том, что на оценку рецензентов влияют какие-то еще факторы помимо выводов, делаемых в статьях.
Опыты с фальшивыми статьями, подобные тому, который провел Леопольд, вызывают неоднозначную реакцию научного сообщества. Некоторые исследователи считают, что такие методы в принципе неприменимы в науке. Дискуссии по этому поводу в России разгорелись после эпизода с Корчевателем. Подробно об этой истории Ленте.Ру рассказал ее автор Михаил Гельфанд.