Применение этого подхода помогает не только ученым, но и журналистам, которые часто неправильно интерпретируют статистику, создавая ложное впечатление о научных открытиях.
Когда речь заходит о статистической значимости, цифры могут вводить в заблуждение даже опытных исследователей. Профессор педагогики Монреальского университета Себастьен Белан и его коллеги отмечают, что стандартное p-значение часто понимается неверно. P-значение показывает вероятность того, что наблюдаемые результаты возникли бы случайно, если бы между сравниваемыми наборами данных не существовало реальной связи. Но на практике оно легко превращается в «магическое число», якобы подтверждающее открытие или опровергающее его.
«Многие автоматом берут порог 0,05 и считают его золотым стандартом, но это всего лишь ориентир, установленный Рональдом Фишером почти сто лет назад. Результаты чуть выше 0,05 тоже могут быть значимыми в зависимости от контекста», — говорит Белан
По словам авторов, p-значение похоже на термометр. Он показывает температуру, но не отвечает на вопрос, болен ли человек или просто находится в жарком помещении. Так же и p-значение указывает на вероятность случайности, но не раскрывает полной картины явления
Особенно заметна проблема в социальных и гуманитарных науках, где данные часто нестабильны и содержат много случайных колебаний, а эффекты — мягкие, сложные и многослойные. Белан вспоминает пандемию COVID-19, когда СМИ активно цитировали исследования, не разбираясь в методах. Ошибочные интерпретации приводили к принятию сомнительных решений и политике, которая не всегда была эффективной.
«Результаты представлялись так, словно цифры говорили сами за себя, — отмечает он. — Но в реальности многое зависело от контекста, структуры данных и ограничения методов».
Чтобы пролить свет на эти сложности, Белан вместе с Майклом Кантинотти из Университета Квебека в Труа-Ривьер и Дени Кузино из Университета Оттавы опубликовали статью в журнале Canadian Psychology. Они подчеркивают, что p-значение — это лишь часть большой научной картины, а не окончательный вердикт о том, есть ли эффект. В подготовке статьи приняли участие 24 исследователя из разных факультетов и отделений, включая педагогов, медиков, социологов и психологов.
Профессор подчеркивает, что студентам нужно прививать критическое мышление при работе со статистикой
«Важно видеть за цифрами контекст и ограничения метода. Результат с p=0,06 может быть информативнее, чем бездумное принятие p<0,05», — говорит он.
Белан объясняет, что в медицине, образовании и социальных науках привычка использовать порог 0,05 стала почти стандартом: исследования часто оцениваются именно по этому показателю. Но на самом деле p-значение не показывает всю сложность ситуации. Например, если выборка маленькая или эксперимент проводился в необычных условиях, p может оказаться «значимым», хотя результаты на деле не отражают настоящую картину. И наоборот, если p чуть выше 0,05, это не значит, что данные неинтересны — они могут содержать полезные сигналы, которые стоит изучить дальше.
В конечном счете, Белан утверждает, что отказываться от p-значения не стоит. Оно по-прежнему важно, но требует критического подхода и умения интерпретировать его в контексте.
«Цифры не лгут, но мы должны понимать, как их читать», — говорит он.
Применение этого подхода помогает не только ученым, но и журналистам, которые часто неправильно интерпретируют статистику, создавая ложное впечатление о научных открытиях.