gutsuland (gutsuland) wrote,
gutsuland
gutsuland

Category:

Учёные призывают уделять меньше внимания статистике

Исследователи призывают отказаться от категоричных выводов в результатах научной работы на основании Р уровня значимости и доверительного интервала. Под статьей о возможных изменениях трактовки статистических данных уже подписалось примерно 800 учёных. В комментарии в журнале Nature авторы предлагают наиболее вероятные пути решения этого вопроса: они не включают полный отказ от этих показателей, а призывают обратить большее внимание на размышления о материалах в целом.

В течение многих лет исследователи ориентировались на значения показателя Р, которое либо подтверждало нулевую гипотезу в значении меньше 0,05, либо опровергало её и делало результат «статистически незначимым». Эти суждения о научной работе исказили выводы множества исследований, а также привели к конфликтам между их авторами.

Анализ сотен статей показал, что статистически значимые значения интерпретируются как «отсутствие различий» в половине случаев. В 2016 году в журнале Американской статистической ассоциации была опубликована статья о неправильном использовании статистической значимости и значений Р, а также большое количество комментариев по этой теме. В этом месяце редакция продолжила начатое и поместила в номер более 40 работ по проблеме: «Статистический вывод в XXI веке: мир за пределами P <0,05».

Авторы статьи в Natureпризвали научное сообщество перестать использовать значения Р уровня значимости и доверительного интервала дихотомическим образом, то есть «или-или». Когда учёные пригласили коллег-исследователей поделиться своим мнением по этому вопросу, в первые сутки 250 человек оставили свои подписи в знак согласия. Спустя семь дней количество подписавшихся выросло до 800. Авторы ручаются, что все подписавшиеся заняты в академической сфере или в смежных областях. В их числе клинические и медицинские исследователи, статистики, биологи и психологи из почти 50 стран мира, за исключением Антарктиды.

По мнению авторов, категоризация результатов по значению на основании этих показателей статистики заставляет учёных и редакторов журналов выбирать научные работы с более вероятным положительным статистическим результатом и приводит к предвзятости. Исследователи часто отдают предпочтения методам, которые реже дают нежелательные для них незначимые результаты и чаще статистически низкий уровень вероятности для побочного эффекта.


На практике любое мелкое случайное изменение может сказаться на статистическом результате. Даже если учёные проведут два точных исследования возникновения какого-либо подлинного эффекта, их абсолютно разный исход не будет удивительным. Поэтому авторы в Natureпризывают перестать зависеть от цифр и начать больше думать и анализировать.

Практическим выходом они видят предварительную регистрацию исследования и обязательную публикацию всех материалов. Также необходимо переименовать доверительные интервалы в «интервалы совместимости» и не брать их за основу при построении выводов. В частности, они советуют авторам описывать практический результат значений внутри интервала, наблюдаемый эффект и пределы. А также не выделять одно конкретное значение среди других, так как это не имеет смысла (все значения между пределами интервала совместимы с данными из-за статистических допущений при вычислении).

В отношении интервала совместимости исследователи напоминают, что этот показатель указывает лишь на те значения, которые более совместимы с данными и не говорит об их полной противоположности, если они не входят в заданные параметры. По факту существенных отличий внутри и снаружи интервала совместимости почти нет.

Не все значения в интервале одинаково совместимы с данными, пишут авторы. Поэтому нужно внимательно изучать точечную оценку, даже при условии большого значения Р уровня и широкого интервала, чтобы не упустить важные детали. Далее не нужно слепо верить, что с вероятностью 95% истинное значение лежит именно в вычисленном интервале. Сам процент представляет собой всеобщую договоренность и не является основой для уверенного решения. Кроме этого, необходимо правильно определить статистические допущения, используемые для расчёта. Нужно сделать их как можно более четкими, протестировать наиболее возможные и только затем сообщать все результаты.

Большое значение авторы статьи придают обсуждению данных и выводам. По их мнению, нужно уделять внимание не только предпочтительным гипотезам, но и ряду других объяснений. Учёные должны учитывать дизайн исследования, качество анализа и сбора материалов, основные механизмы решаемой проблемы. Выводы должны научно обосновываться, а это выходит за рамки простой статистки, отмечают исследователи.

Главное возражение, которое сопровождает «протест против статистики» - необходимость однозначной оценки исследования. Однако, это, как правило, не сильно влияет на судьбу исследования по сравнению с вероятными последствиями, выгодами и затратами на дальнейшую работу, а также другими факторами.

А пока авторы надеются, что разделы методов и обсуждения результатов станут более полными и детальными, а из оформления уйдут все способы выделения значений Р (звездочки, буквы и т.д.). Это поможет подробно описать все выявленные неопределенности, подчеркнуть значимые явления и принять решение о публикации не на основании какого-то одного показателя, а из наблюдений за всеми статистическими данными. Только так можно избежать споров, необоснованных заявлений, злоупотребления статистикой и положить начало истинно научным заключениям.
Subscribe

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments