Читая про невероятные открытия в психологии, кажется, что все они железобетонны, так как проводились с использованием рандомизированных, лонгитюдных исследований с тысячами респондентов. Но на деле таких исследований единицы, ведь у бедных профессоров нету денежек на такие «Роллс-Ройсы». А кто у них есть? Правильно — студенты. Бесплатные респонденты, готовые за +1 балл в зачёт подключать электроды к соскам. Причём для вирусной статьи много не нужно — в стэнфордском эксперименте принимало участие 24 человека (и все парни), а знаменитый эффект Моцарта, где якобы люди умнеют от классической музыки, был доказан благодаря 36 студентам.
Это, кстати, не говорит о том, что они не верны, это говорит лишь о том, что в данные очень легко, прям со свистом, залетают погрешности и флуктуации. Мы же не все студенты, и нас явно не 36. Потому-то учёные и любят перепроверять полученные другими результаты, и чаще оказывается, что наука не такая весёлая.
Однако, если задуматься, то такой порядок вещей порождает опасные явления: подгонку и публикационный сдвиг. Чтобы понять, что такое подгонка, давайте поставим себя на место аспиранта, которому очень хочется напечататься в каком-то уважаемом журнале. Мы провели эксперимент, но в нужный доверительный интервал не попали. Начинать всё заново? Ну уж нет, мы же можем повторить эксперимент в надежде, что к нам залетит побольше «нужных» нам респондентов. А ненужных мы потом затрём, как невалидных, чтобы они не мозолили глаза, и вуаля! Теперь точно доказано, что сон на животе однозначно ведёт к раннему облысению.
А научные журналы поддерживают это, потому что им нужны сенсации. Никому не интересно слушать о том, что «Сон на животе НЕ ведёт к раннему облысению». Спасибо, кэп. 🤝 Так мы все становимся жертвой так называемой ошибки выжившего. Когда публикуются только угодные статьи, а неугодные не долетают до авианосца. Так, например, я был в шоке, когда узнал, что если судить по опубликованным работам, положительное влияние антидепрессантов прослеживается в 98% случаев, но стоит добавить к рассмотрению неопубликованные, то процент падает до 51%. Это и есть публикационный сдвиг.
Благодаря этому феномену, а также выявлению неверной причинно-следственной связи, мы обязаны появлению движения против прививок. В 1998 году один господин по имени Эндрю Уэйкфилд опубликовал сенсационную статью, где показал, что якобы прививки способны вызывать аутизм. И пошло-поехало. Конечно, Эндрюшку позже раскритиковали в научном сообществе и разнесли в пух и прах его доводы, но было поздно. Десятки детей погибли потому, что кому-то нужны сенсации.
И напоследок я хотел бы скрасить ваше параноидальное послевкусие. Несмотря на то, что теперь вам будет везде мерещиться обман и предательство 🔪, теперь вы полностью вооружены и готовы к душнению в комментах под этими жёлтыми новостями или невероятным фактом из одноклассников от вашей мамы (хотя там хрен что докажешь).
И всё-таки для вас есть памятка на случай, если что-то упустите:
1. Помещайте числа в контекст (Это большое число? Чему равен знаменатель?)
2. Давайте абсолютные значения риска, не относительные. Политическая партия растёт быстро, да?
3. Проверяйте, насколько исследование согласуется с другими исследованиями.
4. Проверяйте размер выборки.
5. Помните про подгонку и публикационный сдвиг.
6. Не выдавайте в качестве прогноза одно число, используйте доверительный интервал.
7. Не спешите проводить причинно-следственную связь, возможно вы не видите третьего фактора, влияющего на исследуемые.
8. Принимайте во внимание начало отсчёта, возможно, произошёл всплеск.
9. Поосторожнее с рейтингами, то что кто-то переместился с одного места на другое ещё ни о чём не говорит. Посмотрите на абсолютные числа и примите во внимание контекст — Google может быть самым популярным поисковиком в мире, но не в Китае.
10. Всегда давайте ссылки на источники, что я с радостью и делаю, рекомендуя книгу «Цифры врут» от Тома и Дэвида Чиверсов.
