Джордж Зейдан – Ингредиенты. Странные химические свойства того, что мы едим, пьем и наносим на кожу (страница 39)

Что насчет проблемы Р-хакинга?

Один из вариантов ее решения – сделать то же, что и Кевин Холл: раздать поручения и предварительно зарегистрировать исследование, особенно план анализа данных. Другой выход – показать свою работу. Не просто кратко пересказать основные моменты, а подробно описать каждый шаг. Брайан Нозек неоднократно упоминал об этом в нашем разговоре. Он сказал, что это важнее предварительной регистрации:

Я лишь хочу, чтобы люди показывали, как пришли к выводам, независимо от того, каким образом они действовали. Путем проб и ошибок, следуя предварительно зарегистрированному плану, проводя разносторонний анализ – неважно, просто покажите свою работу с момента зарождения идеи до получения результатов.

Показывая в деталях, как вы сделали что-то, нужно продемонстрировать необработанные данные (анонимные, разумеется) и код, который использовался для их анализа. Одни исследователи воспринимают это нетерпимо, а другие относятся к этому нормально. Если бы вы, например, хотели загрузить и повторно проанализировать все необработанные данные, полученные в ходе исследования Кевина Холла, посвященного ультраобработанным пищевым продуктам, то вы могли бы это сделать[145]. Если бы Уолтер Уиллетт намеревался найти слабые стороны исследования, он мог бы загрузить необработанные данные. А если бы Джон Иоаннидис желал указать на слабые стороны анализа, проведенного Уиллеттом, то и он мог бы скачать их и выполнить задуманное. Даже если бы случайная третья сторона преследовала цель залатать одни дыры в эксперименте и пробить другие, то она тоже могла бы это сделать, используя все ту же общедоступную информацию. Что-то подобное уже происходит, и я считаю, что это замечательно. Я на 100 % поддерживаю полный и открытый обмен знаниями.

Другое решение проблемы Р-хакинга – это создание так называемой кривой спецификации. Чтобы понять, как это работает, давайте сначала рассмотрим рецепт печенья с шоколадной крошкой. Даже имея фиксированный и неизменный список ингредиентов, вы можете проявлять гибкость, комбинируя их при приготовлении десерта. Вы можете точно следовать рецепту, но также можно менять многие вещи. Так, вы можете увеличить температуру в духовке на 15 °C; подождать, пока масло нагреется до комнатной температуры, прежде чем размять его, или не делать этого; положить тесто в морозилку на 20 минут, прежде чем поставить печенье в духовку; или посыпать солью каждый кусочек в отдельности, вместо того чтобы добавить ее в тесто. Возможности безграничны. То же самое касается исследований: даже при наличии одинаковых данных (ингредиентов) есть множество разных методов анализа этой информации, и от выбранного способа зависит конечный результат (печенье). Отчасти именно это делает Р-хакинг возможным.

В большинстве случаев ученые просто выбирают тот метод анализа данных, который кажется им лучшим. Проблема в том, что не все считают его таким. В этот момент на сцену выходит кривая спецификации. Ее цель – следовать ВСЕМ ВАРИАЦИЯМ РЕЦЕПТА. Таким образом, вместо одной партии печенья вы делаете сотни, систематически меняя каждую возможную переменную и наблюдая, как это влияет на вкус. В науке происходит то же самое: вы заставляете компьютер обрабатывать данные всеми возможными способами и наблюдаете, что получится. Если результаты получаются примерно одинаковыми, независимо от метода обработки данных, то вы можете быть уверены, что находитесь на правильном пути. Но если изменение способа анализа данных приводит к тому, что результаты получаются совершенно разными, то, возможно, они не соответствуют действительности.

В большинстве случаев ученые выбирают тот метод анализа данных, который кажется им лучшим.

Некоторые решения проблемы имеют отношение не столько к науке, сколько к здравому смыслу.

Если ваша реакция на разногласия между Уиллеттом и Иоаннидисом была такой: «Как могут два невероятно умных человека так оживленно спорить из-за того, что кажется таким… математическим?» – то вы не одиноки. Я тоже так думал. В конце концов, это спор не о морали, эмоциях или политике, а о цифрах и философии. Он связан с природой истины. По этой причине я ожидал, что одна сторона в итоге сложит метафорическое оружие и согласится с другой, основываясь на имеющихся данных.

Очевидно, я был слишком наивен.

Поговорив со множеством эпидемиологов, я обессилел. Один из них прекрасно подытожил, насколько воинствующе настроены противоборствующие стороны: «Я знаю Уолта 35 лет. Все это время мы спорим друг с другом».

Но затем я натолкнулся на то, что кардинально изменило мою точку зрения: так называемое состязательное сотрудничество. Оно подразумевает совместную работу двух людей, которые категорически не согласны друг с другом. Это не похоже на взаимодействие демократов и республиканцев, потому что последним обычно приходится на время забывать о разногласиях по конкретному вопросу (налоги) для совместной работы над менее спорным вопросом (строительство дорог). В науке состязательное сотрудничество подразумевает совместную разработку той самой темы, которая вызывает разногласия у ученых. Иными словами, Уиллетт и Иоаннидис могли бы вместе работать в сфере питания и здоровья. У вас может возникнуть логичный вопрос: разве это не было бы похоже на сотрудничество католической церкви с атеистами?

Нет, и вот почему.

Иоаннидис и Уиллетт спорят по многим вопросам, однако они оба согласны с тем, что питание и образ жизни в целом значимы, достойны исследования и важны для здоровья. И этого может быть достаточно для состязательного сотрудничества.

Теперь позвольте мне сказать нечто очевидное: работать вместе сложно. Вражда между учеными может разгореться очень быстро, и обеим сторонам приходится забывать о гордости, чтобы продуктивно работать вместе. Тем не менее это возможно, и, по моему мнению, такая кооперация имеет несколько важных преимуществ. Во-первых, вы действительно можете чему-то научиться. Во-вторых, вы можете чему-то научить своего противника. В-третьих, если вы и ваш противник являетесь соавторами одной статьи, то, когда она будет опубликована, он не станет ее критиковать.

Вполне возможно, что сотрудничество приведет лишь к появлению текста, в котором излагаются разногласия, мнения обеих сторон и эксперименты, которые могли бы разрешить спор. Тем не менее даже это было бы очень ценно. Почему? Ну, многие споры между учеными звучат примерно так:

– Ты сказал Х.

– Нет, я сказал Y.

– Я отчетливо помню, что читал Х в твоей статье.

– Ты действительно читал ее? Я четко написал там Y.

– Если бы ты меньше важничал и уделял больше внимания синтаксису, то я смог бы расшифровать то, что ты написал, без помощи «Энигмы»[146]…

Разумеется, эти споры продолжаются много лет в форме враждебных писем в редакцию. Пока я пишу это, Уиллетт, Иоаннидис и ряд других ученых активно спорят из-за смысла одного предложения о 12 орехах. Таким образом, даже если бы враждующие стороны просто встретились в одной комнате и пришли к соглашению, то это было бы большим прогрессом.

Когда я разговаривал с Иоаннидисом и Уиллеттом по телефону, я спросил, хотят ли они поработать друг с другом. И они оба ответили да! В некотором смысле. Один из них предложил это еще до меня, а второй сказал: «Это возможно». По сравнению с политиками эти ученые гораздо более миролюбиво настроены. Надеюсь, что они найдут способ поработать вместе. Это пойдет на пользу всем нам.

Если бы это была книга Малкольма Гладуэлла, то сейчас вы прочли бы резкий упрек в адрес науки в целом. Он бы использовал историю об исследователе, изучающем соус для спагетти, чтобы подчеркнуть, что ни единому слову ученых нельзя доверять. И вы даже можете решить, что он прав: в конце концов, я только что рассказал вам об огромном количестве глупых ошибок, манипуляциях статистикой и остальном, что спрятано между священных страниц научных журналов. И да, нет сомнений, что все это – бородавки на теле науки. Однако видимые проблемы лучше невидимых. В какой еще сфере люди, занятые общим делом, открыто обсуждают недостатки работы друг друга? Иными словами, эпидемиология питания сейчас обретает признание, потому что сами ученые посчитали ее достойной этого.

Не все согласны с тем, что она находится в кризисе. Ее сторонники боролись и продолжают выступать против натиска Иоаннидиса. Другие выслушивают мнение обеих сторон и делают свой выбор. Как только пыль после битвы уляжется, будут определены победители и проигравшие. Один лагерь продолжит публиковаться в журналах Science и Nature и докажет свой статус серьезных ученых, как эпидемиологи, сказавшие, что курение вызывает рак легких. Голоса другого лагеря затихнут, однако найдутся те, кто так и не изменит свое мнение и не исчезнет.

В конце концов даже победители станут проигравшими, когда произойдет изменение взглядов или появится волна новых данных, и их голоса тоже затихнут. Звучит знакомо? Это такая же война, как и любая другая, за исключением того, что она прямо сейчас ведется на публике и у вас есть доступ к грязному полю сражения. Вот почему я уверен в науке: не потому, что она совершенна, а потому, что вы можете сами найти в ней недостатки и заявить о них.