Джордж Зейдан – Ингредиенты. Странные химические свойства того, что мы едим, пьем и наносим на кожу (страница 29)

Испытуемые из второй группы потеряли 3,7 килограмма за два месяца, а представители первой сбросили в два раза больше – 7 килограммов (более 9 % от их изначального веса) за это же время. Потерять 10 % веса тела за два месяца было бы невероятно. Исследователю ожирения и математику Дайане Томас эти результаты в буквальном смысле показались неправдоподобными. В письме редактору «Мирового журнала акупунктуры и моксотерапии» она и ее коллеги написали: «Мы заметили несколько странностей». В переводе с языка науки это означает: «Вы, вероятно, были не в себе, когда писали эту статью».

Команда ученых, опубликовавшая оригинальное исследование, не привела необработанные данные. Тем не менее они опубликовали достаточно, чтобы Томас провела математическую проверку. Она оценила изменения в среднем росте двух групп до и после лечения. (Если вы знаете вес и индекс массы тела, вы можете рассчитать рост.) Все участники исследования были взрослыми людьми, поэтому логично предположить, что изменения в росте за два месяца будут нулевыми. Томас и ее коллеги обнаружили, что представители обеих групп выросли в ходе исследования: контрольная группа выросла в среднем на 2,5 сантиметра, а та, которой делали массаж, – почти на 6 сантиметров. Таким образом, участники исследования, которым проводилась процедура, потеряли 10 % массы тела и выросли на 6 сантиметров. Чем можно объяснить такие результаты?

1. Исследователи их придумали.

2. Некоторые испытуемые тайно съездили в Средиземье[118], подружились с энтами, попробовали их напиток[119], а затем вернулись в наш мир.

3. Несколько низких людей выбыли на середине эксперимента, и ученые это не учли.

4. Исследователи допустили множество математических ошибок.

Никто не знает, что на самом деле произошло, но даже не глядя на необработанные данные, мы знаем, что ошибки были допущены. Это как если бы вы бродили по Нью-Йорку и увидели, как страус пытается утащить рождественского эльфа, стоящего у магазина: вы не знаете, что именно пошло не так, но понимаете, что это ненормально. На момент написания этой главы авторы исследования так и не ответили Томас, а журнал не отозвал статью. (Кстати, я делаю ставку на причину номер три.)

Третья выбоина: процедурные ошибки. Так же как вы можете испечь отвратительный пирог, следуя плохому рецепту или случайно добавив соль вместо сахара, можно испортить эксперимент плохим планированием или проведением. Простые ошибки могут оказаться разрушительными. Например, в недавнем исследовании, связавшем черты личности с политической позицией, ученые случайно перепутали переменные для консервативных и либеральных взглядов. Поэтому все связи, о которых они сообщили, были полярно противоположны фактическим. Вместо подтверждения типичного вывода о том, что люди, получившие высокий балл в личностном опроснике Айзенка[120] (что обычно ассоциируется с жесткостью, авторитаризмом и консервативными военными взглядами), ученые написали: «Вопреки нашим ожиданиям, высокие результаты коррелируют с более либеральными военными взглядами». Да, вышло не очень хорошо[121].

Процедурные ошибки также могут быть намного сложнее. Давайте поговорим об исследовании PREDIMED (Prevention with Mediterranean Diet, «профилактика с помощью средиземноморской диеты»), которое должно было окончательно ответить на вопрос о том, снижает ли эта система питания риск развития сердечно-сосудистых заболеваний. (Если вы забыли, то средиземноморская диета была модной до кетогенной. Тот, кто ее придерживается, в основном ест растения, вымоченные в оливковом масле, и иногда добавляет к ним рыбу и бокал красного вина.)

PREDIMED было масштабным долгосрочным рандомизированным контролируемым исследованием: за пять лет в нем приняло участие почти пять тысяч человек. Вероятно, оно обошлось дороже, чем реактивный самолет бизнес-класса Gulfstream G650 (в народе известный как G6). Казалось, что деньги были потрачены не зря: в 2013 году была опубликована статья, в которой говорилось, что у людей, которые придерживались средиземноморской диеты, дополненной оливковым маслом и орехами, риск развития сердечно-сосудистых заболеваний был ниже примерно на 30 %.

К сожалению, ученые в одном из исследовательских центров допустили очень серьезную ошибку. Они рандомизировали не людей, а клиники. Иными словами, вместо того чтобы разделить испытуемых на две группы (первую, которая придерживалась обычного питания, и вторую, которая следовала средиземноморской диете), они просто определили пациентов одной клиники в одну и ту же группу. Чтобы понять, почему это большая проблема, давайте предположим, что каждая больница обслуживает одну деревню. Предположим, что этот населенный пункт находится прямо наверху ядерного космического корабля и в активной зоне реактора этого судна произошла утечка радиоактивных отходов. Это привело к тому, что риск сердечного приступа у жителей деревни возрос на миллиард процентов. На кого ни посмотри – у всех инфаркт миокарда.

Теперь предположим, что в деревню приходят благожелательные исследователи и определяют всех ее жителей, склонных к сердечному приступу, в группу, которая должна следовать средиземноморской диете. Что произойдет? Риск инфаркта у этой группы взлетит до небес, и если не знать о ядерном космическом корабле, то можно подумать, будто средиземноморская диета стала причиной этому. Если бы исследователи определили всю деревню в контрольную группу (обычное питание), то риск сердечного приступа среди ее представителей стал бы значительно выше, чем у членов группы, которая придерживалась средиземноморской диеты. Это сделало бы эту систему питания чудодейственным лекарством.

Очевидно, под испанскими деревнями нет космических кораблей, по крайней мере, я об этом не знаю. Однако смысл в том, что люди, живущие рядом, могут подвергаться одинаковым воздействиям, которые улучшают или ухудшают их здоровье. Если не рандомизировать испытуемых, то можно искусственно завысить или занизить эффективность препарата, диеты или любого другого вмешательства, которое вы изучаете[122].

Ошибка в исследовании PREDIMED была обнаружена через пять лет после первой публикации результатов. «Медицинский журнал Новой Англии» (New England Journal of Medicine) отозвал статью, но позволил авторам повторно проанализировать данные (исключая нерандомизированную деревню) и снова опубликовать результаты исследования. Возможно, в этом нет ничего удивительного, но экспериментаторы пришли к тем же выводам. Данные не являются общедоступными, поэтому некоторые специалисты по эпидемиологии питания, с которыми я беседовал, относятся к результатам скептически. Верите вы этим выводам или нет, никто, даже авторы исследования, не спорит, что неправильная рандомизация жителей деревни была ошибкой.

Возможно, с моей стороны было идеалистично и наивно ожидать, что литература может быть полностью свободна от глупых математических и процедурных ошибок. Опять же, ученые – тоже люди, поэтому не стоит так удивляться. В любом случае вопрос не в том, есть ли ошибки в научной литературе, а в том, сколько их и насколько они серьезны.

К сожалению, ответить на этот вопрос сложно. В большинстве случаев о недочете можно узнать только в том случае, если другие ученые укажут на него, причем публично. Это неприятный опыт для всех, кто вовлечен в эту ситуацию. Указать на ошибку в научном журнале – все равно что вломиться на кухню ресторана с двумя звездами Мишлен[123] и попросить шеф-повара переделать sylphides à la crème d’écrevisses (французский крем-суп из раков) перед вами и всеми присутствующими, чтобы вы могли убедиться, что в блюде действительно нет глютена. Это неприятно для тебя и унизительно для шеф-повара и кончится плохо для обеих сторон.

Вопрос не в том, есть ли ошибки в научной литературе, а в том, сколько их и насколько они серьезны.

Однако у некоторых ученых, похоже, нет с этим проблем. Почти каждый раз, когда я, изучая литературу, натыкался на статью с указанием на ошибку в другой публикации, замечал, что одним из ее авторов является Дэвид Эллисон, исследователь ожирения. Я позвонил ему, чтобы спросить, сколько ошибок он встречает в научной литературе. Он ответил мне метафорично.

Если бы меня спросили, много ли трещин в тротуарах большинства городов, я бы ответил: «Ну, я никогда не проводил формальный анализ, но я часто выхожу на прогулки, и каждый раз, когда гуляю более десяти минут, замечаю хотя бы одну трещину. Поэтому мне кажется, что в тротуарах, вероятно, много трещин». То же самое я могу сказать о литературе. Каждый раз, отправляясь «гулять» в мир научных публикаций, я нахожу несколько статей, в которых есть четкие и однозначные ошибки.

Вот так.

Ладно, три выбоины обсудили, осталось четыре.

Четвертая яма на дороге к подлинным связям – это случайности. Чтобы объяснить это, давайте рассмотрим пример канадцев (эх!). Во-первых, удивительный факт: большинство жителей Онтарио находятся в гигантской базе данных с типичным для этой страны серьезным названием «База данных зарегистрированных лиц» (RPDB). Она содержит основную информацию (имя, дата рождения и т. д.) о более чем 10 миллионах жителей канадской провинции, но ее реальная мощь в том, что каждому человеку присуждается уникальный идентификационный номер. Всякий раз, когда житель Онтарио попадает в больницу, каждая процедура, которую ему проводят, фиксируется в другой базе данных с помощью иного идентификационного номера.