Похудеть от шоколада, или как я одурачил миллионы
«Худейте от шоколада!» — трубили заголовки. Группа немецких исследователей выяснила, что сидящие на низкоуглеводной диете люди худеют на 10% быстрее, если ежедневно съедают по плитке шоколада. Эта новость появилась на первой странице крупнейшей европейской газеты Bild сразу под подробностями о крушении самолета Germanwings. Оттуда она срикошетила в интернет и, более того, стала сенсацией в 20 с лишним странах и прозвучала на десятке языков. Ее обсуждали на телевидении. Она появилась в глянцевых журналах, в частности, в июньском номере журнала Shape (под заголовком «Почему шоколад надо есть каждый день», стр. 128). Авторы исследования выяснили, что шоколад не только ускоряет похудение, но и приводит в норму уровень холестерина, а также улучшает общее состояние. Bild приводит слова руководителя исследовательской группы, доктора наук, директора по научной работе из Института диеты и здоровья Йоханнеса Боханнена: «Лучшее в этом то, что шоколад продается повсюду».
Доктор наук Йоханнес Боханнен это я. Ну, вообще-то меня зовут Джон, и я журналист. У меня действительно есть докторская степень, но она по молекулярной биологии бактерий, и никакого отношения к человеку не имеет. Институт диеты и здоровья? Это не более чем вебсайт.
Если не считать эти выдумки, исследование было на 100% настоящим. Мы с коллегами набрали в Германии подопытных добровольцев. Мы провели реальные клинические испытания, наугад назначая участникам разные диеты. И подтвержденная статистикой существенная польза от шоколада, о которой мы написали, тоже базируется на реальных данных. То есть, это было вполне типичное исследование в области диетологии. И должен сказать, это было ужасное исследование. Результаты его бессмысленны, а утверждения о пользе для здоровья, о которой СМИ протрубили миллионам людей во всем мире, совершенно необоснованны.
Вот как мы это сделали.
➡ Постановка
В декабре прошлого года мне позвонил немецкий телерепортер по имени Питер Оннекен (Peter Onneken). Он вместе с коллегой Дианой Лебль (Diana Löbl) работал над документальным фильмом о лженауке в области диеты. Они попросили меня помочь продемонстрировать, насколько легко недобросовестную науку можно превратить в броские заголовки, повествующие о чудесах диеты. А еще Оннекен хотел сделать это в стиле сенсационной журналистики: разоблачить недобросовестность повествующих о диете СМИ, приняв участие в обмане.
Звонок этот не был для меня полной неожиданностью. За год до этого я провел операцию с внедрением для журнала Science, чтобы рассказать о платных научных журналах свободного доступа. Это быстро развивающаяся и высокодоходная новая отрасль научного издательского дела. Чтобы выяснить, кто из издателей выполняет свои обещания о проведении тщательных независимых экспертных оценок, я подавал в эти издания до нелепости низкопробные статьи и считал, кто их отвергнет. (Получилось, что меньше половины.)
Оннекен и Лебль все продумали. Несколько тысяч евро, чтобы набрать участников исследования, немецкий врач для его проведения и друг-статистик для подтасовки данных. Оннекен слышал о моем журналистском расследовании и подумал, что я знаю, как собрать все воедино и запустить это дело в печать. Единственная проблема была со временем: Фильм должны были показать на немецком и французском телевидении в конце весны (его премьера состоится на следующей неделе), а поэтому у нас на все про все была лишь пара месяцев.
Сможем ли мы что-нибудь опубликовать? Возможно. А кроме этого? Я подумал, что ничего у нас не получится, и все пойдет прахом. Мы, научные журналисты, любим думать, будто мы умнее обычных наемных писак. Ведь мы должны достаточно хорошо понимать суть загадочных научных исследований, чтобы рассказывать о них и давать разъяснения. А что касается репортеров без научного образования, то как только они начинают искать на стороне источники для написания своих статей — кого-нибудь с ученой степенью, и уж тем более ученого диетолога — то почти сразу понимают, насколько смехотворно и неубедительно выглядит их исследование. Стоит ли говорить, что элементарный поиск в Google не покажет и следа Йоханнеса Боханнена, а также его мнимого института. Репортеры по вопросам здравоохранения за километр учуют, как дурно это пахнет. Но показывать свой пессимизм я не хотел. Я сказал: «Давайте подумаем, насколько далеко мы сможем в этом зайти».
➡ Мошенничество
Оннекен и Лебль времени даром не теряли. Через Facebook они набрали добровольцев во Франкфурте, предложив каждому желающему посидеть три недели на диете за 150 евро. Они открыто сказали, что будут снимать документальный фильм о диете, но в детали вдаваться не стали. Холодным январским утром к нам пришли 5 мужчин и 11 женщин в возрасте от 19 до 67 лет.
Врач Гюнтер Франк (Gunter Frank), участвовавший в этом розыгрыше, занимался клиническими обследованиями. Оннекен втянул его в наш заговор, прочитав популярную книгу Франка, в которой он гневно осуждает лженауку о правильном питании. Он выдвинул идею включить в проверку горький шоколад в качестве дополнения к пищевому рациону. Когда я спросил его, почему шоколад, Франк сказал, что это любимый продукт фанатиков «цельной еды». «У этого шоколада горький вкус, следовательно, он должен быть полезен для здоровья, — заявил он. — Это как религия».
Франк провел несколько опросов, взял кровь на анализ, дабы удостовериться, что ни у кого из участников исследования нет пищевых расстройств, диабета и прочих заболеваний, которые могут создать для них опасность. После этого он произвольно разделил подопытных на три диетические группы. Одна группа села на низкоуглеводную диету. Вторая тоже следовала этой диете, плюс ежедневно съедала плитку темного шоколада весом 60 граммов. Все остальные, составившие контрольную группу, получили указание не менять свои привычки в питании. Ежедневно в течение 21 дня они взвешивались, и эксперимент закончился завершающим кругом опросов и анализами крови.
Затем Оннекен обратился к своему другу и финансовому аналитику Алексу Дросте-Хаарсу (Alex Droste-Haars), чтобы тот произвел подсчеты. В выходные они на славу попили пивка и … джекпот! Обе сидевшие на диете группы потеряли за время эксперимента чуть больше двух килограммов, а у контрольной группы средний вес практически не изменился. А как насчет тех, у кого была низкоуглеводная диета и шоколад впридачу? Они теряли вес на 10% быстрее. Эта разница была значительна не только с точки зрения статистики, но и потому что у шоколадной группы были лучше показатели по холестерину и по общему самочувствию.
➡ Уловка
Я знаю, что вы подумали. Раз эксперимент показал, что шоколадная группа ускоренными темпами худеет, значит, нам надо этому доверять. Разве не так действует наука?
Но здесь есть маленький и грязный научный секрет. Если вы измеряете большое количество разных показателей у маленькой группы людей, вам почти гарантирован «статистически значительный» результат. В нашем исследовании было 18 разных измерений — вес, холестерин, натрий, уровень белка в крови, качество сна, общее самочувствие и т.д. Проверяли мы 15 человек (одного в ходе эксперимента отсеяли). Замысел такого исследования это готовый рецепт ложного позитива.
Представьте, что эти измерения — лотерейные билеты. У каждого есть небольшой шанс на выигрыш в виде «значительного» результата. Мы можем раскрутить целую историю вокруг этого результата и всучить ее средствам массовой информации. Чем больше у вас билетов, тем больше шансов на выигрыш. Мы не знали точно, что получится — могло статься так, что СМИ начали бы говорить о том, как хорошо шоколад улучшает сон или снижает кровяное давление. Но мы знали, что у нас весьма неплохие шансы получить хотя бы один «статистически значительный» результат.
Всякий раз, когда вы слышите эту фразу, она означает, что у некоего результата маленькое значение p. Кажется, что буква «р» обладает некоей тотемной силой, но в действительности это обычный способ измерить соотношение сигнала к шуму в данных. Обычно отсечное значение для того, чтобы стать «значительным», равно 0,05, а это значит, что существует всего пятипроцентный шанс на то, что ваш результат есть случайная флуктуация. Чем больше лотерейных билетов, тем больше у вас шансов получить ложный положительный результат. Так сколько же билетов необходимо купить?
P(выигрышный) = 1 — (1 — p)^n
Делая 18 измерений, мы обладаем 60-процентным шансом на получение некоего «значительного» результата, где р < 0.05. (Измерения проводились не по отдельности, поэтому он мог быть даже выше.) То есть, расклад в игре был в нашу пользу.
Это называется р-хакерство — махинации с планом, исполнением эксперимента и данными, чтобы сделать значение р меньше 0,05. А сделать это очень сложно. Большинство ученых люди честные и делают это неосознанно. Они получают отрицательные результаты, убеждают себя, что опростоволосились, и повторяют эксперимент до тех пор, пока он не даст результат. Либо же они отбрасывают резко отклоняющиеся значения.
Но даже если бы мы проявили осторожность во избежание р-хакерства, наше исследование все равно было бы обречено из-за небольшого количества его участников, что усиливает эффект неконтролируемых факторов. Вот лишь один пример. Вес женщины в период менструального цикла может меняться на два с лишним килограмма, а это намного больше, чем разница в весе между нашими группами на шоколадной и низкоуглеводной диете. Вот почему для эксперимента нужно большое количество людей, которых следует равномерно распределять по группам по возрасту и полу. (Мы об этом не позаботились.)
Попытка истолковать наши результаты это все равно, что гадание на кофейной гуще. Шоколад может ускорять потерю веса, а может и все делать наоборот. Невозможно доверять даже потере веса нашей группы на не шоколадной низкоуглеводной диете в сравнении с контрольной группой. Кто знает, что ела эта кучка людей из контрольной группы? Мы их даже не спрашивали.
К счастью, ученые все толковее относятся к этим проблемам. Некоторые журналы пытаются вообще отказаться от проверки значимости р, дабы привить ученым привычки получше. И сегодня уже почти никто всерьез не воспринимает исследования, в которых менее 30 человек испытуемых. Редакторы авторитетных научных журналов отвергают их сразу, даже не отправляя на экспертный анализ. Но есть много журналов, для которых деньги важнее репутации.
➡ Свой человек
Настало время известить мир о нашем революционном научном открытии. Мы должны были срочно опубликовать результаты исследования, но поскольку это была явная лженаука, нам надо было уйти от независимой экспертной оценки. Весьма кстати оказалось то, что есть целые списки издательств лживых журналов. (Их можно найти в интернете.) Поскольку времени было в обрез, я одновременно отправил нашу статью «Шоколад с большим содержанием какао как ускоритель потери веса» в 20 научных журналов. Затем мы скрестили пальцы и стали ждать.
Нашу статью в течение суток приняло к публикации множество журналов. Нет нужды говорить о том, что никаких независимых проверок не было. В итоге мы выбрали страстно домогавшийся нашей статьи журнал International Archives of Medicine. Раньше его издавал гигант BioMedCentral, но недавно журнал перешел в другие руки. Новый директор издательства Карлос Васкес (Carlos Vasquez) известил Йоханнеса по электронной почте, что мы подготовили «выдающуюся рукопись», и что всего за 600 евро его «известнейший журнал» может принять ее к публикации.
Хотя главный редактор International Archives of Medicine утверждает, что «все представляемые в журнал статьи проходят строгую проверку», наша работа была опубликована менее чем через две недели после того, как с кредитной карты Оннекена были перечислены деньги. Редакция не изменила ни единого слова.
➡ Аккомпанемент
Когда вышла статься, настало время немного пошуметь. Я позвонил знакомой моего знакомого, которая занимается научным пиаром. Она научила меня некоторым грязным трюкам, помогающим сделать сенсацию. Было очень странно и даже жутко узнать изнанку того, что я вижу каждый день.
Главное — воспользоваться невероятной ленью журналистов. Если ты правильно изложишь информацию, то сможешь придать публикуемому в СМИ материалу такую форму, какую пожелаешь — как будто ты сам все пишешь. На самом деле, так оно и есть, поскольку многие репортеры просто копировали и публиковали наш текст.
Достаточно взглянуть на пресс-релиз, который я состряпал. В нем есть все. Говоря репортерским языком, там присутствует сексуальный лид, четкая графика, несколько убойных цитат и классная концовка. И нет даже необходимости читать всю научную статью, потому что главные детали изложены в резюме. Я постарался сделать так, чтобы все было точно и аккуратно. Вместо того, чтобы обманывать журналистов, надо было заманить их совершенно типичным пресс-релизом о нашей статье. (Конечно, мы ничего не написали о количестве участников и о крохотных различиях в весе между группами.)
Однако хорошего пресс-релиза недостаточно. Репортеры также падки на нечто «художественное», нечто симпатичное, что они могут показать читателям. Поэтому Оннекен и Лебль сняли несколько рекламных видеоклипов и наняли свободных художников, которые написали акустическую балладу и даже рэп о шоколаде и потере веса. (Оказывается, через интернет можно найти людей фактически для любой работы.)
Оннекен написал пресс-релиз на немецком и вышел напрямую на немецкие средства массовой информации. Обещание дать «эксклюзивный» материал очень заманчиво, даже если это «липа». Затем он опубликовал пресс-релиз на немецком через австрийское телеграфное агентство, а английский вариант разместили в NewsWire. Никакого контроля качества не было. Все было отдано на откуп репортерам.
У меня на душе была тошнотворная смесь из чувства гордости и отвращения, когда наша приманка полетела в большой мир.
➡ Результат
Мы поймали крупную рыбу, даже не поняв, что она клюет. Bild срочно опубликовала свой материал под названием «Тот, кто ест шоколад, остается стройным!» Редакция даже не связывалась со мной. Вскоре мы были повсюду: в Daily Star, в Irish Examiner, на немецком сайте Cosmopolitan, в Times of India, на немецком и индийском сайте Huffington Post, и даже в теленовостях на техасском и австралийском утреннем ток-шоу.
Если репортеры и связывались со мной, то они ограничивались поверхностными и формальными вопросами, типа «Почему вы считаете, что шоколад ускоряет потерю веса?» или «Какой совет вы можете дать нашим читателям?» Почти никто не спрашивал, сколько у нас было испытуемых, и ни один журналист не сообщил это количество. Похоже, никто из них не обращался к сторонним исследователям за консультацией. По крайней мере, ссылок на них нет.
Читать далее (перевод) — http://vk.cc/3QDnKI
По материалам Io9 — http://vk.cc/3Qgb5T
«Исследование» было удалено с сайта International Archives of Medicine, ознакомиться с ним можно по следующей ссылке — http://vk.cc/3QF5LL
#медицина #наука #псевдонаука #СМИ
