Кто это проверял? Вопросы к исследованию

На плакате в клинике крупно написано: «Клинически доказано». Ниже мелким шрифтом — фото «до» и «после». Это уже исследование или ещё реклама?

Слово «клинически» говорит лишь о том, что где-то были люди и какая-то процедура. Сколько людей, сколько времени, с чем сравнивали, кто смотрел на результат и кто за всё это платил — на плакате не написано. Этот Bite даёт пять вопросов к исследованию и учит выбирать тот, который сильнее всего меняет доверие к результату.

Пять вопросов

Ни один вопрос не отменяет результат сам по себе. Но в каждом конкретном исследовании какой-то из них весит больше остальных. Разберём, почему каждый важен.

Кто платил

Кокрейновский методологический обзор 75 работ сравнил исследования лекарств и медицинских изделий, оплаченные производителем, с исследованиями из других источников финансирования. Оплаченные производителем чаще давали благоприятные для продукта результаты по эффективности (доказательства умеренного качества) и чаще — благоприятные выводы (доказательства низкого качества). Выводы в них реже совпадали с самими результатами. По связи финансирования с выводами разницы между исследованиями лекарств и изделий авторы не нашли, хотя это сравнение опиралось лишь на четыре работы.

Важная деталь: по заключению авторов, этот перекос не объясняется стандартной оценкой риска систематической ошибки — рандомизацией, ослеплением и т. п. По ослеплению спонсорские исследования в обзоре даже чаще имели низкий риск ошибки. Поэтому вопрос «кто платил» важен сам по себе. Но и он не заменяет чтения результатов: это связь на уровне множества исследований, а не доказательство, что конкретное спонсорское исследование ошибочно или что независимое верно.

Обзор посвящён лекарствам и изделиям в целом, а не эстетике. Курс переносит из него только вопрос, а не вывод о какой-либо процедуре.

Сколько было участников

Исследование, сравнившее 735 рандомизированных испытаний из 93 метаанализов, показало: чем меньше испытание, тем больше в среднем оценка эффекта. В испытаниях менее чем на 50 пациентах эффект в среднем оказался заметно больше, чем в испытаниях на 1000 пациентах и более.

Это средняя закономерность, а не приговор каждому маленькому исследованию, и получена она не на эстетике.

Представьте монету. Подбросьте её четыре раза — три орла из четырёх никого не удивят. Подбросьте тысячу раз — и доля орлов окажется близко к половине. Чем меньше бросков, тем легче случайности выглядеть закономерностью. Это аналогия, и у неё есть предел: она показывает только разброс, а в монете нет эффекта, который кому-то хочется увидеть. Почему маленькие испытания в среднем дают именно бо́льшие, а не просто более разбросанные оценки, это исследование по реферату не объясняет.

Но если на плакате эффект впечатляет, а участников было два десятка, держите в уме: крупное исследование может показать меньше.

С чем сравнивали

Фото «до» и «после» отвечают на вопрос «что изменилось», но не на вопрос «почему». За время между снимками могло измениться многое, например свет, ракурс или уход за кожей. А если результат оценивает сам человек, на ответ может повлиять и его ожидание. Для этого и нужна контрольная группа — люди, которые прошли то же самое без настоящей процедуры (sham, имитация) или без лечения вовсе.

Кокрейновский обзор испытаний, где плацебо сравнивали с отсутствием лечения, в целом не нашёл у плацебо важных клинических эффектов. Но в некоторых условиях плацебо может влиять на исходы, о которых сообщает сам пациент, особенно на боль и тошноту; такой эффект, пишут авторы, трудно отличить от смещённых ответов. Обзор не об эстетике, и это не значит, что результат какой-либо процедуры — «плацебо». Это довод в пользу контрольной группы, когда исход — самооценка: «стало лучше» без сравнения нельзя целиком приписать процедуре.

Кто оценивал результат

Исследование, сравнившее 1346 испытаний, показало: если исход субъективный, то есть его оценивает человек, а распределение по группам плохо скрыто или участники и оценщики знали, кто в какой группе, эффект лечения в среднем завышается. Для объективных исходов такого перекоса почти не было.

Представьте дегустацию, на которой судья видит этикетку раньше, чем пробует вино. Знание о том, что в бокале, легко смешивается с тем, что он чувствует. Поэтому на слепой дегустации этикетку закрывают. Это аналогия, а не обвинение: она не говорит, что судья нечестен, — только почему оценщику лучше не знать, что перед ним.

Источник не об эстетике, и дальше — рассуждение курса, а не вывод авторов. Оценка внешности по фото или по опроснику — это субъективный исход. Если её делает врач, который знает, где «до», а где «после», и заинтересован в результате, оценка рискует подстроиться под ожидания. Сильнее схема, где снимки оценивает независимый специалист, не знающий, какой из них «до».

Сколько времени наблюдали

Этот вопрос проще остальных: наблюдение за четыре недели не говорит о том, что будет через полгода — ни об эффекте, ни о позднем осложнении. Сравните срок наблюдения с тем, сколько, по обещанию клиники, должен держаться результат. Как короткое наблюдение может пропустить поздний риск, разобрано в Bite о том, что «нет данных» — ещё не «не работает».

Дизайн под вопрос

Не всякое исследование обязано быть рандомизированным. Пример — ретроспективное когортное исследование о частоте сосудистой окклюзии при введении филлеров. Оно построено на данных, которые 370 американских дерматологов сами внесли в формы о своей практике: 1,7 млн шприцев, без рандомизации. Такой дизайн позволяет оценить частоту редкого события на большой выборке. Но, по оценке курса, он не показывает, как часто событие замечают и сообщают о нём: проверки со стороны не было. Сами частоты из этого исследования — в Bite о том, что «редко» не значит «неважно».

Отсюда общий принцип: сначала спросите, на какой вопрос исследование отвечает, а потом — подходит ли для этого его дизайн.

Одно исследование и вся совокупность

Даже хорошее исследование — одно. Система GRADE оценивает качество, или достоверность, доказательств по совокупности исследований, а не по одной статье, в четырёх категориях: высокое, умеренное, низкое, очень низкое. Рандомизированные испытания начинают с высокой оценки, наблюдательные — с низкой. Оценку снижают риск систематической ошибки, неточность, несогласованность результатов, непрямой характер данных и публикационная предвзятость. Курс не присваивает процедурам уровни GRADE сам: это делает опубликованный обзор.

Как это выглядит в эстетике, видно по систематическому обзору полинуклеотидов. Он нашёл девять исследований низкого и умеренного качества, всего 219 пациентов, с разными зонами и техниками введения. Авторы пишут о «многообещающем потенциале», но и о том, что согласия об оптимальном применении мало и нужны строгие исследования высокого качества, чтобы подтвердить эффективность и безопасность. В том же реферате встречается и фраза о том, что полинуклеотиды «хорошо переносятся и эффективны». Обе фразы стоят рядом, но весят по-разному. Слова «хорошо переносятся и эффективны» — итоговая оценка, а оговорка о низком и умеренном качестве исследований говорит, насколько надёжны данные под ней. Для вашего решения важнее оговорка. Подробно о самом методе — в Bite о полинуклеотидах.

Разбор: какой вопрос важнее

Условный пример. Клиника рассказывает: «Аппарат проверили на 20 женщинах. Через месяц врач клиники сравнил фото и отметил улучшение у всех. Исследование оплатил производитель».

Здесь «красных флагов» несколько, и все пять вопросов уместны. Но сильнее всего доверие меняет один: с чем сравнивали? Контрольной группы нет, оценка субъективная, а оценщик знал, кто прошёл процедуру. Именно в таких условиях эффект в среднем завышается. Ответ «была группа с имитацией процедуры, а фото оценивали независимые специалисты, не знавшие, где какой снимок» изменил бы картину сильнее, чем ответ на вопрос о спонсоре. Вопросы о 20 участниках и одном месяце — следующие по весу: даже при хорошем сравнении это мало людей и короткий срок.

Если бы в примере была контрольная группа и ослепление, но платил производитель и никто результат не повторял, на первое место вышел бы вопрос о независимом повторении.

Что спросить у клиники

• На чём основано «клинически доказано» — можно ли узнать название исследования или публикации?
• Сколько человек участвовало и сколько времени за ними наблюдали?
• Было ли сравнение с контрольной группой или с имитацией процедуры, или только «до» и «после»?
• Кто оценивал результат — сами участники, врачи, знавшие о процедуре, или независимые оценщики?
• Кто финансировал исследование и есть ли независимые повторения?
• Это исследование того самого продукта или аппарата, который будут использовать у меня?

Вывод

За словами «клинически доказано» стоят пять вопросов, и плакат не отвечает ни на один. Из пяти вопросов выбирайте тот, на который в описании исследования нет ответа и который предлагает самое сильное объяснение результата помимо самой процедуры. Если сравнения не было, начинайте с него: без контрольной группы улучшение нельзя целиком приписать процедуре.