Нет данных — не значит «не работает»

Подруга прислала статью: «Качественных исследований по этому методу нет». Вывод она сделала сама: «Значит, развод». Косметолог на консультации сказал о том же методе противоположное: «Исследований мало, но он работает, просто ещё не доказали».

Оба вывода неверны, и по одной причине. Оба превращают «мы не знаем» в уверенное «знаем» — только в разные стороны. Этот Bite учит говорить о неполных данных так, как они того заслуживают.

Отсутствие доказательств — не доказательство отсутствия

Представьте, что вы ищете ключи в тёмной комнате с маленьким фонариком. Посветили в угол, ключей не увидели. Можно ли сказать, что их нет в комнате? Нельзя: луч мог просто не дотянуться. А если фонарик мощный и вы осмотрели всё? Тогда уверенности больше, но и это не абсолютное «нет». У аналогии есть предел: ключи либо есть, либо нет, а эффект процедуры бывает большим, маленьким или разным у разных людей. Поэтому в науке спрашивают не «есть ли эффект», а «какой он и насколько точно измерен».

Статистики Альтман и Бланд объясняют это на рандомизированных испытаниях. Если разница «статистически незначима», это не значит, что разницы нет. Многие испытания слишком малы, чтобы заметить даже реальную и клинически важную разницу, поэтому считать такие «отрицательные» испытания доказательством неэффективности неправильно. Вместо одного вывода «значимо / незначимо» они предлагают смотреть, насколько велика оценённая разница и с какой точностью она измерена. Особенно это важно, когда изучаемые риски малы.

Маленькое исследование — это маленький фонарик. Оно может не увидеть то, что есть.

Что значит «низкое качество доказательств»

В обзорах встречается фраза «доказательства низкого качества». Звучит как приговор, но означает другое. В системе GRADE качество доказательств — это степень уверенности, что оценка эффекта верна. Оценивается совокупность исследований, а не одно, по шкале от высокого качества до очень низкого.

Отсюда прямое следствие: «низкое качество доказательств» — это «мы плохо знаем», а не «мы знаем, что не работает». Курс не присваивает методам уровни GRADE сам: это делает опубликованный обзор.

Маленький плюс тоже не окончателен

Неопределённость работает в обе стороны. Если маленькое исследование не нашло эффекта, это не доказательство его отсутствия. Если маленькое исследование эффект нашло, это тоже не окончательный ответ.

Маленькие испытания в среднем дают более крупные оценки эффекта, чем большие, так что на большой выборке эффект может оказаться меньше; это средняя закономерность, а не приговор конкретному методу.

Вторая ловушка — самооценка: без контрольной группы улучшение, о котором сообщает сам человек, нельзя целиком приписать процедуре. Откуда берутся обе закономерности и какие ещё вопросы задать исследованию, разобрано в Bite о вопросах к исследованию.

Как звучит честная неопределённость

Посмотрите, как о неполных данных пишут сами авторы систематических обзоров: ни «работает», ни «не работает». Два примера.

Систематический обзор полинуклеотидов в эстетической медицине (девять исследований низкого и умеренного качества, 219 пациентов) говорит о «многообещающем потенциале» и о том, что для подтверждения эффективности и безопасности нужны строгие исследования высокого качества.

Систематический обзор 13 клинических исследований инъекционной гиалуроновой кислоты для качества кожи лица называет данные «многообещающими» и пишет, что нужны крупные рандомизированные исследования.

Обе формулировки — образец «предварительные данные, вывод не сделан». «Многообещающе» — это не «доказано» и не «бесполезно». Это «стоит изучать дальше». Ни один из этих обзоров не даёт права сказать о методе больше, чем сказали сами авторы.

Для себя полезно держать три полки. «Доказано» — когда есть несколько строгих исследований и обзор оценивает уверенность в эффекте высоко. «Предварительные данные» — когда исследования есть, но их мало, они маленькие или низкого качества. «Предположение» — когда есть только механизм, который звучит правдоподобно, или чей-то опыт. Это учебная схема курса, а не официальная шкала: у GRADE категорий четыре, и присваивает их обзор, а не читатель. Но она помогает не перекладывать метод с полки на полку из-за одного удачного слова в рекламе. «Многообещающе» лежит на средней полке, и переставить его на верхнюю могут только строгие исследования.

«Нет данных» бывает и о риске

Самая коварная версия ошибки — когда «не изучено» читают как «безопасно».

FDA пишет, что безопасность одобренных дермальных филлеров при многократном применении в течение долгого времени и в сочетании с нейромодуляторами («ботоксом») или другими процедурами в контролируемых клинических исследованиях не оценивалась. FDA не утверждает, что такие сочетания или повторы опасны. Но и безопасными их это не делает: неизученное — не то же самое, что безопасное.

Второй пример показывает, как короткое наблюдение может не увидеть позднего осложнения. Метаанализ о парадоксальной гиперплазии жировой ткани после криолиполиза собрал 28 исследований. Лишь в четырёх из них наблюдение длилось 16 недель и дольше. Частота осложнения оказалась, по оценке авторов, выше, чем в отчётах производителя; авторы считают, что оно может недооцениваться и недорегистрироваться, а уверенность в оценке частоты — низкая. FDA пишет, что описанные случаи этого осложнения развивались через два–пять месяцев после процедуры. Исследование, которое закончилось через месяц-другой, могло просто не успеть его заметить. Сами числа частоты — в Bite о том, что «редко» не значит «неважно».

Выберите формулировку

Таблица — тренажёр. Слева — условное описание того, какие данные есть о методе; оно не относится к конкретной процедуре.

Общий принцип: допустимая формулировка называет, чего не хватает, а недопустимая заполняет пробел уверенностью — в любую сторону.

Разбор: две фразы с консультации

Вернёмся к двум фразам из начала. Обе условные.

«Качественных исследований нет, значит, развод». Первая половина может быть правдой, вторая из неё не следует. Отсутствие качественных исследований говорит о том, насколько хорошо метод изучен, а не о том, работает ли он. Точная версия: «Эффект этого метода не установлен. Надёжных данных нет ни в пользу, ни против». Звучит скучнее, зато не обещает того, чего никто не знает.

«Исследований мало, но он работает, просто ещё не доказали». Здесь ошибка зеркальная. Слово «работает» — это и есть вывод, который должны были сделать исследования. Если их мало или они низкого качества, вывода нет. А если маленькие исследования показали улучшение, вспомните: на большой выборке эффект в среднем оказывается меньше. Честная версия: «Есть предварительные данные, но вывод не сделан».

Заметьте, что честные версии обеих фраз почти совпадают. Так и должно быть: описание одних и тех же неполных данных не зависит от того, хочет ли говорящий продать процедуру или отговорить от неё.

Что делать с неопределённостью

«Мы не знаем» — исходная точка для решения. Решение принимаете вы, и у него есть варианты.

• Спросить. Какие исследования есть, сколько в них людей, как долго наблюдали, была ли контрольная группа. Ссылка на «прекрасные отзывы» на эти вопросы не отвечает.
• Отложить. Если метод «многообещающий», можно подождать строгих исследований: это разумный выбор.
• Согласиться, понимая пробел. Можно решить, что риск неизвестности для вас приемлем. Но тогда это осознанный выбор, а не вера в «доказано».
• Отказаться. Особенно если пробел касается безопасности, а не только эффекта.

Ни один из вариантов не требует знать, работает ли метод на самом деле. Достаточно знать, чего именно не хватает в данных.

Что спросить у клиники

• Какие именно исследования есть по этому методу, и сколько в них участников и как долго длилось наблюдение?
• Что в них показано, а что пока неизвестно?
• Изучали ли, что бывает при повторных процедурах через годы и в сочетании с другими процедурами?
• Если данных мало, почему вы рекомендуете метод именно мне — и что будет, если я подожду?

Вывод

«Нет данных» — это не «не работает» и не «работает, но не доказано», а «мы не знаем». Честный ответ на неполные данные — назвать, чего именно не хватает, и решить, готовы ли вы платить за процедуру с таким пробелом или лучше подождать.