Гиппократ не играет в кости: Медицина, статистика и немного истории науки
Наши предки вышли из пещер, и им пришлось выживать в чрезвычайно агрессивной окружающей среде. У них не было мощных рогов или острых клыков — всему этому человек противопоставил развитое мышление.
Благодаря способности выстраивать логические конструкции человек стал супердоминатором биологического мира и создал цивилизацию. Неудивительно, что во времена зарождения научного познания вера в возможности человеческого мышления была безграничной. Считалось, что если хорошенько подумать, то можно понять природу абсолютно любого явления. Вспомните самые известные научные споры древних ученых: они ведь практически все вертятся вокруг идеальных концепций и образов, и почти никогда не касаются непосредственных фактов, начиная от критики апорий Зенона Аристотелем и заканчивая меметичным спором Фомы Аквинского и Альберта Великого (один утверждал, что у крота есть глаза, а другой говорил, что нет. Когда монастырский садовник предложил принести живого крота из сада и проверить наличие глаз, оба наотрез отказались, так как спорили об идеальном кроте).
Подобная «эпистемологическая гордыня», возможно, дала свои плоды в развитии математики или философии, но вот с естественными науками у древних сложилось откровенно не очень. Особенно печально обстояло дело с медициной. Про рецепты в духе «смешай смарагд толченый с навозом девственной козы, добавь каплю молодого пива и прими на третью ночь после полнолуния», я думаю, слышали все. К сожалению, более-менее эффективной медицина стала только в XIX.
Разумеется, в значительной степени это связано с общим уровнем развития науки. Все-таки сложно бороться с инфекционными болезнями, пока вы не знаете о существовании бактерий. А бактерий вы разглядите только при помощи микроскопа, а мощные линзы для микроскопа без базовых знаний оптики не сделаете, и так одно за другое цепляется.
Но я бы выделил и другую причину, не менее важную. Лишь к XIX веку сложились базовые принципы научного познания. В чем главная проблема медицины: человеческий организм он сука сложный, даже на современном уровне медицины мы про наше тело не знаем очень и очень многого. Когда мы пытаемся разработать новое лекарство или метод, то по большому счету работаем с черным ящиком. У нас есть какие-то идеи о том, как лекарство должно работать, мы его синтезируем и испытываем на группе пациентов, получаем некий результат, как-то его интерпретируем, и затем либо радуемся, либо идем просить денег на дальнейшие исследования.
С интерпретацией результатов тоже далеко не все так просто: нет ни одного лекарства, излечивающего 100% пациентов, так же как нет ни одной болезни, убивающей 100% больных. Так или иначе мы всегда имеем дело с соотношением величин. Хорошо, когда лечение увеличивает число выздоровевших в разы — это значит, что наше лекарство суперэффективное. Но ведь так бывает далеко не всегда.
Рассмотрим ситуацию: есть некое редкое заболевание с шансом летального исхода 30%. Мы испытали новый препарат на группе из 100 пациентов, из них умерло 25, летальность 25%. Как понять, вот эти дополнительные 5% выжили потому что препарат работает, или нам просто повезло подобрать пациентов, среди которых случайно оказался большой процент выздоровевших.
Ответить на этот вопрос поможет, разумеется, статистика. В этой заметке мы коснемся такого важного понятия как p-значения.
Концепция p-значения, основывается на идее так называемой нулевой гипотезы. По умолчанию считается, что между исследуемыми нами событиями нет взаимосвязи и каких-либо причинно-следственных связей. В контексте медицины это обычно означает, что тестируемый препарат или метод лечения не имеет положительного влияния на здоровье пациента. Задача исследователей опровергнуть нулевую гипотезу при помощи эксперимента. Полученные в ходе исследования результаты либо опровергают нулевую гипотезу, либо оставляют ее.
P-значение это вероятность наблюдать полученный в исследовании и более экстремальные результаты при условии, что нулевая гипотеза верна. В численном выражении p-значение всегда находится в диапазоне 0<p<1. Если полученное в вашем исследовании p-значение меньше 0,05, результат считается достоверным. В противном случае, шанс того, что ваш результат получен случайно слишком велик.
Проще говоря, если вы провели исследование, и оказалось, что ваш результат мог быть получен случайно с вероятностью больше чем 5%, то вы просто натянули сову на глобус и ваши выводы гроша ломаного не стоят.
А теперь немного мозголомный момент. Интуитивно кажется, что зная p-значение мы легко сможем найти вероятность нулевой гипотезы отняв от единицы p-значение . Так делать не нужно, это вообще не связанные величины. Если известно, что вы женщина, шанс того, что вы беременны в настоящий момент около 3 %. Если же известно, что вы беременны, шанс того, что вы женщина равен 100% (не считая небинарных персон, боевые вертолеты и.т.д. и т.п.), а не 97%. Это не самая тривиальная мысль, но если немного подумаете, то обязательно поймете, в чем тут дело. Я в вас верю.
Теперь поговорим о недостатках. Концепцию P-значения часто и во-многом справедливо критикуют за обилие ложноположительных результатов. В саму идею p-значения заложено, что мы готовы признать справедливым любой результат если он случаен с вероятностью не более 5%. Но вообще то говоря, даже самые невероятные совпадения в нашем мире случаются регулярно.
Представим такую ситуацию. Перед вами сидит некий человек, и утверждает, что он внучатый праправнук Ванги, и ему передался дар ясновидения. В подтверждение своих слов он достает из широких штанин d20 (двадцатигранную кость) и «предсказывает», что сейчас выпадет 13. Бросок, кость катится по столу и ложится гранью 13 вверх. Вероятность случайно угадать правильную грань составляет 1/20, то есть p-значение аккурат равно 0,05, нашего собеседника мы должны признать ясновидцем, что, очевидно, абсурд.
Этот пример, кстати, хорошо иллюстрирует другую проблему: общепринятый порог 0,05 слишком высок. При этом кардинально понизить значение порога (например до 0,005) мы тоже не можем – придется признать недостоверными результаты значительного числа старых исследований с 0,05>p>0,005, на такое никто не пойдет.
Разумеется, в короткой заметке получилось пройти по самым верхам сложной и обширной темы, но надеюсь, этот текст был для вас все-таки небесполезен.
