Module 0: The Reckoning
МОДУЛЬ 0: РАСЧЕТ

In the hour of crisis, speed saves lives.

But haste without wisdom takes them.

О вы, стремящиеся направлять целителей,

Вы были свидетелем того, что происходит, когда доказательства движутся слишком медленно?

А вы видели, что происходит, когда он движется слишком быстро?

January 2020

A novel coronavirus emerges in Wuhan.

Patients are dying. There is no treatment.
Мир требует ответов.

How long does a systematic review take?

Традиционный систематический обзор

12-24
Months to complete
6-12
Months until publication

Pandemic Timeline

7
Days to double cases
Now
Когда нужны ответы

Разве вы не видели, как отреагировал мир?

200,000+
COVID papers in 2020 alone
30,000+
Препринты без рецензирования
33+
Major retractions

Speed created a flood. Who would separate truth from noise?

Вопрос, который преследует нас

История двух мер реагирования на пандемию:

В марте 2020 года Франция одобрила гидроксихлорохин для лечения COVID-19 на основании одного небольшого ошибочного исследования. Миллионы людей принимали его до того, как более масштабные исследования не показали никакой пользы и возможного вреда для сердца. Между тем, британское исследование RECOVERY быстро, но тщательно проверило дексаметазон. В течение 3 месяцев они доказали, что это снижает смертность на одну треть в тяжелых случаях.

Обе страны столкнулись с одинаковой срочностью. Кто-то действовал на основании слабых доказательств, кто-то быстро получал веские доказательства.

Speed without rigor cost lives. Rapid rigor saved them.

В марте 2020 года вы являетесь министром здравоохранения. Небольшое исследование утверждает, что обычный препарат лечит COVID-19. Что вы делаете?

Path A: Немедленно одобрить гидроксихлорохин на основании этого многообещающего исследования.
→ Millions take an ineffective drug with cardiac risks; lupus patients lose access to their medication
Path B: Fund a rapid but rigorous trial (like RECOVERY) to generate definitive evidence
→ Within 3 months, prove dexamethasone works—saving over 1 million lives globally

Этот курс научит вас

К концу вы сможете:

  • Проведите экспресс-обзор за 40 часов, а не за 40 дней.
  • Know when "good enough" is actually good enough
  • Выявляйте мошенничество и предвзятость в быстро меняющихся доказательствах
  • Use decision trees for methodological trade-offs
  • Understand living systematic reviews
  • Учитесь на катастрофах, связанных с гидроксихлорохином и ивермектином

Вот пять принципов быстрого получения доказательств:

1. Speed without rigor is recklessness.

2. Rigor without speed is abandonment.

3. A flawed study in a meta-analysis poisons all.

4. Transparency reveals; concealment deceives.

5. Живые доказательства служат живым.

Катастрофа в Сургисфере

Повесть о призрачной базе данных:

В мае 2020 года The Lancet опубликовал исследование 96 000 пациентов из 671 больницы на шести континентах. Там показан гидроксихлорохин increased death rates. The WHO halted trials worldwide.

Но данные поступили из Surgisphere — компании с 11 сотрудниками, включая автора научной фантастики и модель контента для взрослых. Базы данных не существовало.

В течение 13 дней документ был отозван. Но судебные разбирательства уже были прекращены. Время было потеряно. Доверие было подорвано.
Source: Mehra MR et al. Lancet 2020 (RETRACTED). Retraction: Lancet 2020;395:1820.

How did two of medicine's most prestigious journals—

The Lancet и NEJM — публикуют сфабрикованные данные?

13
Days until retraction
0
Аудиторам предоставлен доступ к данным
100+
Trials affected

Speed pressure broke the gatekeepers.

Дерево решений: стоит ли доверять этому исследованию?

Схема принятия решений: могут ли независимые исследователи получить доступ к необработанным данным? Если ДА, проверьте, зарегистрирована ли предварительная регистрация на исследование. При предварительной регистрации, выше доверия – приступайте к стандартной оценке. Если предварительно не зарегистрировано, умеренное доверие – проверьте переключение результатов. Если НЕТ доступа к данным, низкое доверие - запрашивайте данные перед включением.

Module 0 Quiz

Scenario
Март 2020 года. В препринте утверждается, что обычный препарат излечивает COVID-19 у 100% пациентов. В исследовании приняли участие 36 пациентов, без контрольной группы, оно было опубликовано 2 дня назад. Директор вашей больницы спрашивает, следует ли вам запастись лекарством.

Что посоветовать?

Рассмотрите трех свидетелей 2020 года:

Dr. Anthony Fauci, March 2020
"Доказательства действительно совершенно очевидно... что наблюдается значительное снижение распространения вируса."
WHO Director-General, May 2020
"Мы временно приостановили применение гидроксихлорохина в рамках Испытания Солидарности."
Cochrane, December 2020
"Hydroxychloroquine probably has little or no effect on mortality and progression to mechanical ventilation."

Девять месяцев от надежды до вынесения вердикта. Сколько решений было принято между ними?

Отравление хлорохином

Nigeria, March 2020:

Через несколько дней после объявления о гидроксихлорохине нигерийцы начали заниматься самолечением хлорохином — родственным, но более токсичным препаратом.

Three deaths. Неоднократные госпитализации из-за передозировки. Государственный токсикологический центр Лагоса был перегружен.

In Arizona, a man died after drinking fish tank cleaner containing chloroquine phosphate. His wife survived but was hospitalized.

Premature evidence claims killed people who never had COVID-19.
Sources: Nigeria Centre for Disease Control, March 2020; Banner Health, Arizona, March 2020.

История талидомида:

В 1957 году талидомид продавался как безопасное успокаивающее средство для беременных женщин. Производитель поделился неполными данными о безопасности — исследования на животных были ограничены, испытания на людях — краткими. Врачи, доверяя репутации компании, широко прописывали его.

К 1961 году более 10 000 детей родились с тяжелыми пороками развития конечностей. В «карте» безопасности был фатальный пробел, который никто не раскрыл.

Неполные доказательства, представленные как полные, вызвали трагедию, которая навсегда изменила регулирование лекарственных средств.

Вы являетесь регулятором лекарственных средств в 1957 году. Фармацевтическая компания представляет на одобрение талидомид с ограниченными данными о безопасности. Что вы делаете?

Path A: Примите ограниченные данные по безопасности и быстро утвердите их — беременные женщины нуждаются в избавлении от утренней тошноты
→ Более 10 000 детей родились с тяжелыми врожденными дефектами; трагедия навсегда меняет регулирование лекарственных средств
Path B: Требуйте полных исследований безопасности, включая репродуктивную токсичность, прежде чем получить одобрение
→ Фрэнсис Келси из FDA пошла по этому пути ради США — американские дети были избавлены от трагедии

Decision Tree: When to Share Preliminary Findings

Схема принятия решений: Могут ли действия в соответствии с этим выводом нанести прямой вред? Если да, не делитесь — дождитесь подтверждения. Если нет, проверьте, не может ли НЕДЕЙСТВИЕ причинить больший вред. Если да, поделитесь с четкими предварительными оговорками. Если нет срочности, подождите, чтобы завершить анализ.

In the hour of crisis, speed saves lives.

Модуль 1: Компромисс

МОДУЛЬ 1: КОМпромис

Speed without rigor is recklessness.

Rigor without speed is abandonment.

Обдумывали ли вы, чем мы жертвуем ради скорости?

A systematic review is thorough because it is slow.
A rapid review is fast because it makes trade-offs.
Что это такое? компромиссы?

Систематический и быстрый: различия

Element Systematic Review Rapid Review
Databases searched 5-10+ 1-3
Grey literature Extensive Limited or none
Screening Dual independent Single + verification
Quality assessment Full tool Abbreviated
Timeline 12-24 months 1-6 weeks

Ответ Кокрейна

March 2020, Geneva
»В марте 2020 года группа по быстрым обзорам Cochrane Methods выпустила руководство о том, как проводить быстрый обзор, что значительно упростило их процессы для создания высококачественных обзоров.

The guardians of rigor themselves said: "We must move faster."

Decision Tree: When to Use Rapid Review

Is the decision urgent (lives at stake NOW)?
YES
Существующие данные скудны/противоречивы?
YES
RAPID REVIEW
40 hours
NO
UPDATE EXISTING
SR
NO
FULL SYSTEMATIC
Standard timeline

What risks do we accept?

Missing studies: Limited search may miss relevant evidence

Selection bias: Single screener may have systematic blind spots

Quality gaps: Abbreviated assessment may miss fatal flaws

Publication bias: Less grey literature means more bias

Эти риски должны быть явно указаны в каждом быстром обзоре.

И все же, учтите следующее:

История дня Д Погода:

4 июня 1944 года Эйзенхауэр столкнулся с невозможным решением. Его метеоролог, капитан группы Стэгг, не мог гарантировать хорошую погоду — только 80% уверенности в кратковременном прояснении 6 июня. Ожидание уверенности означало отсрочку вторжения на несколько недель, рискуя обнаружить.

Эйзенхауэр решил: «Хорошо, поехали». Прогноз в 80% оказался верным. Вторжение удалось.

Стэгг позже сказал, что точные прогнозы невозможны, но действенные прогнозы спасли войну. Иногда 80%-ная уверенность сегодня превосходит 95%-ную уверенность слишком поздно.

Вы — генерал Эйзенхауэр 4 июня 1944 года. Ваш метеоролог дает 80%-ную уверенность в кратком погодном окне 6 июня. Ожидание уверенности означает задержку на несколько недель и риск обнаружения сил вторжения.

Path A: Прежде чем начинать вторжение, дождитесь 95% уверенности
→ Delay of weeks; risk of German discovery; next favorable tide not until late June; potential failure of entire operation
Path B: Act on the 80% forecast—launch on June 6
→ Прогноз оказался верным; вторжение удалось; ход войны изменился. Действенные доказательства превосходят идеальные доказательства.

Повесть о двух метаанализах

Июль 2020 г.: Парадокс маски

Два метаанализа по одному и тому же вопросу: «Предотвращают ли маски COVID-19 передача?"

Первое объединило 14 обсервационных исследований: OR 0.35—masks reduce risk by 65%!
The second included only 3 RCTs: OR 0.91—no significant effect.

Same question. Same year. Opposite answers. Why?

Какие исследования вы включаете, определяет истину, которую вы найдете.

Observational Studies

65%
Risk reduction

Higher confounding risk

RCTs Only

9%
Risk reduction (NS)

Lower power, higher validity

В быстрых обзорах ваши критерии включения ЯВЛЯЮТСЯ вашим заключением.

Decision Tree: Observational vs. RCT Evidence

Схема принятия решений: доступны ли РКИ? Если да, проверьте, достаточно ли они велики. Если объем достаточно велик, для большей уверенности отдайте предпочтение РКИ. Если они недостаточно велики, укажите оба показателя и укажите неопределенность. Если рандомизированных контролируемых исследований нет, используйте наблюдательные, но снизьте степень достоверности.

Module 1 Quiz

Scenario
Вашему министерству нужны доказательства о приеме добавок витамина D для профилактики COVID-19 в течение 72 часов. Существует полный Кокрейновский обзор 2019 года по витамину D и респираторным инфекциям, но ничего конкретного по COVID-19.

What is the most appropriate approach?

История двух Города в 1918 году:

В сентябре 1918 года в Филадельфии и Сент-Луисе были обнаружены случаи гриппа. Комиссар по здравоохранению Филадельфии дождался дополнительных данных, прежде чем действовать. 28 сентября он разрешил массовый парад — 200 тысяч человек. Через несколько дней больницы были переполнены; За несколько недель умерло 12 000 человек.

Св. Людовик, обладая теми же неполными данными, немедленно закрыл школы и запретил собрания. Их смертность была вдвое ниже, чем в Филадельфии.

Тусклый свет ранних действий превзошел яркий свет, пришедший слишком поздно.

Вы являетесь комиссаром здравоохранения Филадельфии в сентябре 1918 года. Появляются случаи смертельного гриппа. На 28 сентября запланирован массовый парад Liberty Loan, который, как ожидается, посетят 200 000 человек. Что вы делаете?

Path A: Подождите дополнительных данных, прежде чем действовать — парад повысит моральный дух военных сил
→ 12,000 dead in Philadelphia within weeks; hospitals overflow; bodies pile in morgues
Path B: Act on incomplete data like St. Louis—cancel public gatherings immediately
→ St. Louis had half the death rate of Philadelphia; early action saved thousands of lives

Переворот в отношении тоцилизумаба

История о препарате, о котором судили слишком рано:

February 2021: Multiple small trials of tocilizumab (an IL-6 inhibitor) showed no benefit. Headlines declared it useless. Some hospitals stopped using it.

June 2021: RECOVERY trial reports 4,116 patients. Mortality reduced by 14%. WHO immediately recommends it.

Небольшие испытания были маломощный. Они не обнаружили «никаких доказательств эффекта», что не является «доказательством отсутствия эффекта». Крупное исследование выявило истину.
Source: RECOVERY Collaborative. Lancet 2021;397:1637-1645. REMAP-CAP confirmed similar results.

В чем разница между этими двумя утверждениями?

"No evidence of effect"

p = 0.08
200 patients, underpowered

Cannot rule out benefit

"Evidence of no effect"

p = 0.92
4,000 patients, adequate power

Confidently excludes benefit

Отсутствие доказательств не является доказательством отсутствия — если только ваше исследование не было достаточно большим, чтобы его обнаружить.

Схема принятия решений: достаточно ли большое исследование?

Схема принятия решений: Сообщалось ли в исследовании о расчете мощности? Если да, проверьте, достигли ли они целевого показателя набора. Если это достигнуто, исследование имеет достаточную мощность и отрицательным результатам можно доверять. Если этого не достигнуто, исследование будет недостаточным, и «отсутствие эффекта» может быть ложноотрицательным. Если данные о расчете мощности отсутствуют, предположите, что мощность недостаточна, и рассчитайте мощность апостериорно.

Реверс вентилятора

March 2020: "Intubate Early"
Initial guidance: patients with low oxygen should be intubated quickly to prevent deterioration.

April 2020: "Intubate Later"
Клиницисты заметили, что многие пациенты переносили низкий уровень кислорода («счастливая гипоксия»). Положение лежа на животе часто исключало необходимость вентиляции.

Result: Practice changed mid-pandemic based on real-world observation, not RCTs. Early intubation may have caused avoidable deaths.

When RCTs are impossible, observe carefully. Document systematically. Share transparently.

Speed without rigor is recklessness.

Rigor without speed is abandonment.

Модуль 2: Метод

МОДУЛЬ 2: МЕТОД

Сорок часов до истины — если вы знаете путь.

40-часовой быстрый темп Обзор

1
Define Question
2 hours
2
Search Strategy
4 hours
3
Screen & Select
12 hours
4
Extract & Assess
14 hours
5
Synthesize
8 hours

Шаг 1: Определите вопрос (2 часа)

The PICO Framework—Sharper Than Ever

Population: Adults hospitalized with COVID-19 (narrow!)

Intervention: Dexamethasone 6mg daily

Comparator: Standard care / placebo

Outcome: 28-day mortality (primary only)

В быстрых обзорах вопрос должен быть surgical. Broad questions create endless searches. Narrow questions enable speed.

Step 2: Search Strategy (4 hours)

DON'T: Systematic Search

MEDLINE + EMBASE + Cochrane + CINAHL + PsycINFO + Web of Science + grey literature + hand searching

Time: 40+ hours

DO: Focused Search

PubMed + Cochrane Library + one preprint server (medRxiv)

Time: 4 hours

Задокументировать то, что вы искали, И то, что вы намеренно исключили.

Важнейший ярлык:

Единый скрининг с проверкой.

1
Primary screener
20%
Verified by second reviewer
100%
Of exclusions verified

This saves 50% of screening time while catching most errors.

Decision Tree: Quality Assessment Shortcuts

Сколько исследований вы включите?
≤10
Full quality assessment
Use standard tool (RoB 2, ROBINS-I)
>10
Abbreviated assessment
Key domains only

Key domains: randomization, blinding, missing data, selective reporting

Заключительный этап: синтез

Warning: Meta-analysis in rapid reviews is dangerous territory.

Возможно, вы не выполняли всесторонний поиск. Возможно, вы пропустили учебу. Объединенная оценка на основе неполного поиска может создать ложную уверенность.

Предпочитайте повествовательный синтез. Если вам необходимо объединиться, громко заявите об ограничениях.

PRISMA-RR: ваш контрольный список отчетности

PRISMA for Rapid Reviews Extension (2024)

When reporting rapid reviews, you MUST include:

  • Shortcuts taken: Что было упрощенным по сравнению с полным SR?
  • Time constraints: Почему была необходима быстрая проверка?
  • Databases searched: И почему были необходимы другие исключено
  • Screener count: Single vs. dual screening
  • Date of search: Доказательства актуальны на [ДАТА]
  • Limitations section: What may have been missed
Source: Stevens A et al. PRISMA-RR Extension. J Clin Epidemiol 2024. DOI: 10.1016/j.jclinepi.2024.01.015

Сказка об отмене ремдесивира

November 2020: Two Giants Disagree

The FDA granted Emergency Use Authorization: "Remdesivir shortens recovery time."
The WHO recommended against it: "No mortality benefit, high cost."

Same drug. Same evidence base. Opposite conclusions.

Разница? FDA отдало приоритет суррогатным результатам (времени восстановления). ВОЗ отдает приоритет исходам, ориентированным на пациента (смертность).
Sources: FDA EUA Oct 2020; WHO Solidarity Trial Consortium, NEJM 2021.

Decision Tree: Choosing Outcomes in Rapid Reviews

Схема принятия решений: можно ли измерить трудный результат? Если да, используйте жесткие результаты для максимальной уверенности. Если нет, проверьте, проверен ли суррогат. Если суррогатный метод проверен, используйте его с осторожностью и обратите внимание на косвенность. Если суррогатный вариант не проверен, большая неопределенность - укажите явно.

Module 2 Quiz

Scenario
Вы проводите быструю проверку нового антивирусного препарата. Вы найдете 47 потенциально релевантных тезисов. Ваш график: всего 40 часов, 12 часов отведено на проверку.

What screening approach is appropriate?

Module 2 Quiz (2)

В соответствии с PRISMA-RR, что НЕ требуется в отчете о быстрой проверке?

Позиционирование на животе Открытие

Сказка о простом решении:

На протяжении десятилетий пациенты отделения интенсивной терапии с дыхательной недостаточностью лежали на спине. В случае с COVID-19 врачи заметили нечто примечательное.

Turning patients onto their stomachs—proning—dramatically improved oxygen levels. No drug required. No cost. Available everywhere.

Meta-analysis of 6 RCTs: Mortality reduced by 25% in severe ARDS patients.

Иногда прорыв — это не молекула. Иногда это позиция.
Source: Munshi L et al. Lancet Respir Med 2017;5:627-38. COVID-19 proning: Ehrmann S et al. Lancet Respir Med 2021.

История ошибки Excel:

В 2010 году экономисты из Гарварда Рейнхарт и Рогофф опубликовали влиятельное исследование: страны с долгом выше 90% ВВП имели отрицательный рост. Правительства во всем мире ссылались на это, чтобы оправдать политику жесткой экономии.

Three years later, a graduate student found their Excel spreadsheet excluded five countries due to a coding error. When corrected, the 90% threshold disappeared.

Одна непроверенная ошибка в электронной таблице повлияла на политику, затронувшую миллионы людей. Исследователи, которые проверяют, так же важны, как и те, кто рассчитывает.

Вы аспирант, рецензирующий знаменитую статью Рейнхарта-Рогоффа, которую правительства используют для оправдания мер жесткой экономии. Вы удосуживаетесь проверить таблицу профессоров Гарварда?

Path A: Поверьте известным экономистам — они не допустят элементарных ошибок
→ Ошибка Excel остается незамеченной еще 3 года; политика жесткой экономии, основанная на ошибочных данных, затрагивает миллионы
Path B: Запросите исходные данные и проверьте каждый расчет самостоятельно
→ Томас Херндон сделал именно это — нашел ошибку, исправил научные данные, изменил политические дебаты

Decision Tree: Narrative vs. Meta-Analysis

Схема принятия решений: Являются ли включенные исследования клинически однородными? Если да, проверьте, все ли вы искали. При комплексном поиске уместен метаанализ. При быстром поиске проведите метаанализ, но четко укажите ограничения. Если исследования неоднородны, используйте повествовательный синтез - не объединяйте яблоки и апельсины.

Сорок часов до истины — если вы знаете путь.

Модуль 3: Катастрофа

МОДУЛЬ 3: КАТАСТРОФА (Гидроксихлорохин)

A flawed study in a meta-analysis poisons all.

Разве вы не слышали историю о Марсель?

О газете, которая изменила мир – а не должна была изменить?

17 марта 2020 г.: Статья

Gautret et al. — International Journal of Antimicrobial Agents

Claim: Hydroxychloroquine + azithromycin clears COVID-19 virus in 100% of patients

Submitted: March 16, 2020

Accepted: March 17, 2020

Peer review time: ONE DAY

Главный редактор был коллегой из того же института, что и авторы.

Какие были недостатки?

36
Total patients
6
Исключены из анализа
1
Died (excluded)
3
To ICU (excluded)

Пациентов, которым стало хуже, просто исключили из анализа анализ.

And yet, consider what followed:

March 19: Президент Трамп пишет в Твиттере о гидроксихлорохине как о «одном из крупнейших перемен в истории медицины».

March 28: FDA issues Emergency Use Authorization.

April 2020: Countries worldwide stockpile the drug. India bans exports.

Result: Пациенты с волчанкой и ревматоидным артритом, которым для жизни необходим гидроксихлорохин, не могут получить свои лекарства.

Семь смертоносных Недостатки

1. Non-randomized, open-label design

2. Convenience control group from different hospitals

3. Пациенты, у которых ухудшилось состояние, исключены из анализа

4. Different PCR thresholds for treatment vs. control

5. Ethics approval granted AFTER trial started

6. Children included despite exclusion criteria

7. One-day peer review by conflicted editor

Расплата: декабрь 2023 г.

International Journal of Antimicrobial Agents
»После почти четырех лет и постоянного давления со стороны научного сообщества журнал официально отозвал исследование Готре, сославшись на обеспокоенность по поводу этики, методологии и данных. целостность."

It remains the most-cited COVID-19 paper to be retracted.
Ущерб был нанесен за несколько дней. Исправление заняло годы.

Decision Tree: Red Flags in Rapid Evidence

Is the result too good to be true?
YES
STOP
Verify before sharing
NO
Экспертная оценка < 1 недели?
CAUTION
Check author/editor affiliations

Коллапс плазмы выздоравливающих

Сказка о спешке FDA:

Август 2020 г.: FDA выдает разрешение на экстренное использование для плазмы выздоравливающих, что указывает на снижение смертности на 35%.

Данные получены из нерандомизированного исследования 35 000 пациентов. Нет контрольной группы. Только исторические сравнения.

К февралю 2021 года семь РКИ не выявили снижения смертности. EUA был пересмотрен. Уже было введено более 500 000 доз.
Sources: FDA EUA Aug 2020; Janiaud P et al. JAMA 2021;325:1185-1195.

Consider the social media amplification:

3.1M
Twitter engagements on Gautret paper (first week)
15,000
News articles citing it
83
Engagements on retraction notice

Дезинформация распространяется быстрее, чем исправления. Это асимметрия, с которой вы боретесь.

Прививка: защита перед бункеровкой

What if you could vaccinate minds against misinformation?

Prebunking > Debunking: Warn people about manipulation tactics before they encounter false claims.

The technique: "Вы можете услышать утверждения о том, что небольшое исследование доказывает эффективность X. Вот почему небольшие исследования часто вводят в заблуждение..."

The evidence: Inoculation reduces susceptibility to misinformation by 20-30% (van der Linden et al., 2020).

Inoculation Messaging: Practical Templates

Three Prebunking Approaches

1. Logic-Based: "Если кто-то заявляет о 100% эффективности, спросите: была ли контрольная группа? Исследование без сравнения ничего не доказывает."

2. Source-Based: "Остерегайтесь исследований, опубликованных в Интернете до экспертной оценки — они еще не проверены независимыми экспертами."

3. Emotional-Based: "Заявления о чудесном исцелении эксплуатируют наши надежды. Реальные методы лечения демонстрируют скромные преимущества с честными ограничениями."

Используйте эти шаблоны в коммуникациях в области общественного здравоохранения, обучении врачей и в прессе. релизы.

Decision Tree: Evaluating Preprint Claims

Схема принятия решений: Было ли исследование рецензировано? Если да, проверьте, не заняло ли рассмотрение более 2 недель. Если достаточно времени на проверку, используйте стандартную оценку. При быстром просмотре проверьте наличие конфликтов между автором и редактором. Если только препринт, рассматривайте его как предварительный и никогда не ссылайтесь как на окончательный.

Module 3 Quiz

Scenario
Исследование показывает 100%-ный уровень излечения от заболевания. В нем участвуют 36 пациентов, оно было принято к публикации в течение 1 дня, а 6 пациентов, состояние которых ухудшилось, были исключены из анализа.

Сколько тревожных сигналов имеет это исследование?

Module 3 Quiz (2)

Исследование гидроксихлорохина Готре получило 3,1 миллиона откликов в Твиттере. Получено уведомление об отзыве 83. Это иллюстрирует:

A flawed study in a meta-analysis poisons all.

Модуль 4: Мошенничество

МОДУЛЬ 4: МОШЕННИЧЕСТВО (Ивермектин)

Beware the meta-analysis built on sand.

Вы были свидетелем как мошенничество распространяется через доказательства?

How one lie becomes the foundation of many truths?

Феномен ивермектина

2020-2021: Во всем мире появляется множество исследований, утверждающих, что ивермектин — противопаразитарный препарат — лечит COVID-19. Мета-анализ суммирует результаты: снижение смертности на 51%!

Governments in Latin America, Africa, and India distribute millions of doses. Patients demand prescriptions. Some take veterinary formulations.

Но что-то в данных было глубоко неправильным.

Исследование Эльгаззара: анатомия мошенничества

Egypt, 2020: The Largest Ivermectin Trial

Dr. Ahmed Elgazzar posted a preprint claiming ivermectin reduced COVID-19 mortality by 90%.

Он был включен в многочисленные метаанализы и способствовал 12.6% общей оценки влияния на смертность.

Тогда аспирант приступил к проверке данных.

What did they find?

79
Данные пациентов дублируются
4+
Deaths before trial started
~50%
Text plagiarized

July 15, 2021: Исследование было прекращено по «этическим соображениям».

Каскадный эффект

Studies Included Survival Benefit Significance
All 12 studies 51% reduction Significant
Without Elgazzar 38% reduction Borderline
Без исследований с высокой предвзятостью 10% reduction Not significant
Только исследования с низкой предвзятостью 4% reduction Not significant

Одно мошенническое исследование изменило вывод с «отсутствия эффекта» на «чудесное исцеление».

И Nature Medicine предупредила:

Nature Medicine, October 2021
«Плохо изученная доказательная база поддержала применение миллионов доз потенциально неэффективного препарата во всем мире, но когда эти доказательства были подвергнуты элементарному количественному анализу, они рухнули в считанные недели».

Мета-анализы, основанные только на сводных данных, по своей сути ненадежны.

Decision Tree: Detecting Problematic Studies

Можете ли вы получить доступ к необработанным данным?
YES
Do baseline characteristics make sense?
Действуйте осторожно
NO
HIGH RISK
Запустите анализ чувствительности без него

Урок ивермектина:

Always run your meta-analysis twice:
Один раз со всей учебой. Однажды без самых влиятельных.

Если одно исследование изменит ваш вывод, ваш вывод будет хрупким.

Сказка о Джеке Лоуренсе

The Graduate Student Who Changed Everything:

Jack Lawrence was a master's student in London. He knew no Arabic. But he could spot duplicate rows in a spreadsheet.

Он загрузил приложение с данными Эльгаззара. Строка 148 была идентична строке 11. Строка 228 соответствовала строке 79. 79 patients appeared twice.

Он опубликовал свои выводы в Твиттере. Через несколько дней серверы препринтов отозвали статью. Мета-анализы были пересмотрены. Политика изменилась.

Один студент с базовыми навыками работы с данными сделал то, что не удалось сделать экспертной оценке.

Decision Tree: Fraud Detection Checklist

Схема принятия решений: не являются ли базовые характеристики слишком идеально сбалансированными? Если да, красный флаг потенциальной фальсификации. Если нет, проверьте, предшествуют ли даты проведения мероприятия регистрации. Смерть до начала суда невозможна и указывает на фальсификацию. Если даты действительны, приступайте к проверке других сигналов мошенничества.

Module 4 Quiz

Scenario
Вы проводите метаанализ. Одно исследование дает 40% совокупного эффекта. Без него результат меняется от значимого (р=0,02) к незначимому (р=0,31).

Что вам следует делать?

Module 4 Quiz (2)

Исследование ивермектина Elgazzar было признано сфальсифицированным, потому что:

Испытание «ВМЕСТЕ» Разочарование

Рассказ о большом испытании, положившем конец надежде:

После того, как небольшие испытания показали, что флувоксамин (антидепрессант) может предотвратить тяжелую форму COVID-19, мир ждал окончательного ответа.

The TOGETHER trial enrolled 1,497 patients in Brazil. Initial interim: 32% reduction in hospitalization!

Окончательные результаты: только 5,1% пациентов, принимавших плацебо, были госпитализированы по сравнению с 4,0% пациентов, принимавших флувоксамин. Эффект оказался меньшим, чем ожидалось, а абсолютная польза была крошечной.

Small absolute differences require enormous trials to detect. Most promising treatments fade when tested properly.
Source: Reis G et al. Lancet Glob Health 2022. TOGETHER trial platform.

История силового позирования:

В 2010 году исследователи заявили, что «силовые позы» (стоя как Супермен) повышают уровень тестостерона и склонность к риску. Исследование стало вирусным: выступления TED, книги по бизнесу, миллионы верующих. Многочисленные исследования, казалось, повторяли это.

Затем более крупные, предварительно зарегистрированные репликации потерпели неудачу. Первоначальный соавтор публично отказался от выводов. Многие небольшие, гибкие исследования нашли то, что они хотели найти.

Слабые доказательства, умноженные, казались сильными, пока тщательное воспроизведение не выявило, что это был шум.

Вы — редактор журнала, получающий большое, предварительно зарегистрированное исследование, которое не смогло воспроизвести эффект популярного позирования власти. Оригинальное исследование имеет миллионы верующих и знаменитое выступление на TED.

Path A: Отклонить репликацию, поскольку она противоречит общепринятому мнению.
→ False belief persists; millions continue to be misled; science fails to self-correct
Path B: Опубликуйте неудачную репликацию — позвольте доказательствам говорить
→ Наука исправляется сама; первоначальный соавтор публично отрицает это открытие; истина важнее популярности

Decision Tree: Reading a Forest Plot

Дерево решений: пересекает ли объединенная оценка доверительный интервал линию отсутствия эффекта? Если да, результат не является статистически значимым. Если нет, проверьте неоднородность. Если I-квадрат меньше 50%, эффект соответствует более высокой достоверности. Если I-квадрат высок, существует неоднородность, и истинный эффект варьируется в зависимости от исследования - выясните, почему.

Beware the meta-analysis built on sand.

Модуль 5: Триумф

МОДУЛЬ 5: ТРИУМФ (Испытание ВОССТАНОВЛЕНИЯ)

From protocol to saving lives: 100 days.

Теперь послушайте историю о том, как это должно быть сделано.

Of how speed and rigor found harmony.

Испытание RECOVERY

March 2020, United Kingdom:

По мере распространения хаоса с гидроксихлорохином британские исследователи начали крупнейшее в мире исследование лечения COVID-19. Он был разработан, чтобы быть быстрым И строгим.

Within 6 weeks of funding, patients were being enrolled.

How did they achieve speed without sacrificing quality?

176
Hospitals enrolled
11,500
Patients (dexamethasone arm)
100
Дни: протокол к результатам

An adaptive platform trial: multiple treatments tested simultaneously.

16 июня 2020 г.: Объявление

Dexamethasone Results

Ventilated patients: 29% mortality reduction (NNT = 8)

Oxygen therapy: 20% mortality reduction (NNT = 25)

No oxygen needed: No benefit (possible harm)

Cost per treatment: ~$6 for a common steroid.

И мир отреагировал — правильно это время.

1
Results announced
June 16
2
UK practice changed
Same day
3
NIH guidelines updated
Within days
4
WHO recommendation
September

1,000,000

Lives saved globally by March 2021

22 000 только в Великобритании. Из препарата стоимостью 6 долларов, который был доступен в течение 60 лет.
Разница заключалась в строгих доказательствах, быстро полученных.

What Made RECOVERY Different?

1. Randomized controlled design (not observational)

2. Предварительно определенные результаты и план анализа

3. Massive scale (statistical power)

4. Adaptive platform (dropped arms early if no signal)

5. Simplified enrollment (one-page consent in emergency)

6. Независимый комитет по мониторингу данных

Урок ВОССТАНОВЛЕНИЕ:

Speed does not require cutting corners. It requires cutting waste.

Simplified consent forms. Adaptive designs. Platform trials that test multiple treatments at once.

Строгость и скорость не враги. Это партнеры, ожидающие, чтобы их представили.

Контраст SOLIDARITY

Небольшие исследования в сочетании

Chaos
Множественные противоречивые результаты

Gautret: 36 patients
Elgazzar: ~400 patients (fraud)

RECOVERY/SOLIDARITY

Clarity
Definitive answers

RECOVERY: 11,500 patients
SOLIDARITY: 11,330 patients

Испытания на платформе заменяют шум многих небольших исследований сигналом одного большого один.

Схема принятия решений: стоит ли ждать большого судебного разбирательства?

Схема решений: Проводится ли крупное испытание платформы? Если да, проверьте, будут ли результаты доступны вовремя. Если результаты появятся в ближайшее время, ждите доказательств более высокого качества. Если вы не приедете вовремя, проведите быстрый обзор сейчас и обновите отчеты об испытаниях. Если крупных исследований не существует, приступайте к быстрому обзору наилучших имеющихся доказательств.

Module 5 Quiz

В исследовании RECOVERY приняли участие 11 500 пациентов в группе дексаметазона. По какой основной причине это стало возможным?

Module 5 Quiz (2)

Дексаметазон от COVID-19 спас примерно 1 миллион жизней во всем мире. Стоимость одного курса лечения составила:

Source: RECOVERY Collaborative Group. N Engl J Med 2021;384:693-704. Lives saved estimate: Horby & Landray, Science 2021.

Отказ от азитромицина

Сказка о лекарстве, добавленном ко всему:

Исследование Готре сочетало гидроксихлорохин с азитромицин. Внезапно азитромицин оказался повсюду — его добавили в протоколы лечения по всему миру.

Но азитромицин никогда не тестировался отдельно. Комбинация так и не была доказана. А азитромицин вызывает сердечные аритмии.

July 2020: RECOVERY randomizes 7,763 patients. Result: No benefit. Median hospital stay identical. Mortality identical.

Месяцы воздействия сердечного риска без нулевой пользы — потому что оригинальное исследование никогда не подвергалось сомнению.
Source: RECOVERY Collaborative. Lancet 2021;397:605-612. Azithromycin arm.

История Такомы-Нарроуз:

В 1940 году Такома-Нарроуз-Бридж был построен быстро и дешево. Инженеры пропустили испытания в аэродинамической трубе, чтобы сэкономить время. Через четыре месяца после открытия умеренный ветер заставил мост раскачиваться. Он сильно изогнулся и рухнул — это заснято на пленку, которую до сих пор изучают студенты-инженеры.

Близлежащий старый мост, построенный медленно и в результате обширных испытаний, все еще стоит. Третий урок пришел позже: в современных мостах используется быстрое вычислительное тестирование — быстрые методы, не пропускающие проверку.

Speed without testing destroys. Testing without speed delays. Rapid testing saves.

Вы инженер, проектирующий мост через пролив Такома в 1940 году. Бюджет ограничен, а сроки жесткие. Испытания в аэродинамической трубе добавят недели и затраты. Что вы делаете?

Path A: Пропустите испытания в аэродинамической трубе, чтобы сэкономить время и деньги — на бумаге конструкция выглядит надежно
→ Bridge collapses 4 months after opening; "Galloping Gertie" becomes a cautionary tale studied by every engineering student
Path B: Insist on proper wind tunnel testing despite the delay
→ Близлежащий старый мост, построенный с помощью надлежащих испытаний, стоит до сих пор. В современных мостах используется быстрое вычислительное тестирование — быстрое И проверенное.

Decision Tree: Evaluating Platform Trial Arms

Схема принятия решений: Остановил ли это Совет по мониторингу безопасности данных пробная рука раньше времени? Если прекращено из-за бесполезности, лечение не принесет пользы и его не следует применять. Если прекращено из-за причинения вреда, лечение опасно и противопоказано. Если прекратить лечение на ранней стадии из-за явной пользы, лечение будет эффективным, и рекомендации следует обновить.

From protocol to saving lives: 100 days.

Модуль 6: Жизнь

МОДУЛЬ 6: СИСТЕМАТИЧЕСКИЕ ОБЗОРЫ ЖИЗНИ

Живые доказательства служат живым.

Рассматривали ли вы доказательства того, что никогда не перестает расти?

Обзоры, которые дышат самой эпидемией?

Живой систематический обзор

A traditional review is a photograph: frozen in time.

Живой обзор – это видео: постоянно обновляется по мере появления новых фактов.

In a pandemic, the photograph is obsolete before it's printed.

Живой обзор ПАОЗ: случай Исследование

Pan American Health Organization, April 2020 - Present

Launched: April 2020

Interventions assessed: 305 treatments

RCTs included: 924 randomized controlled trials

Updates: 48 updates published

Sources monitored: 40+ databases including preprint servers

When should a review become "living"?

1. The topic is a priority for decision-making

2. Появляются новые данные rapidly

3. Current certainty is low

4. Вероятно, появятся новые доказательства change conclusions

If all four are true, a living approach is warranted.

The Challenge: Keeping Reviews Alive

97
Living SRs on COVID-19
35%
Updated at least once
65%
Never updated (dormant)
"Живой" обзор, который никогда не обновляется, хуже традиционного обзора. Это создает ложную уверенность в актуальности доказательств.

Decision Tree: When to Update a Living Review

New RCT(s) identified since last update?
YES
Likely to change conclusions or certainty?
YES
UPDATE NOW
NO
Queue for next scheduled update
NO
No update needed
Note: "No new evidence" is still information

Сказка о динамике молнупиравира

Опасность промежуточного анализа:

October 2021: Merck announces interim results—50% reduction in hospitalization!
Stock prices soar. Countries pre-order millions of courses. Headlines celebrate.

November 2021: Final results published—30% reduction. Still significant, but...
Декабрь 2021 г.: обновленный анализ показывает, что госпитализировано только 6,8% участников контрольной группы, а не 14,1%.

Знаменатель изменился. Магия исчезла. Уроки: промежуточный ≠ окончательный.
Source: Jayk Bernal A et al. N Engl J Med 2022;386:509-520. MOVe-OUT trial.

А потом появился Паксловид—

Molnupiravir

30%
Reduction (final)

Low-risk patients
Mutagenic concerns

Paxlovid

89%
Reduction (consistent)

High-risk patients
Drug interactions

Живые обзоры должны отличать промежуточные от окончательных, предварительные от подтвержденных.

Decision Tree: Retiring a Living Review

Схема принятия решений: Стабилизировались ли доказательства без каких-либо новых исследований в течение 6 месяцев? Если да, проверьте, является ли сейчас уровень уверенности умеренным или высоким. Если уверенность достаточна, перейдите к статической проверке с окончательной датой. Если уверенность все еще низка, продолжайте жить и следить за новыми доказательствами. Если доказательства еще не стабилизировались, продолжайте активный обзор живых данных.

Module 6 Quiz

Исследование показало, что 65% «живых» систематических обзоров по COVID-19 никогда не обновлялись. Это проблематично, потому что:

Source: Stable et al. J Clin Epidemiol 2022;142:66-73. Survey of 97 COVID-19 living SRs.

Module 6 Quiz (2)

Scenario
Вы управляете живым обзором противовирусных методов лечения. За последние 8 месяцев не было опубликовано ни одного нового РКИ, а уверенность GRADE в отношении основного исхода является «умеренной».

Что вам следует делать?

Бамланивимаб Вывод

Сказка о моноклональном препарате, который перестал работать:

Ноябрь 2020 г.: FDA выдает EUA для бамланивимаба, моноклонального антитела. Ранние данные показали многообещающие результаты.

March 2021: EUA revoked. Why? Variant escape. Вирус мутировал. Антитело больше не связывалось.

Живой обзор, отслеживающий моноклональные антитела, отметил бы это через несколько недель. На смену статического руководства ушли месяцы.

Во время пандемии враг развивается. Ваши доказательства должны развиваться быстрее.
Source: FDA revocation of bamlanivimab EUA, April 2021. Variant surveillance: CDC SARS-CoV-2 Variants.

История эпиднадзора за гриппом:

CDC контролирует грипп посредством дозорного эпиднадзора. Ранние системы проверяли больницы еженедельно — слишком медленно, чтобы уловить всплески. Постоянный мониторинг в режиме реального времени заваливал аналитиков шумом.

Решение: надзор на основе пороговых значений. Отслеживайте непрерывно, но вызывайте оповещения только тогда, когда число случаев превышает сезонные базовые показатели. Этот подход «живого обзора» выявил H1N1 в 2009 году за несколько недель до традиционных методов.

Сторож, следящий за порогами, превосходит и годового инспектора, и измученного часового контролера.

Вы разрабатываете систему наблюдения за заболеваниями. Как часто вам следует просматривать доказательства и инициировать оповещения?

Path A: Ежегодно проверяйте эффективность — всесторонние ежегодные проверки являются тщательными.
→ Пропустить всплеск; H1N1 распространяется за несколько недель до обнаружения; задержка реагирования стоит жизней
Path B: Внедрение мониторинга на основе пороговых значений — непрерывное отслеживание с оповещениями при превышении базовых показателей.
→ Выявите H1N1 за несколько недель до традиционных методов; раннее предупреждение обеспечивает более быстрое реагирование; подход «живой обзор» спасает жизни

Дерево решений: достаточно ли значимо это новое исследование, чтобы вызвать обновление?

Схема принятия решений: Изменит ли добавление этого исследования рейтинг уверенности? Если да, немедленно обновите информацию, поскольку изменения определенности влияют на руководящие принципы. Если нет, проверьте, не меняет ли это направление оценки точки. Если направление изменится, обновите как можно скорее, потому что это важный вывод. Если направление не изменилось, поставьте в очередь следующее пакетное обновление.

Живые доказательства служат живым.

Модуль 7: Качество

МОДУЛЬ 7: КАЧЕСТВО В БЫСТРЫХ ПРОВЕРКАХ

Transparency reveals; concealment deceives.

Как вы оцениваете быстрый обзор?

When time prevents perfection, what is "good enough"?

GRADE in 40 Hours: Is It Possible?

Full GRADE Assessment

Risk of bias + Inconsistency + Indirectness + Imprecision + Publication bias

Time: 8-16 hours per outcome

Rapid GRADE

Risk of bias + Imprecision + Major concerns only

Time: 2-4 hours per outcome

Focus on the domains most likely to affect certainty.

The Non-Negotiables

1. Document everything: Что вы искали, что исключили, почему

2. State limitations explicitly: Не утопающий в тексте — спереди и по центру

3. Отличить быстрые от систематических: Never pretend comprehensiveness

4. Date-stamp everything: Доказательства актуальны на [ДАТА]

5. Планируйте обновления: Быстрая проверка – не последнее слово

История климатической неопределенности:

IPCC climate reports could claim certainty to seem authoritative. Instead, they explicitly quantify uncertainty: "likely (66-100%)", "very likely (90-100%)", "virtually certain (99-100%)".

Когда в докладе за 2021 год говорилось, что потепление является «однозначным», а время разрушения ледникового покрова — «низкой степенью достоверности», политики точно знали, кому доверять карте — и где могут скрываться драконы.

Эта прозрачность повысила, а не уменьшила доверие к отчетам и их влияние на политику.

Вы пишете климатический доклад МГЭИК. Стоит ли вам утверждать, что уверенность кажется более авторитетной, или признавать неопределенность там, где она существует?

Path A: Заявляйте об уверенности в достоверности: из-за хеджирования отчет покажется слабым.
→ Lose trust when predictions vary; critics seize on any uncertainty as proof the science is unreliable; credibility undermined
Path B: Quantify uncertainty explicitly—"likely," "very likely," "virtually certain"
→ Политики точно знают, кому доверять фактам; прозрачность повышает доверие и влияние политики; наука считается честной

How to READ a Rapid Review (Consumer Guide)

Five Questions to Ask Before Trusting

  1. Когда был произведен обыск? — If >3 months old in a fast-moving field, it's outdated
  2. В каких базах данных производился поиск? — PubMed alone may miss 30% of relevant studies
  3. Был ли скрининг одинарным или двойным? — Single screening may miss 5-10% of relevant studies
  4. Ограничения указаны явно? — Hidden limitations = hidden agendas
  5. Есть ли план обновлений? — Rapid reviews should be living or have update triggers

Совместное принятие решений в условиях неопределенности

Как сказать пациенту, что доказательства... неопределенны?

1. Назовите неопределенность: "We have some evidence, but it's early/limited/conflicting."

2. Quantify when possible: «Исследования показывают, что 20-40% могут выиграть, но мы не уверены».

3. Explain what we're watching: "A larger trial reports next month."

4. Offer structured choice: «Учитывая эту неопределенность, мы можем попробовать или подождать. Что для вас важнее всего?»

Сценарий разговора

Clinician to Patient:

«Я изучил последние доказательства. Вот что мы знаем: это лечение may помощь — некоторые исследования показывают улучшение на 30%. Но исследования небольшие, и некоторые из них не показали никакой пользы.

«Я хочу быть с вами честным. Если мы подождем 2 месяца, у нас будут более точные данные из более масштабного исследования. Но я также понимаю, что вы сейчас страдаете.

«Что могло бы помочь вам принять это решение? Хотели бы вы попробовать это сейчас, зная неопределенность, или предпочитаете дождаться более веских доказательств?»

Совместное принятие решений не подразумевает наличие ответов на все вопросы. Речь идет о том, чтобы поделиться тем, что мы don't know honestly.

Network Meta-Analysis: A Word of Caution

What It Promises: Сравниваем методы лечения, которые никогда не сравнивались напрямую в исследованиях (A против B, B против C → делаем вывод A против C).

What Can Go Wrong:
• Transitivity violation: Populations in A-vs-B trials differ from B-vs-C trials
• Inconsistency: Прямые и косвенные данные противоречат
• Sparse networks: Single-study connections carry entire inference

In Rapid Reviews: Network meta-analysis typically requires more time and expertise than available. When used, state transitivity assumptions explicitly. When skipped, explain why indirect comparisons weren't attempted.
Cochrane Training: Network Meta-analysis. Cipriani et al., BMJ 2013.

Схема принятия решений: стоит ли доверять этому быстрому методу Обзор?

Схема принятия решений: В обзоре явно указано, что это быстрый обзор? Если да, проверьте, четко ли указаны дата поиска и базы данных. Если указано, обзор можно использовать с указанными оговорками. Если не указано иное, будьте осторожны, поскольку валюта не может быть оценена. Если в обзоре не указано, что он быстрый, не верьте ему, поскольку он претендует на полноту.

Сказка об заблуждении относительно витамина D

Correlation Posing as Causation:

Dozens of observational studies showed: low vitamin D → worse COVID outcomes.
Метаанализ этих исследований показал: «Снижение смертности на 40% при приеме добавок!»

Then came the RCTs. One after another: no benefit. No benefit. No benefit.

Наблюдатели обнаружили корреляцию. Больные люди остаются дома → низкий уровень витамина D И худшие результаты. Солнце было помехой, а не лекарством.
Источник: Кокрановский обзор витамина D для лечения COVID-19, 2023 г. 11 РКИ, 3968 участников. Никаких льгот по смертности.

Module 7 Quiz

A rapid review should ALWAYS include:

Module 7 Quiz (2)

Scenario
Коллега делится «систематическим обзором», утверждающим, что добавка снижает смертность от COVID-19 на 40%. В обзоре не упоминается дата поиска, указана только одна база данных, в которой осуществлялся поиск, и не обсуждаются ограничения.

Какой вывод вы должны сделать?

Module 7 Quiz (3)

Обсервационные исследования витамина D показали снижение смертности на 40%. РКИ не выявили никакой пользы. Это несоответствие лучше всего объясняется следующим:

Module 7 Quiz (4)

Inoculation messaging (prebunking) is effective because it:

Module 7 Quiz (5)

Scenario
Пациент спрашивает о лечении, которое он видел в социальных сетях. Ваш быстрый обзор показывает, что ранние данные неопределенны (3 небольших исследования, противоречивые результаты). Как вам следует это обсудить?

Лучший подход:

Трагедия в доме престарелых

Декабрь 2020 г.: Дебаты о приоритетах

Поступили вакцины. Кто должен получить их первым? Доказательства были очевидны: у жителей домов престарелых была самая высокая смертность.

Но некоторые выступали за основных работников. Другие для медицинского персонала. Дебаты отложили внедрение.

Result: 60,000+ US nursing home deaths occurred after вакцины были доступны, но before rollout completed.

Rapid evidence synthesis on prioritization could have saved weeks. Weeks meant thousands of lives.
Источник: данные Центра по контролю и профилактике заболеваний (CDC) о COVID-19 из дома престарелых. Анализ: Институт государственной политики AARP, 2021.

История Challenger:

27 января 1986 года инженеры сообщили НАСА, что уплотнительные кольца Challenger могут выйти из строя в холодную погоду. Но у них были неполные данные — лишь некоторые записи о холодных запусках, неоднозначные схемы отказов. Менеджер Ларри Маллой попросил доказательства опасности; инженеры могли лишь проявить неуверенность.

Маллой запустился. Уплотнительные кольца вышли из строя через 73 секунды. Более поздний анализ показал, что данные ясно предсказывали неудачу, но только тогда, когда аналитики знали, что искать.

Частичные доказательства, отвергнутые как недостаточные, содержали предупреждение, которое могло бы спасти семь жизней.

Вы — инженер НАСА, 27 января 1986 года. У вас есть неполные данные, позволяющие предположить, что уплотнительные кольца могут выйти из строя в холодную погоду. Запуск запланирован на завтра в условиях мороза. Ваш руководитель требует доказательств опасности.

Path A: Признайте, что вы не можете доказать опасность с неполными данными — разрешите запуск продолжить
→ через 73 секунды после запуска «Челленджер» взрывается; погибают 7 космонавтов; более поздний анализ показывает, что данные ДЕЙСТВИТЕЛЬНО предсказывали сбой
Path B: Настаивайте на задержке, несмотря на неполные данные — бремя доказательства должно лежать на безопасности, а не на опасности
→ Спасите 7 жизней; принцип «докажи, что это безопасно» важнее «докажи, что это опасно», когда ставки необратимы

Decision Tree: Assessing Funding Source Bias

Схема принятия решений: финансируется ли исследование стороной, имеющей финансовую заинтересованность? Если да, проверьте, была ли пробная версия зарегистрирована заранее. При предварительной регистрации умеренное беспокойство, поскольку переключение результатов ограничено. Если не зарегистрировано предварительно, вызывает большую обеспокоенность в связи с возможным выборочным информированием. При независимом финансировании уменьшите беспокойство, но все же оцените риск предвзятости.

Парадокс препринта

Пабалка о двух концах:

December 2020: Данные об эффективности вакцины Pfizer появились на medRxiv до публикации. Через несколько часов регуляторы начали проверку. Мир мог планировать.

January 2021: A preprint claimed vaccines caused deaths in nursing homes. It was methodologically flawed. It went viral. Vaccine hesitancy increased.

Та же платформа. Разные результаты. Препринты ускоряют как правду, так и ложь. Бремя суждения лежит на читателе.

Decision Tree: When Is a Preprint Acceptable to Cite?

Схема принятия решений: это быстро развивающаяся чрезвычайная ситуация? Если это срочно, проверьте, не принадлежит ли оно известной, заслуживающей доверия исследовательской группе. Если группа заслуживающая доверия, цитируйте ее с четкими оговорками в препринте. Если группа неизвестна, не цитируйте и дождитесь проверки. Если ситуация не является срочной, дождитесь рецензируемой публикации.

Regional Adaptation: MENA Context

Наращивание потенциала в странах Персидского залива и на Ближнем Востоке:

Во время COVID-19 страны Совета сотрудничества стран Персидского залива (ССАГПЗ) столкнулись с критическим пробелом: ограниченные местные возможности для быстрой проверки означали необходимость полагаться на западные данные, которые иногда упускали из виду региональные факторы — пост Рамадан, домохозяйства, состоящие из нескольких поколений, соотношение медицинских работников и различное население. демография.

Урок: адаптируйте 40-часовой протокол к своему контексту. Арабские условия поиска в региональных базах данных. Вопросы местной реализации. Региональные тематические исследования для обучения.

Key Adaptations:

• Include regional databases (IMEMR, EMBASE Arabic)

• Consider local healthcare infrastructure capacity

• Adapt communication for local stakeholders

Transparency reveals; concealment deceives.

Final Assessment

МОДУЛЬ 8: ОКОНЧАТЕЛЬНАЯ ОЦЕНКА

Вы прошли через кризис и правду.

Пять принципов

1. Speed without rigor is recklessness.

2. Rigor without speed is abandonment.

3. A flawed study in a meta-analysis poisons all.

4. Transparency reveals; concealment deceives.

5. Живые доказательства служат живым.

Final Quiz (1/5)

Исследование гидроксихлорохина Гаутре было отозвано главным образом потому, что:

Final Quiz (2/5)

Когда мошенническое исследование ивермектина Elgazzar было удалено, снижение смертности:

Final Quiz (3/5)

В исследовании RECOVERY результаты были достигнуты примерно через:

Final Quiz (4/5)

Of 97 "living" systematic reviews on COVID-19, what percentage were never updated?

Final Quiz (5/5)

В быстром обзоре самым важным требованием к качеству является:

Вы завершили путешествие.

Идите вперед и синтезируйте с мудростью.

Запомните уроки 2020 года:
Speed without truth killed. Truth without speed abandoned.
Баланс – это искусство.