Соглашение о доказательствах: написание статьи о метаанализе

=================== МОДУЛЬ 1: СКРЫТЫЕ ДАННЫЕ ===================

Разве ты не слышал об испытаниях, которые были сокрыты,
данные, которые были похоронены,
документы, которые рассказали только половина правды?

Скандал с Тамифлю

COCHRANE COLLABORATION, 2009-2014

Governments stockpiled $9 billion worth of Tamiflu to fight pandemic flu.

Но когда исследователи Кокрейна попытались проверить преимущества препарата, они обнаружили, что 60% of trial data had never been published.

После 5-летней битвы они получили скрытые данные. Вывод изменился: Tamiflu shortened symptoms by less than a day и не предотвратило осложнений.

9 миллиардов долларов потрачено на доказательства, которые так и не были раскрыты полностью.

Jefferson T et al. Cochrane Database Syst Rev. 2014;4:CD008965

Why We Write Meta-Analyses

Цель синтеза

Individual Studies

↓

Problem?

Small samplesLow power

Conflicting resultsWhich to believe?

Publication biasMissing negatives

↓

Meta-AnalysisSystematic synthesis

↓

More precise estimate + Bias detection

Кампания прозрачности Тамифлю

2009-2014 | COCHRANE COLLABORATION vs. ROCHE

For years, governments worldwide stockpiled Tamiflu (oseltamivir) at a cost of billions of dollars, на основании заявлений производителя о том, что он предотвращает осложнения гриппа и госпитализации.

Когда рецензенты Кокрейна запросили полные данные испытаний для проверки этих утверждений, Рош отказывалась на протяжении 5 лет.со ссылкой на «конфиденциальность». Компания провела 10 клинических испытаний, но только 2 были полностью опубликованы.

После неослабевающего давления в 2014 году наконец-то были опубликованы отчеты о клинических исследованиях. Картина резко изменилась: Тамифлю сократил симптомы менее чем на день и не продемонстрировал никаких доказательств предотвращения госпитализаций или серьезных осложнений.

THE LESSON

Метаанализ хорош настолько, насколько хороши данные, к которым он может получить доступ. Скрытые испытания могут заставить неэффективные методы лечения выглядеть эффективными и стоить миллиарды долларов из-за нерационально потраченных ресурсов.

«И компания знала,
и регулирующие органы знали,
но в опубликованных статьях не говорилось:
и миллиарды были потрачены на полуправду».

Вот почему мы пишем метаанализы — чтобы найти всю правду.

=================== МОДУЛЬ 2: ЗАВЕТ (ПРИЗМА) ===================

Если вы хотите, чтобы ваша работа была trusted,
вы должны заключить завет со своими читателями.

У этого завета есть имя:
PRISMA.

PRISMA 2020

Предпочтительные элементы отчетности для систематических обзоров и метаанализов

Checklist items

2020

Updated version

50K+

Citations

THE COVENANT

ПРИЗМА — это не бюрократия. Это обещайте своим читателям что вы выполнили работу прозрачно и полностью.

Семь разделов

Title

Identify as systematic review, meta-analysis, or both

Abstract

Структурированное резюме всего обзора

Introduction

Обоснование и цели использования PICO

Methods

Protocol, search, selection, data, bias, synthesis

Results

Flow diagram, characteristics, risk of bias, synthesis results

Discussion

Summary, limitations, interpretation, implications

Other

Registration, funding, conflicts of interest

ПРИЗМА Революция

2009-PRESENT | TRANSFORMING SYSTEMATIC REVIEW REPORTING

До появления PRISMA (2009) отчетность по систематическим обзорам была хаотичной. В некоторых обзорах вообще не сообщалось о стратегиях поиска. Другие упустили риск предвзятости в оценках. Многие не смогли объяснить, почему исследования были исключены. Readers couldn't judge quality—they had to trust blindly.

Контрольный список PRISMA из 27 пунктов изменил все. От авторов требовалось документировать каждый шаг: полную стратегию поиска, критерии отбора, методы извлечения и решения по синтезу.

Today, более 10 000 журналов поддерживают PRISMA. То, что когда-то было исключительной прозрачностью, стало ожидаемым стандартом.

THE LESSON

Простой контрольный список преобразил всю область. Прозрачная отчетность превратилась из исключения в норму, что является доказательством того, что стандарты имеют значение.

«ПРИЗМА — это договор между автором и читателем:
Я покажу тебе все —
how I searched, what I found, what I excluded, why.
Так что вы можете судить о моей работе и доверять — или подвергать сомнению — моим выводам».

=================== МОДУЛЬ 3: ПРОТОКОЛ ===================

Вы не видели рецензента?
кто изменил результат после просмотра данных,
кто передвинул стойки ворот до результатов looked right?

Отозванный метаанализ

MULTIPLE JOURNALS, 2010-2023

Исследователи обнаружили, что many retracted meta-analyses had no pre-registered protocol.

Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• Добавьте или удалите исследования, чтобы изменить вывод.

Протокол ваш pre-commitment device— это не дает вам обмануть себя.

Defined outcome switching: PROSPERO registration prevents bias

Protocol Registration Decision Tree

Где зарегистрировать ваш протокол

Новый систематический обзор

↓

Type of Review?

Health/Medical

PROSPEROprospero.york.ac.uk

Any Field

OSFosf.io/registries

Cochrane

Cochrane LibraryIntegrated protocol

↓

Registration ID in PaperCite in Methods

What the Protocol Must Contain

Essential Protocol Elements

1. Вопрос исследования (формат PICO)

2. Eligibility criteria (inclusion/exclusion)

3. Information sources and search strategy

4. Процесс выбора исследования

5. Элементы извлечения данных

6. Инструмент оценки риска предвзятости

7. Первичные и вторичные результаты

8. Методы синтеза (план метаанализа)

9. Анализ подгрупп и чувствительности

«Напишите протокол до того, как увидите данные.
Lock it in a public registry.
Then follow it—or explain why you deviated.
Так вы докажете, что не жульничали».

=================== МОДУЛЬ 4: НАЗВАНИЕ ==================

Название — это первое обещание, которое вы даете.

Оно должно сказать читателю:
Что вы изучали, как вы это изучали и что это за учеба.

Анатомия названия

PRISMA Title Requirements

Title Must Include

↓

PopulationКого изучали

InterventionЧто было сделано

OutcomeЧто было измерено

↓

+ «Систематический обзор» или «Метаанализ»

Good vs. Bad Titles

❌ BAD TITLE

«Обзор лечения диабета»

Problems: No population specified, no intervention, no outcome, doesn't say systematic review

✓ GOOD TITLE

«Эффективность ингибиторов SGLT2 на сердечно-сосудистую смертность у взрослых с диабетом 2 типа: систематический обзор и метаанализ»

Популяция, вмешательство, исход и тип исследования — все ясно.

«Название — ваше первое слово читателю.
Сделайте его завершенным. Сделайте это честно.
Tell them exactly what they will find within."

=================== МОДУЛЬ 5: АННОТАЦИЯ ===================

Most readers will only read your abstract.

If the abstract lies, or omits, or misleads—
most readers will never know.

Проблема спина

BOUTRON ET AL., 2010

Researchers analyzed 72 RCTs with non-significant primary outcomes.

Они обнаружили, что 40% of abstracts contained "spin"- отчетность, сосредоточенная на вторичных результатах, подгруппах или внутригрупповых изменениях, чтобы результаты выглядели более благоприятными, чем они были на самом деле.

Аннотация рассказала другую историю, чем данные.

Boutron I et al. JAMA. 2010;303:2058-2064

Structured Abstract Elements

PRISMA Abstract Checklist

□ Предыстория и цели

□ Eligibility criteria

□ Information sources

□ Risk of bias assessment

□ Synthesis methods

□ Результаты (количество исследований, количество участников, оценка эффекта с помощью CI)

□ Limitations

□ Выводы и последствия

□ Registration number

Что происходит, когда аннотация рассказывает историю, отличную от самой статьи?

REAL DATA

Питкин и др. (1999, BMJ) изучили структурированные рефераты в шести крупных журналах и обнаружили, что 18-68% рефератов содержали данные, не соответствующие полной статье. Недостатки варьировались от числовых ошибок до выводов, не подтвержденных опубликованными результатами.

Вводящее в заблуждение резюме: Питкин, 1999 г.

Ваш метаанализ выявил незначимый первичный исход (ОР 0,92, 95% ДИ 0,78–1,09). Как написать реферат?

ПУТЬ А: Раскрутить абстракцию

Emphasize a significant secondary outcome and use language like "trend toward benefit"

↓

У читателей, которые видят только абстракцию, формируется обманчиво положительное впечатление от лечения.

OUTCOME: Misleading clinical decisions

PATH B: Report Faithfully

Четко сформулируйте незначительный первичный результат и отметьте вторичные результаты как исследовательские.

↓

Читатели получают точное резюме; кому нужны подробности, читайте статью полностью

РЕЗУЛЬТАТ: целостность доказательств сохранена.

THE REVELATION

Большинство читателей никогда не выходят за рамки абстрактного. Если аннотация вводит в заблуждение, честность всей статьи не сможет компенсировать ущерб.

«Не крутись. Не прячься.
Если первичный результат был нулевым, так и скажите.
The abstract must be a faithful mirror—
не лестный портрет».

=================== МОДУЛЬ 6: ВОПРОС (ПИКО) ===================

A vague question yields vague answers.

Прежде чем искать, прежде чем писать...
ты должен знать точно что ты ищешь.

Структура PICO

Структурирование исследовательского вопроса

Research Question

↓

PPopulation

Who?

IIntervention

What treatment?

CComparator

Vs. what?

OOutcome

What measured?

PICO Example

Преобразование неясного вопроса

Vague: "Does exercise help depression?"

PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)

Теперь вы точно знаете, что искать.

«Точно сформулируйте свой вопрос.
Кто пациенты? Каково лечение?
Что такое компаратор? Что вы будете измерять?
PICO — это карта перед путешествием».

=================== МОДУЛЬ 7: ПОИСК ===================

Вы не слышали о метаанализе?
that searched only one database,
пропустил половину доказательств,
и нарисовал wrong conclusion?

The Search Strategy Decision Tree

Where to Search

Comprehensive Search

↓

Minimum Databases

MEDLINEPubMed

EmbaseEuropean focus

CENTRALCochrane trials

↓

Plus Additional Sources

Trial registriesClinicalTrials.gov

Grey literatureTheses, reports

Reference listsBackward citation

Документирование поиска

WHAT TO REPORT

• Full search strategy for at least one database (appendix)
• Date of search для каждой базы данных
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• Контакты с авторами для неопубликованных данных

ТЕСТ НА ВОСПРОИЗВОДИМОСТЬ

Another researcher should be able to точно повторить ваш поиск и найти такое же количество записей.

The Cochrane Search Strategy Discovery

2003 | КОКРАНОВСКИЙ ОБЗОР МЕТОДОЛОГИИ

Cochrane researchers asked a simple question: What would happen if systematic reviewers only searched MEDLINE?

Ответ был тревожным. Они бы пропустили 30% включенных исследований— включая те, которые полностью изменили выводы метаанализа.

One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. Недостающие исследования представляли собой небольшие исследования с отрицательными результатами, проиндексированные в специализированных базах данных, таких как EMBASE и PsycINFO.

THE LESSON

Поиск по одной базе данных может систематически пропускать отрицательные испытания. Исследования, которых нет в MEDLINE, могут оказаться теми самыми исследованиями, которые изменят ваш вывод.

"Search wide. Search deep.
Document every database, every date, every term.
Доказательства, которые вы упускаете, могут оказаться самыми важными».

=================== МОДУЛЬ 8: ВЫБОР ===================

Из тысяч записей вам придется выбирать.

But choose by what rule?
А кто будет проверять ваш выбор?

Блок-схема ПРИЗМЫ

PRISMA 2020 Flow Diagram

IDENTIFICATION

n = 3,847

Записи из баз данных

↓

Duplicates removed (n = 892)

SCREENING

n = 2,955

Titles/abstracts screened

↓

Excluded (n = 2,680)

ELIGIBILITY

n = 275

Full-text assessed

↓

Исключено по причинам (n = 247)

INCLUDED

n = 28

Studies in synthesis

Selection Process Decision Tree

Who Selects? How?

Study Selection

↓

Two independent reviewersGold standard

↓

Disagreement?

ConsensusDiscussion

Third reviewerArbiter

One reviewer onlyAcknowledge limitation

REPORT AGREEMENT

Посчитайте и сообщите inter-rater agreement (kappa statistic). Low agreement suggests unclear criteria.

Может ли апостериорный анализ подгрупп одного исследования изменить всю область науки на десятилетие?

REAL DATA

Инициатива по женскому здоровью (WHI, 2002) обнаружила, что ЗГТ increased cardiovascular risk overall. But post-hoc subgroup analysis suggested women aged <60 или в течение 10 лет после менопаузы может принести пользу, в то время как пожилым женщинам будет нанесен вред. Эта «гипотеза времени» вызвала годы дискуссий и дальнейших исследований.

The HRT Timing Hypothesis: WHI 2002

Ваш метаанализ ЗГТ в целом показывает вред, но исследовательская подгруппа предполагает пользу у более молодых женщин. Как ты это пишешь?

ПУТЬ А: переоценить подгруппу

Озаглавьте результат по возрастной подгруппе так, как если бы это был основной результат.

↓

Клиницисты назначают ЗГТ на основе исследовательской подгруппы с недостаточной мощностью; открытие может не повториться

OUTCOME: Premature clinical change

PATH B: Report Honestly

Present overall result as primary; label subgroup as exploratory and pre-specified or post-hoc

↓

Readers understand the hypothesis needs confirmation; future trials can be designed to test it

OUTCOME: Responsible hypothesis generation

THE REVELATION

Анализ подгрупп генерирует гипотезы, а не выводы. Всегда обозначайте их как исследовательские и сначала сообщайте об общем результате.

"Every exclusion must have a reason.
Every reason must be documented.
Two pairs of eyes are better than one—
ибо то, что один упускает, другой может уловить».

==================== МОДУЛЬ 9: РИСК ПРЕДУСМОТРЕННОСТИ ===================

Вы не видели метаанализ?
который объединил хорошие исследования с плохими,
и назвал средним truth?

Опасность игнорирования предвзятости

АНТИДЕПРЕССАНТНЫЙ СКАНДАЛ

Turner et al. (2008) obtained FDA data on 74 antidepressant trials.

In the published literature: 94% испытаний были положительными.

In the FDA database: только 51% были положительными.

Опубликованные метаанализы объединили выборочно представленные данные. Размер эффекта был inflated by 32%.

Turner EH et al. N Engl J Med. 2008;358:252-260

Инструменты оценки риска предвзятости

Какой инструмент использовать?

Study Design

↓

RCTs

RoB 2Cochrane tool

Non-randomized

ROBINS-IInterventions

DTA studies

QUADAS-2Diagnostic

Observational

NOSNewcastle-Ottawa

RoB 2 Domains

Cochrane Risk of Bias 2.0 for RCTs

D1 Randomization process

D2 Отклонения от запланированных вмешательств

D3 Отсутствуют данные о результатах

D4 Измерение результата

D5 Выбор сообщаемого результата

JUDGMENT OPTIONS

Each domain: Low risk / Some concerns / High risk

«Метаанализ предвзятых исследований
yields a biased conclusion—
с более узким доверительным интервалом.
Вы сделали ложь более точной».

==================== МОДУЛЬ 10: ИЗВЛЕЧЕНИЕ ДАННЫХ ===================

Из каждого исследования вы должны извлечь цифры.

Извлеките ошибку, и весь ваш анализ
is built on sand.

Форма извлечения данных

Основные элементы данных

1 Study identifiers (author, year, country)

2 Дизайн и обстановка исследования

3 Participant characteristics (n, age, sex, severity)

4 Intervention details (dose, duration, delivery)

5 Comparator details

6 Определения и измерение результатов

7 Results (means, SDs, events, sample sizes)

8 Follow-up duration and loss to follow-up

9 Funding source and conflicts of interest

Extraction Decision Tree

Обработка недостающих данных

Данные не сообщаются

↓

What to Do?

First

Contact authorsЭлектронная почта для данных

If no response

Calculate/imputeDocument method

If impossible

Exclude from MAInclude in narrative

Ошибка извлечения данных росиглитазона

2007 | NEW ENGLAND JOURNAL OF MEDICINE

Nissen and Wolski's 2007 meta-analysis of rosiglitazone (Avandia) found a 43% increased risk of heart attack. Это открытие вызвало предупреждения FDA и привело к прекращению выдачи рецептов во всем мире.

But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports. Небольшие различия в способах подсчета событий, полученные из разных источников, существенно изменили результаты.

Метаанализ оказался влиятельным и во многом правильным, но разногласия выявили, насколько small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.

THE LESSON

Всегда извлекайте информацию из первоисточников. Документируйте каждый выбор. Небольшое расхождение в полученных цифрах может изменить решения регулирующих органов и состояние рынка.

"Extract in duplicate. Check each number.
One digit wrong can change the conclusion.
Форма извлечения – это ваша бухгалтерская книга.
keep it meticulous, keep it true."

=================== МОДУЛЬ 11: МЕРЫ ВОЗДЕЙСТВИЯ ===================

Размер эффекта — это сердце вашего метаанализа.

Выбери неправильную меру,
и ваша объединенная оценка будет meaningless.

Effect Measure Decision Tree

Choosing the Right Effect Size

Outcome Type

↓

Binary

RR, OR, RDEvents/no events

Continuous

Same scale?

YesMD (mean diff)

NoSMD (Hedge's g)

Time-to-event

HRHazard ratio

Common Effect Measures

Risk Ratio
Multiplicative

Odds Ratio
Case-control

Mean Diff
Same units

SMD

Std Mean Diff
Different scales

THE PRINCIPLE

Мера эффекта должна быть сопоставимо в разных исследованиях. If studies used different scales, standardize.

Can a trial that transforms global practice still have serious limitations?

REAL DATA

Исследование RECOVERY (2020 г.) продемонстрировало, что дексаметазон снижает 28-дневную смертность у госпитализированных пациентов с COVID-19, нуждающихся в кислороде: RR 0.83, 95% CI 0.75-0.93. Тем не менее, исследование было открытым (не слепым), проводилось преимущественно в больницах Великобритании, а контрольная группа получала обычную помощь (которая варьировалась).

Испытание RECOVERY: 2020 г.

Ваш метаанализ включает ВОССТАНОВЛЕНИЕ в качестве доминирующего исследования. Как вы справляетесь с ограничениями этого знакового исследования?

PATH A: Minimize Limitations

Преуменьшение значения открытого дизайна и географической концентрации; сосредоточить внимание на поразительном преимуществе смертности

↓

Readers cannot judge generalizability to other settings; potential detection bias is obscured

РЕЗУЛЬТАТ: Неполная оценка доказательств

PATH B: Honest Limitations

Признайте открытый дизайн и географические ограничения, четко указав при этом снижение смертности.

↓

Читатели понимают как силу открытия, так и моменты, в которых сохраняется неопределенность.

OUTCOME: Trustworthy, balanced reporting

THE REVELATION

Даже новаторские испытания имеют ограничения. Признание этих фактов не умаляет результатов; он укрепляет доверие читателей и направляет будущие исследования.

«Выберите меру, которая соответствует данным.
Отношения риска для частых исходов, отношения шансов для редких.
Standardize when scales differ.
Неправильная мера объединяет яблоки с апельсинами».

=================== МОДУЛЬ 12: СИНТЕЗ ===================

Вы не видели лесной участок
where studies pointed in opposite directions,
yet the diamond declared a single truth?

Fixed vs. Random Effects

Which Model to Use?

Meta-Analysis Model

↓

Предположение об истинном эффекте?

One true effect

Fixed EffectВсе исследования оценивают одинаковое значение θ

↓

Rarely appropriateОчень похожие исследования

Effects vary

Random EffectsDistribution of θᵢ

↓

Usually preferredMore conservative

Когда НЕ объединяться в пул

Do Not Meta-Analyze If...

✗ Исследования слишком разнородны (клинические или методологические).

✗ Результаты определяются по-разному

✗ Популяции принципиально разные

✗ Risk of bias is too high across studies

✗ Publication bias is severe

THE WISDOM

Sometimes the most honest conclusion is: «Эти исследования не следует объединять».

Что происходит, когда методологическая критика Кокрейновского обзора перерастает в организационный кризис?

REAL DATA

В 2018 году Питер Гётше и его коллеги опубликовали критику Кокрейновского обзора вакцины против ВПЧ, утверждая, что из него были исключены ключевые исследования и использованы неподходящие критерии включения. Кокрейновский обзор включал 26 исследований с участием более 73 000 женщин. Спор перерос в кризис управления, кульминацией которого стало исключение Гётше из совета директоров Кокрейна.

Кокрейновский спор о ВПЧ: 2018 г.

Вы получаете методологическую критику опубликованного вами синтеза, в которой утверждается, что вам следовало включить в него дополнительные исследования. Как вы ответите?

ПУТЬ А: Отклонить критику

Защищайте оригинальный подход, не затрагивая при этом конкретные поднятые методологические моменты.

↓

Общественное доверие подрывается; спор становится личным, а не научным; доказательная база не улучшена

OUTCOME: Polarization and lost credibility

PATH B: Engage Transparently

Провести анализ чувствительности с учетом предложенных исследований; опубликовать прозрачный ответ, показывающий, меняются ли выводы

↓

Доказательства усилены; методологический дискурс продвигает эту область; доверие поддерживается

OUTCOME: Science self-corrects publicly

THE REVELATION

Методологическая критика – это то, как наука совершенствуется. Ответ с использованием данных, а не оборонительной позиции, укрепляет как обзор, так и поле деятельности.

«Не объединяйтесь ради объединения.
Метаанализ несовместимых исследований
это не синтез — это путаница.
Know when to say: these cannot be combined."

Когда исследования расходятся во мнениях,
само разногласие data.

Do not hide it. Explain it.

Heterogeneity Measures

Cochran's Q
Significance test

I²

Inconsistency
% variation

τ²

Tau-squared
Between-study var

Prediction interval
Future studies

Investigating Heterogeneity

When I² > 50%

High Heterogeneity

↓

Investigation Methods

Subgroup analysisPre-specified

Meta-regressionIf ≥10 studies

Sensitivity analysisExclude outliers

↓

Report unexplained heterogeneityLimitation

What if a meta-analysis of small positive trials is overturned by a single mega-trial?

REAL DATA

К началу 1990-х годов несколько небольших исследований показали, что внутривенное введение магния снижает смертность после острого инфаркта миокарда. Мета-анализ (Teo et al., 1991) объединил эти данные и обнаружил значительное преимущество: OR 0.44, 95% CI 0.27-0.71. Затем ИГИЛ-4 (1995), мега-испытание с 58,050 patients, не нашел никакой пользы вообще. Эффекты небольших исследований и неоднородность были проигнорированы.

Споры о магнии: 1991–1995 гг.

Ваш метаанализ небольших исследований показывает высокую гетерогенность (I² выше 50%), но объединенная оценка значительна. Как вы это представляете?

ПУТЬ А: Похоронить неоднородность

Report the significant pooled estimate prominently; mention I² only in passing

↓

Клиницисты принимают лечение; будущее крупное исследование может противоречить метаанализу, подрывая доверие к методу

OUTCOME: Premature guideline changes

PATH B: Investigate Transparently

Подчеркнуть неоднородность; исследовать источники (размер исследования, качество); обратите внимание, что эффекты небольшого исследования могут привести к завышению оценки

↓

Читатели понимают неопределенность; Рекомендации требуют проведения окончательного крупного исследования, прежде чем менять практику.

OUTCOME: Evidence-appropriate caution

THE REVELATION

Неоднородность — это предупреждающий сигнал, а не сноска. Эффекты небольших исследований могут привести к ложно обнадеживающей совокупной оценке, которую может опровергнуть одно крупное исследование.

"I-squared is not just a number to report.
Возникает вопрос: почему эти исследования расходятся во мнениях?
Investigate. Explain. Or acknowledge ignorance."

==================== МОДУЛЬ 14: ПРЕДМЕТНОСТЬ ПУБЛИКАЦИИ ===================

Разве вы не слышали о ящике для документов,
куда идут отрицательные исследования die,
leaving only the positive survivors
to tell a distorted story?

Катастрофа Виокса

MERCK, 2004

Vioxx (rofecoxib) was a blockbuster painkiller earning $2.5 billion/year.

Internal company documents showed Merck knew of cardiovascular risks but скрыли неблагоприятные данные and published only favorable analyses.

A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.

Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.

Topol EJ. N Engl J Med. 2004;351:1707-1709

Detecting Publication Bias

Assessment Methods

Publication Bias Assessment

↓

Funnel plotVisual inspection

Egger's testStatistical asymmetry

Обрезать и заполнитьImpute missing

↓

Requires ≥10 studiesLow power otherwise

Preventing Bias: The AllTrials Campaign

ALLTRIALS.NET

"All trials registered. All results reported."

• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• Свяжитесь с компаниями для получения неопубликованных данных.
• В своем отзыве укажите регистрационные номера.
• Сообщите, какие зарегистрированные испытания отсутствуют в вашем анализе.

«Ящик с файлами не пуст.
Здесь хранятся исследования, которые скрывали компании,
результаты, которые журналы отвергли.
Ваша задача — открыть этот ящик или сказать, что вы не можете».

==================== МОДУЛЬ 15: ЛЕСНОЙ УЧАСТОК ===================

Лесной сюжет — лицо вашего метаанализа.

Он показывает читателю everything:
each study, each weight, each confidence interval,
и окончательная объединенная оценка.

Чтение лесного заговора

Элементы лесного участка

Forest Plot

↓

Study namesLeft column

SquaresPoint estimates

Lines95% CI

DiamondPooled estimate

↓

Размер квадрата = вес исследованияLarger = more precise

Forest Plot Checklist

What to Include

□ Идентификаторы исследования (автор, год)

□ Sample size per arm

□ Оценка эффекта с 95% ДИ

□ Weight (% contribution)

□ Line of no effect (RR=1 or MD=0)

□ Объединенная оценка с 95% ДИ

□ Heterogeneity statistics (I², τ², Q)

□ Test for overall effect (Z, p-value)

Цифры Vioxx, которые изменили все

2004 | Одобрение испытания и вывода средств с рынка

В течение многих лет лесной график сердечно-сосудистой безопасности препарата Виокс (рофекоксиб) демонстрировал обнадеживающую картину. Точечные оценки из более ранних исследований группировались вокруг линии отсутствия эффекта. Алмаз указывал на то, что препарат безопасен.

Затем последовал суд над APPROVe. Когда его данные были добавлены на лесной участок, картина резко изменилась. Большой квадрат APPROVe окончательно потянул собравшийся алмаз в сторону вреда. Визуализация была безошибочной.

Этот лесной участок ended Vioxx. Компания Merck добровольно отозвала препарат. Последующий судебный процесс стоил компании $4.85 billion in settlements. Тысячи пациентов перенесли сердечные приступы, в то время как более ранние, более мелкие исследования показали неоднозначные результаты.

THE LESSON

Одно хорошо проведенное и адекватное исследование может изменить всю совокупную оценку. Лесные сюжеты рассказывают историю о том, как накапливаются доказательства, а иногда и как они меняют ход.

Вводящий в заблуждение лесной сюжет

Вы разрабатываете лесной график для своего метаанализа. Масштаб оси и порядок исследований могут изменить визуальное впечатление. Как поступить?

ПУТЬ А: Проектирование для достижения эффекта

Use a compressed axis scale to make effect sizes look larger; order studies to build a visual narrative

↓

У читателей формируется преувеличенное впечатление о величине эффекта; график становится инструментом пропаганды, а не отображением данных

РЕЗУЛЬТАТ: Визуальное искажение доказательств

ПУТЬ Б: Дизайн для ясности

Use standard axis scaling; order studies by year or alphabetically; include all standard elements (weights, CIs, I²)

↓

Читатели могут сделать свои собственные суждения; график служит прозрачной визуализацией данных

OUTCOME: Honest visual communication

"The forest plot hides nothing.
Every study visible. Every weight transparent.
Пусть читатель увидит то же, что и вы.
и судите сами».

=================== МОДУЛЬ 16: ДОВЕРЕННОСТЬ ДОКАЗАТЕЛЬСТВ ===================

Объединенной оценки недостаточно.

Вы также должны сказать читателю:
How confident should they be in this result?

GRADE Certainty Assessment

Оценка доказательств

Start: RCTs = High, Obs = Low

↓

Reasons to Downgrade?

Risk of bias-1 or -2

Inconsistency-1 or -2

Indirectness-1 or -2

Imprecision-1 or -2

Pub. bias-1 or -2

GRADE Certainty Levels

⊕⊕⊕⊕

HIGH
Very confident

⊕⊕⊕◯

MODERATE
Likely close

⊕⊕◯◯

LOW
May differ

⊕◯◯◯

VERY LOW
Uncertain

What happens when a GRADE assessment of "low certainty" collides with a public health emergency?

REAL DATA

Кокрейновский обзор физических мер по снижению распространения респираторных вирусов 2023 года (Джефферсон и др.) показал, что доказательства использования масок в общественных местах были недостаточными. low certainty за КЛАСС, с широкими доверительными интервалами. Широко сообщалось, что обзор доказывает, что «маски не работают», хотя авторы заявили, что доказательств недостаточно, чтобы сделать однозначные выводы в любом направлении.

Кокрейновский обзор масок: 2023 г.

Ваш систематический обзор на политически деликатную тему получает оценку GRADE с «низкой достоверностью». Как вы это сообщите?

ПУТЬ А: Смягчить рейтинг

Преуменьшите значение оценки GRADE, чтобы избежать политических разногласий; подчеркивать точечную оценку выше уровня достоверности

↓

Обзор теряет методологическую достоверность; GRADE становится необязательным, а не строгим требованием.

OUTCOME: Compromised methodology

PATH B: Report Faithfully

Честно сообщайте о рейтинге GRADE; четко объяснить, что означает (и не означает) «низкая уверенность»; отличать отсутствие доказательств от доказательств отсутствия

↓

Публика может неправильно истолковать ситуацию, но научные данные точны; будущие направления исследований становятся ясными

OUTCOME: Methodological integrity

THE REVELATION

«Низкая уверенность» не означает «отсутствие эффекта». Рейтинги GRADE должны сообщаться правдиво, с четким объяснением того, что они означают, особенно по политически окрашенным темам.

«Размер эффекта – вот что.
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."

=================== МОДУЛЬ 17: ОБСУЖДЕНИЕ ===================

Обсуждение – это место, где вы interpret.

Не крутиться. Не переоценивать.
But to explain what your findings mean—
и что они делают not mean.

Discussion Structure

Summary of Findings

Повторить основные результаты с рейтингом достоверности

Сравнение с существующей литературой

How do your findings relate to prior reviews?

Сильные стороны и ограничения

Оба обзора И включенные исследования

Последствия для практики

What should clinicians/policymakers do?

Значение для исследований

Какие исследования еще необходимы?

Common Mistakes in Discussion

What NOT to Do

✗ Преувеличение выводов за пределами данных

✗ Ignoring limitations

✗ Treating statistical significance as clinical importance

✗ Failing to address heterogeneity

✗ Выдвижение причинно-следственных связей на основе данных наблюдений

Что, если самая цитируемая методологическая статья из когда-либо опубликованных предупреждает, что большинство результатов исследований ложны?

REAL DATA

Статья Джона Иоаннидиса 2005 года в журнале PLoS Medicine «Почему большинство опубликованных результатов исследований ложны» была процитирована 10,000 times. Используя математическое моделирование, он утверждал, что вероятность того, что результаты исследования верны, зависит от мощности исследования, предвзятости и количества проверенных взаимосвязей. Для многих проектов исследований вероятность истинного результата после исследования может быть ниже 50%.

Тревожный звонок Иоаннидиса: 2005 г.

Ваш метаанализ дал статистически значимый результат, но включенные в него исследования небольшие, гетерогенные, и многие из них имеют высокий риск систематической ошибки. Как написать обсуждение?

ПУТЬ А: переоценить результаты

Лидируйте с помощью значимой объединенной оценки; минимизировать ограничения; давать сильные практические рекомендации

↓

Это открытие преждевременно входит в рекомендации; когда репликация терпит неудачу, виноват весь метод метаанализа

OUTCOME: Eroded trust in evidence synthesis

ПУТЬ Б: Калибровка интерпретации

Обсудите результат в контексте качества исследования, неоднородности и достоверности; сопоставить силу рекомендаций с силой доказательств

↓

Readers understand the degree of confidence warranted; future research priorities become clear

OUTCOME: Proportionate, trustworthy conclusions

THE REVELATION

Дискуссия должна сопоставлять энтузиазм с качеством доказательств. Сильные утверждения на фоне слабых доказательств подрывают доверие ко всей области.

«Дискуссия не носит пропагандистской направленности.
Это для честной интерпретации.
Скажите, что показывают доказательства.
Admit what it does not show."

Разве вы не слышали о газете Уэйкфилда?
where conflicts of interest were hidden,
где данные были сфабрикованы,
и миллионы детей пошли unvaccinated?

Мошенничество с MMR-аутизмом

THE LANCET, 1998-2010

Andrew Wakefield published a study linking MMR vaccine to autism.

Он не сообщил, что был paid £435,643 by lawyers seeking to sue vaccine manufacturers.

Он не сообщил, что у него есть filed a patent for a competing single-dose measles vaccine.

В конечном итоге исследование было отозвано. Уэйкфилд был удален. Но ущерб был нанесен: vaccination rates plummetedи вспышки кори вернулись.

Deer B. BMJ. 2011;342:c5347

Transparency Checklist

What to Declare

□ Protocol registration number

□ Funding sources (all)

□ Роль спонсора в обзоре

□ Conflicts of interest (all authors)

□ Заявление о доступности данных

□ Отклонения от протокола (с причинами)

□ Author contributions

Инициатива AllTrials

2013-PRESENT | A GRASSROOTS TRANSPARENCY MOVEMENT

В 2013 году Бен Голдакр и его коллеги из Cochrane Collaboration запустили AllTrials после того, как обнаружили тревожную правду: approximately half of all clinical trials were never published. Среди пропущенных испытаний было непропорционально много испытаний с отрицательными или неудобными результатами.

Кампания собрала более 90 000 индивидуальных подписантов и более 700 организаций. Он потребовал, чтобы все прошлые и будущие испытания были зарегистрированы с полным описанием методов и результатов.

Воздействие было преобразующим. ЕС теперь требует регистрации испытаний и отчетности о результатах. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.

THE LESSON

Требование доступа к данным работает. Массовое движение изменило международные правила, доказав, что сторонники прозрачности могут изменить экосистему доказательств.

Каскад препринтов гидроксихлорохина: 2020 г.

На дворе начало 2020 года. Ваша команда располагает предварительными результатами метаанализа лечения COVID-19. Препринт Готре (нерандомизированный, 42 пациента) уже стал вирусным. Скандал с Surgisphere вскоре продемонстрирует сфабрикованные данные в крупных журналах. Спешите ли вы делать препринт или ждете?

ПУТЬ А: Препринт для скорости

Немедленно напишите сообщение в medRxiv, чтобы повлиять на политику; пропустить рецензирование из-за срочности

↓

Если включенные исследования содержат сфабрикованные данные или ошибочные методы, ваш метаанализ усугубляет ошибки; отказ подрывает доверие

OUTCOME: Accelerated misinformation

PATH B: Verify, Then Publish

Строго оценивать качество обучения; свяжитесь с авторами для получения необработанных данных; пройти быструю экспертную оценку перед публикацией

↓

Публикация медленнее, но анализ надежный; выводы сохраняются, когда ошибочные исследования отменяются

РЕЗУЛЬТАТ: Прочные и заслуживающие доверия доказательства.

«Прозрачность не является обязательной.
Объявите о своем финансировании. Заявите о своих конфликтах.
The reader has a right to know
кто заплатил за эту работу и почему».

==================== МОДУЛЬ 19: ЗАКЛЮЧИТЕЛЬНАЯ ПРОВЕРКА ===================

Прежде чем отправить

Последний контрольный список

PRISMA 2020 Final Check

Have You...

□ Completed all 27 PRISMA checklist items?

□ Included the PRISMA flow diagram?

□ Provided full search strategy in appendix?

□ Перечислены исключенные исследования с указанием причин?

□ Зарегистрированный риск систематической ошибки для каждого исследования?

□ Provided forest plot(s)?

□ Оцененная систематическая ошибка публикации (если ≥10 исследований)?

□ Градуированная достоверность доказательств (GRADE)?

□ Declared all conflicts of interest?

□ Cited protocol registration?

Supplementary Materials

WHAT TO INCLUDE

• Full search strategies для всех баз данных
• Список исключенных исследований with reasons
• Формы извлечения данных (пусто и заполнено)
• Risk of bias details за каждое исследование
• Additional forest plots (subgroups, sensitivity)
• Funnel plot и статистические тесты
• Профиль доказательств GRADE tables

Как долго мошенническая статья сможет выдержать рецензирование, редакционную проверку и общественный вызов?

REAL DATA

Andrew Wakefield's 1998 Lancet paper linking MMR vaccine to autism took 12 years быть полностью отозвано (2010 г.). За это время журналист Брайан Дир раскрыл финансовые конфликты, этические нарушения и манипулирование данными. Многочисленные крупные исследования (в том числе датская когорта over 650,000 children) found no association, yet the original paper's influence persisted.

Отказ от Уэйкфилда: 1998–2010 гг.

Во время рецензирования рецензент выражает серьезную обеспокоенность по поводу исследования, включенного в ваш метаанализ, ссылаясь на несогласованность данных. Как вы ответите?

ПУТЬ А: Отвлечь внимание

Отклоните беспокойство рецензента как чрезмерно осторожное; оставить исследование включенным без дальнейшего изучения

↓

Если позднее исследование будет отозвано, ваш метаанализ будет испорчен; заключение, возможно, придется отозвать

РЕЗУЛЬТАТ: Синтез искаженных доказательств

PATH B: Investigate Thoroughly

Свяжитесь с авторами исследования для получения необработанных данных; провести анализ чувствительности, исключая сомнительное исследование; открыто раскрыть проблему

↓

Ваш метаанализ устойчив к включению или исключению подозрительного исследования; анализ чувствительности документирован

РЕЗУЛЬТАТ: Устойчивый, самокорректирующийся обзор.

THE REVELATION

Рецензирование — ваша последняя защита перед публикацией. Рассматривайте проблемы рецензентов как возможность улучшить свою работу, а не как препятствия, которые необходимо преодолеть.

«Вы собрали доказательства.
Вы все взвесили справедливо.
Вы написали это прозрачно.

Теперь отправьте свою работу —
и пусть истина будет найдена и найдена снова».

================== МОДУЛЬ 20: ВИКТОРИНА И ССЫЛКИ ====================

References

Key Sources

Page MJ et al. BMJ. 2021;372:n71. [PRISMA 2020]
Jefferson T et al. Cochrane 2014;4:CD008965. [Tamiflu]
Turner EH et al. N Engl J Med. 2008;358:252-260. [Antidepressants]
Boutron I et al. JAMA. 2010;303:2058-2064. [Spin]
Topol EJ. N Engl J Med. 2004;351:1707-1709. [Vioxx]
Deer B. BMJ. 2011;342:c5347. [Wakefield]
Sterne JAC et al. BMJ. 2019;366:l4898. [RoB 2]
Higgins JPT et al. Cochrane Handbook. 2023.
Schünemann HJ et al. GRADE Handbook. 2013.
Ioannidis JPA. PLoS Med. 2005;2:e124. [Why most research is false]

What percentage of antidepressant trials appeared positive in published literature vs. FDA data?

Published 51%, FDA 94%

Published 94%, FDA 51%

Both about 75%

Published 80%, FDA 60%

Какова цель регистрации протокола перед проведением систематического обзора?

To get funding

To claim priority

To prevent outcome switching and data-driven decisions

Чтобы сделать отзыв доступным для публикации

Когда НЕ следует объединять исследования в метаанализ?

Когда имеется менее 10 исследований

Когда исследования слишком клинически или методологически неоднородны

Когда эффект не является статистически значимым

Когда исследования из разных стран

✔

Course Complete

«Теперь вы знаете завет доказательств:
Зарегистрируйтесь, прежде чем искать.
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
Создавайте бассейн с умом — или не делайте этого вообще.
Write so that truth may be found,
и вновь найден теми, кто последует за ним».

=================== МОДУЛЬ 21: ПРОГРАММНЫЕ СРЕДСТВА ===================

Методы — ничто без инструментов для их выполнения.

Какое программное обеспечение будет проводить ваш анализ
from protocol to forest plot?

Software Decision Tree

Выбор инструментов

Meta-Analysis Software

↓

Your Context?

Cochrane Review

RevManFree, official

Academic/Flexible

R metaforFree, powerful

Institution License

Stata metaComprehensive

Point-and-Click

CMAUser-friendly

Основной инструментарий

RevMan

Cochrane official
Free download

R + metafor

Most flexible
Reproducible code

GRADEpro

Certainty tables
SoF tables

Rayyan

Screening tool
AI-assisted

REPRODUCIBILITY

Инструменты на основе кода (R, Stata) создают reproducible analyses. Поделитесь своим кодом, чтобы другие могли проверить вашу работу.

R metafor Example

BASIC META-ANALYSIS IN R

                    library(metafor)

                    # Calculate effect sizes

                    dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,

                        ci=events_ctrl, di=noevents_ctrl, data=mydata)

                    # Random effects model

                    res <- rma(yi, vi, data=dat, метод="REML")

                    # Forest plot

                    forest(res, slab=paste(author, year))

Как координировать написание статьи, если у систематического обзора десятки авторов?

REAL DATA

Исследование SPRINT (2015 г.), перечисленное выше 100 authors из десятков учреждений. В состав группы авторов входили руководящий комитет, следователи и статистики. Координация вкладов, управление контролем версий и определение авторства требовали формальных структур. Критерии ICMJE определяют авторство как требующее существенного вклада, составления или редактирования, окончательного утверждения и ответственности.

Team Writing Challenges: Large Collaborative Reviews

В вашу группу систематического обзора входят 12 человек из 4 стран. Как вы управляете процессом написания?

PATH A: Informal Coordination

Pass drafts via email; resolve authorship at the end; no writing plan or version control

↓

Duplication of effort; authorship disputes at submission; inconsistent voice and formatting; lost contributions

РЕЗУЛЬТАТ: задержки и конфликты

PATH B: Structured Process

Назначьте потенциальных клиентов заранее; использовать общие платформы с контролем версий; согласовать критерии ICMJE и порядок авторства в начале

↓

Четкая подотчетность; стабильный результат; прозрачные вклады; авторство определяется до того, как станут известны результаты

OUTCOME: Efficient, fair collaboration

THE REVELATION

Согласуйте критерии авторства и обязанности по написанию до начала работы. Споры труднее всего разрешать после того, как стали известны результаты.

«Инструмент не проводит анализ.
Аналитик знает.
Но выбирайте инструмент с умом.
и поделитесь своим кодом, чтобы можно было проверить истину».

=================== МОДУЛЬ 22: ЧТЕНИЕ МЕТА-АНАЛИЗОВ ===================

Не все пишут метаанализы.

But every clinician, every policymaker, every patient
must know how to read them.

Изменение ЗГТ

WOMEN'S HEALTH INITIATIVE, 2002

На протяжении десятилетий наблюдательные исследования предполагали, что заместительная гормональная терапия (ЗГТ) защищает женщин от болезней сердца.

Метаанализ этих исследований показал 35-50% reduction in cardiovascular risk.

Затем рандомизированное исследование WHI раскрыло правду: ЗГТ increased heart attack risk by 29%.

The observational meta-analyses had pooled confounded data— более здоровые женщины выбрали ЗГТ, а не наоборот.

Rossouw JE et al. JAMA. 2002;288:321-333

How to Read a Forest Plot

Consumer's Guide

Чтение лесного заговора

↓

Line of no effectRR=1 or MD=0

Diamond positionLeft=benefit, Right=harm

Diamond widthNarrow=precise

↓

Does diamond cross the line?

NoStatistically significant

YesNot significant

Red Flags When Reading

Warning Signs in Published Meta-Analyses

⚠ No protocol registration cited

⚠ Single database searched

⚠ No risk of bias assessment

⚠ High I² but no investigation

⚠ Asymmetric funnel plot ignored

⚠ Финансирование отрасли, без анализа чувствительности

⚠ Выводы превышают доказательства

What GRADE Ratings Mean

ДЛЯ КЛИНИКОВ И ПАЦИЕНТОВ

HIGH: We are very confident. Future research unlikely to change.

MODERATE: Probably close to truth. Future research may change estimate.

LOW: Uncertain. Future research likely to change substantially.

VERY LOW: Very uncertain. Any estimate is speculative.

«Читайте лес, а не только алмаз.
Ищите протокол. Проверьте смещение.
Ask: Who funded this? What did they hide?
Информированный читатель — хранитель истины».

=================== МОДУЛЬ 23: СЕТЕВОЙ МЕТА-АНАЛИЗ ===================

What if you must compare treatments
которые никогда не тестировались лицом к лицу?

Это царство network meta-analysis.

When to Use Network MA

NMA Decision Tree

Multiple Treatments

↓

Direct comparisons available?

All pairs directly compared

Pairwise MAStandard approach

Some indirect only

Network MABorrow strength

↓

Check transitivity assumptionSimilar populations across comparisons

Сетевая геометрия

ВИЗУАЛИЗАЦИЯ ДОКАЗАТЕЛЬСТВ

Nodes = Treatments (size = sample)
Edges = Прямые сравнения (ширина = исследования)
Dashed = Только косвенные доказательства

League Tables

ЧТЕНИЕ РЕЗУЛЬТАТОВ NMA

League tables show all pairwise comparisons из сети.

• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options

CRITICAL ASSUMPTION

Transitivity: Если сравнивать А и В и В и С у аналогичных пациентов, мы можем косвенно оценить А и С.

What happens to meta-analyses when a prolific author's entire body of work is retracted?

REAL DATA

Joachim Boldt, a German anesthesiologist, had over 220 papers retracted для фабрикации данных (обнаружены в 2010-2011 гг.). Его исследования коллоидных растворов были включены в многочисленные систематические обзоры и метаанализы. Когда последовали опровержения, каждый метаанализ, содержащий его работу, пришлось переоценить. Некоторые выводы существенно изменились, когда его сфабрикованные данные были удалены.

Каскад ретракции Болдта: 2010–2011 гг.

Вы обнаруживаете, что исследование, включенное в опубликованный вами метаанализ, было отозвано из-за фальсификации данных. Что вы делаете?

PATH A: Hope No One Notices

Игнорируйте опровержение; метаанализ уже опубликован, а отозванное исследование было небольшим

↓

Другие цитируют ваш метаанализ; сфабрикованные данные распространяются посредством вторичного цитирования; решения об уходе за пациентами основаны на сомнительных доказательствах

OUTCOME: Cascading harm from inaction

PATH B: Self-Correct Publicly

Опубликовать исправление или обновленный анализ, за исключением отозванного исследования; уведомить журнал; указать, меняются ли выводы

↓

Научная запись исправлена; читатели видят обновленный анализ; ваша репутация честного человека повышается

OUTCOME: Scientific self-correction

THE REVELATION

Целостность синтеза доказательств зависит от постоянной бдительности. Когда включенные исследования отзываются, этический долг состоит в том, чтобы обновлять и исправлять, а не хранить молчание.

"When treatments have never met,
сеть строит мост доказательств.
But the bridge rests on transitivity—
убедитесь, что популяции сопоставимы».

==================== МОДУЛЬ 24: МОДЕЛИ ПРОГНОЗИРОВАНИЯ AI/ML ===================

Разве вы не видели ИИ, который предсказал рак?
с точностью 99% на обучающей выборке —
и потерпел катастрофическое поражение
при развертывании в real world?

Сбой алгоритма сепсиса

EPIC SEPSIS MODEL, 2021

Epic's sepsis prediction algorithm was deployed in hundreds of hospitals.

Internal validation showed excellent performance.

Но независимое исследование Мичиганской медицины выявило модель missed 67% of sepsis cases and generated excessive false alarms.

Алгоритм прошел валидацию на та же популяция, на которой оно было обучено— рецепт переоснащения и неудачи.

Wong A et al. JAMA Intern Med. 2021;181:1065-1070

AI Validation Decision Tree

Уровни доказательности ИИ/МО

AI Prediction Model

↓

Validation Level?

Internal onlyТо же разделение данных

HIGH RISK

TemporalDifferent time

MODERATE

ExternalDifferent site

BETTER

Impact RCTPatient outcomes

BEST

PROBAST & TRIPOD

PROBAST

Prediction model
Risk of Bias

TRIPOD

Reporting
guideline

TRIPOD-AI

AI-specific
extension

CALIBRATION VS. DISCRIMINATION

AUC/c-statistic: Can the model rank patients? (discrimination)
Calibration: Являются ли предсказанные вероятности точными?

A model can have good AUC but poor calibration—and harm patients.

«Алгоритм учился на данных,
и данные были предвзятыми.
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."

=================== МОДУЛЬ 25: ОБЩЕНИЕ С ПАЦИЕНТОМ ===================

Метаанализ говорит в цифрах.

Но пациент слышит страхи и надежды.

Как вы преодолеете этот разрыв?

Translating Numbers to Meaning

Communication Decision Tree

Meta-Analysis Result

↓

Effect Size Type?

Relative (RR, OR)

Convert to NNTMore intuitive

Absolute (RD)

Use directly"X fewer per 1000"

Continuous (MD)

ContextualizeMinimal important diff

Сценарии для пациентов

EXPLAINING A POSITIVE RESULT

«Исследование объединило 15 исследований с участием 8000 пациентов.

Было обнаружено, что такое лечение снижает риск [результата] примерно на 30%.

С практической точки зрения: если мы пролечим 100 человек, таких как вы, примерно на 5 меньше будет [результат] по сравнению с отсутствием лечения.

We're moderately confident in this—future research might change it slightly.

Какие у вас есть вопросы по этому поводу?»

Questions Patients Should Ask

Empowering Patients

1 «Сколько исследований и пациентов было включено?»

2 «Насколько исследователи уверены в этом результате?»

3 «Какова польза и вред?»

4 «Были ли такие люди, как я, включены в эти исследования?»

5 «Кто финансировал это исследование?»

6 «Что это значит для моей конкретной ситуации?»

Can a spreadsheet error in an academic paper directly shape the economic policy of entire nations?

REAL DATA

В статье Рейнхарта и Рогоффа от 2010 года утверждается, что страны с государственным долгом, превышающим 90% of GDP наблюдалось резкое снижение темпов роста. Этот вывод широко использовался в качестве оправдания политики жесткой экономии по всей Европе. В 2013 году Херндон, Эш и Поллин обнаружили ошибку в электронной таблице: несколько стран были случайно исключены из расчетов. После коррекции резкий порог в 90% исчез.

Влияние политики Рейнхарта-Рогоффа: 2010-2013

Результаты вашего метаанализа имеют явные политические последствия. Политики жаждут простого послания. Как вы пишете краткое изложение политики?

ПУТЬ A: Чрезмерное упрощение для достижения эффекта

Укажите четкое пороговое значение или номер заголовка; опустить предостережения и диапазоны неопределенности для максимального влияния на политику

↓

Политика принята на основе упрощенных выводов; когда возникают нюансы или обнаруживаются ошибки, дискредитируются как исследование, так и результирующая политика

OUTCOME: Policy built on a fragile foundation

ПУТЬ B: Общайтесь честно

Представляйте доказательства с соответствующей неопределенностью; отличать сильные выводы от наводящих на размышления; предоставлять практические резюме, сохраняющие нюансы

↓

Политики понимают, что подтверждают фактические данные и где остается неопределенность; решения принимаются с соответствующей осторожностью

OUTCOME: Durable, evidence-informed policy

THE REVELATION

Policy briefs must communicate uncertainty honestly. Oversimplified findings may gain influence quickly but collapse when scrutinized, damaging trust in research-policy relationships.

"Метаанализ говорит в цифрах.
Больной слышит страхи и надежды.
Ваша работа — быть переводчиком—
верный фактам, сострадательный к человек."

================== МОДУЛЬ 26: ОБЗОРЫ ЖИЗНИ И БУДУЩЕЕ ===================

Систематический обзор собирает фактические данные на данный момент в время.

But science does not stop.
Как мы храним доказательства alive?

Living Systematic Reviews

COVID-19 PANDEMIC, 2020-2023

Во время пандемии доказательства появлялись быстрее, чем могли синтезировать традиционные обзоры.

Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.

Консорциум COVID-NMA подготовил живые обзоры лечения, вакцин и диагностики, обновляя рекомендации в real-time в качестве доказательств развивались.

Hydroxychloroquine went from "promising" to "ineffective" within months.

Defined by Cochrane: continual updates at ≤monthly intervals

When to Use Living Reviews

Дерево решений живого обзора

Решение типа обзора

↓

Быстро ли развиваются доказательства?

Yes + High Priority

Living ReviewContinuous updates

No / Stable

Standard ReviewUpdate every 2-5 years

↓

Resource intensiveRequires ongoing funding

Будущее синтеза доказательств

Automation

ML-assisted
screening

IPD-MA

Individual patient
data pooling

Real-World

EHR-based
evidence

Adaptive

Platform trials
+ MA

» Соглашение о доказательствах не является статичным.
Оно растет с каждым новым исследованием, каждым новым вопросом.
Сохраняйте свои обзоры живыми.
Сохраняйте прозрачность своих методов.
Сохраняйте истину в центре всего, что вы делаете».

1 / 4