Module 0: The Calling
МОДУЛЬ 0: ПРИЗВАНИЕ

Некоторые строят дом. Другие уверены, что фундамент выдержит.

Вы когда-нибудь задумывались, кто проверяет шашки?

Кто гарантирует, что методы, лежащие в основе медицинских решений, являются обоснованными?

Невидимые архитекторы

Сказка о инспекторе моста:

A city built a magnificent bridge. Engineers celebrated. Citizens crossed daily. But one woman spent her days beneath, checking welds, measuring stress, documenting cracks.

"Why don't you build bridges?" they asked.

"Because," she said, "I ensure every bridge built will stand."

Методисты являются контролерами медицинских доказательств. Они не проводят испытания — они следят за тем, чтобы испытания говорили нам правду.

Скрытое воздействие

$2.6B
Saved when RECOVERY trial methods proved dexamethasone works
15K+
Повышенная смертность из-за ошибочных исследований апротинина до пересмотра методов
85%
Of medical research has methodological limitations

Методы работы не гламурны. Но в этом разница между лекарством, которое лечит, и лекарством, которое вредит.

Рассмотрим историю доктора Дуга Альтмана...

Doug Altman (1948-2018): The Scandal of Poor Medical Research

In 1994, a statistician published an editorial in BMJ titled "The Scandal of Poor Medical Research." He wrote:

«Нам нужно меньше исследований, лучше исследований и исследований, проводимых по правильным причинам».

Дуг Альтман не открыл новых лекарств. Он не делал операций. Всю свою карьеру он разрабатывал руководящие принципы отчетности (CONSORT, STROBE, PRISMA), которые изменили способ представления доказательств в мире.

Его цитирования: 500 000+. Его инструменты используются во всех крупных журналах. Он не строил мостов, но теперь каждый мост использует его стандарты проверки.
Altman DG. The scandal of poor medical research. BMJ 1994;308:283-4. Citations: 6,000+

What Is a Methodologist?

What They Do

• Разработать строгие методы исследования.

• Develop reporting guidelines

• Создавать инструменты риска предвзятости

• Advance statistical techniques

• Обучайте следующее поколение

What They Don't Do

• Обычно не происходит сбор первичных данных

• Обычно не уход за пациентами

• Редко в заголовках

• Часто не «первый автор»

• Не лицо прорывов

Методологи являются архитекторами фактических данных, а не строителями отдельных исследований.

История карты холеры Джона Сноу:

В 1854 году лондонские врачи полагали, что холера распространяется через «миазмы» (плохой воздух). Их карты были прекрасны, на них были показаны направления ветра и высота над уровнем моря.

Доктор Джон Сноу создал простую карту — только точки, показывающие смертельные случаи, сгруппированные вокруг насоса на Брод-стрит. Его простая, методологически обоснованная карта определила, что источником загрязненной воды является загрязненная вода.

Карты миазмов были изящны, но неверны. Простая карта Сноу спасла жизни.

Методология важнее презентации.

Вы — лондонский врач, 1854 год. Распространяется холера. Что вы выбираете?

Path A: Следуйте теории миазмов — создавайте красивые карты ветров и качества воздуха.
→ Пациенты умирают, пока вы изучаете воздух. Болезнь продолжается беспрепятственно.
Path B: Систематически составляйте карты смертей — составляйте графики случаев и ищите закономерности в данных.
→ Найдите насос на Брод-стрит. Снимите ручку. Спасайте жизни посредством методологического мышления.

Рыночная реальность

+340%
Growth in HTA positions since 2015
$95K-$180K
Salary range for senior methodologists
72%
Report high job satisfaction

Спрос растет. Регулирующим органам, фармацевтическим компаниям и системам здравоохранения нужны люди, которые понимают качество доказательств.

Путь открыт для тех, кто готов идти по нему.

Модуль 1: Чем занимаются методисты

МОДУЛЬ 1: ЧЕМ ДЕЛАЮТ МЕТОДОЛОГИ

Они не строят корабль. Они гарантируют, что он не утонет.

Представьте себе один день из жизни...

Not one life—many lives, in many settings.

The Methodologist Who Changed Medicine: Archie Cochrane

In 1972, a physician named Archie Cochrane published Эффективность и действенность, утверждая, что большинству медицинских решений не хватает доказательств, полученных в контролируемых исследованиях. Он призвал весь медицинский истеблишмент доказать, что лечение действительно работает.

До пропагандистской деятельности Кокрейна подавляющее большинство медицинских методов лечения никогда не тестировались в рандомизированных контролируемых исследованиях. Ко времени основания Кокрейновского сотрудничества в 1993 году систематические обзоры стали золотым стандартом доказательной медицины.

Настойчивость одного методиста в строгости создала инфраструктуру, от которой теперь зависит современная медицина.

Вы молодой исследователь в 1975 году. Старший профессор отклоняет ваше предложение провести систематический обзор, говоря: «Мы уже знаем, что работает, исходя из клинического опыта».

Path A: Подчинитесь авторитету — признайте, что клинического опыта достаточно, и откажитесь от идеи систематического синтеза доказательств.
→ Непроверенные методы лечения продолжают оставаться неоспоримыми. Пациентам вредит неэффективная или опасная помощь, которая, «все знают, работает».
Path B: Следуйте видению Кокрейна — настаивайте на систематическом сборе и оценке доказательств, даже если они непопулярны.
→ Вы помогаете создавать методологию, которая преобразует медицину во всем мире. Систематические обзоры становятся основой клинических руководств во всем мире.

Setting 1: Academic Medical Center

Dr. Sarah Chen, Associate Professor of Biostatistics
McMaster University, Hamilton, Canada

8:00 AM: Проверяет проект протокола систематического обзора от аспиранта. Ловит фатальный недостаток: планировали одиночный показ. Рекомендует пилотные упражнения по калибровке.

10:00 AM: Проводит семинар GRADE для 40 врачей. Половину смущает «косвенность». Она использует пример «аспирин от головной боли и сердечного приступа». Лампочки горят.

2:00 PM: Встреча соавторов методической статьи о несогласованности сетевого метаанализа. Приводит аргументы в пользу нового подхода к визуализации.

4:00 PM: Reviews grant application as methodologist. Flags sample size calculation error that would doom a $2M trial.

Воздействие: Предотвращено одно ошибочное исследование, обучено 40 будущих пользователей фактических данных, продвинуто поле деятельности.

Setting 2: Health Technology Assessment Agency

Ahmed Al-Rashid, Senior HTA Analyst
Saudi Food and Drug Authority, Riyadh

8:30 AM: Получено досье производителя на новое лекарство от диабета. 847 страниц. Его работа: оценить качество доказательств за 3 недели.

10:00 AM: Spots a problem: the pivotal trial used a surrogate endpoint (HbA1c) but claims mortality benefit. Surrogate ≠ patient-relevant outcome.

1:00 PM: Встречается с клиническими экспертами. «Препарат работает», — говорят они. «Но имеет ли это значение для пациентов?» — спрашивает он. Обнаружен пробел в доказательствах.

3:00 PM: Составляет отчет об оценке. Рекомендует условное одобрение с требованием сбора реальных доказательств.

Воздействие: решение о страховом покрытии лекарств в стране теперь основано на строгих методах, а не на маркетинговых заявлениях.

Setting 3: Pharmaceutical Industry

Dr. Maria Santos, Director of Evidence Strategy
Global Pharmaceutical Company, Basel

9:00 AM: Разрабатывает протокол исследования фазы III. Борется за прагматичный дизайн, а не за пояснения: его труднее набрать, но результаты будут применимы к реальным пациентам.

11:00 AM: Reviews competitor's published trial. Notes: open-label, subjective outcomes, high attrition. Prepares competitive landscape briefing.

2:00 PM: Тренирует клиническую команду на совещании перед подачей заявки в FDA. «Они спросят о вашей основной конечной точке. Подготовьте анализ чувствительности».

4:30 PM: Присоединяется к глобальному призыву к сетевому метаанализу для подачи заявок на HTA. Обсуждает предположения о транзитивности в течение 90 минут.

Воздействие: Улучшение дизайна исследований, более четкая система регулирования, доказательства, которые служат пациентам и бизнесу.

Setting 4: WHO/Global Health

Dr. Kwame Asante, Technical Officer
World Health Organization, Geneva

8:00 AM: Утренний звонок с регионом AFRO. Необходимо обновить руководство по малярии. Обзоры, быстрые обзоры которых можно адаптировать, а не требуют свежих доказательств.

10:30 AM: Собрание группы по разработке рекомендаций. 14 экспертов не согласны с мнением о вмешательстве. Его роль: обеспечивать объективное представление доказательств, независимо от того, кто громче всех.

1:00 PM: Составляет профиль доказательств GRADE для рекомендаций по тестированию на ВИЧ. «Очень низкая уверенность» не означает «не рекомендую», — пишет он простым языком.

4:00 PM: Обзоры живой информационной панели систематического обзора. Три новых РКИ с прошлого месяца. Запускает протокол обновления.

Impact: Guidelines used by 194 member states. Methods decisions affect millions.

Основные действия

Design

Creating study protocols, sample size calculations, endpoint selection

Appraise

Risk of bias assessment, GRADE ratings, critical appraisal

Synthesize

Meta-analysis, network meta-analysis, qualitative synthesis

Develop

New tools, guidelines, reporting standards, software

Teach

Training researchers, clinicians, policymakers

Advise

Consultations on specific studies, grants, submissions

Consider what happens when methods fail...

Катастрофа с апротинином

1993-2007: A drug that should have been stopped years earlier

Апротинин использовался в кардиохирургии для уменьшения кровотечения. Ранние исследования показали, что это работает. Но методисты заметили проблемы:

• Observational studies had severe confounding
• РКИ были слишком малы для оценки безопасности
• Meta-analyses pooled incompatible populations

2007: BART trial finally showed increased mortality. Drug withdrawn.

Estimate: 15,000-22,000 excess deaths while methodological concerns were ignored.
Fergusson et al. NEJM 2008. Shaw et al. BMJ 2014.

Триумф ВОССТАНОВЛЕНИЯ

2020: Methods done right, lives saved

В исследовании RECOVERY с первого дня использовались строгие методы:

• Pragmatic design embedded in routine care
• Adequate sample size (thousands, not dozens)
• Предварительно заданные конечные точки и план анализа.
• Независимый комитет по мониторингу данных

Result: Dexamethasone proven in 100 days. Estimated 1 million lives saved globally.

Методологи, разработавшие этот протокол, входят в число самых влиятельных ученых нашей эпохи, однако мало кто знает их имена.
RECOVERY Collaborative Group. NEJM 2021. Horby P, Landray M (co-chief investigators).

Module 1 Quiz

A methodologist's primary role is to:

Module 1 Quiz (2)

Scenario
Случай с апротинином привел, по оценкам, к 15 000–22 000 дополнительных смертей. Основными методологическими ошибками были:

Выберите наиболее точный ответ:

Методы не абстрактны. Методы – это жизнь и смерть.

Модуль 2: Набор навыков

МОДУЛЬ 2: КОМПЛЕКТ НАВЫКОВ

A methodologist is not one thing. A methodologist is many things woven together.

Какие навыки отличают методиста от исследователя?

Not depth in one area—but bridges between many.

Четыре столпа

1. Статистика и количественные методы

• Регрессия, анализ выживания

• Meta-analysis (pairwise, network)

• Байесовские методы (все чаще)

• Отсутствующие данные, анализ чувствительности

2. Эпидемиология и дизайн исследования

• Bias recognition (selection, information, confounding)

• Разработка RCT и CONSORT

• Ограничения наблюдательного исследования

• Causal inference frameworks

3. Domain Expertise

• Clinical knowledge (enough to ask right questions)

• Understanding healthcare systems

• Контекст политики и принятия решений

• Patient-relevant outcomes

4. Communication

• Translating complexity to clarity

• Написание текстов для разных аудиторий.

• Обучение и наставничество

• Diplomatic disagreement

История открытия ДНК:

In 1953, discovering DNA's structure required four disciplines:

Rosalind Franklin's X-ray crystallography revealed the helix shape.
Erwin Chargaff's chemistry showed base-pairing rules.
Linus Pauling's modeling expertise suggested the spiral.
Биологическая проницательность Уотсона и Крика собрала все детали.

No single specialist could have solved it alone. The double helix emerged only when disciplines converged.

Методист является переводчиком между специалистами. Не самый глубокий в какой-либо области, но достаточно беглый во всех.

У вас есть важные рентгеновские данные о структуре ДНК. Что вы выбираете?

Path A: Работайте изолированно — совершенствуйте свой анализ в одиночку, тщательно охраняйте свои данные.
→ Другие видят ваши данные по обратным каналам, поэтому сначала опубликуйте их. Ваш вклад отмечен в истории.
Path B: Сотрудничайте в разных дисциплинах — делитесь идеями, общайтесь с биологами и химиками.
→ Коллективное открытие. Прорыв происходит в результате синтеза. Наука развивается вместе.

Статистика: что вам нужно

Core Competencies (Must Have)

• Regression fundamentals: Linear, logistic, interpretation of coefficients

• Survival analysis: Kaplan-Meier, Cox regression, hazard ratios

• Meta-analysis: Fixed/random effects, heterogeneity (I², τ²), forest plots

• Missing data: MCAR/MAR/MNAR, multiple imputation basics

Growth Areas (Increasingly Valuable)

• Network meta-analysis and indirect comparisons

• Bayesian approaches (priors, credible intervals)

• Machine learning for prediction models

• Causal inference methods (IPW, G-methods)

История Иоанна Иоаннидиса

От клинициста к революционному методу

John Ioannidis trained as an infectious disease physician. He could have spent his career treating patients.

Вместо этого в 2005 году он опубликовал статью «Почему большинство опубликованных результатов исследований ложны» — статистический аргумент в пользу того, что большинство заявленных результатов исследований неверны.

Статья цитировалась 15,000 times. Это изменило отношение журналов, спонсоров и исследователей к фактическим данным.

Ему не нужно было быть лучшим в мире статистиком. Ему нужно было достаточно хорошо разбираться в статистике, чтобы задать вопрос, который никто другой не задавал.
Ioannidis JPA. PLoS Medicine 2005;2(8):e124. Most-accessed article in journal history.

Epidemiology: The Bias Hunter's Toolkit

Selection Bias

Кто участвует в исследовании ≠ целевая группа

Example: Trials excluding elderly patients, then applied to nursing homes

Information Bias

Measurement error, recall bias, detection bias

Example: Unblinded outcome assessors rating subjective endpoints

Confounding

Third variable creates spurious association

Example: Vitamin D and COVID—sick people stay indoors

Вопрос методолога

"Какие предвзятости могли бы объяснить этот вывод — и сколько им нужно будет объяснить?"

История кофе и болезней сердца:

На протяжении десятилетий обсервационные исследования показывали, что у пьющих кофе чаще возникают сердечные заболевания. Рекомендации предостерегали от кофе.

Затем методисты заметили: любители кофе также стали больше курить. Когда исследования были скорректированы с учетом курения, эта связь исчезла.

Более поздние исследования с использованием более совершенных методов показали, что кофе действительно может быть защитным.

Работа методолога состоит не в том, чтобы заявить правду, а в том, чтобы спросить: «Чем еще можно это объяснить?»

Коммуникация: недооцененные Навыки

50%
Of methodologist time spent communicating with non-methodologists
1
Slide that explains GRADE better than 100 papers
∞
Impact multiplier when clinicians understand methods
The test: Можете ли вы объяснить пациенту «доказательства очень низкой достоверности» в одном предложении?

«Мы не уверены в этих результатах — истинный эффект может сильно отличаться от того, что показали исследования».

Схема принятия решений: есть ли у вас основания?

Схема принятия решений: Можете ли вы объяснить клиницисту доверительный интервал? Если да, можете ли вы выявить три систематические ошибки в обсервационном исследовании? Если да в обоих случаях, фундамент готов. Если вы не можете выявить предубеждения, пройдите курс дизайна исследования. Если вы не можете объяснить доверительные интервалы, сначала пройдите курс биостатистики.

Module 2 Quiz

Четыре столпа навыков методиста:

Module 2 Quiz (2)

Scenario
Исследование показывает, что люди, которые едят органические продукты, имеют более низкий уровень заболеваемости раком. Исследование носит наблюдательный характер и включает 50 000 участников. Каким должен быть первый вопрос методиста?

Выберите лучший методологический вопрос:

Навыки являются основой. Теперь — где вы будете строить?

Модуль 3: Карьерные пути

МОДУЛЬ 3: КАРЬЕРНЫЕ ПУТИ

Многие дороги ведут к методам. Каждая дорога формирует то, кем вы становитесь.

Where do methodologists work?

Ответ может вас удивить.

Шесть карьерных путей

Academia

Universities, research institutes

$80K-$180K

HTA Agencies

NICE, CADTH, IQWIG, regional authorities

$70K-$140K

Cochrane/JBI

Организации по синтезу фактических данных

$65K-$120K

WHO/Global Health

International organizations, NGOs

$90K-$160K

Pharmaceutical

Отраслевые группы фактических данных, CRO

$100K-$220K

Consulting

Independent or boutique firms

$120K-$300K+

Salary ranges approximate, USD, vary by region and seniority. Source: Industry surveys 2023-2024.

Path 1: Academia

The Profile

Day-to-day: Teaching, research, supervision, grant writing, committee work
Autonomy: Высокая (вопросы выбираете вы)
Stability: Variable (tenure track vs. soft money)
Impact timeline: Long (publications take years)

Who thrives here: Те, кто любит преподавать, хочет свободы исследований, может терпеть медленный темп и академическую политику

Остерегайтесь: Publish-or-perish pressure, grant uncertainty, limited practical application
Academic Methodologist, 15 years
"I've published 300 papers. Maybe 10 changed practice. But the students I've trained? They're changing practice every day."

Path 2: HTA Agencies

The Profile

Day-to-day: Reviewing manufacturer submissions, writing assessment reports, guideline development
Autonomy: Medium (structured processes)
Stability: High (government/quasi-government)
Impact timeline: Immediate (decisions affect coverage)

Who thrives here: Те, кто хочет прямого воздействия на политику, наслаждается структурированной работой, чувствует себя комфортно с подотчетностью

Остерегайтесь: Political pressure, tight deadlines, less research creativity
NICE Senior Analyst, UK
"Every report I write might determine whether 100,000 patients get a treatment. That focus keeps me sharp."

Path 3: WHO & Global Health

The Profile

Day-to-day: Guideline development, evidence reviews, technical assistance to countries
Autonomy: Medium (diplomatic constraints)
Stability: Medium (contract-based, but renewable)
Impact timeline: Variable (guidelines can take years; emergency response is immediate)

Who thrives here: Those who want global impact, enjoy cross-cultural work, can navigate bureaucracy

Остерегайтесь: Slow decision-making, political considerations, frequent travel
WHO Technical Officer, Geneva
"Our malaria guideline is used by 40 countries. But getting 15 experts to agree on one sentence can take six months."

Path 4: Pharmaceutical Industry

The Profile

Day-to-day: Trial design, HTA submissions, competitive intelligence, medical affairs support
Autonomy: Medium (business objectives)
Stability: Medium (restructuring common)
Impact timeline: Medium (product lifecycle)

Who thrives here: Те, кто хочет высокую оплату, наслаждаются быстрыми темпами темп, комфортный в коммерческом контексте

Остерегайтесь: Конфликты восприятия интересов, давление с целью «найти правильный ответ», меньшая свобода публикаций
Director of Evidence Strategy, Global Pharma
«Да, мы хотим, чтобы наши лекарства были одобрены. Но плохой дизайн исследования, который провалил фазу III, обходится в 500 миллионов долларов. Строгость – это хороший бизнес».

Decision Tree: Which Path Fits You?

Decision tree: Is direct policy impact more important than research freedom? If impact, choose between global scope (WHO/NGO) or national focus (HTA agency). If freedom, choose between compensation priority (Pharma/Consulting) or autonomy priority (Academia).

История трех методологов:

Дуг Альтман провел 40 лет в Оксфорде, медленно создавая CONSORT, PRISMA и стандарты отчетности. Его влияние охватывает десятилетия. Дэвид Сакетт оставил академические круги, чтобы практиковать доказательную медицину непосредственно с пациентами в Гамильтоне – немедленная клиническая польза. Ганс Рослинг использовал свое эпидемиологическое образование для создания Gapminder, охватив миллионы людей визуализацией данных.

Same training, three paths.

Альтман-каньон (глубокое, медленное воздействие), Сакетт-мельница (ежедневное клиническое использование), Рослинг-дельта (широкий охват общественности).

Вы приобрели опыт в синтезе доказательств. Выберите свой путь:

Path A (Academia): Like Altman—build standards, shape methodology over 40 years.
→ CONSORT, PRISMA, EQUATOR. Deep, slow, lasting impact. You change how science is reported.
Path B (Clinical Practice): Like Sackett—bring evidence directly to patient care.
→ Немедленная клиническая польза. Каждый пациент получает выгоду. Вы видите результат ежедневно.
Path C (Public Communication): Как Рослинг — переводите данные для миллионов.
→ Gapminder, выступления TED, глобальный охват. Вы меняете то, как мир видит данные.

The Hybrid Path: Most Common

Years 1-5: Foundation

Graduate degree (MPH, MSc, PhD). First job often academic or junior HTA role.

Years 5-10: Specialization

Develop niche expertise. May move sectors. Build publication record and network.

Years 10-15: Leadership

Старшие роли. Часто консультирую на стороне. Приглашенный эксперт для получения рекомендаций.

Years 15+: Influence

Сформируйте поле. Напишите учебники. Обучайте следующее поколение.

Most senior methodologists have worked in 2-3 sectors. Mobility is an asset.

Module 3 Quiz

Какой карьерный путь обычно предлагает самую высокую оплату, но требует комфорта в коммерческом контексте?

Этот путь выбран. Теперь — как вы становитесь заметными?

Модуль 4: Создание вашего портфеля

МОДУЛЬ 4: СОЗДАНИЕ ВАШЕГО ПОРТФОЛИО

In a field of invisible architects, how do you become known?

A methodologist without visibility is a methodologist without impact.

Your work must speak—but first, people must hear it.

Сказка о неизвестном статистике

The Methodologist Who Changed Medicine—Anonymously:

In 1996, a statistician named David Moher led a group to create CONSORT—guidelines for reporting randomized trials.

He wasn't famous. He wasn't at Harvard. He was a methodologist at a Canadian research institute.

Today, CONSORT is required by 600+ journals. It's cited 35,000+ times. It's arguably saved more lives than most drugs—by ensuring we know which drugs actually work.

Moher built his reputation not through brilliance alone, but through relentless, visible contribution to a problem everyone faced.

Видимость Стек

1. Publications

• Методические статьи в хороших журналах

• Collaborative applied papers (methods role)

• Комментарии и письма

• Учебные пособия и практические руководства

2. Tools & Resources

• Software packages (R, Stata)

• Контрольные списки и рекомендации по отчетности

• Teaching materials (open access)

• Калькуляторы и решения вспомогательные средства

3. Presence

• Conference presentations

• Семинары и обучение

• Social media (X/Twitter, LinkedIn)

• Сообщения в блогах и информационные бюллетени

4. Network

• Cochrane/Campbell involvement

• Guideline panel memberships

• Journal editorial boards

• Mentorship relationships

Сила инструментов

metafor
R package by Wolfgang Viechtbauer. 10,000+ citations.
ROB 2
Инструмент риска предвзятости. Стандарт для Кокрейновских обзоров во всем мире.
GRADE
Framework by Guyatt et al. Used by 100+ organizations.
Шкала инструментов. Статья читается один раз. Инструмент используется тысячи раз.

Если вы можете решить повторяющуюся проблему и хорошо ее упаковать, ваше влияние умножится.

Publication Strategy: Quality Over Quantity

Формула методического документа

Problem: Identify a recurring methodological challenge

Solution: Propose a clear, implementable approach

Demonstration: Примените ее к реальным данным или моделированию

Accessibility: Предоставьте код, инструменты или шаблоны

Validation: Show it works better than status quo

Target journals: BMJ, JAMA, Annals of Internal Medicine (разделы методов), Статистика в медицине, Методы синтеза исследований, Журнал клинической эпидемиологии

Множитель сотрудничества

How Georgia Salanti Built a Methods Empire:

Джорджия Саланти не просто писала о сетевом метаанализе — она сотрудничала с клинические команды, которым это было необходимо.

В результате каждого сотрудничества были получены: (1) прикладная статья, решающая клинический вопрос, (2) аналитические материалы для ее следующей методической статьи, (3) благодарный коллега, который рекомендовал ее другим.

Ее сеть расширялась в геометрической прогрессии. Сейчас она возглавляет одну из самых продуктивных групп по синтезу доказательств в Европе.

Урок: не ждите, пока вас спросят. Предложите свои экспертные знания в области методов командам, решающим важные клинические вопросы.
Salanti G, University of Bern. 500+ publications. Developed CINeMA framework for NMA confidence.

Построение своего присутствия в Интернете

What Works

• Sharing useful content (tutorials, explainers)

• Уважительное участие в дебатах по методам

• Celebrating others' work

• Making complex ideas accessible

• Демонстрация своего пути обучения

What Doesn't

• Self-promotion without value

• Нападки на методы других публично

• Jargon-heavy posts

• Inconsistent presence

• Ignoring engagement

Best methodologist accounts: @EpiEllie, @statsepi, @CochraneCollab, @GRADEWorkingGrp

История Розалинды Франклин:

Рентгеновская фотография Розалинды Франклин (Фото 51) сыграла решающую роль в открытии структуры ДНК. Но она публиковалась осторожно и не занималась саморекламой.

Уотсон и Крик увидели ее данные, опубликовали их первыми и получили Нобелевскую премию. Франклин умер в 37 лет, практически не указан в титрах.

Десятилетия спустя ее записные книжки показали, что ей осталось несколько недель до того, как она сама решит эту структуру. Блестящая работа, проделанная слишком тихо, оказалась в тени.

Impact requires not just discovery, but communication.

You've made a crucial discovery. What do you choose?

Path A: Публикуйте осторожно — ждите точных данных, избегайте саморекламы.
→ Others see your work, publish first. You're remembered as a footnote, vindicated only decades later.
Path B: Share findings actively—engage the community, present at conferences, collaborate openly.
→ Risk being scooped, but ensure your contribution is visible. Credit follows communication.

Module 4 Quiz

Самый масштабируемый способ для методиста увеличить воздействие:

Visibility without substance is noise. Substance without visibility is silence.

Модуль 5: Инструментарий

МОДУЛЬ 5: ИНСТРУМЕНТАРИЙ

Мастер настолько хорош, насколько хороши его инструменты и его мастерство в обращении с ними.

What software do methodologists use?

What resources shape their thinking?

Statistical Software

R (Essential)

• metafor: Золотой стандарт метаанализа

• netmeta: Network meta-analysis

• robvis: Risk of bias visualization

• tidyverse: Data manipulation

Free, open source, reproducible

Stata (Common)

• metan/admetan: Meta-analysis

• network: NMA

• Сильный анализ выживания

• Preferred by some HTA agencies

Commercial license required

RevMan (Cochrane)

• Официальный инструмент Кокрейна

• User-friendly interface

• Limited customization

• Подходит для стандартных отзывов.

Бесплатно для Кокрейновских обзоров

Python (Growing)

• PyMeta: Meta-analysis

• Интеграция машинного обучения для проверки

• Text mining capabilities

• Automation scripts

Бесплатно, хорошо для интеграции AI

Инструменты систематического обзора

Covidence

Screening, extraction, collaboration

$$

Rayyan

AI-assisted screening, free tier

Free

ASReview

Active learning screening

Free

EPPI-Reviewer

Full workflow, text mining

$$

DistillerSR

Enterprise, AI features

$$$

SysRev

Open source option

Free

Essential Resources

Книжная полка методиста:

Cochrane Handbook: The gold standard reference. Free online. Read chapters 6-10 closely.

Higgins & Green → Higgins et al.: Обновляется регулярно. Ваша ссылка на любой вопрос SR.

Borenstein et al. "Introduction to Meta-Analysis": Best statistical foundation.

Guyatt et al. JAMA Users' Guides: Clinical epidemiology essentials.

IOM "Finding What Works in Health Care": Стандарты систематических обзоров.

Read one chapter per week. In two years, you'll have a graduate education in methods.

Key Organizations & Networks

Cochrane

Largest SR producer. Training. Methods groups. Volunteer opportunities.

Campbell Collaboration

Social science SRs. Growing. Less competitive to join.

JBI (Joanna Briggs)

Nursing/allied health focus. Strong training program.

GRADE Working Group

Certainty assessment. Influential. Membership by invitation.

EQUATOR Network

Reporting guidelines hub. Guideline development opportunities.

HTAi

HTA professional society. Annual conference. Interest groups.

История графики Флоренс Найтингейл:

Флоренс Найтингейл имела базовую статистическую подготовку — гораздо меньшую, чем университетские математики ее эпохи. Но она освоила один инструмент: диаграмму полярных зон.

Ее «фатушковые» диаграммы показали, что солдаты умирали больше от инфекций, чем от боевых ран. Парламент, игнорировавший таблицы цифр, мгновенно понял ее график.

У нее не было лучших инструментов. Она освоила то, что имела, и навсегда изменила военную медицину.

У вас есть данные, показывающие, что солдаты умирают от инфекций, а не от боевых ранений. Парламент должен действовать. Что вы выбираете?

Path A: Приведите таблицы цифр — данные говорят сами за себя, показывают чистую статистику.
→ Парламент вас игнорирует. Цифры без визуализации невидимы для занятых политиков.
Path B: Создавайте визуальные диаграммы — преобразуйте данные в изображения, которые с первого взгляда рассказывают историю.
→ Парламент понимает мгновенно. Изменения в политике. Военные госпитали реформируются. Жизни спасены.

Module 5 Quiz

Наиболее широко используемый пакет R для метаанализа:

Инструменты изучаются. Итак, где вы будете специализироваться?

Модуль 6: Найдите свою нишу

МОДУЛЬ 6: НАЙДИТЕ СВОЮ НИШУ

Универсалист знает что-то обо всем. Специалист знает все о чем-то. Методист знает, какие вопросы задавать по обоим направлениям.

Вы не можете освоить все методы.

Но вы можете стать мировым экспертом в одном.

Основные ниши

Network Meta-Analysis

Indirect comparisons, complex interventions

High demand

Diagnostic Test Accuracy

Sensitivity/specificity, SROC curves

Specialized

IPD Meta-Analysis

Individual patient data, advanced stats

Growing

Living Systematic Reviews

Continuous updating, automation

Emerging

Qualitative Synthesis

Meta-ethnography, framework synthesis

Underserved

Инструменты риска предвзятости

Разработка инструмента, валидация

Influential

Reporting Guidelines

CONSORT, PRISMA extensions

High impact

AI/ML in Evidence Synthesis

Automation, screening, extraction

Frontier

Deep Dive: Network Meta-Analysis

Почему эта ниша?

The problem: Policymakers need to compare 10 drugs. We have trials of A vs B, B vs C, C vs D... but not A vs D directly.

NMA solves: Borrows strength across the network to estimate all comparisons.

The opportunity: HTA agencies require NMA for reimbursement decisions. Pharma needs NMA experts. Few people truly understand it.

The barrier: Requires Bayesian statistics, graph theory, and deep understanding of transitivity. 2-3 year learning curve.

Key names: Salanti, Caldwell, Dias, Welton. Key resource: NICE DSU Technical Support Documents.

Глубокое погружение: ИИ/МО в синтезе доказательств

Почему эта ниша?

The problem: Ручная проверка 50 000 тезисов занимает месяцы. Извлечение данных из 200 статей утомительно и подвержено ошибкам.

AI/ML offers: Активное обучение для проверки (снижение рабочей нагрузки на 50–90%). НЛП для извлечения данных. GPT для составления протокола.

The opportunity: Поле новое. Стандартов пока не существует. Whoever writes the validation frameworks shapes the field.

The barrier: Requires both ML knowledge AND deep SR methods understanding. Большинство людей, занимающихся ML, не знают SR; большинство SR не знают ML.

Key names: Marshall, Wallace, Thomas. Key tools: ASReview, RobotReviewer, Trialstreamer.

Decision Tree: Finding Your Niche

Дерево решений: вас привлекают статистические сложности или улучшение процессов? Если статистика, устраивают ли вас байесовские методы? Если да, рассмотрите метаанализ NMA или IPD. Если еще нет, рассмотрите DTA или модели прогнозирования. Если вы сосредоточены на процессах, есть ли у вас интерес к технологиям/кодированию? Если да, рассмотрите AI/ML или живые систематические обзоры. Если нет, рассмотрите рекомендации или инструменты риска предвзятости.

История Арчи Кокрейна:

Арчи Кокрейн мог бы остаться врачом общей практики. Вместо этого он потратил десятилетия, задавая один вопрос: «Где доказательства?»

Он выступал за рандомизированные исследования, когда коллеги доверяли клинической интуиции. Его высмеивали, игнорировали, называли навязчивым. К моменту его смерти в 1988 году его «одержимость» стала основой доказательной медицины.

Кокрейновское сотрудничество носит его имя. Глубокие знания в одном вопросе навсегда изменили здравоохранение.

Ваши коллеги доверяют клинической интуиции, а не исследованиям. Вы считаете, что доказательства должны направлять практику. Что вы выберете?

Path A: Примите статус-кво — клинический опыт ценится, следуйте установившейся практике.
→ Медицина остается основанной на мнениях. Лечение продолжается без доказательств. Пациенты получают помощь, основанную на традициях, а не на доказательствах.
Path B: Настойчиво требуйте доказательств — продолжайте спрашивать: «Где доказательства?» несмотря на насмешки.
→ На протяжении десятилетий вас называли одержимым. В конечном итоге трансформировать медицину. Ваше имя носит глобальное сотрудничество.

Module 6 Quiz

Network meta-analysis is particularly valuable when:

Ниша выбрана. Теперь — учитесь у тех, кто ходил раньше.

Модуль 7: Настоящие путешествия

МОДУЛЬ 7: НАСТОЯЩИЕ ПУТЕШЕСТВИЯ

Every methodologist was once a beginner who didn't quit.

How did they actually get here?

Пути редко бывают прямыми.

Journey 1: The Clinician Who Asked Why

Gordon Guyatt: From Physician to GRADE Creator

Гордон Гайятт был практикующим терапевтом в 1980-е годы. Он заметил, что старшие врачи делали уверенные заявления, но их доказательства были слабыми.

Поворотный момент: He coined "Evidence-Based Medicine" in 1991. But he didn't stop there. He realized clinicians needed frameworks to assess evidence quality.

The path: MD → Clinical practice → Frustration with dogma → Methodological training → GRADE working group leadership

Today: GRADE — это глобальный стандарт оценки достоверности. Используется ВОЗ, Кокрейн, более чем 100 организациями.

Lesson: Clinical frustration can become methodological innovation.

Journey 2: The Statistician Who Saw Chaos

Doug Altman: From Numbers to Standards

Дуг Альтман получил образование статистика, а не клинициста. Но когда он просмотрел медицинские журналы, он увидел статистический хаос – неправильные тесты, искаженные результаты, невозможные цифры.

Поворотный момент: His 1994 "Scandal of Poor Medical Research" editorial in BMJ. He could have complained. Instead, he built solutions.

The path: Statistics degree → Medical statistics unit → Frustration with reporting → CONSORT, STROBE, PRISMA, EQUATOR Network

Today: His reporting guidelines changed scientific communication. Cited 500,000+ times across his work.

Lesson: Identify a widespread problem, then systematically solve it.

Journey 3: The Outsider Who Found a Gap

From PhD Student to NMA Pioneer

Джорджия Саланти была аспирантом в Греции, когда сетевой метаанализ был нишевым диковинкой. Мало кто это понял. Меньше людей могли бы этому научить.

Поворотный момент: Она признала, что NMA станет важным для HTA. Она позиционирует себя на переднем крае.

The path: Statistics PhD → Postdoc at Cambridge → Deep NMA focus → Own research group at Bern → CINeMA framework developer

Today: One of the most cited NMA methodologists globally. Consulted by WHO, NICE, pharmaceutical companies.

Урок: Найдите новый метод, который понадобится каждому, — и освойте его раньше, чем они это сделают.

Путешествие 4: Региональный пионер

Наращивание потенциала методов на Ближнем Востоке

В В 2010 г. обучение методам систематического обзора в регионе Ближнего Востока и Северной Африки было недостаточным. Большинство методистов прошли обучение в Европе или Северной Америке.

The pioneers: Clinicians and researchers who sought training abroad, then returned to build local capacity.

The path: Local medical degree → International methods fellowship → Return home → Establish training programs → Become regional experts

Today: Jordan, Lebanon, Iran, Saudi Arabia, Oman have growing evidence synthesis capacity. Regional Cochrane branches emerging.

Урок: опыт в области методов можно переносить. Если вы принесете это домой, ваше влияние умножится.

Common Patterns Across Journeys

They All Had...

• Разочарование, ставшее миссией

• Willingness to learn continuously

• Collaborators who believed in them

• Persistence through rejection

• Фокус, который со временем углублялся

They Didn't Have...

• Perfect pedigrees

• Очищение путей с самого начала

• Instant recognition

• Свобода от неудач

• All skills from day one

История Игнаца Земмельвейс:

В 1847 году Игнац Земмельвейс обнаружил, что мытье рук может снизить материнскую смертность с 18% до 2%. Медицинский истеблишмент отверг его.

Его уволили, высмеивали и в конце концов поместили в приют, где он умер в 47 лет. Потребовалось еще 20 лет, чтобы теория микробов оправдала его.

Земмельвейс не увидел своего влияния. Но каждый хирург, который сегодня занимается чисткой, следует его путем. Река достигла моря — после его смерти.

You've discovered handwashing saves lives, but colleagues reject it. What do you choose?

Path A: Give up—accept rejection, stop fighting the establishment.
→ Умри забытым и убитым горем. Будьте посмертно оправданы, но никогда не увидите своего влияния.
Path B: Документируйте все — упорствуйте, несмотря на отказ, обеспечьте сохранение доказательств.
→ Даже если вас отвергнут при жизни, ваши документированные доказательства сохранятся. Будущие поколения унаследуют истину.

Module 7 Quiz

Gordon Guyatt's path to creating GRADE began with:

Your First Job: Where to Start

Best Entry Points

• Research Assistant по систематическому обзору команды

• Junior HTA Analyst at national/regional agencies

• Cochrane/JBI Fellow (competitive but career-defining)

• Postdoc с признанным методистом

What Employers Want

• Evidence of SR/MA experience (even one published)

• R or Stata proficiency

• GRADE or risk of bias training certificates

• Strong writing samples

Pro tip: Вызов волонтера в качестве специалиста по скринингу в Кокрейновском обзоре. Это бесплатное обучение и кредит на публикацию.

The Reading List: Priority Order

Start Here (Month 1-3):
1. Cochrane Handbook — Chapters 6-10 (free online)
2. Borenstein "Introduction to Meta-Analysis" — Statistical foundation

Then (Month 4-6):
3. Guyatt's JAMA Users' Guides — Clinical epidemiology
4. GRADE Handbook — Certainty assessment (free online)

Specialize (Month 7-12):
5. NICE DSU Technical Support Documents — For NMA
6. Ioannidis papers collection — Meta-research classics

One chapter per week = graduate-level education in 2 years.

Regional Pathway: MENA & Global South

Наращивание потенциала методов в Персидском заливе и на Ближнем Востоке:

The Challenge: Limited local training programs. Most methodologists trained abroad.

The Opportunity: Growing demand. Saudi FDA, Qatar PHCC, UAE DOH all building HTA capacity. First-mover advantage is real.

Pathway:
• Complete international training (McMaster, Oxford, JBI)
• Вернитесь с сертификацией и сетью
• Партнерство с региональными учреждениями
• Become the local expert others consult

Regional conferences: ISPE Middle East, Dubai Health Forum, Gulf HTA Network meetings.

Training Programs & Fellowships

McMaster GRADE/EBM

Gold standard. Online + in-person options.

Essential

Cochrane Training

Free online modules. Certificate tracks available.

Free

JBI Programs

Comprehensive SR training. Strong in qualitative.

Respected

Oxford CEBM

Short courses and MSc options.

Prestigious

Coursera/edX

Epidemiology, Biostatistics foundations.

Affordable

AHRQ EPC Fellowships

US-based. Competitive but career-defining.

Elite

Вы видели этот путь. Теперь — вы готовы начать свой?

Final Assessment

МОДУЛЬ 8: ОКОНЧАТЕЛЬНАЯ ОЦЕНКА

Вы путешествовали по миру методов.

Пять принципов методолога

1. Строгость не является обязательной — это основа доверия.

2. Invisible work has visible consequences.

3. Depth in one area enables breadth in impact.

4. Инструменты служат методам; методы служат истине.

5. Методолог спрашивает: «Чем еще это можно объяснить?»

Final Quiz (1/5)

Doug Altman's CONSORT guidelines have been cited over:

Final Quiz (2/5)

The aprotinin case (15,000-22,000 excess deaths) illustrates:

Final Quiz (3/5)

При оценке обсервационного исследования, показывающего, что у пьющих кофе больше сердечно-сосудистых заболеваний, первым вопросом методолога должен быть:

Final Quiz (4/5)

Самый масштабируемый способ для методиста увеличить свое влияние:

Final Quiz (5/5)

Карьерный путь, который обычно предлагает самую высокую оплату, но требует комфорта в коммерческом контексте:

Ваш 6-месячный план действий

Примите участие в своем развитии. Отмечайте каждую веху по мере ее выполнения:

Ваш прогресс автоматически сохраняется в этом браузере.

Вы завершили путешествие.

Идите вперед и создайте фундамент, на котором будут стоять другие.

Remember:
Methods are invisible. Влияние нет.
Инструменты изучаются. Правосудие заслужено.
Менее пройденный путь не зря менее загружен. Всё равно пройдёмся.