Module 0: The Calling
MODULE 0: 부름

어떤 사람들은 집을 짓습니다. 다른 사람들은 기초가 유지되도록 합니다.

체커를 누가 확인하는지 궁금한 적이 있습니까?

의학적 결정 뒤에 있는 방법이 건전한지 누가 확인합니까?

보이지 않는 건축가

다리 이야기 검사관:

A city built a magnificent bridge. Engineers celebrated. Citizens crossed daily. But one woman spent her days beneath, checking welds, measuring stress, documenting cracks.

"Why don't you build bridges?" they asked.

"Because," she said, "I ensure every bridge built will stand."

방법론자는 의학적 증거의 검사관입니다. 그들은 실험을 수행하지 않습니다. 실험이 우리에게 진실을 말하도록 보장합니다.

숨겨진 영향

$2.6B
Saved when RECOVERY trial methods proved dexamethasone works
15K+
방법 검토 전에 결함이 있는 아프로티닌 연구로 인한 과도한 사망
85%
Of medical research has methodological limitations

방법의 효과는 화려하지 않습니다. 하지만 치료하는 약과 해를 끼치는 약의 차이입니다.

더그 알트만 박사의 이야기를 생각해 보세요...

Doug Altman (1948-2018): The Scandal of Poor Medical Research

In 1994, a statistician published an editorial in BMJ titled "The Scandal of Poor Medical Research." He wrote:

"우리는 더 적은 연구, 더 나은 연구, 올바른 이유로 수행되는 연구가 필요합니다."

더그 알트만은 새로운 약을 발견하지 않았습니다. 그는 수술을 하지 않았습니다. 그는 세상이 증거를 제시하는 방식을 바꾸는 보고 지침(CONSORT, STROBE, PRISMA)을 개발하는 데 경력을 바쳤습니다.

인용 횟수: 500,000회 이상. 그의 도구는 모든 주요 저널에서 사용됩니다. 그는 교량을 건설하지 않았지만 이제 모든 교량은 그의 검사 표준을 사용합니다.
Altman DG. The scandal of poor medical research. BMJ 1994;308:283-4. Citations: 6,000+

What Is a Methodologist?

What They Do

• 엄격한 연구 방법 설계

• Develop reporting guidelines

• 편향 위험 생성 도구

• Advance statistical techniques

• 차세대 교육

What They Don't Do

• 일반적으로 기본 데이터가 아님 컬렉션

• 일반적으로 환자 치료가 아님

• 헤드라인에 거의 등장하지 않음

• "제1저자"가 아닌 경우가 많음

• 혁신의 얼굴이 아님

방법론자가 설계자 개별 연구를 구축한 것이 아니라 증거를 제공합니다.

John Snow의 콜레라 지도 이야기:

1854년 런던 의사들은 콜레라가 "미아즈마"(나쁜 공기)를 통해 퍼진다고 믿었습니다. 그들의 지도는 바람의 패턴과 고도를 보여주어 아름다웠습니다.

Dr. John Snow는 일반 지도를 만들었습니다. 브로드 스트리트 펌프 주변에 사망자가 밀집되어 있음을 점으로 표시한 것입니다. 그의 간단하고 방법론적으로 탄탄한 지도는 오염된 물이 근원임을 식별했습니다.

장기 지도는 훌륭했지만 잘못되었습니다. Snow의 평범한 지도는 생명을 구했습니다.

제시보다 방법론.

당신은 1854년 런던의 의사입니다. 콜레라가 퍼지고 있습니다. 당신은 무엇을 선택하시겠습니까?

Path A: 장기 이론을 따라 바람 패턴과 공기 질에 대한 아름다운 지도를 만드세요.
→ 공기를 연구하는 동안 환자가 죽습니다. 질병은 확인되지 않은 채로 계속됩니다.
Path B: 사망자를 체계적으로 매핑하여 사례를 표시하고 데이터에서 패턴을 찾습니다.
→ 브로드 스트리트 펌프를 찾으세요. 핸들을 제거하십시오. 방법론적 사고를 통해 생명을 구하세요.

시장 현실

+340%
Growth in HTA positions since 2015
$95K-$180K
Salary range for senior methodologists
72%
Report high job satisfaction

수요가 증가하고 있습니다. 규제 기관, 제약 및 의료 시스템에는 모두 증거의 질을 이해하는 사람이 필요합니다.

그 길을 걷고자 하는 사람들에게는 길은 분명합니다.

모듈 1: 방법론자가 하는 일

모듈 1: 방법론자가 하는 일 DO

그들은 배를 만들지 않습니다. 그들은 그것이 가라앉지 않도록 보장합니다.

인생의 하루를 상상해보세요...

Not one life—many lives, in many settings.

The Methodologist Who Changed Medicine: Archie Cochrane

In 1972, a physician named Archie Cochrane published 효과와 효율성, 대부분의 의학적 결정에는 대조 시험의 증거가 부족하다고 주장합니다. 그는 치료법이 실제로 효과가 있다는 것을 입증하기 위해 의료 기관 전체에 도전했습니다.

Cochrane이 옹호하기 전에는 대부분의 의학 치료법이 무작위 대조 시험에서 테스트된 적이 없었습니다. 1993년 Cochrane Collaboration이 설립되었을 때 체계적인 검토는 증거 기반 의학의 표준이 되었습니다.

한 방법론자의 엄격함 주장은 현재 현대 의학이 의존하는 인프라를 만들었습니다.

당신은 1975년의 젊은 연구원입니다. 선임 교수는 체계적 검토를 수행하라는 당신의 제안을 다음과 같이 일축했습니다. 임상 경험을 통해 무엇이 효과가 있는지 알아보세요."

Path A: 권한에 따르십시오. 임상 경험으로 충분하다는 점을 받아들이고 체계적인 증거 합성 아이디어를 버리십시오.
→ 검증되지 않은 치료법은 도전받지 않고 계속됩니다. 환자는 "모두가 효과가 있다고 알고 있는" 비효과적이거나 위험한 치료로 인해 피해를 입습니다.
Path B: Cochrane의 비전을 따르십시오. 인기가 없는 경우에도 증거를 체계적으로 수집하고 평가해야 합니다.
→ 귀하는 전 세계적으로 의학을 변화시키는 방법론을 구축하는 데 도움을 줍니다. 체계적 검토는 전 세계적으로 임상 지침의 기초가 됩니다.

Setting 1: Academic Medical Center

Dr. Sarah Chen, Associate Professor of Biostatistics
McMaster University, Hamilton, Canada

8:00 AM: 박사 과정 학생의 체계적 검토 프로토콜 초안을 검토합니다. 치명적인 결함을 발견했습니다. 단일 심사를 계획했습니다. 파일럿 교정 연습을 권장합니다.

10:00 AM: 40명의 임상의에게 GRADE 워크숍을 가르칩니다. 절반은 "간접성"으로 인해 혼란스러워합니다. 그녀는 두통에 대한 아스피린 대 심장 마비의 예를 사용합니다. 전구는 계속됩니다.

2:00 PM: 네트워크 메타 분석 불일치에 대한 방법론 논문을 위한 공동 저자 회의. 새로운 시각화 접근 방식을 주장합니다.

4:00 PM: Reviews grant application as methodologist. Flags sample size calculation error that would doom a $2M trial.

영향: 하나의 잘못된 임상시험을 방지하고, 40명의 미래 증거 사용자를 교육하고, 해당 분야를 발전시켰습니다.

Setting 2: Health Technology Assessment Agency

Ahmed Al-Rashid, Senior HTA Analyst
Saudi Food and Drug Authority, Riyadh

8:30 AM: 새로운 당뇨병 약물에 대한 제조업체의 서류를 받았습니다. 847페이지. 그의 임무는 3주 안에 근거의 질을 평가하는 것입니다.

10:00 AM: Spots a problem: the pivotal trial used a surrogate endpoint (HbA1c) but claims mortality benefit. Surrogate ≠ patient-relevant outcome.

1:00 PM: 임상 전문가를 만납니다. "약은 효과가 있다"고 그들은 말한다. "그런데 그게 환자들에게 문제가 되나요?" 그는 묻습니다. 증거 격차가 확인되었습니다.

3:00 PM: 평가 보고서 초안. 실제 증거 수집 요건을 갖춘 조건부 승인을 권장합니다.

영향: 이제 마케팅 주장이 아닌 엄격한 방법을 기반으로 국가의 약품 보장 결정이 이루어집니다.

Setting 3: Pharmaceutical Industry

Dr. Maria Santos, Director of Evidence Strategy
Global Pharmaceutical Company, Basel

9:00 AM: 3상 임상시험 프로토콜을 설계합니다. 설명보다 실용적인 설계를 위해 싸우고 있습니다. 모집하기는 어렵지만 결과는 실제 환자에게 적용됩니다.

11:00 AM: Reviews competitor's published trial. Notes: open-label, subjective outcomes, high attrition. Prepares competitive landscape briefing.

2:00 PM: FDA 사전 제출 회의에서 임상팀을 지도합니다. "그들은 기본 엔드포인트에 대해 물을 것입니다. 민감도 분석을 준비하십시오."

4:30 PM: HTA 제출에 대한 네트워크 메타 분석에 대한 글로벌 호출에 참여합니다. 90분 동안 전이성 가정에 대해 토론합니다.

영향: 더 나은 설계의 임상시험, 보다 명확한 규제 경로, 환자와 기업에 도움이 되는 증거.

Setting 4: WHO/Global Health

Dr. Kwame Asante, Technical Officer
World Health Organization, Geneva

8:00 AM: AFRO 지역과의 오전 회의. 말라리아 지침 업데이트가 필요합니다. 신속한 검토가 조정될 수 있는지 여부와 새로운 증거가 필요한 검토.

10:30 AM: 지침 개발 그룹 회의. 14명의 전문가가 개입에 동의하지 않습니다. 그의 역할: 누가 가장 큰 소리를 내는지에 관계없이 증거가 객관적으로 제시되도록 합니다.

1:00 PM: HIV 테스트 권장 사항에 대한 GRADE 증거 프로필 초안을 작성합니다. "매우 낮은 확실성"은 "권장하지 않음"을 의미하지 않습니다. 그는 평이한 언어로 요약을 작성합니다.

4:00 PM: 리빙 체계적 검토 대시보드를 검토합니다. 지난달 이후 3개의 새로운 RCT가 나왔습니다. 업데이트 프로토콜을 트리거합니다.

Impact: Guidelines used by 194 member states. Methods decisions affect millions.

핵심 활동

Design

Creating study protocols, sample size calculations, endpoint selection

Appraise

Risk of bias assessment, GRADE ratings, critical appraisal

Synthesize

Meta-analysis, network meta-analysis, qualitative synthesis

Develop

New tools, guidelines, reporting standards, software

Teach

Training researchers, clinicians, policymakers

Advise

Consultations on specific studies, grants, submissions

Consider what happens when methods fail...

아프로티닌 재해

1993-2007: A drug that should have been stopped years earlier

아프로티닌은 출혈을 줄이기 위해 심장 수술에 사용되었습니다. 초기 연구에서는 그것이 효과가 있다고 제안했습니다. 그러나 방법론자들은 다음과 같은 문제를 발견했습니다.

• Observational studies had severe confounding
• RCT가 너무 작아서 안전 결과가 나오지 않았습니다
• Meta-analyses pooled incompatible populations

2007: BART trial finally showed increased mortality. Drug withdrawn.

Estimate: 15,000-22,000 excess deaths while methodological concerns were ignored.
Fergusson et al. NEJM 2008. Shaw et al. BMJ 2014.

RECOVERY 승리

2020: Methods done right, lives saved

RECOVERY 임상시험은 첫날부터 엄격한 방법을 사용했습니다.

• Pragmatic design embedded in routine care
• Adequate sample size (thousands, not dozens)
• 사전 지정된 평가변수 및 분석 계획
• 독립 데이터 모니터링 위원회

Result: Dexamethasone proven in 100 days. Estimated 1 million lives saved globally.

이 프로토콜을 설계한 방법론자는 우리 시대의 가장 영향력 있는 과학자 중 하나이지만 이름을 아는 사람은 거의 없습니다.
RECOVERY Collaborative Group. NEJM 2021. Horby P, Landray M (co-chief investigators).

Module 1 Quiz

A methodologist's primary role is to:

Module 1 Quiz (2)

Scenario
아프로티닌 사건으로 인해 약 15,000~22,000명의 초과 사망자가 발생했습니다. 주요 방법론적 실패는 다음과 같습니다.

가장 정확한 답변 선택:

방법이 추상적이지 않습니다. 방법은 삶과 죽음입니다.

모듈 2: 기술 스택

모듈 2: 기술 스택

A methodologist is not one thing. A methodologist is many things woven together.

방법론자와 연구원을 구분하는 기술은 무엇입니까?

Not depth in one area—but bridges between many.

4가지 기술 기둥

1. 통계 및 정량적 방법

• 회귀 분석, 생존 분석

• Meta-analysis (pairwise, network)

• 베이지안 방법(점점 증가)

• 누락 데이터, 민감도 분석

2. 전염병학 및 연구 설계

• Bias recognition (selection, information, confounding)

• RCT 설계 및 CONSORT

• 관찰 연구의 한계

• Causal inference frameworks

3. Domain Expertise

• Clinical knowledge (enough to ask right questions)

• Understanding healthcare systems

• 정책 및 의사결정 상황

• Patient-relevant outcomes

4. Communication

• Translating complexity to clarity

• 다양한 대상을 위한 저술

• 교육 및 멘토링

• Diplomatic disagreement

DNA 발견 이야기:

In 1953, discovering DNA's structure required four disciplines:

Rosalind Franklin's X-ray crystallography revealed the helix shape.
Erwin Chargaff's chemistry showed base-pairing rules.
Linus Pauling's modeling expertise suggested the spiral.
Watson과 Crick의 생물학적 통찰력이 그 조각을 완성했습니다.

No single specialist could have solved it alone. The double helix emerged only when disciplines converged.

방법론자는 전문가 간의 번역자입니다. 어느 한 분야에서 가장 깊은 것은 아니지만 모든 분야에 능숙합니다.

당신은 DNA 구조에 대한 중요한 X선 데이터를 가지고 있습니다. 무엇을 선택하시겠습니까?

Path A: 격리하여 작업하세요. 혼자서 분석을 완벽하게 하고 데이터를 주의 깊게 보호하세요.
→ 다른 사람들은 백 채널을 통해 데이터를 보고 먼저 게시합니다. 귀하의 기여는 역사에 각인됩니다.
Path B: 다양한 분야에서 협력하여 통찰력을 공유하고 생물학자 및 화학자와 교류하십시오.
→ 집단적 발견. 혁신은 합성에서 나온다. 과학은 함께 발전합니다.

통계: 필요한 것

Core Competencies (Must Have)

• Regression fundamentals: Linear, logistic, interpretation of coefficients

• Survival analysis: Kaplan-Meier, Cox regression, hazard ratios

• Meta-analysis: Fixed/random effects, heterogeneity (I², τ²), forest plots

• Missing data: MCAR/MAR/MNAR, multiple imputation basics

Growth Areas (Increasingly Valuable)

• Network meta-analysis and indirect comparisons

• Bayesian approaches (priors, credible intervals)

• Machine learning for prediction models

• Causal inference methods (IPW, G-methods)

John Ioannidis의 이야기

임상의의에서 혁명적인 방법으로

John Ioannidis trained as an infectious disease physician. He could have spent his career treating patients.

대신, 그는 2005년에 "가장 많이 출판된 연구 결과가 왜 거짓"—대부분의 연구 결과가 틀렸다고 주장하는 통계적 주장입니다.

해당 논문은 15,000 times에서 인용되었습니다. 이는 저널, 자금 제공자 및 연구자가 증거에 대해 생각하는 방식을 변화시켰습니다.

그는 세계 최고의 통계학자가 될 필요가 없었습니다. 그는 누구도 묻지 않는 질문을 할 수 있을 만큼 통계를 잘 이해해야 했습니다.
Ioannidis JPA. PLoS Medicine 2005;2(8):e124. Most-accessed article in journal history.

Epidemiology: The Bias Hunter's Toolkit

Selection Bias

연구 참여자 ≠ 대상 모집단

Example: Trials excluding elderly patients, then applied to nursing homes

Information Bias

Measurement error, recall bias, detection bias

Example: Unblinded outcome assessors rating subjective endpoints

Confounding

Third variable creates spurious association

Example: Vitamin D and COVID—sick people stay indoors

방법론자의 질문

"어떤 편견이 이 결과를 설명할 수 있으며, 얼마나 많은 편견이 필요할까요? 설명하시겠습니까?"

커피와 심장병 이야기:

수십 년 동안 관찰 연구에 따르면 커피를 마시는 사람들이 심장병에 더 많이 걸리는 것으로 나타났습니다. 지침은 커피에 대해 경고했습니다.

그런 다음 방법론자들은 커피를 마시는 사람들이 담배를 더 많이 피우는 것을 발견했습니다. 연구 결과를 흡연에 맞춰 조정하자 그 연관성은 사라졌습니다.

향후 연구에서는 더 나은 방법을 통해 커피가 실제로 보호 효과가 있을 수 있음을 보여주었습니다.

방법론자의 임무는 진실을 선언하는 것이 아니라 "이것을 설명할 수 있는 다른 것이 무엇입니까?"라고 묻는 것입니다.

커뮤니케이션: 과소평가됨 기술

50%
Of methodologist time spent communicating with non-methodologists
1
Slide that explains GRADE better than 100 papers
∞
Impact multiplier when clinicians understand methods
The test: "매우 낮은 확실성 근거"를 환자에게 한 문장으로 설명할 수 있습니까?

"우리는 이 결과에 확신이 없습니다. 실제 효과는 연구 결과와 상당히 다를 수 있습니다."

결정 트리: 기초가 있습니까?

결정 트리: 임상의에게 신뢰 구간을 설명할 수 있습니까? If yes, can you identify 3 biases in an observational study? 두 가지 모두에 해당된다면 기초를 다 갖춘 준비가 된 것입니다. 편견을 식별할 수 없다면 연구 설계 과정을 수강하세요. 신뢰 구간을 설명할 수 없다면 먼저 생물통계학 과정을 수강하십시오.

Module 2 Quiz

방법론적 기술의 4가지 핵심은 다음과 같습니다.

Module 2 Quiz (2)

Scenario
한 연구에 따르면 유기농 식품을 먹는 사람들의 암 발생률이 더 낮습니다. 이 연구는 50,000명의 참가자를 대상으로 관찰되었습니다. 방법론자의 첫 번째 질문은 무엇이어야 합니까?

가장 좋은 방법론적 질문을 선택하십시오.

기술이 기초입니다. 이제 어디에서 구축하시겠습니까?

모듈 3: 진로

모듈 3: 진로

많은 길은 방법으로 이어집니다. 각각의 길은 당신이 어떤 사람이 될지를 결정합니다.

Where do methodologists work?

답변은 당신을 놀라게 할 것입니다.

6가지 직업 경로

Academia

Universities, research institutes

$80K-$180K

HTA Agencies

NICE, CADTH, IQWIG, regional authorities

$70K-$140K

Cochrane/JBI

증거 종합 조직

$65K-$120K

WHO/Global Health

International organizations, NGOs

$90K-$160K

Pharmaceutical

업계 증거 팀, CRO

$100K-$220K

Consulting

Independent or boutique firms

$120K-$300K+

Salary ranges approximate, USD, vary by region and seniority. Source: Industry surveys 2023-2024.

Path 1: Academia

The Profile

Day-to-day: Teaching, research, supervision, grant writing, committee work
Autonomy: 높음(선택 질문)
Stability: Variable (tenure track vs. soft money)
Impact timeline: Long (publications take years)

Who thrives here: 가르치는 것을 좋아하고 연구의 자유를 원하는 사람

주의할 사항: Publish-or-perish pressure, grant uncertainty, limited practical application
Academic Methodologist, 15 years
"I've published 300 papers. Maybe 10 changed practice. But the students I've trained? They're changing practice every day."

Path 2: HTA Agencies

The Profile

Day-to-day: Reviewing manufacturer submissions, writing assessment reports, guideline development
Autonomy: Medium (structured processes)
Stability: High (government/quasi-government)
Impact timeline: Immediate (decisions affect coverage)

Who thrives here: 직접적인 정책 영향을 원하는 사람, 구조화된 작업을 즐기고 책임감 있는 사람

주의할 사항: Political pressure, tight deadlines, less research creativity
NICE Senior Analyst, UK
"Every report I write might determine whether 100,000 patients get a treatment. That focus keeps me sharp."

Path 3: WHO & Global Health

The Profile

Day-to-day: Guideline development, evidence reviews, technical assistance to countries
Autonomy: Medium (diplomatic constraints)
Stability: Medium (contract-based, but renewable)
Impact timeline: Variable (guidelines can take years; emergency response is immediate)

Who thrives here: Those who want global impact, enjoy cross-cultural work, can navigate bureaucracy

주의할 사항: Slow decision-making, political considerations, frequent travel
WHO Technical Officer, Geneva
"Our malaria guideline is used by 40 countries. But getting 15 experts to agree on one sentence can take six months."

Path 4: Pharmaceutical Industry

The Profile

Day-to-day: Trial design, HTA submissions, competitive intelligence, medical affairs support
Autonomy: Medium (business objectives)
Stability: Medium (restructuring common)
Impact timeline: Medium (product lifecycle)

Who thrives here: 높은 보상을 원하는 사람, 빠른 속도를 원하는 사람 상업적 맥락

주의할 사항: 이해 상충 인식, "올바른 답을 찾아야 하는" 압력, 출판 자유 감소
Director of Evidence Strategy, Global Pharma
"예, 우리는 약품의 승인을 원합니다. 하지만 3상에 실패한 나쁜 임상시험 설계에는 5억 달러의 비용이 듭니다. 엄격함은 좋은 사업입니다."

Decision Tree: Which Path Fits You?

Decision tree: Is direct policy impact more important than research freedom? If impact, choose between global scope (WHO/NGO) or national focus (HTA agency). If freedom, choose between compensation priority (Pharma/Consulting) or autonomy priority (Academia).

세 명의 방법론자의 이야기:

Doug Altman은 옥스퍼드에서 40년을 보내면서 천천히 CONSORT, PRISMA 및 보고 표준을 구축했습니다. 그의 영향력은 수십 년에 걸쳐 이어졌습니다. David Sackett은 즉각적인 임상적 유용성인 해밀턴의 환자들과 직접적으로 증거 기반 의학을 실천하기 위해 학계를 떠났습니다. Hans Rosling은 전염병학 교육을 통해 데이터 시각화를 통해 수백만 명에게 도달하는 Gapminder를 만들었습니다.

Same training, three paths.

Altman은 협곡(깊고 느린 영향), Sackett는 공장(일상 임상 사용), Rosling은 삼각주(광범위한 대중 도달).

증거 합성에 대한 전문 지식을 개발하셨습니다. 경로를 선택하십시오:

Path A (Academia): Like Altman—build standards, shape methodology over 40 years.
→ CONSORT, PRISMA, EQUATOR. Deep, slow, lasting impact. You change how science is reported.
Path B (Clinical Practice): Like Sackett—bring evidence directly to patient care.
→ 즉각적인 임상적 유용성. 모든 환자는 혜택을 받습니다. 매일 그 영향을 확인하세요.
Path C (Public Communication): Rosling처럼—수백만 달러에 달하는 데이터를 번역하세요.
→ Gapminder, TED 강연, 글로벌 도달 범위. 세상이 데이터를 보는 방식을 바꾸세요.

The Hybrid Path: Most Common

Years 1-5: Foundation

Graduate degree (MPH, MSc, PhD). First job often academic or junior HTA role.

Years 5-10: Specialization

Develop niche expertise. May move sectors. Build publication record and network.

Years 10-15: Leadership

고위 역할. 옆에서 상담하는 경우가 많습니다. 가이드라인을 위해 전문가를 초대했습니다.

Years 15+: Influence

분야를 형성하세요. 교과서를 쓰세요. 다음 세대를 교육하세요.

Most senior methodologists have worked in 2-3 sectors. Mobility is an asset.

Module 3 Quiz

일반적으로 가장 높은 보상을 제공하지만 상업적인 맥락에 대한 편안함이 필요한 직업 경로는 무엇입니까?

경로가 선택됩니다. 이제, 어떻게 눈에 띄게 될까요?

모듈 4: 포트폴리오 구축

모듈 4: 포트폴리오 구축

In a field of invisible architects, how do you become known?

A methodologist without visibility is a methodologist without impact.

Your work must speak—but first, people must hear it.

무명 통계학자 이야기

The Methodologist Who Changed Medicine—Anonymously:

In 1996, a statistician named David Moher led a group to create CONSORT—guidelines for reporting randomized trials.

He wasn't famous. He wasn't at Harvard. He was a methodologist at a Canadian research institute.

Today, CONSORT is required by 600+ journals. It's cited 35,000+ times. It's arguably saved more lives than most drugs—by ensuring we know which drugs actually work.

Moher built his reputation not through brilliance alone, but through relentless, visible contribution to a problem everyone faced.

가시성 Stack

1. Publications

• 좋은 저널에 게재된 방법론 논문

• Collaborative applied papers (methods role)

• 해설 및 편지

• 튜토리얼 및 방법 가이드

2. Tools & Resources

• Software packages (R, Stata)

• 체크리스트 및 보고 가이드라인

• Teaching materials (open access)

• 계산기 및 결정 보조 도구

3. Presence

• Conference presentations

• 워크숍 및 교육

• Social media (X/Twitter, LinkedIn)

• 블로그 게시물 및 뉴스레터

4. Network

• Cochrane/Campbell involvement

• Guideline panel memberships

• Journal editorial boards

• Mentorship relationships

도구의 힘

metafor
R package by Wolfgang Viechtbauer. 10,000+ citations.
ROB 2
편향 도구의 위험. 전세계 Cochrane 리뷰의 표준.
GRADE
Framework by Guyatt et al. Used by 100+ organizations.
도구 규모. 논문은 한 번 읽는다. 도구는 수천 번 사용됩니다.

반복되는 문제를 해결하고 잘 패키지화하면 영향력이 배가됩니다.

Publication Strategy: Quality Over Quantity

방법론 문서 공식

Problem: Identify a recurring methodological challenge

Solution: Propose a clear, implementable approach

Demonstration: 실제 데이터 또는 시뮬레이션에 적용

Accessibility: 코드, 도구 또는 템플릿

Validation: Show it works better than status quo

Target journals: BMJ, JAMA, 내과 연보(방법 섹션), 의학 통계, 연구 종합 방법, 임상 역학 저널

협업 승수

How Georgia Salanti Built a Methods Empire:

Georgia Salanti는 네트워크 메타 분석에 관한 글만 쓴 것이 아니라 필요한 임상 팀과 협력했습니다.

각 협업을 통해 (1) 임상 문제를 해결하는 응용 논문, (2) 다음 방법 논문에 대한 방법론 통찰력, (3) 그녀를 다른 사람들에게 추천해 준 고마운 동료가 탄생했습니다.

그녀의 네트워크는 기하급수적으로 성장했습니다. 이제 그녀는 유럽에서 가장 생산적인 증거 종합 그룹 중 하나를 이끌고 있습니다.

교훈: 요청을 기다리지 마십시오. 중요한 임상 질문이 있는 팀에 귀하의 방법 전문 지식을 제공하십시오.
Salanti G, University of Bern. 500+ publications. Developed CINeMA framework for NMA confidence.

온라인 존재감 구축

What Works

• Sharing useful content (tutorials, explainers)

• 정중하게 방법 토론에 참여

• Celebrating others' work

• Making complex ideas accessible

• 학습 여정 표시

What Doesn't

• Self-promotion without value

• 다른 사람의 방법 공격 공개적으로

• Jargon-heavy posts

• Inconsistent presence

• Ignoring engagement

Best methodologist accounts: @EpiEllie, @statsepi, @CochraneCollab, @GRADEWorkingGrp

로잘린드 프랭클린 이야기:

로잘린드 프랭클린의 X선 사진(사진 51)은 DNA 구조를 발견하는 데 결정적인 역할을 했습니다. 그러나 그녀는 조심스럽게 출판했고 자기 홍보를 하지 않았습니다.

왓슨과 크릭은 그녀의 데이터를 보고 먼저 출판하여 노벨상을 받았습니다. 프랭클린은 37세의 나이로 세상을 떠났는데, 대부분 신용이 없었습니다.

수십 년 후, 프랭클린의 노트에는 프랭클린이 구조를 직접 해결하기까지 몇 주가 남았다는 것이 밝혀졌습니다. 너무 조용히 공유된 훌륭한 작업은 가려졌습니다.

Impact requires not just discovery, but communication.

You've made a crucial discovery. What do you choose?

Path A: 신중하게 게시하십시오. 완벽한 데이터를 기다리고 자기 홍보는 피하십시오.
→ Others see your work, publish first. You're remembered as a footnote, vindicated only decades later.
Path B: Share findings actively—engage the community, present at conferences, collaborate openly.
→ Risk being scooped, but ensure your contribution is visible. Credit follows communication.

Module 4 Quiz

방법론자가 영향력을 높이는 가장 확장 가능한 방법은 다음과 같습니다.

Visibility without substance is noise. Substance without visibility is silence.

모듈 5: 툴킷

모듈 5: 툴킷

장인의 실력은 도구와 그에 대한 숙달 정도에 달려 있습니다.

What software do methodologists use?

What resources shape their thinking?

Statistical Software

R (Essential)

• metafor: 기술의 표준 메타 분석

• netmeta: Network meta-analysis

• robvis: Risk of bias visualization

• tidyverse: Data manipulation

Free, open source, reproducible

Stata (Common)

• metan/admetan: Meta-analysis

• network: NMA

• 강력한 생존 분석

• Preferred by some HTA agencies

Commercial license required

RevMan (Cochrane)

• 공식 Cochrane 도구

• User-friendly interface

• Limited customization

• 표준 검토에 적합

Cochrane 검토에 무료

Python (Growing)

• PyMeta: Meta-analysis

• ML 통합 스크리닝

• Text mining capabilities

• Automation scripts

무료, AI 통합에 좋음

체계적인 검토 도구

Covidence

Screening, extraction, collaboration

$$

Rayyan

AI-assisted screening, free tier

Free

ASReview

Active learning screening

Free

EPPI-Reviewer

Full workflow, text mining

$$

DistillerSR

Enterprise, AI features

$$$

SysRev

Open source option

Free

Essential Resources

방법론자의 책장:

Cochrane Handbook: The gold standard reference. Free online. Read chapters 6-10 closely.

Higgins & Green → Higgins et al.: 정기적으로 업데이트됩니다. SR 질문에 대한 참조입니다.

Borenstein et al. "Introduction to Meta-Analysis": Best statistical foundation.

Guyatt et al. JAMA Users' Guides: Clinical epidemiology essentials.

IOM "Finding What Works in Health Care": 체계적인 검토를 위한 표준.

Read one chapter per week. In two years, you'll have a graduate education in methods.

Key Organizations & Networks

Cochrane

Largest SR producer. Training. Methods groups. Volunteer opportunities.

Campbell Collaboration

Social science SRs. Growing. Less competitive to join.

JBI (Joanna Briggs)

Nursing/allied health focus. Strong training program.

GRADE Working Group

Certainty assessment. Influential. Membership by invitation.

EQUATOR Network

Reporting guidelines hub. Guideline development opportunities.

HTAi

HTA professional society. Annual conference. Interest groups.

플로렌스 나이팅게일 이야기의 그래픽:

플로렌스 나이팅게일은 당시 대학 수학자보다 훨씬 적은 기본 통계 교육을 받았습니다. But she mastered one tool: the polar area diagram.

Her "coxcomb" charts showed that soldiers died more from infection than battle wounds. 숫자표를 무시했던 의회는 그녀의 그래픽을 즉시 이해했습니다.

그녀에게는 최고의 도구가 없었습니다. 그녀는 자신이 가진 것을 터득했고, 군의학을 완전히 바꿨습니다.

군인이 전투 부상이 아닌 감염으로 사망한다는 데이터가 있습니다. 국회가 행동해야 합니다. 당신은 무엇을 선택하시겠습니까?

Path A: 숫자표를 제시하세요. 데이터는 그 자체로 말하고 원시 통계를 보여줍니다.
→ 의회는 당신을 무시합니다. 시각화가 없는 숫자는 바쁜 정치인에게 보이지 않습니다.
Path B: 시각적 다이어그램 만들기 - 데이터를 한 눈에 이야기를 전달하는 그림으로 변환합니다.
→ 의회는 즉시 이해합니다. 정책 변경. 군병원이 개편된다. 생명이 구해집니다.

Module 5 Quiz

메타 분석에 가장 널리 사용되는 R 패키지는 다음과 같습니다.

도구가 학습됩니다. 이제 어디에서 전문화하시겠습니까?

모듈 6: 틈새 시장 찾기

모듈 6: 틈새 시장 찾기

일반인은 모든 것에 대해 뭔가를 알고 있습니다. 전문가는 어떤 것에 관한 모든 것을 알고 있습니다. 방법론자는 두 가지 모두에 대해 어떤 질문을 해야 할지 알고 있습니다.

모든 방법을 마스터할 수는 없습니다.

그러나 한 가지 방법에 있어서 세계적인 전문가가 될 수 있습니다.

주요 틈새

Network Meta-Analysis

Indirect comparisons, complex interventions

High demand

Diagnostic Test Accuracy

Sensitivity/specificity, SROC curves

Specialized

IPD Meta-Analysis

Individual patient data, advanced stats

Growing

Living Systematic Reviews

Continuous updating, automation

Emerging

Qualitative Synthesis

Meta-ethnography, framework synthesis

Underserved

편향의 위험 도구

도구 개발, 검증

Influential

Reporting Guidelines

CONSORT, PRISMA extensions

High impact

AI/ML in Evidence Synthesis

Automation, screening, extraction

Frontier

Deep Dive: Network Meta-Analysis

이 틈새시장이 필요한 이유

The problem: Policymakers need to compare 10 drugs. We have trials of A vs B, B vs C, C vs D... but not A vs D directly.

NMA solves: Borrows strength across the network to estimate all comparisons.

The opportunity: HTA agencies require NMA for reimbursement decisions. Pharma needs NMA experts. Few people truly understand it.

The barrier: Requires Bayesian statistics, graph theory, and deep understanding of transitivity. 2-3 year learning curve.

Key names: Salanti, Caldwell, Dias, Welton. Key resource: NICE DSU Technical Support Documents.

심층 분석: 증거 합성의 AI/ML

이 틈새시장이 필요한 이유

The problem: 50,000개의 초록을 직접 심사하는 데는 몇 달이 걸립니다. 200개의 논문에서 데이터를 추출하는 것은 지루하고 오류가 발생하기 쉽습니다.

AI/ML offers: 심사를 위한 능동적 학습(작업량 50-90% 감소). 데이터 추출을 위한 NLP. 프로토콜 초안 작성을 위한 GPT입니다.

The opportunity: 필드가 새 항목입니다. 표준은 아직 존재하지 않습니다. 검증 프레임워크를 작성하는 사람은 누구나 해당 분야를 형성합니다.

The barrier: ML 지식과 깊은 SR 방법에 대한 이해가 모두 필요합니다. 대부분의 ML 사람들은 SR을 모릅니다. 대부분의 SR 담당자는 ML을 모릅니다.

Key names: Marshall, Wallace, Thomas. Key tools: ASReview, RobotReviewer, Trialstreamer.

Decision Tree: Finding Your Niche

결정 트리: 통계적 복잡성이나 프로세스 개선에 더 끌리시나요? 통계라면 베이지안 방법에 익숙합니까? 그렇다면 NMA 또는 IPD 메타 분석을 고려하십시오. 아직 고려하지 않았다면 DTA 또는 예측 모델을 고려하세요. 프로세스 중심이라면 기술/코딩에 관심이 있습니까? 그렇다면 AI/ML 또는 체계적인 검토를 고려해보세요. 그렇지 않다면 지침이나 편견 도구의 위험을 고려하십시오.

Archie Cochrane 이야기:

Archie Cochrane은 일반 의사로 남을 수도 있었습니다. 대신 그는 "근거는 어디에 있습니까?"라는 한 가지 질문을 하며 수십 년을 보냈습니다.

그는 동료들이 임상적 직관을 신뢰했을 때 무작위 임상시험을 옹호했습니다. 그는 조롱당했고, 무시당했고, 강박적이라는 말을 들었습니다. 1988년 그가 사망할 때까지 그의 "집착"은 증거 기반 의학의 기초가 되었습니다.

코크란 협업(Cochrane Collaboration)은 그의 이름을 딴 것입니다. 하나의 질문에 대한 심층적인 전문 지식이 의료 서비스를 영원히 바꿔 놓았습니다.

동료들은 실험보다 임상적 직관을 신뢰합니다. 당신은 증거가 실천의 지침이 되어야 한다고 믿습니다. 무엇을 선택하시겠습니까?

Path A: 현 상태를 받아들이십시오. 임상 경험을 소중히 여기고 확립된 관행을 따르십시오.
→ 의학은 여전히 ​​의견 중심입니다. 증거 없이 치료가 계속됩니다. 환자는 증거가 아닌 전통에 따라 치료를 받습니다.
Path B: 계속 증거를 요구합니다. "증거가 어디에 있습니까?"라고 계속 묻습니다. 조롱에도 불구하고.
→ 수십 년 동안 강박관념을 가지고 있습니다. 결국 의학을 변화시키게 됩니다. 귀하의 이름은 글로벌 협업입니다.

Module 6 Quiz

Network meta-analysis is particularly valuable when:

틈새 시장이 선택되었습니다. 이제 이전에 걸었던 사람들로부터 배우십시오.

모듈 7: 실제 여정

모듈 7: 실제 여정

Every methodologist was once a beginner who didn't quit.

How did they actually get here?

길이 직선인 경우는 거의 없습니다.

Journey 1: The Clinician Who Asked Why

Gordon Guyatt: From Physician to GRADE Creator

Gordon Guyatt는 1980년대. 그는 선임 의사들이 확신에 찬 발언을 했지만 근거가 미약하다는 점에 주목했습니다.

전환점: He coined "Evidence-Based Medicine" in 1991. But he didn't stop there. He realized clinicians needed frameworks to assess evidence quality.

The path: MD → Clinical practice → Frustration with dogma → Methodological training → GRADE working group leadership

Today: GRADE는 확실성 평가를 위한 글로벌 표준입니다. WHO, Cochrane, 100개 이상의 조직에서 사용됩니다.

Lesson: Clinical frustration can become methodological innovation.

Journey 2: The Statistician Who Saw Chaos

Doug Altman: From Numbers to Standards

Doug Altman은 임상의가 아닌 통계학자로 교육을 받았습니다. 그러나 의학 저널을 살펴보면서 그는 잘못된 테스트, 잘못 보고된 결과, 불가능한 숫자 등 통계적 혼란을 보았습니다.

전환점: His 1994 "Scandal of Poor Medical Research" editorial in BMJ. He could have complained. Instead, he built solutions.

The path: Statistics degree → Medical statistics unit → Frustration with reporting → CONSORT, STROBE, PRISMA, EQUATOR Network

Today: His reporting guidelines changed scientific communication. Cited 500,000+ times across his work.

Lesson: Identify a widespread problem, then systematically solve it.

Journey 3: The Outsider Who Found a Gap

From PhD Student to NMA Pioneer

Georgia Salanti는 네트워크 메타 분석이 틈새 시장에 관심이 있었을 때 그리스에서 박사 과정을 밟고 있던 학생이었습니다. 그것을 이해하는 사람은 거의 없었습니다. 가르칠 수 있는 사람은 거의 없습니다.

전환점: 그녀는 NMA가 HTA에 필수적이라는 것을 인식했습니다. 그녀는 최전선에 자리 잡았습니다.

The path: Statistics PhD → Postdoc at Cambridge → Deep NMA focus → Own research group at Bern → CINeMA framework developer

Today: One of the most cited NMA methodologists globally. Consulted by WHO, NICE, pharmaceutical companies.

교훈: 모든 사람에게 필요한 새로운 방법을 찾고, 그렇게 되기 전에 먼저 숙달하세요.

여정 4: 지역 개척자

중동에서 방법 역량 구축

In 2010년에는 MENA 지역의 체계적인 검토 방법 교육이 부족했습니다. 대부분의 방법론자는 유럽이나 북미에서 교육을 받았습니다.

The pioneers: Clinicians and researchers who sought training abroad, then returned to build local capacity.

The path: Local medical degree → International methods fellowship → Return home → Establish training programs → Become regional experts

Today: Jordan, Lebanon, Iran, Saudi Arabia, Oman have growing evidence synthesis capacity. Regional Cochrane branches emerging.

교훈: 방법론 전문 지식은 이동 가능합니다. 집으로 가져오면 영향력이 배가됩니다.

Common Patterns Across Journeys

They All Had...

• 사명이 된 좌절

• Willingness to learn continuously

• Collaborators who believed in them

• Persistence through rejection

• 시간이 지남에 따라 깊어진 집중

They Didn't Have...

• Perfect pedigrees

• 처음부터 명확한 경로

• Instant recognition

• 좌절로부터의 자유

• All skills from day one

Ignaz의 이야기 Semmelweis:

1847년 Ignaz Semmelweis는 손 씻기가 산모 사망률을 18%에서 2%로 줄일 수 있다는 사실을 발견했습니다. 의료 기관에서는 그를 거부했습니다.

그는 해고되고 조롱을 당했으며 결국 정신병원에 수용되어 47세의 나이로 사망했습니다. 세균 이론이 그의 정당성을 입증하는 데 20년이 더 걸렸습니다.

제멜바이스는 그의 영향을 보지 못했습니다. 그러나 오늘날 수술을 하는 모든 외과 의사는 그의 길을 따릅니다. 그의 죽음 이후 강은 바다에 이르렀습니다.

You've discovered handwashing saves lives, but colleagues reject it. What do you choose?

Path A: Give up—accept rejection, stop fighting the establishment.
→ 잊혀지고 상심하여 죽습니다. 사후에 입증되되, 결코 영향을 보지 마십시오.
Path B: 모든 것을 문서화하십시오. 거절에도 불구하고 지속하고 증거가 남아 있는지 확인하십시오.
→ 일생 동안 거절되더라도 문서화된 증거는 살아남습니다. 미래 세대는 진실을 물려받습니다.

Module 7 Quiz

Gordon Guyatt's path to creating GRADE began with:

Your First Job: Where to Start

Best Entry Points

• Research Assistant 교과서에서 방법에 대한 읽기

• Junior HTA Analyst at national/regional agencies

• Cochrane/JBI Fellow (competitive but career-defining)

• Postdoc 방법론자

What Employers Want

• Evidence of SR/MA experience (even one published)

• R or Stata proficiency

• GRADE or risk of bias training certificates

• Strong writing samples

Pro tip: 코크란 리뷰의 스크리너로 자원 봉사하세요. 무료 교육 및 출판 크레딧입니다.

The Reading List: Priority Order

Start Here (Month 1-3):
1. Cochrane Handbook — Chapters 6-10 (free online)
2. Borenstein "Introduction to Meta-Analysis" — Statistical foundation

Then (Month 4-6):
3. Guyatt's JAMA Users' Guides — Clinical epidemiology
4. GRADE Handbook — Certainty assessment (free online)

Specialize (Month 7-12):
5. NICE DSU Technical Support Documents — For NMA
6. Ioannidis papers collection — Meta-research classics

One chapter per week = graduate-level education in 2 years.

Regional Pathway: MENA & Global South

걸프만 및 중동 지역의 구축 방법 역량:

The Challenge: Limited local training programs. Most methodologists trained abroad.

The Opportunity: Growing demand. Saudi FDA, Qatar PHCC, UAE DOH all building HTA capacity. First-mover advantage is real.

Pathway:
• Complete international training (McMaster, Oxford, JBI)
• 인증 및 네트워크를 통한 복귀
• 지역 기관과의 파트너십
• Become the local expert others consult

Regional conferences: ISPE Middle East, Dubai Health Forum, Gulf HTA Network meetings.

Training Programs & Fellowships

McMaster GRADE/EBM

Gold standard. Online + in-person options.

Essential

Cochrane Training

Free online modules. Certificate tracks available.

Free

JBI Programs

Comprehensive SR training. Strong in qualitative.

Respected

Oxford CEBM

Short courses and MSc options.

Prestigious

Coursera/edX

Epidemiology, Biostatistics foundations.

Affordable

AHRQ EPC Fellowships

US-based. Competitive but career-defining.

Elite

여러분은 여정을 보셨습니다. 이제 시작할 준비가 되셨나요?

Final Assessment

모듈 8: 최종 평가

방법론의 세계를 여행하셨습니다.

방법론자의 5가지 원칙

1. 엄격함은 선택 사항이 아니라 신뢰의 기초입니다.

2. Invisible work has visible consequences.

3. Depth in one area enables breadth in impact.

4. 도구는 방법을 제공합니다. 방법은 진실을 제공합니다.

5. 방법론자는 "이것을 또 무엇으로 설명할 수 있습니까?"라고 묻습니다.

Final Quiz (1/5)

Doug Altman's CONSORT guidelines have been cited over:

Final Quiz (2/5)

The aprotinin case (15,000-22,000 excess deaths) illustrates:

Final Quiz (3/5)

커피를 마시는 사람이 심장병을 더 많이 앓고 있음을 보여주는 관찰 연구를 평가할 때 방법론자의 첫 번째 질문은 다음과 같습니다.

Final Quiz (4/5)

방법론자가 영향력을 배가할 수 있는 가장 확장 가능한 방법은 다음과 같습니다.

Final Quiz (5/5)

일반적으로 가장 높은 보상을 제공하지만 상업적인 맥락에서 편안함이 필요한 직업 경로는 다음과 같습니다.

6개월 실행 계획

개발에 전념합니다. 완료하면서 각 이정표를 확인하세요.

진행 상황은 이 브라우저에 자동으로 저장됩니다.

여정을 완료했습니다.

앞으로 나아가서 다른 사람들이 의지할 수 있는 기반을 구축하세요.

Remember:
방법은 보이지 않습니다. 임팩트가 없습니다.
도구는 학습됩니다. 판단은 내려집니다.
사람이 적게 다니는 길은 덜 붐비는 데에는 이유가 있습니다. 어쨌든 걸어보세요.