Writing > 숨겨진 데이터
===================== 모듈 1: 숨겨진 데이터 ====================
감춰진 시련을 듣지 못하였느냐
묻힌 데이터,
그 말을 해준 서류 절반만 진실이다?
타미플루 스캔들
COCHRANE COLLABORATION, 2009-2014
Governments stockpiled $9 billion worth of Tamiflu to fight pandemic flu.

그러나 Cochrane 연구원들이 약물의 이점을 검증하려고 시도했을 때 그들은 다음과 같은 사실을 발견했습니다. 60% of trial data had never been published.

5년 간의 전투 끝에 그들은 숨겨진 데이터를 손에 넣었다. 결론은 이렇게 바뀌었습니다. Tamiflu shortened symptoms by less than a day 합병증을 예방하지 못했습니다.

완전히 공개되지 않은 증거에 90억 달러가 지출되었습니다.
Jefferson T et al. Cochrane Database Syst Rev. 2014;4:CD008965
Why We Write Meta-Analyses

합성의 목적

Individual Studies
↓
Problem?
Small samplesLow power
Conflicting resultsWhich to believe?
Publication biasMissing negatives
↓
Meta-AnalysisSystematic synthesis
↓
More precise estimate + Bias detection
타미플루 투명성 캠페인
2009-2014 | COCHRANE COLLABORATION vs. ROCHE
For years, governments worldwide stockpiled Tamiflu (oseltamivir) at a cost of billions of dollars, 독감 합병증과 입원을 예방했다는 제조업체의 주장에 근거합니다.

Cochrane 검토자가 이러한 주장을 확인하기 위해 전체 시험 데이터를 요청했을 때, 로슈는 5년 동안 거절했다., "비밀 유지"를 인용합니다. 회사는 10번의 치료 실험을 실시했지만 완전히 공개된 것은 2번뿐이었습니다.

끊임없는 압력 끝에 마침내 2014년에 임상 연구 보고서가 발표되었습니다. 상황은 극적으로 바뀌었습니다. 타미플루는 증상을 하루도 안 돼 단축시켰고 입원이나 심각한 합병증을 예방한다는 증거도 보이지 않았다.
THE LESSON
메타 분석은 접근할 수 있는 데이터만큼만 우수합니다. 숨겨진 시도로 인해 비효과적인 치료법이 효과적이게 보일 수 있으며 잘못 사용된 자원에 수십억 달러의 비용이 발생할 수 있습니다.
"그리고 회사는 알았어.
그리고 규제 당국은 알고 있었습니다.
하지만 출판된 논문에서는 말하지 않았습니다.
그리고 절반의 진실을 위해 수십억 달러가 소비되었습니다."

이것이 바로 우리가 전체 진실을 찾기 위해 메타 분석을 작성하는 이유입니다.

===================== 모듈 2: 언약(프리즈마) ====================
당신의 일이 되길 원한다면 trusted,
독자들과 계약을 맺어야 합니다.

그 언약에는 다음과 같은 이름이 있습니다.
PRISMA.
PRISMA 2020
체계적인 검토 및 메타 분석을 위해 선호되는 보고 항목
27
Checklist items
2020
Updated version
50K+
Citations
THE COVENANT
PRISMA는 관료주의가 아닙니다. 그것은 독자 여러분께 약속드립니다. 투명하고 완벽하게 업무를 수행했다는 점입니다.
7개 섹션
1
Title

Identify as systematic review, meta-analysis, or both

2
Abstract

전체 리뷰의 구조화된 요약

3
Introduction

PICO의 이론적 근거와 목표

4
Methods

Protocol, search, selection, data, bias, synthesis

5
Results

Flow diagram, characteristics, risk of bias, synthesis results

6
Discussion

Summary, limitations, interpretation, implications

7
Other

Registration, funding, conflicts of interest

PRISMA 혁명
2009-PRESENT | TRANSFORMING SYSTEMATIC REVIEW REPORTING
PRISMA(2009) 이전에는 체계적인 검토 보고가 혼란스러웠습니다. 일부 리뷰는 검색 전략을 전혀 보고하지 않았습니다. 다른 사람들은 편견 평가의 위험을 생략했습니다. 많은 사람들이 연구가 제외된 이유를 설명하지 못했습니다. Readers couldn't judge quality—they had to trust blindly.

PRISMA의 27개 항목 체크리스트가 모든 것을 바꿔 놓았습니다. 저자는 전체 검색 전략, 선택 기준, 추출 방법, 합성 결정 등 모든 단계를 문서화해야 했습니다.

Today, 10,000개가 넘는 저널이 PRISMA를 지지합니다. 한때 뛰어난 투명성이었던 것이 기대되는 표준이 되었습니다.
THE LESSON
간단한 체크리스트가 전체 분야를 변화시켰습니다. 투명한 보고는 예외에서 표준으로 진행되어 표준이 중요하다는 사실을 증명합니다.
"PRISMA는 저자와 독자 사이의 약속입니다.
나는 당신에게 모든 것을 보여줄 것입니다.
how I searched, what I found, what I excluded, why.
그래서 당신은 내 작업을 판단하고 신뢰하거나 질문할 수 있습니다. "
====================== 모듈 3: 프로토콜 ====================
놓친 리뷰어
데이터를 보고 결과를 바꾼 사람
골대를 이동한 사람 결과가 나올 때까지 looked right?
철회된 메타 분석
MULTIPLE JOURNALS, 2010-2023
연구원들은 many retracted meta-analyses had no pre-registered protocol.

Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• 결론을 바꾸기 위해 연구를 추가하거나 제거합니다


프로토콜은 귀하의 것입니다 pre-commitment device—속이는 것을 방지합니다
Defined outcome switching: PROSPERO registration prevents bias
Protocol Registration Decision Tree

프로토콜 등록 위치

새로운 체계적 검토
↓
Type of Review?
Health/Medical
PROSPEROprospero.york.ac.uk
Any Field
OSFosf.io/registries
Cochrane
Cochrane LibraryIntegrated protocol
↓
Registration ID in PaperCite in Methods
What the Protocol Must Contain

Essential Protocol Elements

1. 연구 질문(PICO 형식)
2. Eligibility criteria (inclusion/exclusion)
3. Information sources and search strategy
4. 연구 선택 프로세스
5. 데이터 추출 항목
6. 편향 위험 평가 도구
7. 1차 및 2차 결과
8. 합성 방법(메타 분석 계획)
9. 하위군 및 민감도 분석
"전에 프로토콜 작성 데이터를 확인하세요.
Lock it in a public registry.
Then follow it—or explain why you deviated.
이것은 부정행위를 하지 않았다는 것을 증명하는 방법입니다."
==================== 모듈 4: 제목 ====================
제목은 첫 번째 약속입니다.

독자에게 다음 사항을 알려주어야 합니다.
무엇을 공부했고, 어떻게 공부했으며, 어떤 종류의 공부인지.
제목의 구조

PRISMA Title Requirements

Title Must Include
↓
Population누가 공부했는지
Intervention무엇이 완료되었습니다
Outcome측정 대상
↓
+ "체계적 검토" 또는 "메타 분석"
Good vs. Bad Titles
❌ BAD TITLE
"당뇨병 치료 검토"

Problems: No population specified, no intervention, no outcome, doesn't say systematic review
✓ GOOD TITLE
"다음 환자의 심혈관 사망률에 대한 SGLT2 억제제의 효능 제2형 당뇨병: 체계적인 검토 및 메타 분석"

인구, 중재, 결과 및 연구 유형 모두 명확함
"제목은 독자에게 전달하는 첫 번째 단어입니다.
완전하게 작성하세요. 솔직하게 작성하세요.
Tell them exactly what they will find within."
==================== 모듈 5: 개요 ===================
Most readers will only read your abstract.

If the abstract lies, or omits, or misleads—
most readers will never know.
회전 문제
BOUTRON ET AL., 2010
Researchers analyzed 72 RCTs with non-significant primary outcomes.

그들은 40% of abstracts contained "spin"—결과가 실제보다 더 유리하게 보이도록 2차 결과, 하위 그룹 또는 그룹 내 변경에 초점을 맞춘 보고를 발견했습니다.

초록은 데이터와 다른 이야기를 들려줍니다.
Boutron I et al. JAMA. 2010;303:2058-2064
Structured Abstract Elements

PRISMA Abstract Checklist

□ 배경 및 목표
□ Eligibility criteria
□ Information sources
□ Risk of bias assessment
□ Synthesis methods
□ 결과(#개 연구, #명 참가자, CI를 통한 효과 추정)
□ Limitations
□ 결론 및 시사점
□ Registration number

어떻게 됩니까? 초록은 논문 자체와 다른 내용을 담고 있습니까?

REAL DATA

Pitkin et al.(1999, BMJ)은 6개 주요 저널의 구조화된 초록을 조사한 결과 18-68% 수치 오류부터 보고된 논문에서 뒷받침되지 않는 결론에 이르기까지 다양한 결함이 포함되어 있음을 발견했습니다.

오도된 초록: Pitkin 1999
메타 분석에서 중요하지 않은 1차 결과가 발견되었습니다(RR 0.92, 95% CI 0.78-1.09). 초록을 어떻게 작성합니까?
경로 A: 회전 초록
Emphasize a significant secondary outcome and use language like "trend toward benefit"
↓
초록만 보는 독자는 치료에 대해 오해를 불러일으킬 만큼 긍정적인 인상을 받습니다.
OUTCOME: Misleading clinical decisions
PATH B: Report Faithfully
중요하지 않은 1차 결과를 명확하게 설명하고 2차 결과를 탐색적 결과로 기록합니다.
↓
자세한 내용이 필요한 독자는 정확한 요약을 얻습니다. 논문
결과: 증거 무결성 보존
THE REVELATION
대부분의 독자는 초록이 잘못된 경우 전체 논문의 정직성으로도 피해를 되돌릴 수 없습니다.
"회전하지 마세요. 숨기지 마세요.
기본 결과가 null이면 그렇게 말하세요.
The abstract must be a faithful mirror—
멋진 초상화가 아닙니다."
==================== 모듈 6: 질문(PICO) ====================
A vague question yields vague answers.

검색하기 전에, 쓰기 전에—
정확히 알아야 합니다 찾는 것이 무엇인지.
PICO 프레임워크

연구 질문 구성

Research Question
↓
PPopulation
Who?
IIntervention
What treatment?
CComparator
Vs. what?
OOutcome
What measured?
PICO Example
모호한 질문 변환
Vague: "Does exercise help depression?"

PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)

이제 무엇을 검색해야 할지 정확히 알 수 있습니다.
"질문을 정확하게 정의하세요.
누가 환자들은요? 치료법은 무엇입니까?
비교기는 무엇입니까? 무엇을 측정하시겠습니까?
PICO는 여행 전의 지도입니다."
===================== 모듈 7: 검색 ===================
아직 모르셨나요? 메타 분석에 대해 듣고
that searched only one database,
증거의 절반을 놓쳤고
그리고 그렸습니다. wrong conclusion?
The Search Strategy Decision Tree

Where to Search

Comprehensive Search
↓
Minimum Databases
MEDLINEPubMed
EmbaseEuropean focus
CENTRALCochrane trials
↓
Plus Additional Sources
Trial registriesClinicalTrials.gov
Grey literatureTheses, reports
Reference listsBackward citation
검색 문서화
WHAT TO REPORT
• Full search strategy for at least one database (appendix)
• Date of search 각 데이터베이스마다
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• 저자와의 접촉 게시되지 않은 데이터의 경우
재현성 테스트
Another researcher should be able to 검색 내용을 정확하게 복제하세요. 같은 수의 레코드를 찾습니다.
The Cochrane Search Strategy Discovery
2003년 | 코크란 방법론 검토
Cochrane researchers asked a simple question: What would happen if systematic reviewers only searched MEDLINE?

대답은 놀라웠습니다. 그들은 그랬을 것이다 포함된 연구의 30%를 놓쳤습니다.—메타 분석 결론을 완전히 바꾼 일부를 포함합니다.

One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. 누락된 연구는 EMBASE 및 PsycINFO와 같은 전문 데이터베이스에 색인된 소규모의 부정적인 시험이었습니다.
THE LESSON
단일 데이터베이스 검색은 체계적으로 부정적인 시험을 놓칠 수 있습니다. MEDLINE에 없는 연구는 결론을 바꾸는 바로 그 연구일 수 있습니다.
"Search wide. Search deep.
Document every database, every date, every term.
당신이 놓친 증거가 가장 중요한 증거일 수도 있다."
===================== 모듈 8: 선택 ====================
수천 개의 기록 중에서 선택해야 합니다.

But choose by what rule?
그러면 누가 당신의 선택을 확인할 것인가?
PRISMA 흐름도

PRISMA 2020 Flow Diagram

IDENTIFICATION
n = 3,847
데이터베이스의 레코드
↓
Duplicates removed (n = 892)
SCREENING
n = 2,955
Titles/abstracts screened
↓
Excluded (n = 2,680)
ELIGIBILITY
n = 275
Full-text assessed
↓
이유로 제외됨(n = 247)
INCLUDED
n = 28
Studies in synthesis
Selection Process Decision Tree

Who Selects? How?

Study Selection
↓
Two independent reviewersGold standard
↓
Disagreement?
ConsensusDiscussion
Third reviewerArbiter
One reviewer onlyAcknowledge limitation
REPORT AGREEMENT
계산 및 보고 inter-rater agreement (kappa statistic). Low agreement suggests unclear criteria.

단일 시험의 사후 하위그룹 분석으로 10년 동안 전체 분야를 재구성할 수 있습니까?

REAL DATA

여성 건강 이니셔티브(WHI, 2002)는 HRT가 다음과 같은 사실을 발견했습니다. increased cardiovascular risk overall. But post-hoc subgroup analysis suggested women aged <60 또는 폐경 후 10년 이내에는 도움이 될 수 있지만 나이든 여성은 해를 입었습니다. 이 "타이밍 가설"은 수년간의 논쟁과 추가 연구를 촉진했습니다.

The HRT Timing Hypothesis: WHI 2002
HRT에 대한 메타 분석에서는 전반적으로 해로움이 나타나지만 탐색적 하위 그룹에서는 젊은 여성에게 이점이 있다고 제안합니다. 이걸 어떻게 쓰나요?
경로 A: 하위 그룹을 과장함
연령 하위 그룹 결과가 주요 결과인 것처럼 제목을 붙입니다.
↓
임상의는 탐구적이고 역량이 부족한 하위 그룹을 기반으로 HRT를 처방합니다. 결과가 복제되지 않을 수 있습니다
OUTCOME: Premature clinical change
PATH B: Report Honestly
Present overall result as primary; label subgroup as exploratory and pre-specified or post-hoc
↓
Readers understand the hypothesis needs confirmation; future trials can be designed to test it
OUTCOME: Responsible hypothesis generation
THE REVELATION
하위그룹 분석은 결론이 아닌 가설을 생성합니다. 항상 탐색적이라는 라벨을 붙이고 전체 결과를 먼저 보고하세요.
"Every exclusion must have a reason.
Every reason must be documented.
Two pairs of eyes are better than one—
한 사람이 놓친 것을 다른 사람이 잡을 수도 있습니다."
===================== 모듈 9: 편견의 위험 ====================
메타분석을 본 적이 없나요?
좋은 공부와 나쁜 공부를 합친 것입니다.
그리고 평균이라고 불렀어 truth?
편견을 무시하는 것의 위험
항우울제 스캔들
Turner et al. (2008) obtained FDA data on 74 antidepressant trials.

In the published literature: 임상시험의 94%가 긍정적이었습니다.

In the FDA database: 51%만이 긍정적이었습니다.

발표된 메타 분석은 선별적으로 보고된 데이터를 통합했습니다. 효과 크기는 inflated by 32%.
Turner EH et al. N Engl J Med. 2008;358:252-260
편향 위험 평가 도구

어떤 도구를 사용해야 합니까?

Study Design
↓
RCTs
RoB 2Cochrane tool
Non-randomized
ROBINS-IInterventions
DTA studies
QUADAS-2Diagnostic
Observational
NOSNewcastle-Ottawa
RoB 2 Domains

Cochrane Risk of Bias 2.0 for RCTs

D1 Randomization process
D2 의도된 개입에서 벗어남
D3 결과 데이터 누락
D4 결과 측정
D5 보고된 결과 선택
JUDGMENT OPTIONS
Each domain: Low risk / Some concerns / High risk
"메타 분석 편향된 연구
yields a biased conclusion—
신뢰 구간이 더 좁습니다.
거짓말을 더 정확하게 만들었습니다."
=================== 모듈 10: 데이터 추출 ====================
각 연구에서 숫자를 추출해야 합니다.

잘못 추출하고 전체 분석
is built on sand.
데이터 추출 양식

필수 데이터 항목

1 Study identifiers (author, year, country)
2 연구 설계 및 설정
3 Participant characteristics (n, age, sex, severity)
4 Intervention details (dose, duration, delivery)
5 Comparator details
6 결과 정의 및 측정
7 Results (means, SDs, events, sample sizes)
8 Follow-up duration and loss to follow-up
9 Funding source and conflicts of interest
Extraction Decision Tree

누락된 데이터 처리

보고되지 않은 데이터
↓
What to Do?
First
Contact authors데이터 이메일
If no response
Calculate/imputeDocument method
If impossible
Exclude from MAInclude in narrative
로시글리타존 데이터 추출 오류
2007 | NEW ENGLAND JOURNAL OF MEDICINE
Nissen and Wolski's 2007 meta-analysis of rosiglitazone (Avandia) found a 43% increased risk of heart attack. 이 발견으로 인해 FDA 경고가 발령되었고 전 세계적으로 처방이 중단되었습니다.

But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports. 다양한 소스에서 추출된 이벤트 계산 방법의 작은 차이로 인해 결과가 의미 있게 변경되었습니다.

메타 분석은 영향력이 있었고 대부분 정확했지만 논란은 small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.
THE LESSON
항상 기본 소스에서 추출하는 방법을 강조했습니다. 모든 선택을 문서화하세요. 추출된 숫자에 작은 차이가 있으면 규제 결정과 시장 운세가 바뀔 수 있습니다.
"Extract in duplicate. Check each number.
One digit wrong can change the conclusion.
추출 양식이 원장입니다.
keep it meticulous, keep it true."
==================== 모듈 11: 효과 측정 ====================
효과 크기는 메타 분석의 핵심입니다.

잘못된 측정값을 선택하면
합동 추정치는 meaningless.
Effect Measure Decision Tree

Choosing the Right Effect Size

Outcome Type
↓
Binary
RR, OR, RDEvents/no events
Continuous
Same scale?
YesMD (mean diff)
NoSMD (Hedge's g)
Time-to-event
HRHazard ratio
Common Effect Measures
RR
Risk Ratio
Multiplicative
OR
Odds Ratio
Case-control
MD
Mean Diff
Same units
SMD
Std Mean Diff
Different scales
THE PRINCIPLE
효과 측정값이 다음과 같아야 합니다. 연구 전반에 걸쳐 비교 가능. If studies used different scales, standardize.

Can a trial that transforms global practice still have serious limitations?

REAL DATA

RECOVERY 시험(2020)에서는 덱사메타손이 산소가 필요한 입원된 코로나19 환자의 28일 사망률을 감소시키는 것으로 나타났습니다: RR 0.83, 95% CI 0.75-0.93. 그러나 이 시험은 공개 라벨(맹검 없음)로 주로 영국 병원에서 실시되었으며 대조군은 일반적인 치료(다양함)를 받았습니다.

RECOVERY 시험: 2020
귀하의 메타 분석에는 RECOVERY가 주요 연구로 포함되어 있습니다. 획기적인 임상시험의 한계를 어떻게 처리합니까?
PATH A: Minimize Limitations
오픈 라벨 디자인과 지리적 집중을 경시합니다. 눈에 띄는 사망률 이점에 초점
↓
Readers cannot judge generalizability to other settings; potential detection bias is obscured
결과: 불완전한 증거 평가
PATH B: Honest Limitations
사망률 이점을 명확하게 설명하면서 오픈 라벨 디자인과 지리적 한계를 인정
↓
독자는 연구 결과의 강점과 불확실성이 남아 있는 부분을 모두 이해합니다
OUTCOME: Trustworthy, balanced reporting
THE REVELATION
심지어 획기적인 실험에는 한계가 있습니다. 이를 인정한다고 해서 결과가 훼손되지는 않습니다. 이는 독자의 신뢰를 구축하고 향후 연구를 안내합니다.
"데이터에 맞는 측정값을 선택하세요.
일반적인 결과에 대한 위험 비율, 드문 결과에 대한 승산비.
Standardize when scales differ.
잘못된 측정값은 사과와 오렌지를 합칩니다."
====================== 모듈 12: 합성 ===================
숲을 본 적이 없습니까? plot
where studies pointed in opposite directions,
yet the diamond declared a single truth?
Fixed vs. Random Effects

Which Model to Use?

Meta-Analysis Model
↓
실제 효과에 대한 가정?
One true effect
Fixed Effect모든 연구에서 동일한 θ를 추정합니다
↓
Rarely appropriate매우 유사한 연구
Effects vary
Random EffectsDistribution of θᵢ
↓
Usually preferredMore conservative
통합하지 않을 때

Do Not Meta-Analyze If...

✗ 연구가 너무 이질적입니다(임상 또는 방법론)
✗ 결과는 다르게 정의됩니다
✗ 집단은 근본적으로 다릅니다
✗ Risk of bias is too high across studies
✗ Publication bias is severe
THE WISDOM
Sometimes the most honest conclusion is: "이러한 연구는 통합되어서는 안 됩니다."

코크란 검토에 대한 방법론적 비평이 조직으로 확대되면 어떤 일이 발생합니까? 위기?

REAL DATA

2018년 Peter Gøtzsche와 동료들은 Cochrane HPV 백신 검토에 대한 비판을 발표하여 주요 시험을 제외하고 부적절한 포함 기준을 사용했다고 주장했습니다. Cochrane 검토에는 73,000개 이상의 연구가 포함되었습니다 . 여성. 이 분쟁은 거버넌스 위기로 발전하여 Gøtzsche가 Cochrane 이사회에서 제명되었습니다.

Cochrane HPV 논란: 2018
귀하는 출판된 종합에 대해 추가 내용을 포함해야 한다고 주장하는 방법론적 비판을 받았습니다. 어떻게 대응하십니까?
경로 A: 비판을 기각하세요
제기된 특정 방법론적 요점을 다루지 않고 원래 접근 방식을 옹호하세요
↓
대중의 신뢰는 과학적 근거가 아닌 개인적인 것으로 변합니다. 개선됨
OUTCOME: Polarization and lost credibility
PATH B: Engage Transparently
제안된 연구를 통합하여 민감도 분석을 수행하고 결론이 변경되었는지 보여주는 투명한 응답을 게시합니다.
↓
방법론적 담론이 현장을 발전시키고 신뢰가 유지됩니다.
OUTCOME: Science self-corrects publicly
THE REVELATION
방법론적 비판은 방어가 아닌 데이터로 대응하여 검토와 검토를 모두 강화합니다.
"풀링을 위해 풀링하지 마십시오.
호환되지 않는 연구에 대한 메타 분석
은 종합이 아니라 혼란입니다.
Know when to say: these cannot be combined."
연구가 일치하지 않으면
불일치 그 자체는 data.

Do not hide it. Explain it.
Heterogeneity Measures
Q
Cochran's Q
Significance test
I²
Inconsistency
% variation
τ²
Tau-squared
Between-study var
PI
Prediction interval
Future studies
Investigating Heterogeneity

When I² > 50%

High Heterogeneity
↓
Investigation Methods
Subgroup analysisPre-specified
Meta-regressionIf ≥10 studies
Sensitivity analysisExclude outliers
↓
Report unexplained heterogeneityLimitation

What if a meta-analysis of small positive trials is overturned by a single mega-trial?

REAL DATA

1990년대 초반까지 여러 소규모 실험에서 정맥 내 마그네슘이 급성 심근경색 후 사망률을 감소시키는 것으로 나타났습니다. 메타 분석(Teo et al., 1991)에서는 이를 통합하여 상당한 이점을 발견했습니다: OR 0.44, 95% CI 0.27-0.71. 그런 다음 58,050 patients를 사용한 대규모 시험인 ISIS-4(1995)에서는 전혀 이점을 발견하지 못했습니다. 소규모 연구 효과와 이질성은 무시되었습니다.

마그네슘 논쟁: 1991-1995
귀하의 소규모 연구에 대한 메타 분석에서는 높은 이질성(I² 50% 이상)이 나타났지만 통합 추정치는 유의미합니다. 이를 어떻게 제시합니까?
경로 A: 이질성 제거
Report the significant pooled estimate prominently; mention I² only in passing
↓
임상의의는 치료법을 채택합니다. 향후 대규모 임상시험은 메타 분석과 모순되어 방법에 대한 신뢰를 떨어뜨릴 수 있습니다
OUTCOME: Premature guideline changes
PATH B: Investigate Transparently
이질성을 강조합니다. 출처 조사(연구 규모, 품질) 소규모 연구 효과로 인해 추정치가 부풀려질 수 있습니다.
↓
독자는 불확실성을 이해합니다. 권장 사항은 관행을 바꾸기 전에 확실한 대규모 시험을 요구합니다
OUTCOME: Evidence-appropriate caution
THE REVELATION
이질성은 각주가 아니라 경고 신호입니다. 소규모 연구 효과는 단일 대규모 임상시험이 뒤집힐 수 있다는 거짓된 확신을 주는 합동 추정치를 생성할 수 있습니다.
"I-squared is not just a number to report.
질문입니다. 왜 이러한 연구들이 동의하지 않습니까?
Investigate. Explain. Or acknowledge ignorance."
=================== 모듈 14: 출판 편견 =====================
파일 서랍에 대해 들어보셨나요?
부정적인 연구 결과가 die,
leaving only the positive survivors
to tell a distorted story?
Vioxx 재난
MERCK, 2004
Vioxx (rofecoxib) was a blockbuster painkiller earning $2.5 billion/year.

Internal company documents showed Merck knew of cardiovascular risks but 억제된 불리한 데이터 and published only favorable analyses.

A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.

Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.
Topol EJ. N Engl J Med. 2004;351:1707-1709
Detecting Publication Bias

Assessment Methods

Publication Bias Assessment
↓
Funnel plotVisual inspection
Egger's testStatistical asymmetry
삭제 및 채우기Impute missing
↓
Requires ≥10 studiesLow power otherwise
Preventing Bias: The AllTrials Campaign
ALLTRIALS.NET
"All trials registered. All results reported."

• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• 관련 회사에 문의하세요. 미발표 데이터
• 리뷰에 등록 번호 인용
• 등록된 임상시험이 분석에서 누락되었는지 보고
"파일 서랍이 비어 있지 않습니다.
여기에는 회사가 수행한 연구가 들어 있습니다.
저널이 거부한 결과를 숨겼습니다.
당신의 임무는 그 서랍을 열거나 열 수 없다고 말하는 것입니다."
===================== 모듈 15: 산림 플롯 ====================
숲 도표는 메타 분석의 얼굴입니다.

독자에게 everything:
each study, each weight, each confidence interval,
최종 통합 추정치를 보여줍니다.
숲 읽기 도표

삼림 도표의 요소

Forest Plot
↓
Study namesLeft column
SquaresPoint estimates
Lines95% CI
DiamondPooled estimate
↓
사각형 크기 = 연구 가중치Larger = more precise
Forest Plot Checklist

What to Include

□ 연구 식별자(저자, 연도)
□ Sample size per arm
□ 효과 추정치는 95%입니다. CI
□ Weight (% contribution)
□ Line of no effect (RR=1 or MD=0)
□ 95% CI의 합산 추정치
□ Heterogeneity statistics (I², τ², Q)
□ Test for overall effect (Z, p-value)
모든 것을 변화시킨 Vioxx 수치
2004 | 임상시험 및 시장 철회 승인
수년 동안 Vioxx(rofecoxib) 심혈관 안전성에 대한 산림 계획은 안심할 수 있는 패턴을 보여주었습니다. 이전 시험의 점 추정치는 효과가 없는 선 주위에 모여 있었습니다. 다이아몬드는 그 약이 안전하다는 것을 시사했습니다.

그런 다음 APPROVe 임상시험이 시작되었습니다. 데이터가 산림 계획에 추가되자 상황이 극적으로 바뀌었습니다. APPROVe의 큰 사각형은 풀링된 다이아몬드를 확실히 해로움으로 끌어당겼습니다. 비주얼은 틀림없었습니다.

그 숲길 ended Vioxx. 머크는 자발적으로 약품을 철회했다. 후속 소송으로 인해 회사 $4.85 billion in settlements의 비용이 발생했습니다. 수천 명의 환자가 심장마비를 겪었지만 이전의 소규모 임상시험에서는 모호한 결과가 나타났습니다.
THE LESSON
잘 수행되고 적절하게 검증된 한 번의 임상시험은 전체 추정치를 바꿀 수 있습니다. 산림 도표는 증거가 어떻게 축적되는지, 그리고 때로는 그것이 어떻게 방향을 바꾸는지에 대한 이야기를 들려줍니다.
오해의 소지가 있는 산림 도표
메타 분석을 위한 산림 도표를 설계하고 있습니다. 축 규모와 연구 순서에 따라 시각적 인상이 바뀔 수 있습니다. 어떻게 진행하시나요?
경로 A: 충격을 위한 디자인
Use a compressed axis scale to make effect sizes look larger; order studies to build a visual narrative
↓
독자들은 효과 크기에 대해 과장된 인상을 받습니다. 플롯은 데이터 표시가 아닌 옹호 도구가 됩니다.
결과: 증거의 시각적 왜곡
경로 B: 명확성을 위한 설계
Use standard axis scaling; order studies by year or alphabetically; include all standard elements (weights, CIs, I²)
↓
독자는 스스로 판단을 내릴 수 있습니다. 플롯은 투명한 데이터 시각화 역할을 합니다.
OUTCOME: Honest visual communication
"The forest plot hides nothing.
Every study visible. Every weight transparent.
당신이 본 것을 독자에게 보여주십시오.
스스로 판단하세요."
===================== 모듈 16: 증거의 확실성 ====================
합동 추정치는 그렇지 않습니다. 충분합니다.

또한 독자에게 다음 사항을 알려주어야 합니다.
How confident should they be in this result?
GRADE Certainty Assessment

증거 평가

Start: RCTs = High, Obs = Low
↓
Reasons to Downgrade?
Risk of bias-1 or -2
Inconsistency-1 or -2
Indirectness-1 or -2
Imprecision-1 or -2
Pub. bias-1 or -2
GRADE Certainty Levels
⊕⊕⊕⊕
HIGH
Very confident
⊕⊕⊕◯
MODERATE
Likely close
⊕⊕◯◯
LOW
May differ
⊕◯◯◯
VERY LOW
Uncertain

What happens when a GRADE assessment of "low certainty" collides with a public health emergency?

REAL DATA

호흡기 바이러스 확산을 줄이기 위한 물리적 개입에 대한 2023년 Cochrane 검토(Jefferson 외)에서는 지역사회 환경에서 마스크에 대한 증거는 low certainty 넓은 신뢰구간을 갖춘 GRADE. 저자는 어느 방향으로든 확고한 결론을 내리기에는 증거가 불충분하다고 밝혔지만 이 리뷰는 널리 보고되었습니다.

코크란 마스크 리뷰: 2023
정치적으로 민감한 주제에 대한 체계적인 리뷰는 "낮은 확실성"이라는 GRADE 등급을 받았습니다. 이것은?
경로 A: 등급 완화
정치적 논쟁을 피하기 위해 GRADE 평가를 경시하고 확실성 수준보다 점 추정치를 강조합니다.
↓
검토는 방법론적 신뢰성을 잃습니다. 엄격함
OUTCOME: Compromised methodology
PATH B: Report Faithfully
GRADE 등급을 솔직하게 보고합니다. "낮은 확실성"이 무엇을 의미하는지(의미하지 않음) 명확하게 설명합니다. 증거의 부재와 부재의 증거를 구별합니다.
↓
대중은 오해할 수 있지만 향후 연구 방향은 정확합니다.
OUTCOME: Methodological integrity
THE REVELATION
"낮은 확실성"은 "효과가 없음"을 의미하지 않습니다. GRADE 등급은 특히 정치적인 주제의 경우 그 의미에 대한 명확한 설명과 함께 충실하게 보고되어야 합니다.
"효과 크기는 무엇입니까?
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."
=================== 모듈 17: 토론 ====================
토론은 interpret.

논의하지 않는 곳입니다. 과장하지 마세요.
But to explain what your findings mean—
그리고 그 역할 not mean.
Discussion Structure
1
Summary of Findings

확실성 평가로 주요 결과 다시 설명

2
기존 문헌과 비교

How do your findings relate to prior reviews?

3
장점과 한계

두 가지 모두 포함된 연구의 검토 및

4
실천에 대한 시사점

What should clinicians/policymakers do?

5
연구에 대한 시사점

어떤 연구가 여전히 필요합니까?

Common Mistakes in Discussion

What NOT to Do

✗ 데이터를 넘어서는 과장된 결론
✗ Ignoring limitations
✗ Treating statistical significance as clinical importance
✗ Failing to address heterogeneity
✗ 인과관계 도출 관찰 데이터의 주장

지금까지 출판된 가장 많이 인용된 방법론 논문에서 대부분의 연구 결과가 거짓이라고 경고한다면 어떻게 될까요?

REAL DATA

John Ioannidis가 2005년 PLoS Medicine에 게재한 논문 "왜 대부분의 출판된 연구 결과가 거짓인지"가 많이 인용되었습니다 10,000 times. 그는 수학적 모델링을 사용하여 연구 결과가 사실일 확률은 연구력, 편향, 테스트된 관계의 수에 따라 달라진다고 주장했습니다. 많은 연구 설계의 경우 연구 후 실제 결과가 나올 확률은 50% 미만일 수 있습니다.

Ioannidis Wake-Up Call: 2005
귀하의 메타 분석 결과는 통계적으로 유의미하지만, 포함된 연구는 규모가 작고 이질적이며 편향 위험이 높습니다. 토론은 어떻게 작성합니까?
경로 A: 결과를 과대평가
중요한 통합 추정으로 진행합니다. 제한을 최소화합니다. 강력한 실천 권장사항 제시
↓
결과가 조기에 지침에 포함되었습니다. 복제가 실패하면 전체 메타 분석 방법이 비난됩니다.
OUTCOME: Eroded trust in evidence synthesis
경로 B: 해석 보정
연구 품질, 이질성 및 확실성의 맥락에서 결과를 논의합니다. 추천 강도와 증거 강도를 일치시키세요
↓
Readers understand the degree of confidence warranted; future research priorities become clear
OUTCOME: Proportionate, trustworthy conclusions
THE REVELATION
토론에서는 증거 품질에 맞게 열정을 조정해야 합니다. 약한 증거로 인한 강력한 주장은 전체 분야의 신뢰성을 손상시킵니다.
“토론은 옹호를 위한 것이 아닙니다.
솔직한 해석을 위한 것입니다.
증거가 무엇을 보여주는지 말해보세요.
Admit what it does not show."
웨이크필드(Wakefield) 논문에 대해 들어본 적이 있습니까?
where conflicts of interest were hidden,
데이터가 조작된 곳,
수백만 명의 아이들이 갔죠 unvaccinated?
MMR-자폐증 사기
THE LANCET, 1998-2010
Andrew Wakefield published a study linking MMR vaccine to autism.

그는 자신이 누구인지 공개하지 않았습니다. paid £435,643 by lawyers seeking to sue vaccine manufacturers.

그는 자신이 가지고 있는 사실을 공개하지 않았습니다. filed a patent for a competing single-dose measles vaccine.

연구는 결국 철회되었습니다. 웨이크필드는 탈락했다. 그러나 피해가 발생했습니다. vaccination rates plummeted, 홍역 발병이 다시 발생했습니다.
Deer B. BMJ. 2011;342:c5347
Transparency Checklist

What to Declare

□ Protocol registration number
□ Funding sources (all)
□ 검토에서 자금 제공자의 역할
□ Conflicts of interest (all authors)
□ 데이터 가용성 진술
□ 프로토콜과의 차이(이유 포함)
□ Author contributions
AllTrials 이니셔티브
2013-PRESENT | A GRASSROOTS TRANSPARENCY MOVEMENT
2013년 Cochrane Collaboration의 Ben Goldacre와 동료들은 충격적인 진실을 발견한 후 AllTrials를 시작했습니다. approximately half of all clinical trials were never published. 누락된 임상시험은 불균형적으로 부정적이거나 불편한 결과를 가져온 임상시험이었습니다.

캠페인이 모였습니다 90,000명 이상의 개인 서명자 700개 이상의 조직. 과거와 미래의 모든 임상시험을 등록하고 전체 방법과 결과를 보고할 것을 요구했습니다.

그 영향은 변혁적이었습니다. 그만큼 EU는 이제 시험 등록 및 결과 보고를 요구합니다.. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.
THE LESSON
까다로운 데이터 액세스가 작동합니다. 풀뿌리 운동은 국제 규정을 변화시켜 투명성 옹호자들이 증거 생태계를 재편할 수 있음을 입증했습니다.
하이드록시클로로퀸 사전 인쇄 캐스케이드: 2020
때는 2020년 초입니다. 귀하의 팀은 코로나19 치료법에 대한 예비 메타 분석 결과를 가지고 있습니다. Gautret 사전 인쇄(비무작위, 42명의 환자)는 이미 입소문이 났습니다. Surgisphere 스캔들은 곧 주요 저널에서 조작된 데이터를 보여줄 것입니다. 서둘러 사전 인쇄를 하시겠습니까, 아니면 기다리십니까?
경로 A: 속도를 위한 사전 인쇄
정책에 영향을 미치려면 즉시 medRxiv에 게시하세요. 긴급한 경우 동료 검토 건너뛰기
↓
포함된 연구에 조작된 데이터나 방법에 결함이 있는 경우 메타 분석이 오류를 증폭시킵니다. 철회는 신뢰성을 손상시킨다
OUTCOME: Accelerated misinformation
PATH B: Verify, Then Publish
연구 품질을 엄격하게 평가합니다. 원시 데이터에 대해서는 작성자에게 문의하세요. 게시하기 전에 신속한 동료 검토를 거쳐야 합니다.
↓
게시 속도는 느리지만 분석은 강력합니다. 결함이 있는 연구가 철회되면 결론은 유지됩니다.
결과: 지속적이고 신뢰할 수 있는 증거
“투명성은 선택사항이 아닙니다.
자금 조달을 선언하세요. 갈등을 선언하십시오.
The reader has a right to know
누가 이 작업에 비용을 지불했으며 그 이유는 무엇입니까?"
===================== 모듈 19: 최종 점검 ====================
제출하기 전에
최종 체크리스트
PRISMA 2020 Final Check

Have You...

□ Completed all 27 PRISMA checklist items?
□ Included the PRISMA flow diagram?
□ Provided full search strategy in appendix?
□ 이유와 함께 제외된 연구를 나열했습니까?
□ 각 연구에 대해 보고된 비뚤림 위험이 있습니까?
□ Provided forest plot(s)?
□ 출판 편견을 평가했습니까(연구가 10개 이상인 경우)?
□ 모든 데이터베이스에 대해 등급별 증거 확실성(GRADE)?
□ Declared all conflicts of interest?
□ Cited protocol registration?
Supplementary Materials
WHAT TO INCLUDE
• Full search strategies 모든 데이터베이스에 대한
• 제외된 연구 목록 with reasons
• 데이터 추출 양식 (비어 있고 완료됨)
• Risk of bias details 연구
• Additional forest plots (subgroups, sensitivity)
• Funnel plot 통계 테스트
• GRADE 증거 프로필 tables

사기성 논문이 피어 리뷰, 편집자 조사 및 공개 이의제기에서 얼마나 오래 살아남을 수 있습니까?

REAL DATA

Andrew Wakefield's 1998 Lancet paper linking MMR vaccine to autism took 12 years 완전히 철회됩니다(2010). 그 기간 동안 언론인 Brian Deer는 재정적 갈등, 윤리 위반 및 데이터 조작을 폭로했습니다. 여러 대규모 연구( over 650,000 children) found no association, yet the original paper's influence persisted.

Wakefield 철회: 1998-2010
의 덴마크 코호트 포함) 동료 검토 중에 검토자가 데이터 불일치를 언급하며 메타 분석에 포함된 연구에 대해 심각한 우려를 제기했습니다. 어떻게 대응합니까?
경로 A: 우려를 무시하세요
심사위원의 우려를 지나치게 신중하다고 일축하세요. 추가 조사 없이 연구를 계속 포함하세요.
↓
연구가 나중에 철회되면 결론이 철회될 수 있습니다.
결과: 오염된 증거 합성
PATH B: Investigate Thoroughly
원시 데이터는 연구 저자에게 문의하세요. 문제가 있는 연구를 제외하고 민감도 분석을 실행하세요. 문제를 투명하게 공개하세요.
↓
메타 분석은 의심스러운 연구를 포함할지 아니면 제외할지 확실하게 기록합니다.
결과: 탄력성, 자체 수정 검토
THE REVELATION
동료 검토는 출판 전 마지막 방어책입니다. 검토자의 우려 사항을 극복해야 할 장애물이 아니라 작업을 강화할 수 있는 기회로 삼으세요.
"증거를 수집하셨습니다.
공정하게 평가하셨습니다.
작성하셨습니다.

이제 작업을 제출하세요.
진실을 찾고 또 찾아보세요."
===================== 모듈 20: 퀴즈 및 참조 =====================
References

Key Sources

  1. Page MJ et al. BMJ. 2021;372:n71. [PRISMA 2020]
  2. Jefferson T et al. Cochrane 2014;4:CD008965. [Tamiflu]
  3. Turner EH et al. N Engl J Med. 2008;358:252-260. [Antidepressants]
  4. Boutron I et al. JAMA. 2010;303:2058-2064. [Spin]
  5. Topol EJ. N Engl J Med. 2004;351:1707-1709. [Vioxx]
  6. Deer B. BMJ. 2011;342:c5347. [Wakefield]
  7. Sterne JAC et al. BMJ. 2019;366:l4898. [RoB 2]
  8. Higgins JPT et al. Cochrane Handbook. 2023.
  9. Schünemann HJ et al. GRADE Handbook. 2013.
  10. Ioannidis JPA. PLoS Med. 2005;2:e124. [Why most research is false]
What percentage of antidepressant trials appeared positive in published literature vs. FDA data?
Published 51%, FDA 94%
Published 94%, FDA 51%
Both about 75%
Published 80%, FDA 60%
체계적 검토를 수행하기 전에 프로토콜을 등록하는 목적은 무엇입니까?
To get funding
To claim priority
To prevent outcome switching and data-driven decisions
검토를 하려면 게시 가능
메타 분석에서 연구를 통합해서는 안 되는 경우는 언제입니까?
연구가 10개 미만인 경우
연구가 임상적으로나 방법론적으로 너무 이질적인 경우
통계적으로 효과가 그렇지 않은 경우 중요
연구가 다른 나라에서 온 경우
✔
Course Complete
"이제 증거 언약을 알게 되었습니다.
검색하기 전에 등록하십시오.
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
현명하게 모으십시오. 모두.
Write so that truth may be found,
그리고 따르는 사람들에 의해 다시 발견되었습니다."
===================== 모듈 21: 소프트웨어 도구 ====================
메서드를 실행하는 도구가 없으면 아무 것도 아닙니다.

어떤 소프트웨어 분석을 수행합니다
from protocol to forest plot?
Software Decision Tree

도구 선택

Meta-Analysis Software
↓
Your Context?
Cochrane Review
RevManFree, official
Academic/Flexible
R metaforFree, powerful
Institution License
Stata metaComprehensive
Point-and-Click
CMAUser-friendly
필수 도구 키트
RevMan
Cochrane official
Free download
R + metafor
Most flexible
Reproducible code
GRADEpro
Certainty tables
SoF tables
Rayyan
Screening tool
AI-assisted
REPRODUCIBILITY
코드 기반 도구(R, Stata)는 reproducible analyses를 생성합니다. 다른 사람들이 귀하의 작업을 확인할 수 있도록 코드를 공유하십시오.
R metafor Example
BASIC META-ANALYSIS IN R
library(metafor)

# Calculate effect sizes
dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,
    ci=events_ctrl, di=noevents_ctrl, data=mydata)

# Random effects model
res <- rma(yi, vi, data=dat, method="REML")

# Forest plot
forest(res, slab=paste(author, year))

체계적 검토에 수십 명의 저자가 있는 경우 어떻게 집필을 조정합니까?

REAL DATA

SPRINT 시험(2015)이 나열되어 있습니다. 수십 개의 기관에서 100 authors . 집필 그룹에는 운영위원회, 현장 조사관, 통계학자가 포함되었습니다. 기여 조정, 버전 관리 관리, 저자 인정 결정에는 공식적인 구조가 필요했습니다. ICMJE 기준에 따르면 저자 자격은 상당한 기여, 초안 작성 또는 수정, 최종 승인 및 책임이 요구되는 것으로 정의됩니다.

Team Writing Challenges: Large Collaborative Reviews
체계적 검토 팀에는 4개국에 걸쳐 12명의 구성원이 있습니다. 집필 과정을 어떻게 관리합니까?
PATH A: Informal Coordination
Pass drafts via email; resolve authorship at the end; no writing plan or version control
↓
Duplication of effort; authorship disputes at submission; inconsistent voice and formatting; lost contributions
결과: 지연 및 충돌
PATH B: Structured Process
섹션 리드를 미리 할당합니다. 버전 제어와 함께 공유 플랫폼을 사용합니다. 시작 시 ICMJE 기준 및 저자 순서에 동의합니다
↓
책임을 명확히 합니다. 일관된 출력; 투명한 기여; 결과가 알려지기 전에 저자 결정
OUTCOME: Efficient, fair collaboration
THE REVELATION
작업을 시작하기 전에 저자 기준과 집필 책임에 동의하세요. 분쟁은 결과가 알려진 후에 해결하기가 가장 어렵습니다.
"도구는 분석을 수행하지 않습니다.
분석가는 분석을 수행합니다.
하지만 도구를 현명하게 선택하고
진실이 밝혀질 수 있도록 코드를 공유하세요. 확인되었습니다."
===================== 모듈 22: 메타 분석 읽기 ====================
모든 사람이 글을 쓰는 것은 아닙니다. 메타 분석.

But every clinician, every policymaker, every patient
must know how to read them.
HRT 역전
WOMEN'S HEALTH INITIATIVE, 2002
수십년 동안 관찰 연구에서는 호르몬 대체 요법(HRT)이 여성의 심장병을 예방한다고 제안했습니다.

이러한 연구에 대한 메타 분석에서는 35-50% reduction in cardiovascular risk.

그 후 WHI 무작위 시험에서 다음과 같은 사실이 밝혀졌습니다. 진실: HRT increased heart attack risk by 29%.

The observational meta-analyses had pooled confounded data— 건강한 여성은 HRT를 선택했지만 그 반대는 아닙니다.
Rossouw JE et al. JAMA. 2002;288:321-333
How to Read a Forest Plot

Consumer's Guide

숲 읽기 도표
↓
Line of no effectRR=1 or MD=0
Diamond positionLeft=benefit, Right=harm
Diamond widthNarrow=precise
↓
Does diamond cross the line?
NoStatistically significant
YesNot significant
Red Flags When Reading

Warning Signs in Published Meta-Analyses

⚠ No protocol registration cited
⚠ Single database searched
⚠ No risk of bias assessment
⚠ High I² but no investigation
⚠ Asymmetric funnel plot ignored
⚠ 업계 자금 지원, 민감도 분석 없음
⚠ 결론은 증거를 초과합니다
What GRADE Ratings Mean
임상 의사 및 환자
HIGH: We are very confident. Future research unlikely to change.

MODERATE: Probably close to truth. Future research may change estimate.

LOW: Uncertain. Future research likely to change substantially.

VERY LOW: Very uncertain. Any estimate is speculative.
"다이아몬드만이 아닌 숲을 읽으십시오.
프로토콜을 찾으십시오. 편견을 확인하십시오.
Ask: Who funded this? What did they hide?
정보를 잘 아는 독자가 진실의 수호자입니다."
==================== 모듈 23: 네트워크 메타 분석 ===================
What if you must compare treatments
직접 테스트한 적이 없습니까?

이것이 network meta-analysis.
When to Use Network MA

NMA Decision Tree

Multiple Treatments
↓
Direct comparisons available?
All pairs directly compared
Pairwise MAStandard approach
Some indirect only
Network MABorrow strength
↓
Check transitivity assumptionSimilar populations across comparisons
네트워크의 영역입니다. 기하학
증거 시각화
A B C
Nodes = Treatments (size = sample)
Edges = 직접 비교(폭 = 연구)
Dashed = 간접 증거만
League Tables
NMA 결과 읽기
League tables show all pairwise comparisons .

• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options
CRITICAL ASSUMPTION
Transitivity: 유사한 환자에서 A 대 B, B 대 C를 비교하면 A 대 C를 간접적으로 추정할 수 있습니다.

What happens to meta-analyses when a prolific author's entire body of work is retracted?

REAL DATA

Joachim Boldt, a German anesthesiologist, had over 220 papers retracted 데이터 조작을 위해(2010~2011년 발견) 콜로이드 용액에 대한 그의 연구는 여러 체계적 검토 및 메타 분석에 포함되었습니다. 철회가 왔을 때 그의 작업이 포함된 모든 메타 분석을 재평가해야 했습니다. 그의 조작된 데이터가 제거되었을 때 일부 결론은 크게 바뀌었습니다.

Boldt Retraction Cascade: 2010-2011
귀하가 게시한 메타 분석에 포함된 연구가 데이터 조작을 위해 철회되었음을 발견했습니다. 당신은 무엇을합니까?
PATH A: Hope No One Notices
철회를 무시하십시오. 메타 분석은 이미 발표되었으며 철회된 연구의 규모는 작았습니다.
↓
다른 사람들은 귀하의 메타 분석을 인용합니다. 조작된 데이터는 2차 인용을 통해 전파됩니다. 환자 치료 결정은 오염된 증거에 기초합니다.
OUTCOME: Cascading harm from inaction
PATH B: Self-Correct Publicly
철회된 연구를 제외하고 수정 또는 업데이트된 분석을 게시합니다. 저널에 알리십시오. 결론이 바뀌는지 여부를 명시
↓
과학적 기록이 수정되었습니다. 독자들은 업데이트된 분석을 봅니다. 정직성에 대한 귀하의 평판이 향상됩니다
OUTCOME: Scientific self-correction
THE REVELATION
증거 종합의 무결성은 지속적인 경계에 달려 있습니다. 포함된 연구가 철회되면 윤리적 의무는 침묵을 유지하는 것이 아니라 업데이트하고 수정하는 것입니다.
"When treatments have never met,
네트워크는 증거의 다리를 구축합니다.
But the bridge rests on transitivity—
인구가 비교 가능한지 확인하십시오."
===================== 모듈 24: AI/ML 예측 모델 =====================
암을 예측하는 AI를 본 적이 없나요?
훈련 세트의 정확도는 99%입니다.
그리고 처참하게 실패했다
에 배포할 때 real world?
패혈증 알고리즘 실패
EPIC SEPSIS MODEL, 2021
Epic's sepsis prediction algorithm was deployed in hundreds of hospitals.

Internal validation showed excellent performance.

그러나 Michigan Medicine의 독립적인 연구에서는 이러한 모델을 발견했습니다. missed 67% of sepsis cases and generated excessive false alarms.

알고리즘은 다음에서 검증되었습니다. 훈련을 받은 동일한 인구— 과적합 및 실패에 대한 방법입니다.
Wong A et al. JAMA Intern Med. 2021;181:1065-1070
AI Validation Decision Tree

AI/ML에 대한 증거 수준

AI Prediction Model
↓
Validation Level?
Internal only동일한 데이터 분할
HIGH RISK
TemporalDifferent time
MODERATE
ExternalDifferent site
BETTER
Impact RCTPatient outcomes
BEST
PROBAST & TRIPOD
PROBAST
Prediction model
Risk of Bias
TRIPOD
Reporting
guideline
TRIPOD-AI
AI-specific
extension
CALIBRATION VS. DISCRIMINATION
AUC/c-statistic: Can the model rank patients? (discrimination)
Calibration: 예측 확률은 정확합니까?

A model can have good AUC but poor calibration—and harm patients.
"데이터로부터 학습된 알고리즘,
그리고 데이터는 편향되어 있었습니다.
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."
===================== 모듈 25: 환자 통신 ====================
메타 분석은 숫자로 말합니다.

하지만 환자는 그 말을 듣는다. 두려움과 희망.

어떻게 격차를 해소할 것인가?
Translating Numbers to Meaning

Communication Decision Tree

Meta-Analysis Result
↓
Effect Size Type?
Relative (RR, OR)
Convert to NNTMore intuitive
Absolute (RD)
Use directly"X fewer per 1000"
Continuous (MD)
ContextualizeMinimal important diff
환자를 위한 스크립트
EXPLAINING A POSITIVE RESULT
"이 연구는 8,000명의 환자를 대상으로 한 15개의 연구를 통합했습니다.

이 치료법은 [결과] 위험을 약 30% 감소시키는 것으로 나타났습니다.

실제적으로 말하면, 귀하와 같은 100명을 치료하면 치료를 받지 않은 경우에 비해 약 5명 정도 더 적은 수의 [결과]가 나올 것입니다.

We're moderately confident in this—future research might change it slightly.

이에 대해 어떤 질문이 있나요?"
Questions Patients Should Ask

Empowering Patients

1 "얼마나 많은 연구와 환자가 포함되었나요?"
2 "연구원들은 이 결과에 대해 얼마나 확신합니까?"
3 "이점과 해로움은 무엇입니까?"
4 "나 같은 사람들도 이 연구에 포함됐나요?"
5 "누가 이 연구에 자금을 지원했나요?"
6 "이것은 내 특정 상황에서 무엇을 의미합니까?"

Can a spreadsheet error in an academic paper directly shape the economic policy of entire nations?

REAL DATA

Reinhart와 Rogoff의 2010년 논문은 공공 부채가 90% of GDP 급격한 성장 둔화를 경험했습니다. 이 발견은 유럽 전역의 긴축 정책을 정당화하기 위해 널리 인용되었습니다. 2013년에 Herndon, Ash 및 Pollin은 스프레드시트 오류를 ​​발견했습니다. 여러 국가가 실수로 계산에서 제외되었습니다. 수정 후에는 급격한 90% 임계값이 사라졌습니다.

Reinhart-Rogoff 정책 영향: 2010-2013
메타 분석 결과는 명확한 정책적 의미를 갖습니다. 정책입안자들은 간단한 메시지를 원합니다. 정책 개요는 어떻게 작성합니까?
경로 A: 영향을 위해 지나치게 단순화
명확한 기준점 또는 헤드라인 번호를 제공하세요. 정책 영향을 최대화하기 위해 주의 사항 및 불확실성 범위를 생략합니다
↓
간단한 조사 결과를 기반으로 정책이 채택됩니다. 미묘한 차이가 나타나거나 오류가 발견되면 연구와 결과 정책 모두에 대한 신뢰가 떨어집니다.
OUTCOME: Policy built on a fragile foundation
경로 B: 정직하게 소통
적절한 불확실성을 지닌 증거를 제시합니다. 강한 결과와 암시적인 결과를 구별합니다. 미묘한 차이를 유지하는 실행 가능한 요약 제공
↓
정책 입안자들은 증거가 뒷받침하는 것과 불확실성이 남아 있는 부분을 이해합니다. 적절한 주의를 기울여 결정을 내립니다.
OUTCOME: Durable, evidence-informed policy
THE REVELATION
Policy briefs must communicate uncertainty honestly. Oversimplified findings may gain influence quickly but collapse when scrutinized, damaging trust in research-policy relationships.
"메타 분석은 숫자로 나타납니다.
환자는 두려움과 희망 속에서 듣습니다.
당신의 임무는 번역가가 되는 것입니다.
증거에 충실하고, "
===================== 모듈 26: 생활 리뷰 및 미래 ====================
체계적인 검토는 순간의 증거를 포착합니다.

But science does not stop.
증거를 유지하는 방법 alive?
Living Systematic Reviews
COVID-19 PANDEMIC, 2020-2023
팬데믹 기간 동안 기존의 리뷰가 합성할 수 있는 것보다 더 빠르게 증거가 나타났습니다.

Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.

COVID-NMA 컨소시엄은 치료법, 백신, 진단에 대한 실제 리뷰를 작성하고 real-time 에서 권장 사항을 증거로 업데이트했습니다. 진화했습니다.

Hydroxychloroquine went from "promising" to "ineffective" within months.
Defined by Cochrane: continual updates at ≤monthly intervals
When to Use Living Reviews

리빙 리뷰 결정 트리

리뷰 유형 결정
↓
증거가 빠르게 진화하고 있습니까?
Yes + High Priority
Living ReviewContinuous updates
No / Stable
Standard ReviewUpdate every 2-5 years
↓
Resource intensiveRequires ongoing funding
증거 종합의 미래
Automation
ML-assisted
screening
IPD-MA
Individual patient
data pooling
Real-World
EHR-based
evidence
Adaptive
Platform trials
+ MA
"증거의 언약은 고정적이지 않습니다.
새로운 연구, 새로운 질문이 있을 때마다 성장합니다.
리뷰를 계속 유지하세요.
방법을 투명하게 유지하세요.
진실을 모든 일의 중심에 두세요."
1 / 4