Module 0: The Reckoning
MODULE 0: 계산

In the hour of crisis, speed saves lives.

But haste without wisdom takes them.

O 치료자 여러분,

증거가 너무 느리게 움직일 때 무슨 일이 일어나는지 보셨나요?

그리고 너무 빠르게 움직일 때 어떤 일이 일어나는지 보셨나요?

January 2020

A novel coronavirus emerges in Wuhan.

Patients are dying. There is no treatment.
세상은 답을 요구합니다.

How long does a systematic review take?

전통적인 체계적 검토

12-24
Months to complete
6-12
Months until publication

Pandemic Timeline

7
Days to double cases
Now
답변이 필요한 경우

세계가 어떻게 반응하는지 확인하지 못하셨나요?

200,000+
COVID papers in 2020 alone
30,000+
동료 검토 없이 사전 인쇄
33+
Major retractions

Speed created a flood. Who would separate truth from noise?

우리를 괴롭히는 질문

두 가지 전염병 이야기 답변:

2020년 3월 프랑스는 하나의 소규모 결함이 있는 연구를 기반으로 코로나19에 대한 하이드록시클로로퀸을 승인했습니다. 더 큰 규모의 임상시험에서 아무런 유익도 얻지 못하고 심장에 해를 끼칠 수도 있다는 사실이 밝혀지기 전에 수백만 명이 이 약을 복용했습니다. 한편 영국의 RECOVERY 시험에서는 덱사메타손을 신속하면서도 엄격하게 테스트했습니다. 3개월 이내에 심각한 경우의 사망자가 1/3로 감소했다는 사실이 입증되었습니다.

두 국가 모두 동일한 긴급 상황에 직면했습니다. 하나는 약한 증거에 따라 조치를 취했고 다른 하나는 빠르게 강력한 증거를 생성했습니다.

Speed without rigor cost lives. Rapid rigor saved them.

당신은 2020년 3월 보건부 장관입니다. 소규모 연구에 따르면 일반적인 약물이 코로나19를 치료한다고 주장합니다. 어떻게 하시나요?

Path A: 이 유망한 연구를 바탕으로 하이드록시클로로퀸을 즉시 승인하세요
→ Millions take an ineffective drug with cardiac risks; lupus patients lose access to their medication
Path B: Fund a rapid but rigorous trial (like RECOVERY) to generate definitive evidence
→ Within 3 months, prove dexamethasone works—saving over 1 million lives globally

이 과정에서 배울 수 있습니다

마지막에는 다음을 수행할 수 있습니다.

  • 40시간이 아닌 40시간 안에 빠른 검토 수행 일
  • Know when "good enough" is actually good enough
  • 빠르게 변하는 증거에서 사기와 편견 식별
  • Use decision trees for methodological trade-offs
  • Understand living systematic reviews
  • 하이드록시클로로퀸과 이버멕틴 참사로부터 배우기

신속한 증거의 5가지 원칙을 확인하세요:

1. Speed without rigor is recklessness.

2. Rigor without speed is abandonment.

3. A flawed study in a meta-analysis poisons all.

4. Transparency reveals; concealment deceives.

5. 살아있는 증거는 살아있는 사람에게 도움이 됩니다.

서지스피어 재앙

팬텀 데이터베이스 이야기:

2020년 5월, The Lancet은 6개 대륙에 걸쳐 671개 병원에서 96,000명의 환자를 대상으로 한 연구를 발표했습니다. 하이드록시클로로퀸이 나와 있었습니다 increased death rates. The WHO halted trials worldwide.

그러나 데이터는 SF 작가와 성인 콘텐츠 모델을 포함해 직원 11명을 보유한 회사인 Surgisphere에서 나온 것입니다. 데이터베이스가 존재하지 않았습니다.

13일 이내에 논문이 철회되었습니다. 그러나 재판은 이미 중단됐다. 시간이 낭비되었습니다. 신뢰가 깨졌습니다.
Source: Mehra MR et al. Lancet 2020 (RETRACTED). Retraction: Lancet 2020;395:1820.

How did two of medicine's most prestigious journals—

Lancet과 NEJM—위조된 데이터를 게시합니까?

13
Days until retraction
0
감사자에게 데이터 액세스 권한 부여
100+
Trials affected

Speed pressure broke the gatekeepers.

의사결정 트리: 이 연구를 신뢰해야 합니까?

결정 트리: 독립적인 연구자가 원시에 액세스할 수 있습니까? 데이터? '예'인 경우 연구가 사전 등록되어 있는지 확인하세요. 사전등록된 경우 신뢰도가 높아지며 표준평가를 진행합니다. 사전 등록되지 않은 경우 중간 정도의 신뢰 - 결과 전환을 확인하세요. 데이터 액세스가 없으면 신뢰도가 낮습니다. 포함하기 전에 데이터를 요청하세요.

Module 0 Quiz

Scenario
2020년 3월입니다. 사전 인쇄에서는 일반적인 약물이 환자의 100%에서 코로나19를 치료한다고 주장합니다. 이 연구에는 36명의 환자가 있었고 대조군은 없었으며 2일 전에 게시되었습니다. 병원장은 약을 비축해야 하는지 묻습니다.

무엇을 조언해야 합니까?

2020년의 세 증인을 고려하십시오:

Dr. Anthony Fauci, March 2020
"증거 바이러스 확산이 크게 감소했다는 것은 정말 명백합니다."
WHO Director-General, May 2020
"우리는 연대 재판의 하이드록시클로로퀸 부문을 일시적으로 중단했습니다."
Cochrane, December 2020
"Hydroxychloroquine probably has little or no effect on mortality and progression to mechanical ventilation."

희망에서 판결까지 9개월이 걸렸습니다. 그 사이에 얼마나 많은 결정이 내려졌습니까?

클로로퀸 중독

Nigeria, March 2020:

히드록시클로로퀸이 발표된 지 며칠 만에 나이지리아인들은 관련이 있지만 독성이 더 강한 약물인 클로로퀸으로 자가 치료를 시작했습니다.

Three deaths. 과다복용으로 인해 여러 차례 입원했습니다. 라고스 주립 독극물 센터는 압도당했습니다.

In Arizona, a man died after drinking fish tank cleaner containing chloroquine phosphate. His wife survived but was hospitalized.

Premature evidence claims killed people who never had COVID-19.
Sources: Nigeria Centre for Disease Control, March 2020; Banner Health, Arizona, March 2020.

탈리도마이드 이야기:

1957년에 탈리도마이드가 임산부를 위한 안전한 진정제로 판매되었습니다. 제조업체는 불완전한 안전성 데이터를 공유했습니다. 동물 연구는 제한적이었고 인간 실험은 간략했습니다. 회사의 명성을 신뢰한 의사들은 이를 널리 처방했습니다.

1961년까지 10,000명이 넘는 어린이가 심각한 사지 기형을 안고 태어났습니다. 안전의 "지도"에는 누구도 공개하지 않은 치명적인 격차가 있었습니다.

완전한 것으로 제시된 불완전한 증거는 약물 규제를 영원히 재편하는 비극을 초래했습니다.

당신은 1957년의 약물 규제 기관입니다. 제약 회사는 제한된 안전 데이터를 가지고 승인을 위해 탈리도마이드를 제출했습니다. 어떻게 하시나요?

Path A: 제한된 안전 데이터를 수용하고 신속하게 승인하십시오. 임산부는 입덧 완화가 필요합니다
→ 10,000명이 넘는 심각한 선천적 결함을 안고 태어난 어린이; 비극으로 인해 약물 규제가 영원히 바뀌었습니다
Path B: 승인 전에 생식 독성을 포함한 완전한 안전성 연구 필요
→ FDA의 Frances Kelsey가 미국을 위해 이 길을 택했습니다. 미국 어린이들은 비극을 면했습니다

Decision Tree: When to Share Preliminary Findings

결정 트리: 이 결과에 따라 조치를 취하면 직접적인 피해가 발생할 수 있습니까? 그렇다면 공유하지 말고 확인을 기다리세요. 그렇지 않다면 조치를 취하지 않으면 더 큰 해를 끼칠 수 있는지 확인하십시오. 그렇다면 명확한 사전 주의 사항을 공유하세요. 긴급하지 않은 경우 분석이 완료될 때까지 기다리세요.

In the hour of crisis, speed saves lives.

모듈 1: 절충

모듈 1: 절충

Speed without rigor is recklessness.

Rigor without speed is abandonment.

속도를 위해 무엇을 희생하는지 생각해 보셨나요?

A systematic review is thorough because it is slow.
A rapid review is fast because it makes trade-offs.
이게 무엇인가요? 절충점?

체계적 vs. 신속: 차이점

Element Systematic Review Rapid Review
Databases searched 5-10+ 1-3
Grey literature Extensive Limited or none
Screening Dual independent Single + verification
Quality assessment Full tool Abbreviated
Timeline 12-24 months 1-6 weeks

코크란 응답

March 2020, Geneva
"2020년 3월, Cochrane Methods Rapid Reviews 그룹은 신속한 검토를 수행하는 방법에 대한 지침을 시작하여 고품질 검토를 생성하기 위한 프로세스를 매우 간소화했습니다. "

The guardians of rigor themselves said: "We must move faster."

Decision Tree: When to Use Rapid Review

Is the decision urgent (lives at stake NOW)?
YES
기존 증거가 희박하거나 충돌합니까?
YES
RAPID REVIEW
40 hours
NO
UPDATE EXISTING
SR
NO
FULL SYSTEMATIC
Standard timeline

What risks do we accept?

Missing studies: Limited search may miss relevant evidence

Selection bias: Single screener may have systematic blind spots

Quality gaps: Abbreviated assessment may miss fatal flaws

Publication bias: Less grey literature means more bias

모든 신속한 검토에서는 이러한 위험을 명시적으로 언급해야 합니다.

그러나 다음 사항을 고려하십시오.

D-Day 이야기 날씨:

1944년 6월 4일, 아이젠하워는 불가능한 결정에 직면했습니다. 그의 기상학자인 그룹 대장 스태그(Stagg)는 좋은 날씨를 보장할 수 없었습니다. 6월 6일에 잠깐 동안 날씨가 맑아졌다는 신뢰도는 80%에 불과했습니다. 확실성을 기다리는 것은 침공을 몇 주씩 지연시키고 발견의 위험을 감수하는 것을 의미했습니다.

아이젠하워는 "좋아, 가자"고 결정했습니다. 80% 예측이 맞았다. 침공은 성공했습니다.

Stagg는 나중에 완벽한 예측은 불가능하지만 실행 가능한 예측이 전쟁을 구했다고 말했습니다. 때때로 오늘의 80% 확실성이 95% 확실성을 능가합니다.

당신은 1944년 6월 4일의 아이젠하워 장군입니다. 기상학자는 6월 6일의 짧은 기상 기간에 대해 80% 신뢰를 제공합니다. 확실성을 기다리는 것은 몇 주를 지연시키고 침공군의 발견 위험을 감수한다는 것을 의미합니다.

Path A: 침공을 시작하기 전에 95%의 확실성을 기다리세요
→ Delay of weeks; risk of German discovery; next favorable tide not until late June; potential failure of entire operation
Path B: Act on the 80% forecast—launch on June 6
→ 예측이 맞았습니다. 침공은 성공했다. 전쟁의 흐름이 바뀌었습니다. 실행 가능한 증거가 완벽한 증거를 능가합니다.

두 가지 메타 분석 이야기

2020년 7월: 마스크 패러독스

같은 질문에 대한 두 가지 메타 분석: "마스크가 코로나19를 예방합니까?" 전송?"

첫 번째로 통합된 14개의 관찰 연구: OR 0.35—masks reduce risk by 65%!
The second included only 3 RCTs: OR 0.91—no significant effect.

Same question. Same year. Opposite answers. Why?

어떤 연구를 포함시키느냐에 따라 어떤 진실이 발견되는지가 결정됩니다.

Observational Studies

65%
Risk reduction

Higher confounding risk

RCTs Only

9%
Risk reduction (NS)

Lower power, higher validity

신속한 검토에서는 포함 기준이 결론입니다.

Decision Tree: Observational vs. RCT Evidence

결정 트리: RCT를 사용할 수 있습니까? 그렇다면 크기가 충분히 큰지 확인하세요. 충분히 큰 경우 더 높은 확실성을 위해 RCT를 선호합니다. 충분히 크지 않은 경우 두 가지를 모두 제시하고 불확실성을 명시합니다. RCT가 없는 경우 관찰을 사용하되 확실성은 낮춥니다.

Module 1 Quiz

Scenario
귀하의 사역에는 72시간 이내에 코로나19 예방을 위한 비타민 D 보충에 대한 증거가 필요합니다. 2019년부터 비타민 D 및 호흡기 감염에 대한 전체 Cochrane 리뷰가 존재하지만, 코로나19와 관련된 내용은 없습니다.

What is the most appropriate approach?

두 도시 이야기 1918년:

1918년 9월 필라델피아와 세인트루이스는 모두 인플루엔자 사례를 발견했습니다. 필라델피아 보건국장은 조치를 취하기 전에 더 많은 데이터를 기다렸습니다. 9월 28일 그는 20만명에 달하는 대규모 퍼레이드를 허용했다. 며칠 만에 병원이 넘쳐났습니다. 몇 주 만에 12,000명이 사망했습니다.

St. 루이는 동일한 불완전한 데이터를 가지고 즉시 학교를 폐쇄하고 모임을 금지했습니다. 사망률은 필라델피아의 절반이었습니다.

초기 조치의 희미한 빛이 너무 늦게 나타난 밝은 빛을 능가했습니다.

당신은 1918년 9월 필라델피아의 보건 국장입니다. 치명적인 독감 사례가 나타나고 있습니다. 대규모 자유 대출 퍼레이드가 9월 28일에 예정되어 있으며 예상 참석자는 200,000명입니다. 어떻게 하시나요?

Path A: 행동에 앞서 더 많은 데이터를 기다리십시오. 퍼레이드는 전쟁 노력에 대한 사기를 북돋울 것입니다.
→ 12,000 dead in Philadelphia within weeks; hospitals overflow; bodies pile in morgues
Path B: Act on incomplete data like St. Louis—cancel public gatherings immediately
→ St. Louis had half the death rate of Philadelphia; early action saved thousands of lives

토실리주맙의 전환점

너무 빨리 판정된 약물에 대한 이야기:

February 2021: Multiple small trials of tocilizumab (an IL-6 inhibitor) showed no benefit. Headlines declared it useless. Some hospitals stopped using it.

June 2021: RECOVERY trial reports 4,116 patients. Mortality reduced by 14%. WHO immediately recommends it.

작은 시험은 힘이 부족했습니다. 그들은 "효과가 없다는 증거"를 발견했습니다. 이는 "효과가 없다는 증거"가 아닙니다. 대규모 실험에서 진실이 밝혀졌습니다.
Source: RECOVERY Collaborative. Lancet 2021;397:1637-1645. REMAP-CAP confirmed similar results.

이 두 진술의 차이점은 무엇입니까?

"No evidence of effect"

p = 0.08
200 patients, underpowered

Cannot rule out benefit

"Evidence of no effect"

p = 0.92
4,000 patients, adequate power

Confidently excludes benefit

증거가 없다고 해서 부재의 증거는 아닙니다. 단, 연구 규모가 이를 감지할 만큼 크지 않은 한은 아닙니다.

의사결정 트리: 이 연구가 충분히 큽니까?

결정 트리: 연구에서 검정력 계산을 보고했습니까? 그렇다면 목표 등록을 달성했는지 확인하세요. 달성되면 연구가 적절하게 강화되고 부정적인 결과를 신뢰할 수 있습니다. 달성되지 않으면 연구의 힘이 약해지고 "효과 없음"이 위음성이 될 수 있습니다. 전력 계산이 보고되지 않은 경우 전력이 부족하다고 가정하고 사후 전력을 계산합니다.

인공호흡기 역전

March 2020: "Intubate Early"
Initial guidance: patients with low oxygen should be intubated quickly to prevent deterioration.

April 2020: "Intubate Later"
임상의는 많은 환자가 저산소증("행복한 저산소증")을 견딜 수 있음을 관찰했습니다. 엎드린 자세로 인해 환기가 필요하지 않은 경우가 많았습니다.

Result: Practice changed mid-pandemic based on real-world observation, not RCTs. Early intubation may have caused avoidable deaths.

When RCTs are impossible, observe carefully. Document systematically. Share transparently.

Speed without rigor is recklessness.

Rigor without speed is abandonment.

모듈 2: 방법

MODULE 2: 방법

진행 경로를 알고 있는 경우 40시간이 소요됩니다.

40시간 고속 검토

1
Define Question
2 hours
2
Search Strategy
4 hours
3
Screen & Select
12 hours
4
Extract & Assess
14 hours
5
Synthesize
8 hours

1단계: 질문 정의(2시간)

The PICO Framework—Sharper Than Ever

Population: Adults hospitalized with COVID-19 (narrow!)

Intervention: Dexamethasone 6mg daily

Comparator: Standard care / placebo

Outcome: 28-day mortality (primary only)

빠른 검토에서 질문은 surgical. Broad questions create endless searches. Narrow questions enable speed.

Step 2: Search Strategy (4 hours)

DON'T: Systematic Search

MEDLINE + EMBASE + Cochrane + CINAHL + PsycINFO + Web of Science + grey literature + hand searching

Time: 40+ hours

DO: Focused Search

PubMed + Cochrane Library + one preprint server (medRxiv)

Time: 4 hours

검색한 내용과 의도적으로 제외한 내용을 기록해야 합니다.

중요한 지름길:

검증을 통한 단일 스크리닝.

1
Primary screener
20%
Verified by second reviewer
100%
Of exclusions verified

This saves 50% of screening time while catching most errors.

Decision Tree: Quality Assessment Shortcuts

몇 개의 연구를 포함할 것인가?
≤10
Full quality assessment
Use standard tool (RoB 2, ROBINS-I)
>10
Abbreviated assessment
Key domains only

Key domains: randomization, blinding, missing data, selective reporting

마지막 단계: 합성

Warning: Meta-analysis in rapid reviews is dangerous territory.

포괄적으로 검색하지 않았을 수도 있습니다. 공부를 놓쳤을 수도 있습니다. 불완전한 검색에서 얻은 통합 추정치는 잘못된 신뢰도를 생성할 수 있습니다.

서술적 합성을 선호합니다. 풀링해야 하는 경우 제한 사항을 큰 소리로 명시하세요.

PRISMA-RR: 보고 체크리스트

PRISMA for Rapid Reviews Extension (2024)

When reporting rapid reviews, you MUST include:

  • Shortcuts taken: 간소화와 전체 SR은 무엇입니까?
  • Time constraints: 신속한 검토가 필요한 이유는 무엇입니까?
  • Databases searched: 그리고 다른 사람들은 왜 제외됨
  • Screener count: Single vs. dual screening
  • Date of search: [날짜] 기준 최신 증거
  • Limitations section: What may have been missed
Source: Stevens A et al. PRISMA-RR Extension. J Clin Epidemiol 2024. DOI: 10.1016/j.jclinepi.2024.01.015

렘데시비르 반전 이야기

November 2020: Two Giants Disagree

The FDA granted Emergency Use Authorization: "Remdesivir shortens recovery time."
The WHO recommended against it: "No mortality benefit, high cost."

Same drug. Same evidence base. Opposite conclusions.

차이는? FDA는 대리 결과(회복 시간)를 우선시했습니다. WHO는 환자 중심의 결과(사망률)를 우선시했습니다.
Sources: FDA EUA Oct 2020; WHO Solidarity Trial Consortium, NEJM 2021.

Decision Tree: Choosing Outcomes in Rapid Reviews

결정 트리: 어려운 결과를 측정할 수 있습니까? 그렇다면 가장 높은 확실성을 위해 확실한 결과를 사용하십시오. 아니요인 경우 서로게이트의 유효성이 검사되었는지 확인하세요. 서로게이트가 검증된 경우 주의해서 사용하고 간접적임을 기록하십시오. 대리가 검증되지 않은 경우 주요 불확실성 - 명시적으로 기술하십시오.

Module 2 Quiz

Scenario
새로운 항바이러스제에 대해 신속한 검토를 수행하고 있습니다. 잠재적으로 관련성이 있는 47개의 초록을 찾았습니다. 귀하의 타임라인: 총 40시간, 선별 검사에 12시간 할당.

What screening approach is appropriate?

Module 2 Quiz (2)

PRISMA-RR에 따르면, 신속 검토 보고서에는 필요하지 않은 것이 있습니까?

복와 자세 발견

간단한 해결책 이야기:

수십 년 동안 호흡 부전을 앓고 있는 ICU 환자들은 누워 있었습니다. 코로나19에서 임상의들은 놀라운 사실을 발견했습니다.

Turning patients onto their stomachs—proning—dramatically improved oxygen levels. No drug required. No cost. Available everywhere.

Meta-analysis of 6 RCTs: Mortality reduced by 25% in severe ARDS patients.

때때로 돌파구는 분자가 아닙니다. 때로는 입장이 되기도 합니다.
Source: Munshi L et al. Lancet Respir Med 2017;5:627-38. COVID-19 proning: Ehrmann S et al. Lancet Respir Med 2021.

Excel 오류 이야기:

2010년 하버드 경제학자 Reinhart와 Rogoff는 영향력 있는 연구를 발표했습니다. 부채가 GDP의 90%를 넘는 국가는 마이너스 성장을 보였습니다. 전 세계 정부는 긴축을 정당화하기 위해 이를 인용했습니다.

Three years later, a graduate student found their Excel spreadsheet excluded five countries due to a coding error. When corrected, the 90% threshold disappeared.

확인되지 않은 스프레드시트 오류 하나가 수백만 명의 정책에 영향을 미쳤습니다. 검증하는 연구원은 계산하는 연구원만큼 중요합니다.

당신은 정부가 긴축정책을 정당화하기 위해 사용하는 유명한 라인하르트-로고프 논문을 검토하고 있는 대학원생입니다. 하버드 교수들의 스프레드시트를 확인하시나요?

Path A: 유명한 경제학자들을 믿으세요. 그들은 기본적인 오류를 범하지 않을 것입니다.
→ Excel 오류는 3년 동안 발견되지 않습니다. 결함이 있는 데이터를 기반으로 한 긴축 정책은 수백만 달러에 영향을 미칩니다.
Path B: 원본 데이터를 요청하고 모든 계산을 직접 확인하세요
→ Thomas Herndon이 정확히 이렇게 했습니다. 오류를 발견하고, 과학 기록을 수정하고, 정책 토론을 변경했습니다.

Decision Tree: Narrative vs. Meta-Analysis

결정 트리: 포함된 연구가 임상적으로 동종입니까? 그렇다면, 종합적으로 검색했는지 확인해 보세요. 종합적으로 검색한다면 메타분석이 적합하다. 신속한 검색의 경우 메타 분석을 수행하되 한계를 명확하게 명시합니다. 연구가 이질적이라면 서술형 합성을 사용하세요. 사과와 오렌지를 합치지 마세요.

진행 경로를 알고 있는 경우 40시간이 소요됩니다.

모듈 3: 재난

MODULE 3: 재난(하이드록시클로로퀸)

A flawed study in a meta-analysis poisons all.

마르세유?

세상을 변화시킨 신문 중, 그렇게 해서는 안 됩니까?

2020년 3월 17일: The Paper

Gautret et al. — International Journal of Antimicrobial Agents

Claim: Hydroxychloroquine + azithromycin clears COVID-19 virus in 100% of patients

Submitted: March 16, 2020

Accepted: March 17, 2020

Peer review time: ONE DAY

편집장은 저자와 같은 연구소 동료였습니다.

어떤 결점이 있었습니까?

36
Total patients
6
분석에서 제외
1
Died (excluded)
3
To ICU (excluded)

심각한 환자는 간단히 제외되었습니다. 분석.

And yet, consider what followed:

March 19: 트럼프 대통령은 하이드록시클로로퀸을 "의학 역사상 가장 큰 게임 체인저 중 하나"라고 트윗했습니다.

March 28: FDA issues Emergency Use Authorization.

April 2020: Countries worldwide stockpile the drug. India bans exports.

Result: 살기 위해 하이드록시클로로퀸이 필요한 루푸스 및 류마티스 관절염 환자는 약을 받을 수 없습니다.

일곱 개의 죽음 결점

1. Non-randomized, open-label design

2. Convenience control group from different hospitals

3. 심각한 환자는 분석에서 제외

4. Different PCR thresholds for treatment vs. control

5. Ethics approval granted AFTER trial started

6. Children included despite exclusion criteria

7. One-day peer review by conflicted editor

심판: 2023년 12월

International Journal of Antimicrobial Agents
"거의 4년 동안 과학계의 지속적인 압력 끝에 저널은 윤리, 방법론 및 데이터에 대한 우려를 이유로 Gautret 연구를 공식적으로 철회했습니다. 무결성."

It remains the most-cited COVID-19 paper to be retracted.
손상은 며칠 만에 발생했습니다. 수정에는 수년이 걸렸습니다.

Decision Tree: Red Flags in Rapid Evidence

Is the result too good to be true?
YES
STOP
Verify before sharing
NO
동료 검토 < 1주?
CAUTION
Check author/editor affiliations

회복기 혈장 붕괴

FDA의 서둘러 이야기:

2020년 8월: FDA는 다음에 대한 긴급 사용 승인을 부여합니다. 회복기 혈장, 사망률 35% 감소

데이터는 35,000명의 환자를 대상으로 한 비무작위 연구에서 나온 것입니다. 통제 그룹이 없습니다. 과거 비교만 가능합니다.

2021년 2월까지 7개의 RCT에서 사망률 혜택이 나타나지 않았습니다. EUA가 개정되었습니다. 이미 500,000번 이상의 용량이 투여되었습니다.
Sources: FDA EUA Aug 2020; Janiaud P et al. JAMA 2021;325:1185-1195.

Consider the social media amplification:

3.1M
Twitter engagements on Gautret paper (first week)
15,000
News articles citing it
83
Engagements on retraction notice

잘못된 정보는 수정보다 빠르게 퍼집니다. 이것이 바로 비대칭성에 맞서 싸우는 것입니다.

접종: 벙킹 전 방어

What if you could vaccinate minds against misinformation?

Prebunking > Debunking: Warn people about manipulation tactics before they encounter false claims.

The technique: "소규모 연구가 X의 효과를 입증했다는 주장을 들을 수도 있습니다. 소규모 연구가 종종 오해를 불러일으키는 이유는 다음과 같습니다..."

The evidence: Inoculation reduces susceptibility to misinformation by 20-30% (van der Linden et al., 2020).

Inoculation Messaging: Practical Templates

Three Prebunking Approaches

1. Logic-Based: "누군가가 100% 효과를 주장한다면 다음과 같이 질문하십시오: 대조군이 있었습니까? 비교 없는 연구 아무 것도 증명하지 못합니다."

2. Source-Based: "동료 검토 전에 온라인에 게시된 연구를 주의하십시오. 아직 독립적인 전문가의 확인을 받지 않았습니다."

3. Emotional-Based: "기적의 치료 주장은 우리의 희망을 활용합니다. 실제 치료법은 정직한 한계와 함께 어느 정도의 이점을 보여줍니다."

이 템플릿을 공중 보건 커뮤니케이션, 임상의 교육 및 언론에 사용하십시오.

Decision Tree: Evaluating Preprint Claims

결정 트리: 연구가 동료 검토를 받았습니까? 그렇다면 검토에 2주 이상 소요되었는지 확인하세요. 검토 시간이 적절하다면 표준 평가를 사용하십시오. 빠른 검토의 경우 작성자-편집자 충돌을 확인하세요. 사전 인쇄된 경우에만 예비로 치료하고 확정적인 것으로 인용하지 마십시오.

Module 3 Quiz

Scenario
한 연구에 따르면 질병 치료율은 100%입니다. 36명의 환자가 있으며 하루 만에 출판이 승인되었으며 악화된 6명의 환자는 분석에서 제외되었습니다.

이 연구에는 몇 개의 위험 신호가 있습니까?

Module 3 Quiz (2)

Gautret 하이드록시클로로퀸 연구는 310만 명의 트위터 참여를 받았습니다. 철회 통지는 83을 받았습니다. 이는 다음을 설명합니다.

A flawed study in a meta-analysis poisons all.

모듈 4: 사기

모듈 4: 사기(Ivermectin)

Beware the meta-analysis built on sand.

어떻게 사기가 발생하는지 목격하셨습니까? 증거를 통해 확산됩니까?

How one lie becomes the foundation of many truths?

이버멕틴 현상

2020-2021: 구충제인 이버멕틴이 코로나19를 치료한다고 주장하는 여러 연구가 전 세계에서 나타났습니다. 메타 분석 결과를 종합하면 사망률이 51% 감소했습니다!

Governments in Latin America, Africa, and India distribute millions of doses. Patients demand prescriptions. Some take veterinary formulations.

하지만 데이터에 심각한 오류가 있었습니다.

Elgazzar 연구: 사기 분석

Egypt, 2020: The Largest Ivermectin Trial

Dr. Ahmed Elgazzar posted a preprint claiming ivermectin reduced COVID-19 mortality by 90%.

이는 여러 메타 분석에 포함되었으며 12.6% 사망률에 대한 전반적인 효과 추정에 기여했습니다.

그런 다음 대학원생이 데이터를 확인하기 시작했습니다.

What did they find?

79
환자 데이터 중복
4+
Deaths before trial started
~50%
Text plagiarized

July 15, 2021: 연구는 "윤리적 문제"로 인해 철회되었습니다.

폭발 효과

Studies Included Survival Benefit Significance
All 12 studies 51% reduction Significant
Without Elgazzar 38% reduction Borderline
고편향 연구 없음 10% reduction Not significant
저편향 연구만 4% reduction Not significant

1개의 사기 연구 결론을 "효과 없음"에서 "기적의 치료법"으로 변경했습니다.

그리고 Nature Medicine은 다음과 같이 경고했습니다.

Nature Medicine, October 2021
"잘 조사되지 않은 증거 기반은 전 세계적으로 잠재적으로 효과가 없는 수백만 용량의 약물 투여를 뒷받침했지만 이 증거가 매우 기본적인 수치 조사를 받았을 때 다음과 같은 문제로 무너졌습니다. "

요약 데이터만을 기반으로 한 메타 분석은 본질적으로 신뢰할 수 없습니다.

Decision Tree: Detecting Problematic Studies

원시 데이터에 액세스할 수 있습니까?
YES
Do baseline characteristics make sense?
주의해서 진행하십시오.
NO
HIGH RISK
감도 분석을 실행하지 않고 그것

이버멕틴의 교훈:

Always run your meta-analysis twice:
모든 연구와 함께 한 번. 일단 가장 영향력 있는 사람은 없었습니다.

한 연구에서 결론이 바뀌면 결론은 깨지기 쉽습니다.

잭 로렌스 이야기

The Graduate Student Who Changed Everything:

Jack Lawrence was a master's student in London. He knew no Arabic. But he could spot duplicate rows in a spreadsheet.

그는 Elgazzar의 데이터 보충 자료를 다운로드했습니다. 148행은 11행과 동일했습니다. 228행은 79행과 일치했습니다. 79 patients appeared twice.

그는 자신이 발견한 내용을 트윗했습니다. 며칠 내에 사전 인쇄 서버가 해당 논문을 철회했습니다. 메타 분석이 수정되었습니다. 정책이 변경되었습니다.

기본 데이터 기술을 갖춘 한 학생이 동료 검토가 할 수 없는 작업을 수행했습니다.

Decision Tree: Fraud Detection Checklist

의사결정 트리: 기본 특성이 너무 완벽하게 균형을 이루고 있습니까? 그렇다면 잠재적인 조작에 대한 위험 신호입니다. 아니요인 경우 이벤트 날짜가 등록보다 앞선지 확인하세요. 재판이 시작되기 전의 사망은 불가능하며 조작을 의미합니다. 날짜가 유효한 경우 다른 사기 신호를 확인하세요.

Module 4 Quiz

Scenario
메타 분석을 수행 중입니다. 한 연구는 통합 효과의 40%를 기여합니다. 이것이 없으면 결과는 유의미함(p=0.02)에서 유의미하지 않음(p=0.31)으로 변경됩니다.

어떻게 해야 합니까?

Module 4 Quiz (2)

Elgazzar ivermectin 연구는 다음과 같은 이유로 사기로 감지되었습니다.

TOGETHER 임상시험 실망감

희망을 끝낸 대규모 임상시험 이야기:

플루복사민(항우울제)이 중증 코로나19를 예방할 수 있다는 소규모 임상시험 이후 전 세계는 확실한 답을 기다렸습니다.

The TOGETHER trial enrolled 1,497 patients in Brazil. Initial interim: 32% reduction in hospitalization!

최종 결과: 위약 환자 중 5.1%만이 입원했고, 플루복사민 환자의 4.0%. 효과는 기대했던 것보다 작았으며 절대적인 이점도 작았습니다.

Small absolute differences require enormous trials to detect. Most promising treatments fade when tested properly.
Source: Reis G et al. Lancet Glob Health 2022. TOGETHER trial platform.

파워 포즈 이야기:

2010년 연구자들은 "파워 포즈"(슈퍼맨처럼 서 있는 자세)가 테스토스테론과 위험 감수를 증가시킨다고 주장했습니다. 이 연구는 TED 강연, 비즈니스 서적, 수백만 명의 신자 등 입소문을 타고 퍼졌습니다. 여러 연구에서 이를 복제한 것으로 보입니다.

그런 다음 더 큰 규모의 사전 등록된 복제가 실패했습니다. 원래 공동 저자는 연구 결과를 공개적으로 부인했습니다. 많은 소규모의 유연한 연구에서 원하는 것을 찾았습니다.

약한 증거의 곱셈은 강력한 증거처럼 느껴졌습니다. 엄격한 반복을 통해 그것이 잡음이라는 것이 밝혀지기 전까지는 말입니다.

당신은 대중적인 강력한 효과를 재현하지 못하는 사전 등록된 대규모 복제 연구를 받는 저널 편집자입니다. 원본 연구에는 수백만 명의 신자들과 유명한 TED 강연이 있습니다.

Path A: 확립되고 대중적인 연구 결과와 모순되므로 복제를 거부하십시오.
→ False belief persists; millions continue to be misled; science fails to self-correct
Path B: 실패한 복제 게시 - 증거를 통해 말해보세요
→ 과학이 자체 수정합니다. 원본 공동 저자는 결과를 공개적으로 부인합니다. 인기보다 진실이 드러난다

Decision Tree: Reading a Forest Plot

의사결정 트리: 합동 추정 신뢰 구간이 효과가 없는 선을 넘나요? 그렇다면 결과는 통계적으로 유의하지 않습니다. 그렇지 않은 경우 이질성을 확인하십시오. I-제곱이 50% 미만이면 효과는 더 높은 신뢰도와 일치합니다. I-제곱이 높으면 이질성이 있고 실제 효과는 연구마다 다릅니다. 이유를 알아보세요.

Beware the meta-analysis built on sand.

모듈 5: 승리

MODULE 5: 승리(복구 실험)

From protocol to saving lives: 100 days.

이제 어떻게 되어야 하는지 이야기를 들어보세요. 완료.

Of how speed and rigor found harmony.

복구 실험

March 2020, United Kingdom:

하이드록시클로로퀸 혼란이 확산됨에 따라 영국 연구자들은 세계 최대 규모의 코로나19 치료 실험을 시작했습니다. 빠르고 엄격하게 설계되었습니다.

Within 6 weeks of funding, patients were being enrolled.

How did they achieve speed without sacrificing quality?

176
Hospitals enrolled
11,500
Patients (dexamethasone arm)
100
일수: 결과에 대한 프로토콜

An adaptive platform trial: multiple treatments tested simultaneously.

2020년 6월 16일: 발표

Dexamethasone Results

Ventilated patients: 29% mortality reduction (NNT = 8)

Oxygen therapy: 20% mortality reduction (NNT = 25)

No oxygen needed: No benefit (possible harm)

Cost per treatment: ~$6 for a common steroid.

그리고 전 세계는 이번에 정확하게 응답했습니다.

1
Results announced
June 16
2
UK practice changed
Same day
3
NIH guidelines updated
Within days
4
WHO recommendation
September

1,000,000

Lives saved globally by March 2021

영국에서 22,000명 혼자. 60년 동안 판매되었던 6달러짜리 약품에서.
차이점은 엄격한 증거, 신속하게 생성되었습니다.

What Made RECOVERY Different?

1. Randomized controlled design (not observational)

2. 사전 지정된 결과 및 분석 계획

3. Massive scale (statistical power)

4. Adaptive platform (dropped arms early if no signal)

5. Simplified enrollment (one-page consent in emergency)

6. 독립 데이터 모니터링 위원회

의 교훈 복구:

Speed does not require cutting corners. It requires cutting waste.

Simplified consent forms. Adaptive designs. Platform trials that test multiple treatments at once.

엄격함과 속도는 적이 아닙니다. 이들은 소개를 기다리는 파트너입니다.

SOLIDARITY 대조

소규모 연구 결합

Chaos
여러 모순된 결과

Gautret: 36 patients
Elgazzar: ~400 patients (fraud)

RECOVERY/SOLIDARITY

Clarity
Definitive answers

RECOVERY: 11,500 patients
SOLIDARITY: 11,330 patients

플랫폼 시험은 많은 소규모 연구의 소음을 하나의 대규모 연구 신호로 대체합니다. 하나.

결정 트리: 대규모 시험을 기다려야 합니까?

결정 트리: 대규모 플랫폼입니다. 재판이 진행 중인가요? 그렇다면 결과가 제때에 나올지 확인하세요. 결과가 곧 나올 경우 더 높은 품질의 증거를 기다리십시오. 제때에 오지 않는다면 지금 신속하게 검토하고 임상시험 보고서가 나오면 업데이트하세요. 대규모 임상시험이 없으면 이용 가능한 최선의 증거를 신속하게 검토하십시오.

Module 5 Quiz

RECOVERY 임상시험에는 덱사메타손군에 11,500명의 환자가 등록되었습니다. 이것이 가능했던 주된 이유는 무엇입니까?

Module 5 Quiz (2)

COVID-19용 덱사메타손은 전 세계적으로 약 100만 명의 생명을 구했습니다. 치료당 약품 비용은 다음과 같습니다.

Source: RECOVERY Collaborative Group. N Engl J Med 2021;384:693-704. Lives saved estimate: Horby & Landray, Science 2021.

아지스로마이신 포기

모든 것에 추가된 약에 대한 이야기:

Gautret 연구에서는 하이드록시클로로퀸과 아지스로마이신을 결합했습니다. 갑자기 아지스로마이신이 전 세계적으로 치료 프로토콜에 추가되었습니다.

그러나 아지스로마이신은 단독으로 테스트된 적이 없습니다. 그 조합은 입증된 적이 없습니다. 그리고 아지스로마이신은 심장 부정맥을 유발합니다.

July 2020: RECOVERY randomizes 7,763 patients. Result: No benefit. Median hospital stay identical. Mortality identical.

원래 연구에는 의문의 여지가 없었기 때문에 몇 달 동안 심장 위험에 노출해도 아무런 유익이 없었습니다.
Source: RECOVERY Collaborative. Lancet 2021;397:605-612. Azithromycin arm.

Tacoma Narrows 이야기:

1940년에 Tacoma Narrows Bridge는 신속하게 건설되었으며 싸게. 엔지니어들은 시간을 절약하기 위해 풍동 테스트를 건너뛰었습니다. 개통 4개월 후 적당한 바람으로 인해 다리가 진동했습니다. 그것은 심하게 비틀리고 무너졌습니다. 공대생들이 아직도 공부하고 있는 영상에 포착되었습니다.

광범위한 테스트를 거쳐 천천히 건설된 근처의 오래된 다리가 여전히 서 있습니다. 세 번째 교훈은 나중에 나왔습니다. 현대 교량은 검증을 건너뛰지 않는 빠른 방법인 신속한 계산 테스트를 사용합니다.

Speed without testing destroys. Testing without speed delays. Rapid testing saves.

당신은 1940년에 Tacoma Narrows Bridge를 설계한 엔지니어였습니다. 예산은 부족하고 마감일은 확실합니다. 풍동 테스트에는 몇 주와 비용이 추가됩니다. 무엇을 하시나요?

Path A: 시간과 비용을 절약하기 위해 풍동 테스트를 건너뛰세요. 설계가 서류상으로는 견고해 보입니다.
→ Bridge collapses 4 months after opening; "Galloping Gertie" becomes a cautionary tale studied by every engineering student
Path B: Insist on proper wind tunnel testing despite the delay
→ 적절한 테스트를 거쳐 건설된 인근의 오래된 교량은 오늘날에도 여전히 건재합니다. 최신 교량은 신속하고 검증된 신속한 계산 테스트를 사용합니다.

Decision Tree: Evaluating Platform Trial Arms

결정 트리: 데이터 안전 모니터링 위원회(Data Safety Monitoring Board)가 이 시험 단계를 중지했습니까? 일찍? 무용지물로 인해 치료를 중단하면 치료에 아무런 이점이 없으므로 사용해서는 안 됩니다. 해를 입힐 목적으로 치료를 중단하면 치료는 위험하며 금기입니다. 명확한 이점으로 인해 치료를 조기에 중단하면 치료가 효과적이며 지침을 업데이트해야 합니다.

From protocol to saving lives: 100 days.

모듈 6: 생활

모듈 6: 생활 체계적 검토

살아 있는 증거가 생활에 도움이 됩니다.

고려해 보셨나요? 끊임없이 늘어나는 증거?

전염병 자체와 호흡하는 리뷰?

살아있는 체계적 검토

A traditional review is a photograph: frozen in time.

리빙 리뷰는 동영상입니다. 새로운 증거가 나올 때마다 지속적으로 업데이트됩니다.

In a pandemic, the photograph is obsolete before it's printed.

PAHO의 리빙 리뷰: 사례 연구

Pan American Health Organization, April 2020 - Present

Launched: April 2020

Interventions assessed: 305 treatments

RCTs included: 924 randomized controlled trials

Updates: 48 updates published

Sources monitored: 40+ databases including preprint servers

When should a review become "living"?

1. The topic is a priority for decision-making

2. 새로운 증거가 등장합니다 rapidly

3. Current certainty is low

4. 새로운 증거가 나올 가능성이 높습니다 change conclusions

If all four are true, a living approach is warranted.

The Challenge: Keeping Reviews Alive

97
Living SRs on COVID-19
35%
Updated at least once
65%
Never updated (dormant)
업데이트되지 않는 "살아있는" 리뷰는 기존 리뷰보다 나쁩니다. 이는 증거가 최신이라는 잘못된 확신을 조성합니다.

Decision Tree: When to Update a Living Review

New RCT(s) identified since last update?
YES
Likely to change conclusions or certainty?
YES
UPDATE NOW
NO
Queue for next scheduled update
NO
No update needed
Note: "No new evidence" is still information

몰누피라비르 모멘텀 이야기

중간 분석의 위험:

October 2021: Merck announces interim results—50% reduction in hospitalization!
Stock prices soar. Countries pre-order millions of courses. Headlines celebrate.

November 2021: Final results published—30% reduction. Still significant, but...
2021년 12월: 업데이트된 분석에 따르면 대조군의 6.8%만 입원했지만 입원하지 않은 것으로 나타났습니다. 14.1%.

분모가 변경되었습니다. 마법이 사라졌습니다. 교훈: 중간 ≠ 최종.
Source: Jayk Bernal A et al. N Engl J Med 2022;386:509-520. MOVe-OUT trial.

그리고 나서 Paxlovid가 나왔습니다.

Molnupiravir

30%
Reduction (final)

Low-risk patients
Mutagenic concerns

Paxlovid

89%
Reduction (consistent)

High-risk patients
Drug interactions

실시간 검토는 중간과 최종, 예비와 확인을 구별해야 합니다.

Decision Tree: Retiring a Living Review

의사결정 트리: 6개월 동안 새로운 임상시험이 없어 근거가 안정화되었습니까? 그렇다면 현재 확실성이 보통인지 아니면 높은지 확인하세요. 확실성이 적절하다면 최종 날짜를 정하여 정적 검토로 전환합니다. 확실성이 여전히 낮으면 계속 살아서 새로운 증거를 모니터링하세요. 근거가 아직 안정화되지 않은 경우 생활 검토를 활성화하세요.

Module 6 Quiz

한 연구에 따르면 코로나19에 대한 "살아있는" 체계적 검토의 65%가 업데이트되지 않은 것으로 나타났습니다. 이는 다음과 같은 이유로 문제가 됩니다.

Source: Stable et al. J Clin Epidemiol 2022;142:66-73. Survey of 97 COVID-19 living SRs.

Module 6 Quiz (2)

Scenario
귀하가 항바이러스 치료에 대한 살아있는 검토를 관리하고 있습니다. 8개월 동안 새로운 RCT가 발표되지 않았으며 1차 결과에 대한 GRADE 확실성은 "보통"입니다.

어떻게 해야 합니까?

Bamlanivimab 철회

작동을 멈춘 단클론 항체 이야기:

2020년 11월: FDA는 단클론 항체인 bamlanivimab에 대해 EUA를 승인합니다. 초기 데이터는 가능성을 보여주었습니다.

March 2021: EUA revoked. Why? Variant escape. 바이러스가 돌연변이를 일으켰습니다. 항체는 더 이상 결합되지 않습니다.

단클론 항체를 추적하는 살아있는 검토에서는 몇 주 안에 이 사실을 알렸을 것입니다. 정적 지침을 변경하는 데 몇 달이 걸렸습니다.

팬데믹 상황에서는 적이 진화합니다. 증거는 더욱 빠르게 발전해야 합니다.
Source: FDA revocation of bamlanivimab EUA, April 2021. Variant surveillance: CDC SARS-CoV-2 Variants.

독감 감시 이야기:

CDC는 감시 감시를 통해 인플루엔자를 모니터링합니다. 초기 시스템은 매주 병원을 점검했는데 급증을 포착하기에는 너무 느렸습니다. 지속적인 실시간 모니터링으로 인해 분석가들은 소음으로 인해 어려움을 겪었습니다.

해결책: 임계값 기반 감시. 지속적으로 추적하지만 사례가 계절적 기준을 초과하는 경우에만 알림을 트리거합니다. 이 "실시간 검토" 접근 방식은 기존 방법보다 2009주 전에 H1N1을 포착했습니다.

임계값을 모니터링하는 감시자는 연간 검사관과 지친 시간별 검사관 모두보다 성능이 뛰어납니다.

질병 감시 시스템을 설계하고 있습니다. 증거를 얼마나 자주 검토하고 경고를 트리거해야 합니까?

Path A: 매년 효율성을 확인하세요. 포괄적인 연간 검토가 철저합니다.
→ 급증을 놓치세요. H1N1은 발견되기까지 몇 주 동안 확산됩니다. 지연된 대응은 생명을 위협합니다
Path B: 임계값 기반 모니터링 구현 - 기준선 초과 시 경고를 통한 지속적인 추적
→ 기존 방법보다 몇 주 먼저 H1N1을 발견합니다. 조기 경고로 더 빠른 대응이 가능합니다. "실시간 검토" 접근 방식으로 생명을 구합니다

결정 트리: 이 새로운 연구는 업데이트를 실행할 만큼 충분히 의미가 있습니까?

결정 트리: 이를 추가하시겠습니까? 연구를 통해 확실성 등급을 변경하시겠습니까? 그렇다면 확실성 변경이 지침에 영향을 미치므로 즉시 업데이트하십시오. 그렇지 않은 경우 점 추정 방향이 변경되는지 확인하십시오. 방향이 바뀌면 중요한 결과이므로 곧 업데이트하세요. 방향 변경이 없으면 다음 일괄 업데이트를 위해 대기열에 넣습니다.

살아 있는 증거가 생활에 도움이 됩니다.

모듈 7: 품질

MODULE 7: 빠른 검토의 품질

Transparency reveals; concealment deceives.

신속한 검토를 어떻게 판단합니까?

When time prevents perfection, what is "good enough"?

GRADE in 40 Hours: Is It Possible?

Full GRADE Assessment

Risk of bias + Inconsistency + Indirectness + Imprecision + Publication bias

Time: 8-16 hours per outcome

Rapid GRADE

Risk of bias + Imprecision + Major concerns only

Time: 2-4 hours per outcome

Focus on the domains most likely to affect certainty.

The Non-Negotiables

1. Document everything: 검색한 내용과 검색한 내용 제외됨, 왜

2. State limitations explicitly: 텍스트에 묻혀 있지 않은지—앞과 가운데

3. 신속한 것과 체계적인 것을 구별하십시오: Never pretend comprehensiveness

4. Date-stamp everything: [날짜] 기준 최신 증거

5. 업데이트 계획: 신속한 검토가 최종 결정은 아닙니다

기후 불확실성 이야기:

IPCC climate reports could claim certainty to seem authoritative. Instead, they explicitly quantify uncertainty: "likely (66-100%)", "very likely (90-100%)", "virtually certain (99-100%)".

2021년 보고서에서 온난화가 "명확"하지만 빙상 붕괴 시기는 "낮은 신뢰도"라고 밝혔을 때 정책 입안자들은 지도를 신뢰할 수 있는 위치와 용이 이동할 수 있는 위치를 정확히 알고 있었습니다. 숨어 있습니다.

이러한 투명성은 보고서의 신뢰성과 정책 영향을 감소시키는 것이 아니라 증가시킵니다.

귀하께서는 IPCC 기후 보고서를 작성하고 계십니다. 더 권위 있는 것처럼 보이기 위해 확실성을 주장해야 할까요, 아니면 존재하는 불확실성을 인정해야 할까요?

Path A: 신뢰성에 대한 확실성을 주장해야 합니다. 헤징을 하면 보고서가 약해 보일 수 있습니다.
→ Lose trust when predictions vary; critics seize on any uncertainty as proof the science is unreliable; credibility undermined
Path B: Quantify uncertainty explicitly—"likely," "very likely," "virtually certain"
→ 정책 입안자들은 증거를 신뢰할 수 있는 위치를 정확히 알고 있습니다. 투명성은 신뢰성과 정책 영향력을 증가시킵니다. 과학은 정직하다고 여겨집니다

How to READ a Rapid Review (Consumer Guide)

Five Questions to Ask Before Trusting

  1. 검색은 언제 이루어졌습니까? — If >3 months old in a fast-moving field, it's outdated
  2. 어떤 데이터베이스가 검색되었습니까? — PubMed alone may miss 30% of relevant studies
  3. 스크리닝은 단일 또는 이중으로 이루어졌습니까? — Single screening may miss 5-10% of relevant studies
  4. 제한 사항이 명시적으로 명시되어 있습니까? — Hidden limitations = hidden agendas
  5. 다음에 대한 계획이 있습니까? 업데이트하시겠습니까? — Rapid reviews should be living or have update triggers

불확실한 상황에서 공유된 의사결정

근거가 불확실하다는 것을 환자에게 어떻게 알릴 수 있습니까?

1. 불확실성의 이름을 지정하세요. "We have some evidence, but it's early/limited/conflicting."

2. Quantify when possible: "연구에 따르면 20~40%가 도움이 될 수 있다고 제안하지만 확실하지 않습니다."

3. Explain what we're watching: "A larger trial reports next month."

4. Offer structured choice: "이러한 불확실성을 감안할 때 시도하거나 기다릴 수 있습니다. 귀하에게 가장 중요한 것은 무엇입니까?"

대화 스크립트

Clinician to Patient:

"최신 증거를 살펴봤습니다. 우리가 알고 있는 것은 다음과 같습니다. 이 치료법은 may 도움이 됩니다. 일부 연구에서는 30% 개선을 보여줍니다. 그러나 연구 규모가 작고 일부에서는 아무런 이점도 보이지 않습니다.

"솔직하게 말씀드리고 싶습니다. 2개월을 기다리면 더 큰 규모의 임상시험에서 더 나은 데이터를 얻을 수 있습니다. 하지만 지금 어려움을 겪고 계시다는 것도 이해합니다.

"이 결정을 내리는 데 무엇이 도움이 될까요? 불확실성을 알고 지금 시도해 보시겠습니까, 아니면 더 강력한 증거를 기다리시겠습니까?"

공유된 의사결정은 모든 답을 얻는 것이 아닙니다. don't know honestly.

Network Meta-Analysis: A Word of Caution

What It Promises: 시험에서 직접 비교한 적이 없는 치료법을 비교하는 것입니다(A 대 B, B 대 C → A 대 C → 추론 A 대 C).

What Can Go Wrong:
• Transitivity violation: Populations in A-vs-B trials differ from B-vs-C trials
• Inconsistency: 직간접적 증거가 모순됩니다
• Sparse networks: Single-study connections carry entire inference

In Rapid Reviews: Network meta-analysis typically requires more time and expertise than available. When used, state transitivity assumptions explicitly. When skipped, explain why indirect comparisons weren't attempted.
Cochrane Training: Network Meta-analysis. Cipriani et al., BMJ 2013.

의사결정 트리: 이 신속한 검토를 신뢰해야 합니까?

결정 트리: 검토가 빠른 검토라고 명시적으로 명시합니까? 그렇다면 검색 날짜와 데이터베이스가 명확하게 명시되어 있는지 확인하세요. 명시된 경우 명시된 주의사항과 함께 리뷰를 사용할 수 있습니다. 명시되지 않은 경우 통화를 평가할 수 없으므로 주의하시기 바랍니다. 리뷰에 속도가 빠르지 않다고 명시되어 있으면 포괄적인 척하는 것에 대해 불신하십시오.

비타민 D 망상 이야기

Correlation Posing as Causation:

Dozens of observational studies showed: low vitamin D → worse COVID outcomes.
이러한 연구에 대한 메타 분석에서는 "보충제를 사용하면 사망률이 40% 감소합니다!"

Then came the RCTs. One after another: no benefit. No benefit. No benefit.

관찰자들은 상관 관계를 발견했습니다. 아픈 사람들은 실내에 머물게 됩니다 → 비타민 D가 부족하고 결과가 더 나빠집니다. 태양은 치료법이 아니라 혼란스러운 요소였습니다.
출처: 코로나19용 비타민 D Cochrane Review 2023. 11개의 RCT, 3,968명의 참가자. 사망률 혜택은 없습니다.

Module 7 Quiz

A rapid review should ALWAYS include:

Module 7 Quiz (2)

Scenario
동료는 보충제가 코로나19 사망률을 40% 감소시킨다고 주장하는 "체계적인 검토"를 공유합니다. 리뷰에는 검색 날짜가 언급되지 않고, 검색된 데이터베이스가 하나만 나열되어 있으며, 제한 사항에 대해 논의하지 않습니다.

어떤 결론을 내려야 할까요?

Module 7 Quiz (3)

비타민 D 관찰 연구에 따르면 사망률이 40% 감소한 것으로 나타났습니다. RCT는 아무런 이점도 보이지 않았습니다. 이러한 불일치는 다음으로 가장 잘 설명됩니다.

Module 7 Quiz (4)

Inoculation messaging (prebunking) is effective because it:

Module 7 Quiz (5)

Scenario
환자가 소셜 미디어에서 본 치료법에 대해 질문합니다. 귀하의 신속한 검토에서는 초기 근거가 불확실한 것으로 나타났습니다(3개의 소규모 임상시험, 상충되는 결과). 이 문제에 대해 어떻게 논의해야 합니까?

가장 좋은 접근 방식은 다음과 같습니다.

요양원의 비극

2020년 12월: 우선순위 논쟁

백신이 도착했습니다. 누가 먼저 받아야 할까요? 증거는 분명했습니다. 요양원 거주자의 사망률이 가장 높았습니다.

그러나 일부는 필수 근로자를 주장했습니다. 의료 직원을 위한 기타. 논쟁으로 인해 출시가 지연되었습니다.

Result: 60,000+ US nursing home deaths occurred after 백신을 사용할 수 있었지만 before rollout completed.

Rapid evidence synthesis on prioritization could have saved weeks. Weeks meant thousands of lives.
출처: CDC 코로나19 요양원 데이터. 분석: AARP 공공 정책 연구소, 2021.

챌린저 이야기:

1986년 1월 27일 엔지니어들은 NASA에 챌린저의 O-링이 추운 날씨에 고장날 수 있다고 말했습니다. 그러나 데이터가 불완전했습니다. 일부 초기 출시 기록과 모호한 실패 패턴만 있었습니다. Larry Mulloy 감독은 위험에 대한 증거를 요청했습니다. 엔지니어들은 불확실성만 보여줄 수 있었습니다.

Mulloy가 출시되었습니다. O-링은 73초에 고장났습니다. 이후 분석에서는 데이터가 고장을 명확하게 예측한 것으로 나타났습니다. 그러나 분석가가 무엇을 찾아야 할지 알고 있는 경우에만 가능했습니다.

불충분하다고 무시된 부분적인 증거에는 7명의 생명을 구할 수 있는 경고가 포함되어 있었습니다.

당신은 1986년 1월 27일 NASA의 엔지니어입니다. 당신은 추운 날씨에 O-링이 고장날 수 있음을 암시하는 불완전한 데이터를 가지고 있습니다. 발사는 내일 영하의 날씨로 예정되어 있습니다. 관리자가 위험 증거를 요구합니다.

Path A: 불완전한 데이터로는 위험을 증명할 수 없다는 점을 인정하세요. 발사를 진행하도록 허용하세요
→ 발사 후 73초가 지나면 Challenger가 폭발합니다. 7명의 우주비행사가 사망합니다. 이후 분석에 따르면 데이터는 DID가 실패를 예측합니다
Path B: 불완전한 데이터에도 불구하고 지연을 주장합니다. 입증 책임은 위험이 아닌 안전에 있어야 합니다
→ 7명의 생명을 구합니다. 판돈이 되돌릴 수 없을 때 "안전하다는 것을 증명하라"는 원칙이 "위험하다는 것을 증명하라"는 원칙보다

Decision Tree: Assessing Funding Source Bias

결정 트리: 금전적 이해관계가 있는 당사자가 연구 자금을 지원합니까? 그렇다면 체험판이 사전 등록되었는지 확인하세요. 사전 등록된 경우 결과 전환이 제한되어 있으므로 우려가 중간 정도입니다. 사전등록을 하지 않을 경우 선별신고가 가능하여 우려가 높습니다. 독립적으로 자금을 지원받는 경우 우려는 낮아지지만 여전히 편견의 위험은 평가됩니다.

인쇄 전의 역설

양날의 검:

December 2020: 화이자 백신 효능 데이터는 출판 전에 medRxiv에 나타났습니다. 몇 시간 내에 규제 당국은 검토를 시작했습니다. 전 세계가 계획을 세울 수 있습니다.

January 2021: A preprint claimed vaccines caused deaths in nursing homes. It was methodologically flawed. It went viral. Vaccine hesitancy increased.

동일한 플랫폼. 다른 결과. 시험판은 진실과 거짓을 모두 가속화합니다. 판단 책임은 독자에게 있습니다.

Decision Tree: When Is a Preprint Acceptable to Cite?

결정 트리: 이것은 빠르게 진화하는 긴급 상황입니까? 긴급한 경우 알려진 신뢰할 수 있는 연구 그룹에서 나온 것인지 확인하세요. 신뢰할 수 있는 그룹이라면 명확한 사전 인쇄 경고와 함께 인용하세요. 알 수 없는 그룹인 경우 인용하지 말고 확인을 기다립니다. 상황이 긴급하지 않은 경우 동료 검토 출판을 기다리십시오.

Regional Adaptation: MENA Context

걸프만 및 중동 지역의 역량 구축:

COVID-19 기간 동안 걸프협력회의(GCC) 국가는 심각한 격차에 직면했습니다. 제한된 지역의 신속한 검토 역량으로 인해 라마단 단식, 다세대 가구, 의료 종사자 비율 및 다양한 인구와 같은 지역적 요인을 놓친 서구의 증거에 의존해야 했습니다. 인구통계.

강의: 40시간 프로토콜을 상황에 맞게 조정하세요. 지역 데이터베이스의 아랍어 검색어. 로컬 구현 고려 사항. 교육을 위한 지역 사례 연구.

Key Adaptations:

• Include regional databases (IMEMR, EMBASE Arabic)

• Consider local healthcare infrastructure capacity

• Adapt communication for local stakeholders

Transparency reveals; concealment deceives.

Final Assessment

모듈 8: 최종 평가

귀하께서는 위기와 진실을 헤쳐 나가셨습니다.

5가지 원칙

1. Speed without rigor is recklessness.

2. Rigor without speed is abandonment.

3. A flawed study in a meta-analysis poisons all.

4. Transparency reveals; concealment deceives.

5. 살아있는 증거는 살아있는 사람에게 도움이 됩니다.

Final Quiz (1/5)

Gautret 하이드록시클로로퀸 연구가 철회된 주요 이유는 다음과 같습니다.

Final Quiz (2/5)

사기성 Elgazzar 이버멕틴 연구가 삭제되었을 때 사망률 이점은 다음과 같습니다.

Final Quiz (3/5)

RECOVERY 임상시험의 결과는 약:

Final Quiz (4/5)

Of 97 "living" systematic reviews on COVID-19, what percentage were never updated?

Final Quiz (5/5)

신속한 검토에서 가장 중요한 품질 요구 사항은 다음과 같습니다.

여정을 완료했습니다.

진행하고 지혜롭게 종합하세요.

다음을 기억하세요. 2020년 교훈:
Speed without truth killed. Truth without speed abandoned.
균형이 곧 예술입니다.