Module 0: The Reckoning
模块 0：清算

In the hour of crisis, speed saves lives.

But haste without wisdom takes them.

那些寻求指导治疗者的人啊，

您亲眼目睹了证据移动太慢时会发生什么？

您看到过证据移动太快时会发生什么吗？

January 2020

A novel coronavirus emerges in Wuhan.

Patients are dying. There is no treatment.
世界需要答案。

How long does a systematic review take?

传统系统回顾

12-24
Months to complete
6-12
Months until publication

Pandemic Timeline

7
Days to double cases
Now
何时需要答案

您没看到吗世界如何应对？

200,000+
COVID papers in 2020 alone
30,000+
未经同行评审的预印本
33+
Major retractions

Speed created a flood. Who would separate truth from noise?

困扰我们的问题

两次流行病应对的故事：

2020年3月，法国基于一项有缺陷的小型研究批准羟氯喹用于治疗COVID-19。在更大规模的试验显示没有任何益处以及可能的心脏损害之前，数百万人服用了它。与此同时，英国的 RECOVERY 试验快速而严格地测试了地塞米松。他们在 3 个月内证明，重症病例的死亡人数减少了三分之一。

两国都面临着同样的紧迫性。一个根据微弱的证据采取行动，一个迅速产生强有力的证据。

Speed without rigor cost lives. Rapid rigor saved them.

2020 年 3 月，您是一名卫生部长。一项小型研究声称一种常见药物可以治愈 COVID-19。您会做什么？

Path A: 根据这项有希望的研究立即批准羟氯喹
→ Millions take an ineffective drug with cardiac risks; lupus patients lose access to their medication
Path B: Fund a rapid but rigorous trial (like RECOVERY) to generate definitive evidence
→ Within 3 months, prove dexamethasone works—saving over 1 million lives globally

本课程将教您

到最后，您将能够：

  • 在 40 小时（而不是 40 小时）内进行快速审查天
  • Know when "good enough" is actually good enough
  • 识别快速证据中的欺诈和偏见
  • Use decision trees for methodological trade-offs
  • Understand living systematic reviews
  • 从羟氯喹和伊维菌素灾难中吸取教训

了解快速证据的五项原则：

1. Speed without rigor is recklessness.

2. Rigor without speed is abandonment.

3. A flawed study in a meta-analysis poisons all.

4. Transparency reveals; concealment deceives.

5。活生生的证据为生者服务。

手术圈灾难

幻影数据库的故事：

2020 年 5 月，《柳叶刀》发表了一项针对来自六大洲 671 家医院的 96,000 名患者的研究。它显示羟氯喹 increased death rates. The WHO halted trials worldwide.

但数据来自Surgisphere——一家拥有11名员工的公司，其中包括一名科幻小说作家和一名成人内容模特。 该数据库不存在。

13天内，该论文被撤回。但试验已经停止。时间消失了。信任被粉碎。
Source: Mehra MR et al. Lancet 2020 (RETRACTED). Retraction: Lancet 2020;395:1820.

How did two of medicine's most prestigious journals—

《柳叶刀》和《新英格兰医学杂志》——发布捏造的数据？

13
Days until retraction
0
审计人员获得数据访问权限
100+
Trials affected

Speed pressure broke the gatekeepers.

决策树：您应该相信这项研究吗？

决策树：独立研究人员能否访问原始数据？如果是，请检查研究是否已预先注册。如果预先注册，信任度更高 - 进行标准评估。如果没有预先注册，则中等信任 - 检查结果切换。如果没有数据访问权限，信任度低 - 在包含之前请求数据。

Module 0 Quiz

Scenario
现在是 2020 年 3 月。预印本声称一种常见药物可以 100% 治愈 COVID-19。该研究有 36 名患者，没有对照组，于 2 天前发布。您的医院院长询问您是否应该储存药物。

您应该提出什么建议？

考虑 2020 年的三个见证人：

Dr. Anthony Fauci, March 2020
“证据确实非常明显......病毒的传播显着减少。”
WHO Director-General, May 2020
“我们已暂时中止团结试验的羟氯喹部分。”
Cochrane, December 2020
"Hydroxychloroquine probably has little or no effect on mortality and progression to mechanical ventilation."

从希望到判决有九个月的时间。期间做出了多少决定？

氯喹中毒

Nigeria, March 2020:

在羟氯喹宣布后几天内，尼日利亚人开始使用氯喹（一种相关但毒性更强的药物）进行自我治疗。

Three deaths. 因服药过量多次住院。拉各斯州中毒中心不堪重负。

In Arizona, a man died after drinking fish tank cleaner containing chloroquine phosphate. His wife survived but was hospitalized.

Premature evidence claims killed people who never had COVID-19.
Sources: Nigeria Centre for Disease Control, March 2020; Banner Health, Arizona, March 2020.

沙利度胺的故事：

1957年，沙利度胺作为孕妇的安全镇静剂上市。制造商分享的安全数据不完整——动物研究有限，人体试验简短。医生们信任该公司的声誉，广泛开出该药的处方。

到 1961 年，超过 10,000 名儿童出生时患有严重的肢体畸形。安全“地图”存在致命漏洞，无人披露。

不完整的证据，作为完整的证据，造成了永远重塑药品监管的悲剧。

您是 1957 年的药品监管者。一家制药公司以有限的安全数据提交沙利度胺审批。你会做什么？

Path A: 接受有限的安全数据并迅速批准——孕妇需要缓解孕吐
>→超过10,000名患有严重先天缺陷的儿童；悲剧永远重塑药品监管
Path B: 要求在批准前进行包括生殖毒性在内的完整安全研究
→ FDA 的 Frances Kelsey 为美国走了这条路——美国儿童免遭悲剧

Decision Tree: When to Share Preliminary Findings

决策树：根据此发现采取行动会造成直接伤害吗？如果是，请勿分享 - 等待确认。如果不是，请检查不采取行动是否会造成更大的伤害。如果是，请分享明确的初步警告。如果不紧急，请等待完成分析。

In the hour of crisis, speed saves lives.

模块 1：权衡

模块 1：权衡

Speed without rigor is recklessness.

Rigor without speed is abandonment.

您考虑过我们为速度牺牲了什么吗？

A systematic review is thorough because it is slow.
A rapid review is fast because it makes trade-offs.
这些是什么

系统与快速：差异

Element Systematic Review Rapid Review
Databases searched 5-10+ 1-3
Grey literature Extensive Limited or none
Screening Dual independent Single + verification
Quality assessment Full tool Abbreviated
Timeline 12-24 months 1-6 weeks

Cochrane 响应

March 2020, Geneva
“2020 年 3 月，Cochrane 方法快速评审小组发布了有关如何进行快速评审的指南，该指南简化了他们的流程，以非常快速地创建高质量评审。 “

The guardians of rigor themselves said: "We must move faster."

Decision Tree: When to Use Rapid Review

Is the decision urgent (lives at stake NOW)?
YES
现有证据稀疏/冲突吗？
YES
RAPID REVIEW
40 hours
NO
UPDATE EXISTING
SR
NO
FULL SYSTEMATIC
Standard timeline

What risks do we accept?

Missing studies: Limited search may miss relevant evidence

Selection bias: Single screener may have systematic blind spots

Quality gaps: Abbreviated assessment may miss fatal flaws

Publication bias: Less grey literature means more bias

必须在每次快速审查中明确说明这些风险。

但是，请考虑一下：

诺曼底登陆天气的故事：

6 月 4 日， 1944年，艾森豪威尔面临一个不可能的决定。他的气象学家斯塔格上尉无法保证天气良好，只有 80% 的把握认为 6 月 6 日会出现短暂晴朗。等待确定性意味着将入侵推迟数周，冒着被发现的风险。

艾森豪威尔决定：“好吧，我们走吧。” 80%的预测是正确的。入侵成功了。

斯塔格后来说，完美的预测是不可能的，但可行的预测挽救了战争。有时今天 80% 的确定性击败 95% 的确定性为时已晚。

您是 1944 年 6 月 4 日的艾森豪威尔将军。您的气象学家对 6 月 6 日的短暂天气窗口给出了 80% 的置信度。等待确定性意味着推迟数周并冒着发现入侵部队的风险。

Path A: 等待确定性达到 95% 后再发起入侵
→ Delay of weeks; risk of German discovery; next favorable tide not until late June; potential failure of entire operation
Path B: Act on the 80% forecast—launch on June 6
>→ 预测是正确的；入侵成功；战争的潮流发生了逆转。可操作的证据战胜了完美的证据。

两项荟萃分析的故事

2020 年 7 月：口罩悖论

针对同一问题的两项荟萃分析：“口罩是否能阻止 COVID-19 传播？”

第一个汇总14 项观察性研究： OR 0.35—masks reduce risk by 65%!
The second included only 3 RCTs: OR 0.91—no significant effect.

Same question. Same year. Opposite answers. Why?

您纳入的研究决定了您发现的真相。

Observational Studies

65%
Risk reduction

Higher confounding risk

RCTs Only

9%
Risk reduction (NS)

Lower power, higher validity

在快速审查中，您的纳入标准就是您的结论。

Decision Tree: Observational vs. RCT Evidence

决策树：RCT 可用吗？如果是，请检查它们是否足够大。如果足够大，则更喜欢随机对照试验以获得更高的确定性。如果不够大，请同时呈现并说明不确定性。如果没有可用的 RCT，请使用观察性但降低确定性。

Module 1 Quiz

Scenario
您所在的部门需要在 72 小时内补充维生素 D 来预防 COVID-19 的证据。自 2019 年起，已有关于维生素 D 和呼吸道感染的完整 Cochrane 综述，但没有针对 COVID-19 的具体内容。

What is the most appropriate approach?

两个城市的故事1918 年：

1918 年 9 月，费城和圣路易斯均发现流感病例。费城卫生专员在采取行动之前等待更多数据。 9月28日，他允许举行20万人的大规模游行。几天之内，医院就人满为患。几周内就有 12,000 人死亡。

圣。圣路易斯也有同样不完整的数据，立即关闭了学校并禁止集会。他们的死亡率是费城的一半。

早期行动的昏暗光芒胜过来得太晚的明亮光芒。

您是 1918 年 9 月费城的卫生专员。致命流感病例正在出现。大规模的自由贷款游行定于 9 月 28 日举行，预计将有 200,000 人参加。你会做什么？

Path A: 在行动之前等待更多数据 - 游行将提高战争的士气
→ 12,000 dead in Philadelphia within weeks; hospitals overflow; bodies pile in morgues
Path B: Act on incomplete data like St. Louis—cancel public gatherings immediately
→ St. Louis had half the death rate of Philadelphia; early action saved thousands of lives

托珠单抗的转变

过早判断的药物的故事：

February 2021: Multiple small trials of tocilizumab (an IL-6 inhibitor) showed no benefit. Headlines declared it useless. Some hospitals stopped using it.

June 2021: RECOVERY trial reports 4,116 patients. Mortality reduced by 14%. WHO immediately recommends it.

小型试验动力不足。他们发现“没有效果的证据”——这不是“没有效果的证据”。大型试验发现了真相。
Source: RECOVERY Collaborative. Lancet 2021;397:1637-1645. REMAP-CAP confirmed similar results.

这两个陈述之间有什么区别？

"No evidence of effect"

p = 0.08
200 patients, underpowered

Cannot rule out benefit

"Evidence of no effect"

p = 0.92
4,000 patients, adequate power

Confidently excludes benefit

没有证据并不等于不存在的证据 - 除非您的研究足够大以检测到它。

决策树：这项研究足够大吗？

决策树：研究报告功效计算了吗？如果是，请检查他们是否达到了目标入学率。如果实现了，研究就有足够的动力并且负面结果是可信的。如果没有实现，研究动力不足，“无效果”可能是假阴性。如果没有报告功率计算，则假设功率不足并计算事后功率。

呼吸机反转

March 2020: "Intubate Early"
Initial guidance: patients with low oxygen should be intubated quickly to prevent deterioration.

April 2020: "Intubate Later"
临床医生观察到许多患者能够耐受低氧（“快乐缺氧”）。俯卧位通常不需要通气。

Result: Practice changed mid-pandemic based on real-world observation, not RCTs. Early intubation may have caused avoidable deaths.

When RCTs are impossible, observe carefully. Document systematically. Share transparently.

Speed without rigor is recklessness.

Rigor without speed is abandonment.

模块 2：方法

模块 2：方法

四十小时的真理 - 如果您知道路径。

40 小时快速回顾

1
Define Question
2 hours
2
Search Strategy
4 hours
3
Screen & Select
12 hours
4
Extract & Assess
14 hours
5
Synthesize
8 hours

第 1 步：定义问题（2 小时）

The PICO Framework—Sharper Than Ever

Population: Adults hospitalized with COVID-19 (narrow!)

Intervention: Dexamethasone 6mg daily

Comparator: Standard care / placebo

Outcome: 28-day mortality (primary only)

在快速回顾中，问题必须是 surgical. Broad questions create endless searches. Narrow questions enable speed.

Step 2: Search Strategy (4 hours)

DON'T: Systematic Search

MEDLINE + EMBASE + Cochrane + CINAHL + PsycINFO + Web of Science + grey literature + hand searching

Time: 40+ hours

DO: Focused Search

PubMed + Cochrane Library + one preprint server (medRxiv)

Time: 4 hours

记录您搜索的内容以及故意排除的内容。

关键捷径：

单次筛选和验证。

1
Primary screener
20%
Verified by second reviewer
100%
Of exclusions verified

This saves 50% of screening time while catching most errors.

Decision Tree: Quality Assessment Shortcuts

您将包含多少项研究？
≤10
Full quality assessment
Use standard tool (RoB 2, ROBINS-I)
>10
Abbreviated assessment
Key domains only

Key domains: randomization, blinding, missing data, selective reporting

最后一步：综合

Warning: Meta-analysis in rapid reviews is dangerous territory.

您可能没有进行全面搜索。你可能错过了学习。来自不完整搜索的汇总估计可能会产生错误的信心。

更喜欢叙述性综合。如果您必须汇集，请大声说明限制。

PRISMA-RR：您的报告清单

PRISMA for Rapid Reviews Extension (2024)

When reporting rapid reviews, you MUST include:

  • Shortcuts taken: 简化的 SR 与完整 SR 的区别是什么？
  • Time constraints: 为什么需要快速审查？
  • Databases searched: 以及为什么其他人要这样做排除
  • Screener count: Single vs. dual screening
  • Date of search: 截至[日期]的最新证据
  • Limitations section: What may have been missed
Source: Stevens A et al. PRISMA-RR Extension. J Clin Epidemiol 2024. DOI: 10.1016/j.jclinepi.2024.01.015

瑞德西韦逆转的故事

November 2020: Two Giants Disagree

The FDA granted Emergency Use Authorization: "Remdesivir shortens recovery time."
The WHO recommended against it: "No mortality benefit, high cost."

Same drug. Same evidence base. Opposite conclusions.

差异？ FDA 优先考虑替代结果（恢复时间）。 WHO 优先考虑以患者为中心的结果（死亡率）。
Sources: FDA EUA Oct 2020; WHO Solidarity Trial Consortium, NEJM 2021.

Decision Tree: Choosing Outcomes in Rapid Reviews

决定树：硬成果可以衡量吗？如果是，请使用硬结果以获得最高的确定性。如果不是，请检查代理人是否经过验证。如果代理经过验证，请谨慎使用并注意间接性。如果替代品未经验证，则存在重大不确定性 - 明确说明。

Module 2 Quiz

Scenario
您正在对一种新的抗病毒药物进行快速审查。您找到 47 条可能相关的摘要。您的时间表：总共 40 小时，分配 12 小时用于筛查。

What screening approach is appropriate?

Module 2 Quiz (2)

根据 PRISMA-RR，快速审查报告中不需要哪些？

俯卧定位发现

简单解决方案的故事：

几十年来，ICU 呼吸衰竭患者都是仰卧的。在 COVID-19 中，临床医生注意到了一些值得注意的事情。

Turning patients onto their stomachs—proning—dramatically improved oxygen levels. No drug required. No cost. Available everywhere.

Meta-analysis of 6 RCTs: Mortality reduced by 25% in severe ARDS patients.

有时突破不是一个分子。有时这是一个立场。
Source: Munshi L et al. Lancet Respir Med 2017;5:627-38. COVID-19 proning: Ehrmann S et al. Lancet Respir Med 2021.

Excel错误的故事：

2010年，哈佛大学经济学家莱因哈特和罗格夫发表了有影响力的研究：债务占GDP 90%以上的国家出现了负增长。世界各国政府都引用它来证明紧缩政策的合理性。

Three years later, a graduate student found their Excel spreadsheet excluded five countries due to a coding error. When corrected, the 90% threshold disappeared.

一个未经检查的电子表格错误影响了影响数百万人的政策。验证的研究人员与计算的研究人员同样重要。

您是一名研究生，正在审查政府用来证明紧缩合理性的著名的莱因哈特-罗格夫论文。您是否费心检查哈佛教授的电子表格？

Path A: 相信著名的经济学家，他们不会犯基本错误
→ Excel 错误在三年内未被发现；基于有缺陷数据的紧缩政策影响数百万人
Path B: 请求原始数据并亲自验证每一个计算
→ Thomas Herndon 正是这么做的——发现错误，纠正科学记录，改变政策争论

Decision Tree: Narrative vs. Meta-Analysis

决策树：纳入的研究在临床上是否同质？如果是，请检查您是否进行了全面的搜索。如果进行全面搜索，荟萃分析是合适的。如果快速搜索，请进行荟萃分析，但明确说明局限性。如果研究内容不同，请使用叙事综合 - 不要将苹果和橙子放在一起。

四十小时的真理 - 如果您知道路径。

模块 3：灾难

模块 3：灾难（羟氯喹）

A flawed study in a meta-analysis poisons all.

你没听过这个故事吗？马赛？

改变世界的论文——而且不应该有？

2020年3月17日：论文

Gautret et al. — International Journal of Antimicrobial Agents

Claim: Hydroxychloroquine + azithromycin clears COVID-19 virus in 100% of patients

Submitted: March 16, 2020

Accepted: March 17, 2020

Peer review time: ONE DAY

主编是作者同一个研究所的同事。

有什么缺陷？

36
Total patients
6
退出分析
1
Died (excluded)
3
To ICU (excluded)

病情恶化的患者直接从研究中剔除。分析。

And yet, consider what followed:

March 19: 特朗普总统在推特上称羟氯喹是“医学史上最大的游戏规则改变者之一。”

March 28: FDA issues Emergency Use Authorization.

April 2020: Countries worldwide stockpile the drug. India bans exports.

Result: 需要羟氯喹才能生存的狼疮和类风湿关节炎患者无法获得药物。

七种致命药物缺陷

1. Non-randomized, open-label design

2. Convenience control group from different hospitals

3. 病情恶化的患者被排除在分析之外

4. Different PCR thresholds for treatment vs. control

5. Ethics approval granted AFTER trial started

6. Children included despite exclusion criteria

7. One-day peer review by conflicted editor

清算：2023年12月

International Journal of Antimicrobial Agents
“经过近四年的时间和来自科学界的持续压力，该杂志正式撤回了 Gautret 研究，理由是对伦理、方法和数据的担忧完整性。”

It remains the most-cited COVID-19 paper to be retracted.
几天之内就造成了损害。纠正需要数年时间。

Decision Tree: Red Flags in Rapid Evidence

Is the result too good to be true?
YES
STOP
Verify before sharing
NO
同行评审 < 1 周？
CAUTION
Check author/editor affiliations

恢复期血浆崩溃

FDA 匆忙的故事：

2020 年 8 月：FDA 授予恢复期血浆紧急使用授权，死亡率降低了 35%。

数据来自一项针对 35,000 名患者的非随机研究。无对照组。仅进行历史比较。

截至 2021 年 2 月，七项随机对照试验显示死亡率没有改善。 EUA 已修订。已经注射了超过 500,000 剂疫苗。
Sources: FDA EUA Aug 2020; Janiaud P et al. JAMA 2021;325:1185-1195.

Consider the social media amplification:

3.1M
Twitter engagements on Gautret paper (first week)
15,000
News articles citing it
83
Engagements on retraction notice

错误信息的传播速度比纠正的速度更快。这就是你要对抗的不对称性。

接种：预埋防御

What if you could vaccinate minds against misinformation?

Prebunking > Debunking: Warn people about manipulation tactics before they encounter false claims.

The technique: “你可能会听到这样的说法：一项小型研究证明 X 有效。这就是为什么小型研究经常误导......”

The evidence: Inoculation reduces susceptibility to misinformation by 20-30% (van der Linden et al., 2020).

Inoculation Messaging: Practical Templates

Three Prebunking Approaches

1. Logic-Based: “如果有人声称 100% 有效，请问：是否有对照组？一项未经比较的研究证明了这一点没有。”

2. Source-Based: “对同行评审之前在网上发布的研究保持警惕 - 它们尚未经过独立专家的检查。”

3. Emotional-Based: “神奇疗法声称利用了我们的希望。真正的治疗显示出适度的益处，但有诚实的局限性。”

在公共卫生沟通、临床医生培训和新闻中使用这些模板

Decision Tree: Evaluating Preprint Claims

决策树：研究是否经过同行评审？如果是，请检查审核时间是否超过 2 周。如果审查时间充足，请使用标准评估。如果快速审阅，请检查作者与编辑之间是否存在冲突。如果仅预印本，请视为初步的，切勿作为最终的引用。

Module 3 Quiz

Scenario
一项研究显示疾病的治愈率为 100%。它有 36 名患者，在 1 天内被接受发表，6 名病情恶化的患者被从分析中剔除。

这项研究有多少危险信号？

Module 3 Quiz (2)

Gautret 羟氯喹研究获得了 310 万次 Twitter 参与。收到的撤回通知 83。这说明：

A flawed study in a meta-analysis poisons all.

模块 4：欺诈

模块 4：欺诈（伊维菌素）

Beware the meta-analysis built on sand.

您见证了欺诈如何通过网络传播吗证据？

How one lie becomes the foundation of many truths?

伊维菌素现象

2020-2021: 世界各地的多项研究声称伊维菌素（一种抗寄生虫药物）可以治愈 COVID-19。荟萃分析汇总了结果：死亡率降低了 51%！

Governments in Latin America, Africa, and India distribute millions of doses. Patients demand prescriptions. Some take veterinary formulations.

但数据中存在严重错误。

Elgazzar 研究：欺诈剖析

Egypt, 2020: The Largest Ivermectin Trial

Dr. Ahmed Elgazzar posted a preprint claiming ivermectin reduced COVID-19 mortality by 90%.

它被纳入多项荟萃分析中，并贡献了 12.6% 对死亡率的总体影响估计。

然后一名研究生开始检查数据。

What did they find?

79
患者数据重复
4+
Deaths before trial started
~50%
Text plagiarized

July 15, 2021: 该研究因“道德问题”而被撤回。

级联效应

Studies Included Survival Benefit Significance
All 12 studies 51% reduction Significant
Without Elgazzar 38% reduction Borderline
没有高偏差研究 10% reduction Not significant
只有低偏差研究 4% reduction Not significant

一项欺诈性研究将结论从“不

《自然医学》警告：

Nature Medicine, October 2021
“未经严格审查的证据基础支持在全球范围内使用数百万剂可能无效的药物，但当这些证据接受非常基本的数字审查时，它在几周内就崩溃了。”

荟萃分析仅基于摘要数据本质上是不可靠的。

Decision Tree: Detecting Problematic Studies

您可以访问原始数据吗？
YES
Do baseline characteristics make sense?
谨慎进行
NO
HIGH RISK
在没有它的情况下进行敏感性分析

伊维菌素的教训：

Always run your meta-analysis twice:
一次使用所有数据研究。一旦没有最有影响力的。

如果一项研究改变了你的结论，你的结论是脆弱的。

杰克·劳伦斯的故事

The Graduate Student Who Changed Everything:

Jack Lawrence was a master's student in London. He knew no Arabic. But he could spot duplicate rows in a spreadsheet.

他下载了Elgazzar的数据补充。第 148 行与第 11 行相同。第 228 行与第 79 行匹配。 79 patients appeared twice.

他在推特上发布了他的发现。几天之内，预印本服务器就撤回了这篇论文。荟萃分析进行了修订。政策发生了变化。

一名具有基本数据技能的学生做了同行评审无法做到的事情。

Decision Tree: Fraud Detection Checklist

决策树：基线特征是否过于完美平衡？如果是，则可能存在制造危险。如果不是，请检查活动日期是否早于注册日期。在审判开始前死亡是不可能的，并且表明这是捏造的。如果日期有效，请继续检查其他欺诈信号。

Module 4 Quiz

Scenario
您正在进行荟萃分析。一项研究贡献了 40% 的综合效应。如果没有它，结果会从显着性 (p=0.02) 变为不显着性 (p=0.31)。

你应该做什么？

Module 4 Quiz (2)

Elgazzar 伊维菌素研究被检测为欺诈，因为：

TOGETHER 试验失望

终结希望的大型试验的故事：

小型试验表明氟伏沙明（一种抗抑郁药）可能预防严重的 COVID-19 后，全世界都在等待最终的答案。

The TOGETHER trial enrolled 1,497 patients in Brazil. Initial interim: 32% reduction in hospitalization!

最终结果：只有 5.1% 的安慰剂患者住院，而 4.0% 的安慰剂患者住院氟伏沙明患者。效果比预期要小，而且绝对收益也很小。

Small absolute differences require enormous trials to detect. Most promising treatments fade when tested properly.
Source: Reis G et al. Lancet Glob Health 2022. TOGETHER trial platform.

权力姿势的故事：

2010年，研究人员声称“权力姿势”（像超人一样站立）会增加睾丸激素和冒险精神。这项研究迅速传播开来——TED演讲、商业书籍、数以百万计的信徒。多项研究似乎都复制了它。

然后更大的、预先注册的复制失败了。最初的合著者公开否认了这一发现。许多小型、灵活的研究已经找到了他们想要找到的东西。

弱证据成倍增加，感觉像是强有力的证据——直到严格的复制表明它是噪音。

您是一名期刊编辑，收到了一项大型的、预先注册的复制研究，但该研究未能重现流行的权力摆姿势效应。原始研究拥有数百万信徒和著名的 TED 演讲。

Path A: 拒绝复制，因为它与既定的流行发现相矛盾
→ False belief persists; millions continue to be misled; science fails to self-correct
Path B: 公布失败的复制——让证据说话
>→科学自我修正；原始合著者公开否认这一发现；事实胜于雄心

Decision Tree: Reading a Forest Plot

决策树：汇总估计置信区间是否跨越无效线？如果是，则结果不具有统计显着性。如果不是，请检查异质性。如果 I 平方低于 50%，则效果与较高的置信度一致。如果 I 平方很高，则存在异质性，并且不同研究之间的真实效果有所不同 - 探索原因。

Beware the meta-analysis built on sand.

模块 5：胜利

模块 5：胜利（恢复试验）

From protocol to saving lives: 100 days.

现在听听故事应该如何完成。

Of how speed and rigor found harmony.

恢复试验

March 2020, United Kingdom:

随着羟氯喹混乱的蔓延，英国研究人员启动了世界上最大的 COVID-19 治疗试验。它的设计既快速又严格。

Within 6 weeks of funding, patients were being enrolled.

How did they achieve speed without sacrificing quality?

176
Hospitals enrolled
11,500
Patients (dexamethasone arm)
100
天数：协议到结果

An adaptive platform trial: multiple treatments tested simultaneously.

2020 年 6 月 16 日：公告

Dexamethasone Results

Ventilated patients: 29% mortality reduction (NNT = 8)

Oxygen therapy: 20% mortality reduction (NNT = 25)

No oxygen needed: No benefit (possible harm)

Cost per treatment: ~$6 for a common steroid.

这次全世界做出了正确的回应。

1
Results announced
June 16
2
UK practice changed
Same day
3
NIH guidelines updated
Within days
4
WHO recommendation
September

1,000,000

Lives saved globally by March 2021

仅在英国就有 22,000 个。来自已上市 60 年的 6 美元药物。
差异是快速产生的严格证据。

What Made RECOVERY Different?

1. Randomized controlled design (not observational)

2. 预先指定的结果和分析计划

3. Massive scale (statistical power)

4. Adaptive platform (dropped arms early if no signal)

5. Simplified enrollment (one-page consent in emergency)

6. 独立数据监测委员会

恢复：

Speed does not require cutting corners. It requires cutting waste.

Simplified consent forms. Adaptive designs. Platform trials that test multiple treatments at once.

严谨和速度不是敌人。他们是等待被介绍的合作伙伴。

团结对比

小型研究组合

Chaos
多个相互矛盾的结果

Gautret: 36 patients
Elgazzar: ~400 patients (fraud)

RECOVERY/SOLIDARITY

Clarity
Definitive answers

RECOVERY: 11,500 patients
SOLIDARITY: 11,330 patients

平台试验用一项大型研究的信号取代了许多小型研究的噪音一.

决策树：您应该等待大型试验吗？

决策树：大型平台试验正在进行中吗？如果是，请检查是否能及时获得结果。如果结果很快出来，请等待更高质量的证据。如果没有及时到达，请立即进行快速审查并在试验报告时更新。如果不存在大型试验，请继续快速审查最佳可用证据。

Module 5 Quiz

RECOVERY 试验纳入了地塞米松组的 11,500 名患者。实现这一目标的主要原因是什么？

Module 5 Quiz (2)

用于 COVID-19 的地塞米松在全球挽救了估计 100 万人的生命。每次治疗的药物成本为：

Source: RECOVERY Collaborative Group. N Engl J Med 2021;384:693-704. Lives saved estimate: Horby & Landray, Science 2021.

阿奇霉素的放弃

药物添加到一切的故事：

Gautret研究将羟氯喹与阿奇霉素结合。突然之间，阿奇霉素无处不在，被添加到世界各地的治疗方案中。

但阿奇霉素从未单独进行过测试。这种组合从未得到证实。阿奇霉素会导致心律失常。

July 2020: RECOVERY randomizes 7,763 patients. Result: No benefit. Median hospital stay identical. Mortality identical.

暴露于心脏风险的数月却带来零益处——因为最初的研究从未受到质疑。
Source: RECOVERY Collaborative. Lancet 2021;397:605-612. Azithromycin arm.

塔科马海峡的故事：

1940年，塔科马海峡大桥快速而廉价地建成。工程师跳过了风洞测试以节省时间。通车四个月后，温和的风使桥梁摇晃。它猛烈地扭曲并倒塌——工程专业的学生仍在研究的胶片上捕捉到了这一点。

附近一座经过大量测试缓慢建造的旧桥仍然矗立着。第三个教训后来出现：现代桥梁使用快速计算测试——不跳过验证的快速方法。

Speed without testing destroys. Testing without speed delays. Rapid testing saves.

您是 1940 年的一名工程师，负责设计塔科马海峡大桥。预算紧张，期限紧迫。风洞测试将增加数周时间和成本。你会做什么？

Path A: 跳过风洞测试以节省时间和金钱 - 设计在纸上看起来很可靠
→ Bridge collapses 4 months after opening; "Galloping Gertie" becomes a cautionary tale studied by every engineering student
Path B: Insist on proper wind tunnel testing despite the delay
>→ 附近的一座旧桥，经过适当的测试建造，至今仍然矗立。现代桥梁使用快速计算测试 - 快速且经过验证。

Decision Tree: Evaluating Platform Trial Arms

决策树：数据安全监控委员会是否提前停止了该试验臂？如果因无效而停止治疗，则治疗没有任何益处，不应使用。如果因受伤而停止治疗，则治疗是危险且禁忌的。如果由于明显的益处而提前停止，治疗是有效的，并且应该更新指南。

From protocol to saving lives: 100 days.

模块 6：生活

模块 6：生活系统回顾

活生生的证据为生者服务。

您是否考虑过永不停止的证据

与流行病本身息息相关的评论？

实时系统评论

A traditional review is a photograph: frozen in time.

实时评论是一个视频：随着新证据的出现而不断更新。

In a pandemic, the photograph is obsolete before it's printed.

泛美卫生组织的实时评论：案例研究

Pan American Health Organization, April 2020 - Present

Launched: April 2020

Interventions assessed: 305 treatments

RCTs included: 924 randomized controlled trials

Updates: 48 updates published

Sources monitored: 40+ databases including preprint servers

When should a review become "living"?

1. The topic is a priority for decision-making

2. 新证据正在出现 rapidly

3. Current certainty is low

4. 新证据可能 change conclusions

If all four are true, a living approach is warranted.

The Challenge: Keeping Reviews Alive

97
Living SRs on COVID-19
35%
Updated at least once
65%
Never updated (dormant)
永不更新的“实时”评论比传统评论更糟糕。它造成了证据是最新的错误信心。

Decision Tree: When to Update a Living Review

New RCT(s) identified since last update?
YES
Likely to change conclusions or certainty?
YES
UPDATE NOW
NO
Queue for next scheduled update
NO
No update needed
Note: "No new evidence" is still information

Molnupiravir 势头的故事

中期分析的危险：

October 2021: Merck announces interim results—50% reduction in hospitalization!
Stock prices soar. Countries pre-order millions of courses. Headlines celebrate.

November 2021: Final results published—30% reduction. Still significant, but...
2021 年 12 月：更新的分析显示只有 6.8% 的对照组住院，而不是住院治疗14.1%。

分母已更改。魔法消失了。教训：中期≠最终。
Source: Jayk Bernal A et al. N Engl J Med 2022;386:509-520. MOVe-OUT trial.

然后 Paxlovid —

Molnupiravir

30%
Reduction (final)

Low-risk patients
Mutagenic concerns

Paxlovid

89%
Reduction (consistent)

High-risk patients
Drug interactions

实时审核必须区分中期与最终、初步与确认。

Decision Tree: Retiring a Living Review

决策树：证据已经稳定下来并且六个月内没有新的试验吗？如果是，请检查现在的确定性是中等还是高。如果确定性足够，则退回到静态审查并确定最终日期。如果确定性仍然较低，请继续监测新证据。如果证据尚未稳定，请保持实时回顾活跃。

Module 6 Quiz

一项研究发现，65% 的关于 COVID-19 的“实时”系统回顾从未更新。这是有问题的，因为：

Source: Stable et al. J Clin Epidemiol 2022;142:66-73. Survey of 97 COVID-19 living SRs.

Module 6 Quiz (2)

Scenario
您管理抗病毒治疗的实时回顾。 8 个月内没有发布新的 RCT，主要结果的 GRADE 确定性为“中等”。

你应该做什么？

Bamlanivimab撤回

停止工作的单克隆抗体的故事：

2020 年 11 月：FDA 授予单克隆抗体 bamlanivimab 的 EUA。早期数据显示出希望。

March 2021: EUA revoked. Why? Variant escape. 病毒发生变异。抗体不再结合。

追踪单克隆抗体的实时回顾会在几周内标记出这一点。静态指导需要几个月的时间才能改变。

在大流行中，敌人会不断演变。您的证据必须更快地发展。
Source: FDA revocation of bamlanivimab EUA, April 2021. Variant surveillance: CDC SARS-CoV-2 Variants.

流感监测的故事：

CDC 通过哨点监测来监测流感。早期的系统每周检查一次医院，速度太慢，无法捕捉到激增的情况。持续的实时监控让分析师们不堪重负。

解决方案：基于阈值的监视。持续跟踪，但仅当病例超过季节性基线时才触发警报。这种“实时回顾”方法在 2009 年比传统方法早几周就发现了 H1N1。

监控阈值的值班员的表现优于年度检查员和疲惫不堪的每小时检查员。

您正在设计一个疾病监测系统。您应该多久审查一次证据并触发警报？

Path A: 每年检查效率 - 全面的年度审查非常彻底
>→ 错过激增； H1N1 流感在检测前已传播数周；延迟响应会导致生命损失
Path B: 实施基于阈值的监控——超过基线时持续跟踪并发出警报
>→ 比传统方法提前数周捕获 H1N1；早期预警可以加快反应速度； “实时回顾”方法可以拯救生命

决策树：这项新研究是否足够重要以触发更新？

决策树：添加这项研究会改变确定性吗？评级？如果是，请立即更新，因为确定性变化会影响指南。如果不是，检查它是否改变了点估计方向。如果方向发生变化，请尽快更新，因为这是一个重大发现。如果方向没有改变，则排队等待下一批更新。

活生生的证据为生者服务。

模块 7：质量

模块 7：快速审核的质量

Transparency reveals; concealment deceives.

您如何判断快速审核？

When time prevents perfection, what is "good enough"?

GRADE in 40 Hours: Is It Possible?

Full GRADE Assessment

Risk of bias + Inconsistency + Indirectness + Imprecision + Publication bias

Time: 8-16 hours per outcome

Rapid GRADE

Risk of bias + Imprecision + Major concerns only

Time: 2-4 hours per outcome

Focus on the domains most likely to affect certainty.

The Non-Negotiables

1. Document everything: 您搜索的内容，排除的内容，为什么

2. State limitations explicitly: 没有埋在文本中——前面和中间

3。区分快速和系统： Never pretend comprehensiveness

4. Date-stamp everything: 截至[日期]的最新证据

5。更新计划： 快速审查并不是最终决定

气候不确定性的故事：

IPCC climate reports could claim certainty to seem authoritative. Instead, they explicitly quantify uncertainty: "likely (66-100%)", "very likely (90-100%)", "virtually certain (99-100%)".

当 2021 年报告指出变暖“明确”，但冰盖崩塌时间“低可信度”时，政策制定者确切地知道哪里可以相信地图，以及龙可能在哪里潜伏。

这种透明度增加而不是降低了报告的可信度和政策影响。

您正在撰写 IPCC 气候报告。你应该声称确定性看起来更权威，还是承认存在不确定性？

Path A: 为了可信度而声称确定性——对冲将使报告显得薄弱
→ Lose trust when predictions vary; critics seize on any uncertainty as proof the science is unreliable; credibility undermined
Path B: Quantify uncertainty explicitly—"likely," "very likely," "virtually certain"
>→政策制定者确切地知道在哪里可以相信证据；透明度提高可信度和政策影响力；科学被认为是诚实的

How to READ a Rapid Review (Consumer Guide)

Five Questions to Ask Before Trusting

  1. 检索何时完成？ — If >3 months old in a fast-moving field, it's outdated
  2. 检索了哪些数据库？ — PubMed alone may miss 30% of relevant studies
  3. 筛选是单项还是双项？ — Single screening may miss 5-10% of relevant studies
  4. 是否明确说明了限制？ — Hidden limitations = hidden agendas
  5. 是否有计划更新？ — Rapid reviews should be living or have update triggers

不确定性下的共同决策

如何告诉患者证据......不确定？

1。说出不确定性： "We have some evidence, but it's early/limited/conflicting."

2. Quantify when possible: “研究表明 20-40% 可能会受益，但我们不确定。”

3. Explain what we're watching: "A larger trial reports next month."

4. Offer structured choice: “鉴于这种不确定性，我们可以尝试或等待。对您来说最重要的是什么？”

对话脚本

Clinician to Patient:

“我查看了最新的证据。这是我们所知道的：这种治疗 may 有帮助——一些研究显示改善了30%。但研究规模很小，有些研究没有显示任何益处。

“我想对你说实话。如果我们等两个月，我们将从更大规模的试验中获得更好的数据。但我也理解你现在正在遭受痛苦。

“什么可以帮助你做出这个决定？你想在知道不确定性的情况下立即尝试，还是愿意等待更有力的证据？”

共同决策并不是要获得所有答案。这是关于分享我们 don't know honestly.

Network Meta-Analysis: A Word of Caution

What It Promises: 比较在试验中从未直接比较过的治疗方法（A 与 B、B 与 C → 推断 A 与 C）。

What Can Go Wrong:
• Transitivity violation: Populations in A-vs-B trials differ from B-vs-C trials
• Inconsistency: 直接和间接证据相矛盾
• Sparse networks: Single-study connections carry entire inference

In Rapid Reviews: Network meta-analysis typically requires more time and expertise than available. When used, state transitivity assumptions explicitly. When skipped, explain why indirect comparisons weren't attempted.
Cochrane Training: Network Meta-analysis. Cipriani et al., BMJ 2013.

决策树：您应该相信这个快速审查吗？

决策树：审查是否明确表明这是快速审查？如果是，请检查是否明确注明了检索日期和数据库。如果有说明，则该评论可在附带说明的情况下使用。如果没有说明，请谨慎使用，因为无法评估货币。如果评论没有说明速度很快，请不要相信它假装全面。

维生素 D 错觉的故事

Correlation Posing as Causation:

Dozens of observational studies showed: low vitamin D → worse COVID outcomes.
这些研究的荟萃分析显示：“补充补充剂可降低 40% 的死亡率！”

Then came the RCTs. One after another: no benefit. No benefit. No benefit.

观察者发现了相关性。病人呆在室内 → 维生素 D 含量低，结果更糟。阳光是混淆因素，而不是治愈方法。
来源：维生素 D for COVID-19 Cochrane Review 2023。11 项随机对照试验，3,968 名参与者。没有死亡率益处。

Module 7 Quiz

A rapid review should ALWAYS include:

Module 7 Quiz (2)

Scenario
一位同事分享了一项“系统审查”，声称补充剂可将 COVID-19 死亡率降低 40%。该综述没有提及其检索日期，仅列出了检索的一个数据库，也没有讨论局限性。

您应该得出什么结论？

Module 7 Quiz (3)

维生素 D 观察性研究显示死亡率降低了 40%。随机对照试验显示没有任何益处。这种差异最好的解释是：

Module 7 Quiz (4)

Inoculation messaging (prebunking) is effective because it:

Module 7 Quiz (5)

Scenario
患者询问他们在社交媒体上看到的治疗方法。您的快速审查显示早期证据不确定（3 项小型试验，结果相互矛盾）。您应该如何讨论这个问题？

最好的方法是：

疗养院悲剧

2020 年 12 月：优先级辩论

疫苗到达。谁应该先得到它们？证据很明确：疗养院居民的死亡率最高。

但有些人主张重要工作人员的利益。其他供医护人员使用。争论推迟了推出。

Result: 60,000+ US nursing home deaths occurred after 疫苗可用，但 before rollout completed.

Rapid evidence synthesis on prioritization could have saved weeks. Weeks meant thousands of lives.
来源：CDC COVID-19 疗养院数据。分析：AARP 公共政策研究所，2021 年。

挑战者号的故事：

1986 年 1 月 27 日，工程师告诉 NASA，挑战者号的 O 形圈可能会在寒冷的天气中失效。但他们的数据不完整——只有一些冷启动记录和不明确的故障模式。经理拉里·马洛伊要求提供危险证明；工程师只能表现出不确定性。

Mulloy 启动。 O 形圈在 73 秒时失效。后来的分析显示，数据清楚地预测了故障，但前提是分析人员知道要寻找什么。

部分证据（因不充分而被驳回）包含可能挽救七条生命的警告。

1986 年 1 月 27 日，您是 NASA 的一名工程师。您的不完整数据表明 O 形圈在寒冷天气下可能会失效。发射定于明天在冰冻条件下进行。你的经理要求提供危险证明。

Path A: 承认你无法用不完整的数据证明危险——允许发射继续进行
→ 发射后 73 秒，挑战者号爆炸； 7名宇航员死亡；后来的分析显示数据确实预测失败
Path B: 尽管数据不完整，仍坚持延迟——举证责任应该在于安全，而不是危险
>→拯救7条生命；当赌注不可逆转时，“证明它是安全的”原则胜过“证明它是危险的”

Decision Tree: Assessing Funding Source Bias

决策树：研究是否由有经济利益的一方资助？如果是，请检查试用是否已预先注册。如果预先注册，请适度关注，因为结果切换是有限的。如果没有预先注册，由于可能有选择性报告，因此会引起高度关注。如果是独立资助的，请降低担忧，但仍评估偏倚风险。

预印本悖论

双刃剑：

December 2020: 辉瑞疫苗功效数据在发表前已出现在 medRxiv 上。几个小时内，监管机构就开始审查。世界可以计划。

January 2021: A preprint claimed vaccines caused deaths in nursing homes. It was methodologically flawed. It went viral. Vaccine hesitancy increased.

同一平台。不同的结果。预印本加速了真相和谎言。读者自行承担判断责任。

Decision Tree: When Is a Preprint Acceptable to Cite?

决策树：这是一个快速演变的紧急情况吗？如果紧急，请检查它是否来自已知的可信研究小组。如果是可信的团体，请在引用时附上明确的预印本警告。如果未知群体，请勿引用，等待核实。如果情况不紧急，请等待同行评审的出版物。

Regional Adaptation: MENA Context

海湾和中东地区的能力建设：

在 COVID-19 期间，海湾合作委员会 (GCC) 国家面临着重大差距：当地快速审查能力有限意味着依赖西方证据，而这些证据有时会忽略地区因素——斋月禁食、多代家庭、医护人员比例和不同人口人口统计。

课程：根据您的情况调整 40 小时协议。区域数据库中的阿拉伯语搜索词。本地实施注意事项。用于培训的区域案例研究。

Key Adaptations:

• Include regional databases (IMEMR, EMBASE Arabic)

• Consider local healthcare infrastructure capacity

• Adapt communication for local stakeholders

Transparency reveals; concealment deceives.

Final Assessment

模块 8：最终评估

您经历了危机和真相。

五项原则

1. Speed without rigor is recklessness.

2. Rigor without speed is abandonment.

3. A flawed study in a meta-analysis poisons all.

4. Transparency reveals; concealment deceives.

5。活生生的证据为生者服务。

Final Quiz (1/5)

Gautret 羟氯喹研究被撤回，主要是因为：

Final Quiz (2/5)

当欺诈性的 Elgazzar 伊维菌素研究被删除，死亡率获益：

Final Quiz (3/5)

RECOVERY 试验大约在：

Final Quiz (4/5)

Of 97 "living" systematic reviews on COVID-19, what percentage were never updated?

Final Quiz (5/5)

在快速回顾中，最重要的质量要求是：

您已经完成了旅程。

用智慧进行综合。

记住2020年的教训：
Speed without truth killed. Truth without speed abandoned.
平衡是艺术。