DTA > The Fraud
=================== МОДУЛЬ 1: МОШЕННИЧЕСТВО ==================
=================== МОДУЛЬ 2: ЧЕТЫРЕ РЕЗУЛЬТАТА ===================
================= МОДУЛЬ 3: ПЕРИОД ОКНА ВИЧ ===================
================== МОДУЛЬ 4: ЧУВСТВИТЕЛЬНОСТЬ И СПЕЦИФИЧНОСТЬ ==================
================== МОДУЛЬ 5: ОШИБКА БАЗОВОЙ СТАВКИ ===================
==================== МОДУЛЬ 6: ПОЛОМИКА ПО PSA ===================
=================== МОДУЛЬ 7: ОТНОШЕНИЯ ВЕРОЯТНОСТИ ===================
==================== МОДУЛЬ 8: БДТ по малярии ===================
==================== МОДУЛЬ 9: БЫСТРЫЕ ТЕСТЫ НА COVID ===================
=================== МОДУЛЬ 13: ИНСТРУМЕНТАРИЙ ===================
=================== МОДУЛЬ 14: ВИКТОРИНА И ССЫЛКИ ===================
Разве вы не слышали историю о женщине
who promised to изменить мир каплей крови,
who raised billions on a test that never worked?
who promised to изменить мир каплей крови,
who raised billions on a test that never worked?
Palo Alto, 2003
STANFORD UNIVERSITY
Девятнадцатилетний подросток бросил учебу с видением: сотни анализы крови из одной капли.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Но анализы дали неправильные результаты. Пациентам говорили, что у них ВИЧ, хотя на самом деле это не так. Пациентам говорили, что их кровь в норме, когда они dying.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Но анализы дали неправильные результаты. Пациентам говорили, что у них ВИЧ, хотя на самом деле это не так. Пациентам говорили, что их кровь в норме, когда они dying.
Carreyrou J. Bad Blood. 2018
Дерево решений обмана
What Theranos Did vs. What Should Happen
New Diagnostic Test
↓
SHOULD DO
Validate Against Gold Standard
↓
Publish TP/FP/FN/TN
↓
FDA Approval
THERANOS DID
Skip Validation
↓
Hide Failures
↓
Harm Patients
«И испытание лгало,
и ложь была одета в уверенность,
и никто не спрашивал таблицу 2x2.»
и ложь была одета в уверенность,
и никто не спрашивал таблицу 2x2.»
Вот почему мы изучаем точность диагностических тестов.
When a test speaks,
есть только four possible truths.
Два из них — благословения. Два из них — проклятия.
есть только four possible truths.
Два из них — благословения. Два из них — проклятия.
Дерево результатов
Every Test Result Has a Reality Behind It
Patient Tested
↓
Что такое ПРАВДА?
Has Disease
D+
↓
TPTest +
FNTest -
No Disease
D-
↓
FPTest +
TNTest -
Священное 2x2 Таблица
HIV Rapid Test Example (Real Data)
| HIV+ | HIV- | Total | |
|---|---|---|---|
| Test + | 98 | 3 | 101 |
| Test - | 2 | 895 | 897 |
| Total | 100 | 898 | 998 |
ИЗ ЭТОЙ ТАБЛИЦЫ ВЫХОДИТ ВСЯ ПРАВДА
Sensitivity = 98/100 = 98%
Specificity = 895/898 = 99.7%
Specificity = 895/898 = 99.7%
"Two outcomes save. Two outcomes harm.
ТП, ТН: тест сказал правду.
FP, FN: тест лгал.
Know them by name, for they determine fate."
ТП, ТН: тест сказал правду.
FP, FN: тест лгал.
Know them by name, for they determine fate."
Разве вы не слышали о крови, которая была протестирована,
found clean,
и дана тысячам—
while death swam within it?
found clean,
и дана тысячам—
while death swam within it?
Кризис снабжения кровью, 1985
UNITED STATES
When HIV testing began, doctors celebrated: they could now screen the blood supply.
Но тест имел a window period— через несколько недель после заражения, когда вирус присутствовал, но undetectable.
Кровь была «отрицательной». Кровь была перелита.
8,000-12,000 Americans заразились в результате переливания, прежде чем лучшие тесты закрыли окно.
Но тест имел a window period— через несколько недель после заражения, когда вирус присутствовал, но undetectable.
Кровь была «отрицательной». Кровь была перелита.
8,000-12,000 Americans заразились в результате переливания, прежде чем лучшие тесты закрыли окно.
CDC. MMWR. 1987;36(49):833-840
The Window Period Decision Tree
Why False Negatives Are Deadly
Person Recently Infected
↓
Time Since Infection?
< 2 weeks
Test NEGATIVEVirus present!
↓
Blood DonatedOthers infected
> 4 weeks
Test POSITIVECorrectly detected
↓
Blood DiscardedSupply safe
Чувствительность изменилась. Время
0%
Day 1-7
Eclipse period
Eclipse period
~50%
Day 14
Seroconversion
Seroconversion
~95%
Day 21
Most detected
Most detected
99.9%
Day 45+
Window closed
Window closed
THE LESSON
Чувствительность не фиксирована. It depends on when you test.
A "99% sensitive" test may be 0% sensitive in early infection.
"И тест показал "чистый",
ибо вирус еще не показал свое лицо.
И кровь была общей,
и инфекция распространилась
ибо вирус еще не показал свое лицо.
И кровь была общей,
и инфекция распространилась
A test has two virtues and two vices.
Sensitivity: Может ли он найти больных?
Specificity: Может оно щадит здоровых?
Sensitivity: Может ли он найти больных?
Specificity: Может оно щадит здоровых?
Чувствительность: Охотник
THE FORMULA
Sensitivity = TP / (TP + FN)
"Of all the sick, how many did we catch?"
Worked Example: COVID PCR Test
Given: 200 infected patients tested
TP = 196 (correctly positive), FN = 4 (missed)
Sensitivity = 196 / (196 + 4) = 196/200 = 98%
Interpretation: Test catches 98 of every 100 infected people
Специальность: The Guardian
THE FORMULA
Specificity = TN / (TN + FP)
"Of all the healthy, how many did we spare?"
Worked Example: Same COVID PCR Test
Given: 1000 uninfected people tested
TN = 999 (correctly negative), FP = 1 (false alarm)
Specificity = 999 / (999 + 1) = 999/1000 = 99.9%
Interpretation: Test correctly clears 999 of every 1000 healthy people
Правила памяти
When to Use Which Test
Что вам нужно?
RULE OUT disease
Use HIGH SENSITIVITY
↓
SnNoutSensitive Negative = OUT
RULE IN disease
Use HIGH SPECIFICITY
↓
SpPinSpecific Positive = IN
«Чувствительность ловит больных.
Специфика щадит колодца.
But no test masters both perfectly—
это бремя, которое мы медведь."
Специфика щадит колодца.
But no test masters both perfectly—
это бремя, которое мы медведь."
Вы не обращались к врачу
who saw 99% accurate
and believed a positive result meant 99% certainty?
Это самое смертоносное ошибка в медицине.
who saw 99% accurate
and believed a positive result meant 99% certainty?
Это самое смертоносное ошибка в медицине.
Ошибка базовой оценки
THE PUZZLE
A disease affects 1 in 1000 people.
Тест на 99% чувствителен и на 99% специфичен.
A patient tests positive.
Какова вероятность того, что у них есть заболевание?
Most doctors say ~99%. Настоящий ответ примерно такой: 9%.
Тест на 99% чувствителен и на 99% специфичен.
A patient tests positive.
Какова вероятность того, что у них есть заболевание?
Most doctors say ~99%. Настоящий ответ примерно такой: 9%.
Раскрытые математические данные
Testing 100,000 People (Prevalence 1/1000)
Step 1: 100 have disease, 99,900 healthy
Step 2: Of 100 sick: 99 test positive (TP), 1 negative (FN)
Step 3: Of 99,900 healthy: 999 test positive (FP), 98,901 negative (TN)
Step 4: Total positives = 99 + 999 = 1,098
PPV = TP / All Positives = 99 / 1,098 = 9%
91% положительных результатов являются ЛОЖНОПОЛОЖИТЕЛЬНЫМИ!
Дерево решений распространенности
Same Test, Different Settings
Test: 99% Sens, 99% Spec
↓
Where Is Testing Done?
General Population
Prevalence 0.1%
Prevalence 0.1%
PPV = 9%91% false positives!
High-Risk Clinic
Prevalence 10%
Prevalence 10%
PPV = 92%8% false positives
Confirmatory Test
Prevalence 50%
Prevalence 50%
PPV = 99%1% false positives
«И врач сказал: «точность на 99%».
и пациент услышал «уверен на 99%»,
и оба были обмануты —
ибо забыли спросить: насколько редка эта болезнь?»
и пациент услышал «уверен на 99%»,
и оба были обмануты —
ибо забыли спросить: насколько редка эта болезнь?»
Вы не слышали о тесте для мужчин?
который обнаружил рак, который мог бы never kill,
и привело к лечению, которое destroyed lives?
который обнаружил рак, который мог бы never kill,
и привело к лечению, которое destroyed lives?
Трагедия скрининга PSA
UNITED STATES, 1990s-2010s
PSA (Prostate-Specific Antigen) could detect prostate cancer early.
Врачи обследовали миллионы мужчин. Раковые опухоли были обнаружены. Простаты удалили.
Но многие из этих «раков» никогда бы не вызвали симптомов. Операция вызвала импотенция и недержание in men who would have died of old age, not cancer.
Врачи обследовали миллионы мужчин. Раковые опухоли были обнаружены. Простаты удалили.
Но многие из этих «раков» никогда бы не вызвали симптомов. Операция вызвала импотенция и недержание in men who would have died of old age, not cancer.
Moyer VA. Ann Intern Med. 2012;157:120-134
Цифры вреда
1
Жизнь спасена от
prostate cancer
per 1000 screened
prostate cancer
per 1000 screened
30-40
Men made impotent
or incontinent
per 1000 screened
or incontinent
per 1000 screened
100+
False positives
(biopsies, anxiety)
per 1000 screened
(biopsies, anxiety)
per 1000 screened
THE REVERSAL
In 2012, the US Preventive Services Task Force recommended against
рутинный скрининг ПСА. Тест обнаружил слишком много того, что не нужно было искать.
Дерево решений скрининга
Непредвиденные последствия скрининга
1000 Men Screened
↓
~120 Positive PSA
↓
~30 Biopsies Show Cancer
↓
~25 Would Never
Have Harmed
Have Harmed
~5 Truly
Aggressive
Aggressive
~880 Negative PSA
↓
Reassured(But ~3 have aggressive cancer missed)
«И испытание нашло тень,
и хирург разрезал,
и человек жил — импотент, невоздержанный —
от рака, который никогда бы не проснулся».
и хирург разрезал,
и человек жил — импотент, невоздержанный —
от рака, который никогда бы не проснулся».
Чувствительность описывает тест.
Специфичность описывает тест.
Но пациент спрашивает:
"I tested positive. What are MY chances?"
Специфичность описывает тест.
Но пациент спрашивает:
"I tested positive. What are MY chances?"
Likelihood Ratios
POSITIVE LIKELIHOOD RATIO
LR+ = Sensitivity / (1 - Specificity)
How much more likely is a + result in sick vs healthy?
NEGATIVE LIKELIHOOD RATIO
LR- = (1 - Sensitivity) / Specificity
How much more likely is a - result in sick vs healthy?
Номограмма Фэгана
От вероятности до теста к вероятности после теста
Pre-Test
Probability
Probability
99%
50%
20%
5%
1%
Likelihood
Ratio
Ratio
100
10
1
0.1
0.01
Post-Test
Probability
Probability
99%
80%
50%
20%
1%
Draw a line from pre-test through LR to find post-test probability
Interpreting Likelihood Ratios
Насколько силен этот тест?
What Is the LR+?
LR+ > 10Strong rule-in
LR+ 5-10Moderate
LR+ 2-5Weak
LR+ 1-2Useless
What Is the LR-?
LR- < 0.1Strong rule-out
LR- 0.1-0.2Moderate
LR- 0.2-0.5Weak
LR- 0.5-1Useless
«Чувствительность говорит о больных.
Специфика говорит о колодце.
But the likelihood ratio answers:
Что означает этот результат для ЭТОГО пациента?"
Специфика говорит о колодце.
But the likelihood ratio answers:
Что означает этот результат для ЭТОГО пациента?"
Разве ты не видел в деревне ребенка с температурой,
экспресс-тест, который сказал negative,
and the Plasmodium что продолжало размножаться?
экспресс-тест, который сказал negative,
and the Plasmodium что продолжало размножаться?
Проблема ДЭТ малярии
SUB-SAHARAN AFRICA
Malaria kills 600,000 people yearly, mostly children under 5.
Rapid Diagnostic Tests were meant to guide treatment in remote areas without microscopes or laboratories.
But when parasitemia is low—RDT упускает случаи. And when P. falciparum удаляет ген HRP2 — the RDT sees nothing at all.
Rapid Diagnostic Tests were meant to guide treatment in remote areas without microscopes or laboratories.
But when parasitemia is low—RDT упускает случаи. And when P. falciparum удаляет ген HRP2 — the RDT sees nothing at all.
WHO. Malaria RDT Performance. 2022
Дерево клинических решений
Child with Fever in Malaria-Endemic Area
Febrile Child
↓
Perform RDT
↓
RDT Positive
↓
Лечение малярии
RDT Negative
↓
Clinical Suspicion?
High
Treat Anyway
or Microscopy
or Microscopy
Low
Look for
Other Cause
Other Cause
Sensitivity Varies by Parasitemia
95%
High parasitemia
(>200/μL)
(>200/μL)
75%
Low parasitemia
(100-200/μL)
(100-200/μL)
50%
Very low
(<100/μL)
(<100/μL)
КЛИНИЧЕСКИЙ УРОК
A negative RDT does not rule out malaria in endemic areas.
Clinical judgment must override the test when suspicion is high.
«И тест показал отрицательный результат».
и ребенка отправили домой,
и паразиты множились в темноте,
и к утру ребенок не мог проснуться».
и ребенка отправили домой,
и паразиты множились в темноте,
и к утру ребенок не мог проснуться».
В год чумы,
миру нужно было испытание, которое было бы fast.
Но быстро – это не то же самое, что accurate.
миру нужно было испытание, которое было бы fast.
Но быстро – это не то же самое, что accurate.
Кокрейновский вердикт
COVID-19 Rapid Antigen Tests (155 Studies Pooled)
| Population | Sensitivity | Missed Cases |
|---|---|---|
| Symptomatic | 73% | 27% missed |
| Asymptomatic | 55% | 45% missed |
| First 7 days of symptoms | 80% | 20% missed |
Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
The False Security Decision Tree
Thanksgiving 2020: What Happened
Family Member Tests Negative
↓
Действительно ли этот человек негативен?
55% chance if asymptomatic
True NegativeSafe to gather
45% chance if asymptomatic
FALSE NegativeInfectious!
↓
Собирается с семьейGrandparents infected
«И тест показал отрицательный результат».
и семья обнялась,
и к концу зимы,
дедушку похоронили».
и семья обнялась,
и к концу зимы,
дедушку похоронили».
Вы не слышали о показе
который обнаружил рак, который would never kill,
и привело к лечению, которое caused more harm than the disease?
который обнаружил рак, который would never kill,
и привело к лечению, которое caused more harm than the disease?
Проблема гипердиагностики
3-4
Lives saved
per 10,000 screened
per 10,000 screened
~15
Overdiagnosed
(treated unnecessarily)
(treated unnecessarily)
~500
False alarms
(anxiety, biopsies)
(anxiety, biopsies)
THE QUESTION
Чтобы спасти 3-4 жизни, около 15 женщин проходят операцию, лучевую терапию и химиотерапию от рака, который никогда бы им не причинил вреда.
Стоит ли этот компромисс того?
Стоит ли этот компромисс того?
Дерево решений скрининга
10 000 женщин прошли скрининг за 10 лет
10,000 Women
↓
~1,000 RecalledAbnormal mammogram
↓
~500 False AlarmAnxiety only
~500 Biopsy~50 cancer found
~9,000 ClearedContinue screening
Of ~50 Cancers Found
~35 Would KillTreatment saves 3-4
~15 Would Never KillOverdiagnosed
«И испытание нашло тень,
и назвал это раком,
и женщина была изрезана и сожжена —
из-за тени, которая никогда бы не омрачила ее дней."
и назвал это раком,
и женщина была изрезана и сожжена —
из-за тени, которая никогда бы не омрачила ее дней."
Одно исследование может обмануть.
Одно исследование может польстить.
Но когда вы соберете все доказательства—
the truth becomes harder to hide.
Одно исследование может польстить.
Но когда вы соберете все доказательства—
the truth becomes harder to hide.
Why DTA Meta-Analysis Is Different
THE PROBLEM
Чувствительность и специфичность correlated.
When one goes up, the other tends to go down.
Вы не можете объединить их отдельно, как эффекты лечения. Вам нужно bivariate model.
Вы не можете объединить их отдельно, как эффекты лечения. Вам нужно bivariate model.
Кривая SROC
Reading ROC Space
Top-Left CornerPerfect Test
↓ (curve shows trade-off)
Diagonal LineUseless Test (Chance)
ЧТО ПОКАЗЫВАЕТ СРОК
Each dot = one study's sensitivity & specificity
Кривая = сводка всех исследований
Closer to top-left = better test
Кривая = сводка всех исследований
Closer to top-left = better test
«Одно исследование может обмануть.
Многие исследования, взвешенные вместе,
проследить путь истины —
кривая SROC, которая показывает, на что действительно способен тест».
Многие исследования, взвешенные вместе,
проследить путь истины —
кривая SROC, которая показывает, на что действительно способен тест».
Но что, если исследования disagree?
One says sensitivity is 95%.
Another says 60%.
В какую истину вы верите?
One says sensitivity is 95%.
Another says 60%.
В какую истину вы верите?
Sources of Heterogeneity
Почему исследования расходятся во мнениях
Один и тот же тест, разные результаты?
ThresholdDifferent cutoffs
PopulationSeverity, age
SettingPrimary vs specialist
QualityBias, blinding
Measuring Disagreement: I²
I² < 25%
Low
Studies agree
Studies agree
I² 25-75%
Moderate
Some variation
Some variation
I² > 75%
High
Major disagreement
Major disagreement
THE WARNING
When I² > 75%, the pooled estimate may be meaningless.
Explain the disagreement before averaging.
«Когда исследования расходятся во мнениях,
не подавляйте инакомыслие.
Ask: Why do they see differently?
Само разногласие учит».
не подавляйте инакомыслие.
Ask: Why do they see differently?
Само разногласие учит».
Ваш набор инструментов DTA
Основные меры и когда их использовать
The Checklist
✓
Was there a valid reference standard?
Gold standard applied to ALL patients?
✓
Были ли переводчики ослеплены?
Test readers unaware of diagnosis?
✓
Был ли спектр подходящим?
Пациенты, похожие на вашу популяцию?
✓
Был ли порог установлен заранее?
Или выбрано для максимизации результатов?
When Results Don't Match Suspicion
The Clinical Override Decision Tree
Test Negative, High Suspicion
↓
What Is the LR-?
LR- < 0.1
Strong rule-outAccept negative
LR- 0.1-0.5
Consider repeat testOr different test
LR- > 0.5
Trust clinical judgmentTest is weak
"Armed with sensitivity, specificity, likelihood,
на вооружении СРОК и меры согласия,
ты можешь видеть сквозь ложь теста —
и судите об истинности этого сами».
на вооружении СРОК и меры согласия,
ты можешь видеть сквозь ложь теста —
и судите об истинности этого сами».
References
Key Sources
- Carreyrou J. Bad Blood. Knopf, 2018.
- CDC. MMWR. 1987;36(49):833-840. [HIV blood supply]
- Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705. [COVID RAT]
- Moyer VA. Ann Intern Med. 2012;157:120-134. [PSA screening]
- UK Panel. Lancet. 2012;380:1778-1786. [Mammography]
- WHO. Malaria RDT Performance. 2022.
- Reitsma JB et al. J Clin Epidemiol. 2005;58:982-990. [Bivariate model]
- Deeks JJ et al. J Clin Epidemiol. 2005;58:882-893. [Publication bias]
- Macaskill P et al. Cochrane Handbook Ch. 10. 2023.
Тест имеет 99% чувствительности и 99% специфичности. Распространенность заболевания составляет 1/1000. У пациента тест положительный. Какова вероятность того, что у них есть это заболевание?
99%
90%
About 9%
50%
Почему, несмотря на тестирование, кровоснабжение оказалось зараженным ВИЧ?
The tests had low specificity
Тесты имели период окна с низкой чувствительностью на ранней стадии заражения
Тесты проводились неправильно
Тесты были слишком дорогими
What does "SnNout" mean?
A highly Sensitive test, when Negative, rules OUT disease
A highly Specific test, when Negative, rules OUT disease
Sensitivity should be used for screening
Specificity should be above 90%
✔
Course Complete
"Теперь вы знаете четыре результата,
два достоинства теста,
ошибка базы скорость,
и искусство объединения доказательства.
Когда следующий тест лжет вам —
вы узнаете."
два достоинства теста,
ошибка базы скорость,
и искусство объединения доказательства.
Когда следующий тест лжет вам —
вы узнаете."
1 / 4