DTA > The Fraud
==================== MÓDULO 1: A FRAUDE ====================
==================== MÓDULO 2: OS QUATRO RESULTADOS ====================
==================== MÓDULO 3: PERÍODO DE JANELA DO HIV ====================
==================== MÓDULO 4: SENSIBILIDADE E ESPECIFICIDADE ====================
==================== MÓDULO 5: A FALÁCIA DA TAXA BÁSICA ====================
==================== MÓDULO 6: A CONTROVÉRSIA PSA ====================
==================== MÓDULO 7: RELAÇÕES DE PROBABILIDADE ====================
==================== MÓDULO 8: RDTs sobre MALÁRIA ====================
==================== MÓDULO 9: TESTES RÁPIDOS DE COVID ====================
==================== MÓDULO 13: O KIT DE FERRAMENTAS ====================
==================== MÓDULO 14: TESTE E REFERÊNCIAS ====================
Você não ouviu a história da mulher
who promised to mude o mundo com uma gota de sangue,
who raised billions on a test that never worked?
who promised to mude o mundo com uma gota de sangue,
who raised billions on a test that never worked?
Palo Alto, 2003
STANFORD UNIVERSITY
Um jovem de dezenove anos desistiu com uma visão: centenas de exames de sangue com uma única gota.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Mas os testes deram resultados errados. Os pacientes foram informados de que tinham HIV, quando na verdade não tinham. Os pacientes foram informados de que seu sangue estava normal quando foram dying.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Mas os testes deram resultados errados. Os pacientes foram informados de que tinham HIV, quando na verdade não tinham. Os pacientes foram informados de que seu sangue estava normal quando foram dying.
Carreyrou J. Bad Blood. 2018
A árvore de decisão do engano
What Theranos Did vs. What Should Happen
New Diagnostic Test
↓
SHOULD DO
Validate Against Gold Standard
↓
Publish TP/FP/FN/TN
↓
FDA Approval
THERANOS DID
Skip Validation
↓
Hide Failures
↓
Harm Patients
"E o teste mentiu,
e a mentira estava vestida de certeza,
e ninguém pediu a mesa 2x2."
e a mentira estava vestida de certeza,
e ninguém pediu a mesa 2x2."
É por isso que estudamos a precisão dos testes de diagnóstico.
When a test speaks,
existem apenas four possible truths.
Dois são bênçãos. Dois são maldições.
existem apenas four possible truths.
Dois são bênçãos. Dois são maldições.
A Árvore dos Resultados
Every Test Result Has a Reality Behind It
Patient Tested
↓
Qual é a VERDADE?
Has Disease
D+
↓
TPTest +
FNTest -
No Disease
D-
↓
FPTest +
TNTest -
A Mesa Sagrada 2x2
HIV Rapid Test Example (Real Data)
| HIV+ | HIV- | Total | |
|---|---|---|---|
| Test + | 98 | 3 | 101 |
| Test - | 2 | 895 | 897 |
| Total | 100 | 898 | 998 |
DESTA MESA VEM TODA A VERDADE
Sensitivity = 98/100 = 98%
Specificity = 895/898 = 99.7%
Specificity = 895/898 = 99.7%
"Two outcomes save. Two outcomes harm.
TP, TN: o teste falou verdade.
FP, FN: o teste mentiu.
Know them by name, for they determine fate."
TP, TN: o teste falou verdade.
FP, FN: o teste mentiu.
Know them by name, for they determine fate."
Você não ouviu falar do sangue que foi testado,
found clean,
e dado a milhares -
while death swam within it?
found clean,
e dado a milhares -
while death swam within it?
A crise do abastecimento de sangue, 1985
UNITED STATES
When HIV testing began, doctors celebrated: they could now screen the blood supply.
Mas o teste teve um window period—semanas após a infecção, quando o vírus estava presente, mas undetectable.
O sangue foi testado. O sangue era "negativo". O sangue foi transfundido.
8,000-12,000 Americans foram infectados por meio de transfusões antes que testes melhores fechassem a janela.
Mas o teste teve um window period—semanas após a infecção, quando o vírus estava presente, mas undetectable.
O sangue foi testado. O sangue era "negativo". O sangue foi transfundido.
8,000-12,000 Americans foram infectados por meio de transfusões antes que testes melhores fechassem a janela.
CDC. MMWR. 1987;36(49):833-840
The Window Period Decision Tree
Why False Negatives Are Deadly
Person Recently Infected
↓
Time Since Infection?
< 2 weeks
Test NEGATIVEVirus present!
↓
Blood DonatedOthers infected
> 4 weeks
Test POSITIVECorrectly detected
↓
Blood DiscardedSupply safe
A sensibilidade muda ao longo do tempo
0%
Day 1-7
Eclipse period
Eclipse period
~50%
Day 14
Seroconversion
Seroconversion
~95%
Day 21
Most detected
Most detected
99.9%
Day 45+
Window closed
Window closed
THE LESSON
A sensibilidade não é fixa. It depends on when you test.
A "99% sensitive" test may be 0% sensitive in early infection.
"E o teste disse 'limpo',
pois o vírus ainda não tinha mostrado a sua cara.
E o sangue foi compartilhado,
e a infecção se espalhou para os inocentes."
pois o vírus ainda não tinha mostrado a sua cara.
E o sangue foi compartilhado,
e a infecção se espalhou para os inocentes."
A test has two virtues and two vices.
Sensitivity: Pode encontrar os doentes?
Specificity: Pode poupar os saudáveis?
Sensitivity: Pode encontrar os doentes?
Specificity: Pode poupar os saudáveis?
Sensibilidade: O Caçador
THE FORMULA
Sensitivity = TP / (TP + FN)
"Of all the sick, how many did we catch?"
Worked Example: COVID PCR Test
Given: 200 infected patients tested
TP = 196 (correctly positive), FN = 4 (missed)
Sensitivity = 196 / (196 + 4) = 196/200 = 98%
Interpretation: Test catches 98 of every 100 infected people
Especificidade: O Guardião
THE FORMULA
Specificity = TN / (TN + FP)
"Of all the healthy, how many did we spare?"
Worked Example: Same COVID PCR Test
Given: 1000 uninfected people tested
TN = 999 (correctly negative), FP = 1 (false alarm)
Specificity = 999 / (999 + 1) = 999/1000 = 99.9%
Interpretation: Test correctly clears 999 of every 1000 healthy people
As Regras da Memória
When to Use Which Test
O que você precisa?
RULE OUT disease
Use HIGH SENSITIVITY
↓
SnNoutSensitive Negative = OUT
RULE IN disease
Use HIGH SPECIFICITY
↓
SpPinSpecific Positive = IN
"A sensibilidade pega os doentes.
A especificidade poupa o bem.
But no test masters both perfectly—
este é o fardo que carregamos."
A especificidade poupa o bem.
But no test masters both perfectly—
este é o fardo que carregamos."
Você não viu o médico
who saw 99% accurate
and believed a positive result meant 99% certainty?
Este é o erro mais mortal da medicina.
who saw 99% accurate
and believed a positive result meant 99% certainty?
Este é o erro mais mortal da medicina.
A falácia da taxa básica
THE PUZZLE
A disease affects 1 in 1000 people.
Um teste é 99% sensível e 99% específico.
A patient tests positive.
Qual é a probabilidade de eles terem a doença?
Most doctors say ~99%. A verdadeira resposta é cerca de 9%.
Um teste é 99% sensível e 99% específico.
A patient tests positive.
Qual é a probabilidade de eles terem a doença?
Most doctors say ~99%. A verdadeira resposta é cerca de 9%.
A matemática revelada
Testing 100,000 People (Prevalence 1/1000)
Step 1: 100 have disease, 99,900 healthy
Step 2: Of 100 sick: 99 test positive (TP), 1 negative (FN)
Step 3: Of 99,900 healthy: 999 test positive (FP), 98,901 negative (TN)
Step 4: Total positives = 99 + 999 = 1,098
PPV = TP / All Positives = 99 / 1,098 = 9%
91% dos resultados positivos são FALSOS POSITIVOS!
A Árvore de Decisão de Prevalência
Same Test, Different Settings
Test: 99% Sens, 99% Spec
↓
Where Is Testing Done?
General Population
Prevalence 0.1%
Prevalence 0.1%
PPV = 9%91% false positives!
High-Risk Clinic
Prevalence 10%
Prevalence 10%
PPV = 92%8% false positives
Confirmatory Test
Prevalence 50%
Prevalence 50%
PPV = 99%1% false positives
“E o médico disse '99% de precisão',
e o paciente ouviu '99% de certeza',
e ambos foram enganados -
pois esqueceram de perguntar: Quão rara é esta doença?
e o paciente ouviu '99% de certeza',
e ambos foram enganados -
pois esqueceram de perguntar: Quão rara é esta doença?
Você não ouviu falar do teste para homens
que encontrou cânceres que never kill,
e levou a tratamentos que destroyed lives?
que encontrou cânceres que never kill,
e levou a tratamentos que destroyed lives?
A tragédia da triagem PSA
UNITED STATES, 1990s-2010s
PSA (Prostate-Specific Antigen) could detect prostate cancer early.
Os médicos examinaram milhões de homens. Cânceres foram encontrados. As próstatas foram removidas.
Mas muitos destes “cancros” nunca teriam causado sintomas. A cirurgia causou impotência e incontinência in men who would have died of old age, not cancer.
Os médicos examinaram milhões de homens. Cânceres foram encontrados. As próstatas foram removidas.
Mas muitos destes “cancros” nunca teriam causado sintomas. A cirurgia causou impotência e incontinência in men who would have died of old age, not cancer.
Moyer VA. Ann Intern Med. 2012;157:120-134
Os números do dano
1
Vida salva de
prostate cancer
per 1000 screened
prostate cancer
per 1000 screened
30-40
Men made impotent
or incontinent
per 1000 screened
or incontinent
per 1000 screened
100+
False positives
(biopsies, anxiety)
per 1000 screened
(biopsies, anxiety)
per 1000 screened
THE REVERSAL
In 2012, the US Preventive Services Task Force recommended against
triagem de PSA de rotina. O teste consistia em encontrar muitas coisas que não precisavam ser encontradas.
A árvore de decisão de triagem
As consequências não intencionais da triagem
1000 Men Screened
↓
~120 Positive PSA
↓
~30 Biopsies Show Cancer
↓
~25 Would Never
Have Harmed
Have Harmed
~5 Truly
Aggressive
Aggressive
~880 Negative PSA
↓
Reassured(But ~3 have aggressive cancer missed)
"E o teste encontrou a sombra,
e o cirurgião cortou,
e o homem viveu – impotente, incontinente –
de um câncer que nunca teria acordado."
e o cirurgião cortou,
e o homem viveu – impotente, incontinente –
de um câncer que nunca teria acordado."
A sensibilidade descreve o teste.
A especificidade descreve o teste.
Mas o paciente pergunta:
"I tested positive. What are MY chances?"
A especificidade descreve o teste.
Mas o paciente pergunta:
"I tested positive. What are MY chances?"
Likelihood Ratios
POSITIVE LIKELIHOOD RATIO
LR+ = Sensitivity / (1 - Specificity)
How much more likely is a + result in sick vs healthy?
NEGATIVE LIKELIHOOD RATIO
LR- = (1 - Sensitivity) / Specificity
How much more likely is a - result in sick vs healthy?
O Nomograma Fagan
Da probabilidade pré-teste ao pós-teste
Pre-Test
Probability
Probability
99%
50%
20%
5%
1%
Likelihood
Ratio
Ratio
100
10
1
0.1
0.01
Post-Test
Probability
Probability
99%
80%
50%
20%
1%
Draw a line from pre-test through LR to find post-test probability
Interpreting Likelihood Ratios
Quão poderoso é este teste?
What Is the LR+?
LR+ > 10Strong rule-in
LR+ 5-10Moderate
LR+ 2-5Weak
LR+ 1-2Useless
What Is the LR-?
LR- < 0.1Strong rule-out
LR- 0.1-0.2Moderate
LR- 0.2-0.5Weak
LR- 0.5-1Useless
"A sensibilidade fala dos doentes.
A especificidade fala do poço.
But the likelihood ratio answers:
O que esse resultado significa para ESTE paciente?"
A especificidade fala do poço.
But the likelihood ratio answers:
O que esse resultado significa para ESTE paciente?"
Você não viu a criança com febre na aldeia,
o teste rápido que dizia negative,
and the Plasmodium que continuou se multiplicando?
o teste rápido que dizia negative,
and the Plasmodium que continuou se multiplicando?
O problema do RDT da malária
SUB-SAHARAN AFRICA
Malaria kills 600,000 people yearly, mostly children under 5.
Rapid Diagnostic Tests were meant to guide treatment in remote areas without microscopes or laboratories.
But when parasitemia is low—o RDT perde casos. And when P. falciparum exclui o gene HRP2— the RDT sees nothing at all.
Rapid Diagnostic Tests were meant to guide treatment in remote areas without microscopes or laboratories.
But when parasitemia is low—o RDT perde casos. And when P. falciparum exclui o gene HRP2— the RDT sees nothing at all.
WHO. Malaria RDT Performance. 2022
A árvore de decisão clínica
Child with Fever in Malaria-Endemic Area
Febrile Child
↓
Perform RDT
↓
RDT Positive
↓
Tratamento para malária
RDT Negative
↓
Clinical Suspicion?
High
Treat Anyway
or Microscopy
or Microscopy
Low
Look for
Other Cause
Other Cause
Sensitivity Varies by Parasitemia
95%
High parasitemia
(>200/μL)
(>200/μL)
75%
Low parasitemia
(100-200/μL)
(100-200/μL)
50%
Very low
(<100/μL)
(<100/μL)
A LIÇÃO CLÍNICA
A negative RDT does not rule out malaria in endemic areas.
Clinical judgment must override the test when suspicion is high.
"E o teste disse 'negativo',
e a criança foi mandada para casa,
e os parasitas se multiplicaram no escuro,
e pela manhã a criança não conseguia acordar."
e a criança foi mandada para casa,
e os parasitas se multiplicaram no escuro,
e pela manhã a criança não conseguia acordar."
No ano da pestilência,
o mundo precisava de um teste que fosse fast.
Mas rápido não é o mesmo que accurate.
o mundo precisava de um teste que fosse fast.
Mas rápido não é o mesmo que accurate.
O veredicto Cochrane
COVID-19 Rapid Antigen Tests (155 Studies Pooled)
| Population | Sensitivity | Missed Cases |
|---|---|---|
| Symptomatic | 73% | 27% missed |
| Asymptomatic | 55% | 45% missed |
| First 7 days of symptoms | 80% | 20% missed |
Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
The False Security Decision Tree
Thanksgiving 2020: What Happened
Family Member Tests Negative
↓
Esta pessoa é verdadeiramente negativa?
55% chance if asymptomatic
True NegativeSafe to gather
45% chance if asymptomatic
FALSE NegativeInfectious!
↓
Reúne-se com a famíliaGrandparents infected
"E o teste disse 'negativo',
e a família se abraçou,
e no final do inverno,
o avô foi enterrado."
e a família se abraçou,
e no final do inverno,
o avô foi enterrado."
Você não ouviu falar da triagem
que encontrou cânceres que would never kill,
e levou a tratamentos que caused more harm than the disease?
que encontrou cânceres que would never kill,
e levou a tratamentos que caused more harm than the disease?
O problema do sobrediagnóstico
3-4
Lives saved
per 10,000 screened
per 10,000 screened
~15
Overdiagnosed
(treated unnecessarily)
(treated unnecessarily)
~500
False alarms
(anxiety, biopsies)
(anxiety, biopsies)
THE QUESTION
Para salvar de 3 a 4 vidas, cerca de 15 mulheres recebem cirurgia, radiação e quimioterapia para cânceres que nunca as teriam prejudicado.
Essa troca vale a pena?
Essa troca vale a pena?
A árvore de decisão de triagem
10.000 mulheres examinadas ao longo de 10 anos
10,000 Women
↓
~1,000 RecalledAbnormal mammogram
↓
~500 False AlarmAnxiety only
~500 Biopsy~50 cancer found
~9,000 ClearedContinue screening
Of ~50 Cancers Found
~35 Would KillTreatment saves 3-4
~15 Would Never KillOverdiagnosed
"E o teste encontrou a sombra,
e chamou isso de câncer,
e a mulher foi cortada e queimada -
por uma sombra que nunca teria obscurecido seus dias."
e chamou isso de câncer,
e a mulher foi cortada e queimada -
por uma sombra que nunca teria obscurecido seus dias."
Um estudo pode enganar.
Um estudo pode ser lisonjeiro.
Mas quando você se reúne todas as evidências—
the truth becomes harder to hide.
Um estudo pode ser lisonjeiro.
Mas quando você se reúne todas as evidências—
the truth becomes harder to hide.
Why DTA Meta-Analysis Is Different
THE PROBLEM
Sensibilidade e especificidade são correlated.
When one goes up, the other tends to go down.
Você não pode agrupá-los separadamente como efeitos de tratamento. Você precisa do bivariate model.
Você não pode agrupá-los separadamente como efeitos de tratamento. Você precisa do bivariate model.
A Curva SROC
Reading ROC Space
Top-Left CornerPerfect Test
↓ (curve shows trade-off)
Diagonal LineUseless Test (Chance)
O QUE O SROC MOSTRA
Each dot = one study's sensitivity & specificity
A curva = resumo de todos os estudos
Closer to top-left = better test
A curva = resumo de todos os estudos
Closer to top-left = better test
"Um estudo pode enganar.
Muitos estudos, ponderados juntos,
traçar o caminho da verdade -
a curva SROC que revela o que o teste pode realmente fazer."
Muitos estudos, ponderados juntos,
traçar o caminho da verdade -
a curva SROC que revela o que o teste pode realmente fazer."
Mas e se os estudos disagree?
One says sensitivity is 95%.
Another says 60%.
Em qual verdade você acredita?
One says sensitivity is 95%.
Another says 60%.
Em qual verdade você acredita?
Sources of Heterogeneity
Por que os estudos discordam
Mesmo teste, resultados diferentes?
ThresholdDifferent cutoffs
PopulationSeverity, age
SettingPrimary vs specialist
QualityBias, blinding
Measuring Disagreement: I²
I² < 25%
Low
Studies agree
Studies agree
I² 25-75%
Moderate
Some variation
Some variation
I² > 75%
High
Major disagreement
Major disagreement
THE WARNING
When I² > 75%, the pooled estimate may be meaningless.
Explain the disagreement before averaging.
“Quando os estudos discordam,
não silencie a dissidência.
Ask: Why do they see differently?
A própria discordância ensina."
não silencie a dissidência.
Ask: Why do they see differently?
A própria discordância ensina."
Seu kit de ferramentas DTA
As medidas essenciais e quando usá-las
The Checklist
✓
Was there a valid reference standard?
Gold standard applied to ALL patients?
✓
Os intérpretes ficaram cegos?
Test readers unaware of diagnosis?
✓
O espectro era apropriado?
Pacientes semelhantes à sua população?
✓
O limite foi pré-especificado?
Ou escolhido para maximizar resultados?
When Results Don't Match Suspicion
The Clinical Override Decision Tree
Test Negative, High Suspicion
↓
What Is the LR-?
LR- < 0.1
Strong rule-outAccept negative
LR- 0.1-0.5
Consider repeat testOr different test
LR- > 0.5
Trust clinical judgmentTest is weak
"Armed with sensitivity, specificity, likelihood,
armado com o SROC e a medida de acordo,
você pode ver através da mentira do teste -
e julgue a sua verdade por si mesmo."
armado com o SROC e a medida de acordo,
você pode ver através da mentira do teste -
e julgue a sua verdade por si mesmo."
References
Key Sources
- Carreyrou J. Bad Blood. Knopf, 2018.
- CDC. MMWR. 1987;36(49):833-840. [HIV blood supply]
- Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705. [COVID RAT]
- Moyer VA. Ann Intern Med. 2012;157:120-134. [PSA screening]
- UK Panel. Lancet. 2012;380:1778-1786. [Mammography]
- WHO. Malaria RDT Performance. 2022.
- Reitsma JB et al. J Clin Epidemiol. 2005;58:982-990. [Bivariate model]
- Deeks JJ et al. J Clin Epidemiol. 2005;58:882-893. [Publication bias]
- Macaskill P et al. Cochrane Handbook Ch. 10. 2023.
Um teste é 99% sensível e 99% específico. A prevalência da doença é de 1/1000. Um paciente testa positivo. Qual é a probabilidade de eles terem a doença?
99%
90%
About 9%
50%
Por que o suprimento de sangue foi contaminado com HIV apesar dos testes?
The tests had low specificity
Os testes tiveram um período de janela com baixa sensibilidade na infecção inicial
Os testes não foram realizados corretamente
Os testes foram muito caros
What does "SnNout" mean?
A highly Sensitive test, when Negative, rules OUT disease
A highly Specific test, when Negative, rules OUT disease
Sensitivity should be used for screening
Specificity should be above 90%
✔
Course Complete
"Agora você conhece os quatro resultados,
as duas virtudes de um teste,
a falácia da base taxa,
e a arte de agrupar evidência.
Quando o próximo teste estiver para você—
você saberá."
as duas virtudes de um teste,
a falácia da base taxa,
e a arte de agrupar evidência.
Quando o próximo teste estiver para você—
você saberá."
1 / 4