DTA > The Fraud
==================== MÓDULO 1: EL FRAUDE =====================
===================== MÓDULO 2: LOS CUATRO RESULTADOS ====================
==================== MÓDULO 3: PERÍODO DE VENTANA DEL VIH =====================
==================== MÓDULO 4: SENSIBILIDAD Y ESPECIFICIDAD =====================
==================== MÓDULO 5: LA FALACIA DE LA TASA BASE ====================
==================== MÓDULO 6: LA CONTROVERSIA DEL PSA ====================
==================== MÓDULO 7: RELACIONES DE PROBABILIDAD ====================
==================== MÓDULO 8: PDR DE MALARIA =====================
==================== MÓDULO 9: PRUEBAS RÁPIDAS DE COVID ====================
==================== MÓDULO 13: EL KIT DE HERRAMIENTAS ====================
==================== MÓDULO 14: EXAMEN Y REFERENCIAS ====================
¿No has oído la historia de la mujer
who promised to cambia el mundo con una gota de sangre,
who raised billions on a test that never worked?
who promised to cambia el mundo con una gota de sangre,
who raised billions on a test that never worked?
Palo Alto, 2003
STANFORD UNIVERSITY
Un joven de diecinueve años abandonó el programa con una visión: cientos de análisis de sangre con una sola gota.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Pero las pruebas dieron resultados erróneos. A los pacientes se les dijo que tenían VIH cuando no era así. A los pacientes se les dijo que su sangre era normal cuando fueron dying.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Pero las pruebas dieron resultados erróneos. A los pacientes se les dijo que tenían VIH cuando no era así. A los pacientes se les dijo que su sangre era normal cuando fueron dying.
Carreyrou J. Bad Blood. 2018
El árbol de decisiones del engaño
What Theranos Did vs. What Should Happen
New Diagnostic Test
↓
SHOULD DO
Validate Against Gold Standard
↓
Publish TP/FP/FN/TN
↓
FDA Approval
THERANOS DID
Skip Validation
↓
Hide Failures
↓
Harm Patients
"Y la prueba mintió,
y la mentira se vistió de certeza,
y nadie pidió la mesa de 2x2."
y la mentira se vistió de certeza,
y nadie pidió la mesa de 2x2."
Es por eso que estudiamos la precisión de las pruebas de diagnóstico.
When a test speaks,
hay solo four possible truths.
Dos son bendiciones. Dos son maldiciones.
hay solo four possible truths.
Dos son bendiciones. Dos son maldiciones.
El árbol de resultados
Every Test Result Has a Reality Behind It
Patient Tested
↓
¿Cuál es la VERDAD?
Has Disease
D+
↓
TPTest +
FNTest -
No Disease
D-
↓
FPTest +
TNTest -
La Mesa Sagrada 2x2
HIV Rapid Test Example (Real Data)
| HIV+ | HIV- | Total | |
|---|---|---|---|
| Test + | 98 | 3 | 101 |
| Test - | 2 | 895 | 897 |
| Total | 100 | 898 | 998 |
DE ESTA TABLA Surge TODA LA VERDAD
Sensitivity = 98/100 = 98%
Specificity = 895/898 = 99.7%
Specificity = 895/898 = 99.7%
"Two outcomes save. Two outcomes harm.
TP, TN: la prueba decía la verdad.
FP, FN: la prueba mintió.
Know them by name, for they determine fate."
TP, TN: la prueba decía la verdad.
FP, FN: la prueba mintió.
Know them by name, for they determine fate."
¿No has oído hablar de la sangre que se analizó?
found clean,
y entregado a miles—
while death swam within it?
found clean,
y entregado a miles—
while death swam within it?
La crisis del suministro de sangre, 1985
UNITED STATES
When HIV testing began, doctors celebrated: they could now screen the blood supply.
Pero la prueba tuvo un window period—semanas después de la infección cuando el virus estaba presente pero undetectable.
Se analizó la sangre. La sangre era "negativa". Se transfundió sangre.
8,000-12,000 Americans se infectaron a través de transfusiones antes de que mejores pruebas cerraran la ventana.
Pero la prueba tuvo un window period—semanas después de la infección cuando el virus estaba presente pero undetectable.
Se analizó la sangre. La sangre era "negativa". Se transfundió sangre.
8,000-12,000 Americans se infectaron a través de transfusiones antes de que mejores pruebas cerraran la ventana.
CDC. MMWR. 1987;36(49):833-840
The Window Period Decision Tree
Why False Negatives Are Deadly
Person Recently Infected
↓
Time Since Infection?
< 2 weeks
Test NEGATIVEVirus present!
↓
Blood DonatedOthers infected
> 4 weeks
Test POSITIVECorrectly detected
↓
Blood DiscardedSupply safe
Cambios de sensibilidad con el tiempo
0%
Day 1-7
Eclipse period
Eclipse period
~50%
Day 14
Seroconversion
Seroconversion
~95%
Day 21
Most detected
Most detected
99.9%
Day 45+
Window closed
Window closed
THE LESSON
La sensibilidad no es fija. It depends on when you test.
A "99% sensitive" test may be 0% sensitive in early infection.
"Y la prueba dijo 'limpio',
porque el virus aún no había mostrado su cara.
Y la sangre fue compartida,
y la infección se extendió a los inocentes."
porque el virus aún no había mostrado su cara.
Y la sangre fue compartida,
y la infección se extendió a los inocentes."
A test has two virtues and two vices.
Sensitivity: ¿Puede encontrar a los enfermos?
Specificity: ¿Puede perdonar a los sanos?
Sensitivity: ¿Puede encontrar a los enfermos?
Specificity: ¿Puede perdonar a los sanos?
Sensibilidad: El Cazador
THE FORMULA
Sensitivity = TP / (TP + FN)
"Of all the sick, how many did we catch?"
Worked Example: COVID PCR Test
Given: 200 infected patients tested
TP = 196 (correctly positive), FN = 4 (missed)
Sensitivity = 196 / (196 + 4) = 196/200 = 98%
Interpretation: Test catches 98 of every 100 infected people
Especificidad: El guardián
THE FORMULA
Specificity = TN / (TN + FP)
"Of all the healthy, how many did we spare?"
Worked Example: Same COVID PCR Test
Given: 1000 uninfected people tested
TN = 999 (correctly negative), FP = 1 (false alarm)
Specificity = 999 / (999 + 1) = 999/1000 = 99.9%
Interpretation: Test correctly clears 999 of every 1000 healthy people
Las reglas de la memoria
When to Use Which Test
¿Qué necesitas?
RULE OUT disease
Use HIGH SENSITIVITY
↓
SnNoutSensitive Negative = OUT
RULE IN disease
Use HIGH SPECIFICITY
↓
SpPinSpecific Positive = IN
"La sensibilidad atrapa a los enfermos.
La especificidad salva el pozo.
But no test masters both perfectly—
ésta es la carga que llevamos."
La especificidad salva el pozo.
But no test masters both perfectly—
ésta es la carga que llevamos."
¿No has visto al médico?
who saw 99% accurate
and believed a positive result meant 99% certainty?
Este es el error más mortal en medicina.
who saw 99% accurate
and believed a positive result meant 99% certainty?
Este es el error más mortal en medicina.
La falacia de la tasa base
THE PUZZLE
A disease affects 1 in 1000 people.
Una prueba tiene un 99% de sensibilidad y un 99% de especificidad.
A patient tests positive.
¿Cuál es la probabilidad de que tengan la enfermedad?
Most doctors say ~99%. La verdadera respuesta es alrededor del 9%.
Una prueba tiene un 99% de sensibilidad y un 99% de especificidad.
A patient tests positive.
¿Cuál es la probabilidad de que tengan la enfermedad?
Most doctors say ~99%. La verdadera respuesta es alrededor del 9%.
Las matemáticas reveladas
Testing 100,000 People (Prevalence 1/1000)
Step 1: 100 have disease, 99,900 healthy
Step 2: Of 100 sick: 99 test positive (TP), 1 negative (FN)
Step 3: Of 99,900 healthy: 999 test positive (FP), 98,901 negative (TN)
Step 4: Total positives = 99 + 999 = 1,098
PPV = TP / All Positives = 99 / 1,098 = 9%
¡El 91% de los resultados positivos son FALDOS POSITIVOS!
El árbol de decisión de prevalencia
Same Test, Different Settings
Test: 99% Sens, 99% Spec
↓
Where Is Testing Done?
General Population
Prevalence 0.1%
Prevalence 0.1%
PPV = 9%91% false positives!
High-Risk Clinic
Prevalence 10%
Prevalence 10%
PPV = 92%8% false positives
Confirmatory Test
Prevalence 50%
Prevalence 50%
PPV = 99%1% false positives
"Y el médico dijo '99% exacto',
y el paciente escuchó '99% seguro',
y ambos fueron engañados—
porque olvidaron preguntar: ¿Qué tan raro es esto? enfermedad?"
y el paciente escuchó '99% seguro',
y ambos fueron engañados—
porque olvidaron preguntar: ¿Qué tan raro es esto? enfermedad?"
¿No has oído hablar de la prueba para hombres
que encontró cánceres que never kill,
y condujo a tratamientos que destroyed lives?
que encontró cánceres que never kill,
y condujo a tratamientos que destroyed lives?
La tragedia de la detección del PSA
UNITED STATES, 1990s-2010s
PSA (Prostate-Specific Antigen) could detect prostate cancer early.
Los médicos examinaron a millones de hombres. Se encontraron cánceres. Se extirparon las próstatas.
Pero muchos de estos "cánceres" nunca habrían causado síntomas. La cirugía causó impotencia e incontinencia in men who would have died of old age, not cancer.
Los médicos examinaron a millones de hombres. Se encontraron cánceres. Se extirparon las próstatas.
Pero muchos de estos "cánceres" nunca habrían causado síntomas. La cirugía causó impotencia e incontinencia in men who would have died of old age, not cancer.
Moyer VA. Ann Intern Med. 2012;157:120-134
Los números de daño
1
Vidas salvadas de
prostate cancer
per 1000 screened
prostate cancer
per 1000 screened
30-40
Men made impotent
or incontinent
per 1000 screened
or incontinent
per 1000 screened
100+
False positives
(biopsies, anxiety)
per 1000 screened
(biopsies, anxiety)
per 1000 screened
THE REVERSAL
In 2012, the US Preventive Services Task Force recommended against
examen de rutina de PSA. La prueba estaba encontrando demasiadas cosas que no era necesario encontrar.
El árbol de decisiones de detección
Las consecuencias no deseadas de la detección
1000 Men Screened
↓
~120 Positive PSA
↓
~30 Biopsies Show Cancer
↓
~25 Would Never
Have Harmed
Have Harmed
~5 Truly
Aggressive
Aggressive
~880 Negative PSA
↓
Reassured(But ~3 have aggressive cancer missed)
"Y la prueba encontró la sombra,
y el cirujano cortado,
y el hombre vivió—impotente, incontinente—
de un cáncer que nunca habría despertado."
y el cirujano cortado,
y el hombre vivió—impotente, incontinente—
de un cáncer que nunca habría despertado."
La sensibilidad describe la prueba.
La especificidad describe la prueba.
Pero el paciente pregunta:
"I tested positive. What are MY chances?"
La especificidad describe la prueba.
Pero el paciente pregunta:
"I tested positive. What are MY chances?"
Likelihood Ratios
POSITIVE LIKELIHOOD RATIO
LR+ = Sensitivity / (1 - Specificity)
How much more likely is a + result in sick vs healthy?
NEGATIVE LIKELIHOOD RATIO
LR- = (1 - Sensitivity) / Specificity
How much more likely is a - result in sick vs healthy?
El Fagan Nomograma
De la probabilidad previa a la prueba posterior
Pre-Test
Probability
Probability
99%
50%
20%
5%
1%
Likelihood
Ratio
Ratio
100
10
1
0.1
0.01
Post-Test
Probability
Probability
99%
80%
50%
20%
1%
Draw a line from pre-test through LR to find post-test probability
Interpreting Likelihood Ratios
¿Qué potencia tiene esta prueba?
What Is the LR+?
LR+ > 10Strong rule-in
LR+ 5-10Moderate
LR+ 2-5Weak
LR+ 1-2Useless
What Is the LR-?
LR- < 0.1Strong rule-out
LR- 0.1-0.2Moderate
LR- 0.2-0.5Weak
LR- 0.5-1Useless
"La sensibilidad habla de los enfermos.
La especificidad habla de los enfermos. bueno.
But the likelihood ratio answers:
¿Qué significa este resultado para ESTE paciente?"
La especificidad habla de los enfermos. bueno.
But the likelihood ratio answers:
¿Qué significa este resultado para ESTE paciente?"
¿No has visto al niño con fiebre en el pueblo,
la prueba rápida dicho eso negative,
and the Plasmodium ¿eso siguió multiplicándose?
la prueba rápida dicho eso negative,
and the Plasmodium ¿eso siguió multiplicándose?
El problema de la PDR de la malaria
SUB-SAHARAN AFRICA
Malaria kills 600,000 people yearly, mostly children under 5.
Rapid Diagnostic Tests were meant to guide treatment in remote areas without microscopes or laboratories.
But when parasitemia is low—la PDR omite casos. And when P. falciparum elimina el gen HRP2— the RDT sees nothing at all.
Rapid Diagnostic Tests were meant to guide treatment in remote areas without microscopes or laboratories.
But when parasitemia is low—la PDR omite casos. And when P. falciparum elimina el gen HRP2— the RDT sees nothing at all.
WHO. Malaria RDT Performance. 2022
La decisión clínica Árbol
Child with Fever in Malaria-Endemic Area
Febrile Child
↓
Perform RDT
↓
RDT Positive
↓
Tratamiento para la malaria
RDT Negative
↓
Clinical Suspicion?
High
Treat Anyway
or Microscopy
or Microscopy
Low
Look for
Other Cause
Other Cause
Sensitivity Varies by Parasitemia
95%
High parasitemia
(>200/μL)
(>200/μL)
75%
Low parasitemia
(100-200/μL)
(100-200/μL)
50%
Very low
(<100/μL)
(<100/μL)
LA LECCIÓN CLÍNICA
A negative RDT does not rule out malaria in endemic areas.
Clinical judgment must override the test when suspicion is high.
"Y la prueba dijo 'negativo',
y el niño fue enviado a casa,
y los parásitos se multiplicaron en la oscuridad,
y por la mañana el niño no podía despertar."
y el niño fue enviado a casa,
y los parásitos se multiplicaron en la oscuridad,
y por la mañana el niño no podía despertar."
En el año de la pestilencia,
el mundo necesitaba una prueba que era fast.
Pero rápido no es lo mismo que accurate.
el mundo necesitaba una prueba que era fast.
Pero rápido no es lo mismo que accurate.
El veredicto Cochrane
COVID-19 Rapid Antigen Tests (155 Studies Pooled)
| Population | Sensitivity | Missed Cases |
|---|---|---|
| Symptomatic | 73% | 27% missed |
| Asymptomatic | 55% | 45% missed |
| First 7 days of symptoms | 80% | 20% missed |
Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
The False Security Decision Tree
Thanksgiving 2020: What Happened
Family Member Tests Negative
↓
¿Es esta persona realmente negativa?
55% chance if asymptomatic
True NegativeSafe to gather
45% chance if asymptomatic
FALSE NegativeInfectious!
↓
Se reúne con la familiaGrandparents infected
"Y la prueba dijo 'negativo',
y la familia abrazado,
y al final del invierno,
el abuelo fue enterrado."
y la familia abrazado,
y al final del invierno,
el abuelo fue enterrado."
¿No has oído hablar del examen
que encontró cánceres que would never kill,
y condujo a tratamientos que caused more harm than the disease?
que encontró cánceres que would never kill,
y condujo a tratamientos que caused more harm than the disease?
El sobrediagnóstico Problema
3-4
Lives saved
per 10,000 screened
per 10,000 screened
~15
Overdiagnosed
(treated unnecessarily)
(treated unnecessarily)
~500
False alarms
(anxiety, biopsies)
(anxiety, biopsies)
THE QUESTION
Para salvar de 3 a 4 vidas, ~15 mujeres reciben cirugía, radiación y quimioterapia para cánceres que nunca las habrían dañado.
¿Vale la pena esta compensación?
¿Vale la pena esta compensación?
El árbol de decisiones de detección
10,000 mujeres examinadas durante 10 años Años
10,000 Women
↓
~1,000 RecalledAbnormal mammogram
↓
~500 False AlarmAnxiety only
~500 Biopsy~50 cancer found
~9,000 ClearedContinue screening
Of ~50 Cancers Found
~35 Would KillTreatment saves 3-4
~15 Would Never KillOverdiagnosed
"Y la prueba encontró la sombra,
y lo llamó cáncer,
y la mujer fue cortada y quemada—
por una sombra que nunca la habría oscurecido días."
y lo llamó cáncer,
y la mujer fue cortada y quemada—
por una sombra que nunca la habría oscurecido días."
Un estudio puede engañar.
Un estudio puede halagar.
Pero cuando reúnes todos los evidencia—
the truth becomes harder to hide.
Un estudio puede halagar.
Pero cuando reúnes todos los evidencia—
the truth becomes harder to hide.
Why DTA Meta-Analysis Is Different
THE PROBLEM
La sensibilidad y la especificidad son correlated.
When one goes up, the other tends to go down.
No se pueden agrupar por separado como los efectos del tratamiento. Necesitas bivariate model.
No se pueden agrupar por separado como los efectos del tratamiento. Necesitas bivariate model.
La curva SROC
Reading ROC Space
Top-Left CornerPerfect Test
↓ (curve shows trade-off)
Diagonal LineUseless Test (Chance)
LO QUE MUESTRA EL SROC
Each dot = one study's sensitivity & specificity
La curva = resumen de todos los estudios
Closer to top-left = better test
La curva = resumen de todos los estudios
Closer to top-left = better test
"Un estudio puede engañar.
Muchos estudios, ponderados juntos,
trazamos el camino de la verdad:
la curva SROC que revela lo que la prueba realmente puede hacer."
Muchos estudios, ponderados juntos,
trazamos el camino de la verdad:
la curva SROC que revela lo que la prueba realmente puede hacer."
Pero ¿y si los estudios disagree?
One says sensitivity is 95%.
Another says 60%.
¿Qué verdad crees?
One says sensitivity is 95%.
Another says 60%.
¿Qué verdad crees?
Sources of Heterogeneity
Por qué los estudios no están de acuerdo
¿Misma prueba, diferentes resultados?
ThresholdDifferent cutoffs
PopulationSeverity, age
SettingPrimary vs specialist
QualityBias, blinding
Measuring Disagreement: I²
I² < 25%
Low
Studies agree
Studies agree
I² 25-75%
Moderate
Some variation
Some variation
I² > 75%
High
Major disagreement
Major disagreement
THE WARNING
When I² > 75%, the pooled estimate may be meaningless.
Explain the disagreement before averaging.
"Cuando los estudios no están de acuerdo,
no silenciar el disenso.
Ask: Why do they see differently?
El desacuerdo en sí enseña."
no silenciar el disenso.
Ask: Why do they see differently?
El desacuerdo en sí enseña."
Su kit de herramientas DTA
Las medidas esenciales y cuándo usarlas
The Checklist
✓
Was there a valid reference standard?
Gold standard applied to ALL patients?
✓
¿Estaban cegados los intérpretes?
Test readers unaware of diagnosis?
✓
¿Fue apropiado el espectro?
¿Pacientes similares a su población?
✓
¿Fue el ¿umbral preespecificado?
¿O elegidos para maximizar los resultados?
When Results Don't Match Suspicion
The Clinical Override Decision Tree
Test Negative, High Suspicion
↓
What Is the LR-?
LR- < 0.1
Strong rule-outAccept negative
LR- 0.1-0.5
Consider repeat testOr different test
LR- > 0.5
Trust clinical judgmentTest is weak
"Armed with sensitivity, specificity, likelihood,
armado con el SROC y la medida de acuerdo,
puedes ver más allá de la mentira de la prueba—
y juzgar su verdad por "
armado con el SROC y la medida de acuerdo,
puedes ver más allá de la mentira de la prueba—
y juzgar su verdad por "
References
Key Sources
- Carreyrou J. Bad Blood. Knopf, 2018.
- CDC. MMWR. 1987;36(49):833-840. [HIV blood supply]
- Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705. [COVID RAT]
- Moyer VA. Ann Intern Med. 2012;157:120-134. [PSA screening]
- UK Panel. Lancet. 2012;380:1778-1786. [Mammography]
- WHO. Malaria RDT Performance. 2022.
- Reitsma JB et al. J Clin Epidemiol. 2005;58:982-990. [Bivariate model]
- Deeks JJ et al. J Clin Epidemiol. 2005;58:882-893. [Publication bias]
- Macaskill P et al. Cochrane Handbook Ch. 10. 2023.
Una prueba es 99% sensible y 99% específica. La prevalencia de la enfermedad es 1/1000. Un paciente da positivo. ¿Cuál es la probabilidad de que tengan la enfermedad?
99%
90%
About 9%
50%
¿Por qué el suministro de sangre se contaminó con VIH a pesar de las pruebas?
The tests had low specificity
Las pruebas tuvieron un período ventana con baja sensibilidad en la infección temprana
Las pruebas no se realizaron correctamente
Las pruebas fueron demasiado caras
What does "SnNout" mean?
A highly Sensitive test, when Negative, rules OUT disease
A highly Specific test, when Negative, rules OUT disease
Sensitivity should be used for screening
Specificity should be above 90%
✔
Course Complete
"Ahora conoces los cuatro resultados,
las dos virtudes de una prueba,
la falacia de la base tasa,
y el arte de agrupar evidencia.
Cuando la próxima prueba te miente—
lo sabrás."
las dos virtudes de una prueba,
la falacia de la base tasa,
y el arte de agrupar evidencia.
Cuando la próxima prueba te miente—
lo sabrás."
1 / 4