DTA Course > The Fraud
===================== MÓDULO 1: EL FRAUDE (THERANOS) ====================
Diapositiva 1.2: Historia de Theranos
Diapositiva 1.3: El fraude
Diapositiva 1.4: Las víctimas
Diapositiva 1.5: El estribillo
===================== MÓDULO 2: LOS CUATRO RESULTADOS ====================
Diapositiva 2.2: El árbol de decisiones
Diapositiva 2.3: Los cuatro cuadrantes
Diapositiva 2.4: La Mesa 2x2
Diapositiva 2.5: El estribillo
===================== MÓDULO 3: SENSIBILIDAD Y ESPECIFICIDAD =====================
Diapositiva 3.4: La compensación
Diapositiva 3.5: SnNout y SpPin
==================== MÓDULO 4: EL ESCÁNDALO DE LA PRUEBA DE COVID =====================
Diapositiva 4.2: La promesa
Diapositiva 4.3: La realidad
Diapositiva 4.4: La consecuencia
==================== MÓDULO 5: RELACIONES DE PROBABILIDAD ====================
Diapositiva 5.2: El problema con Sens/Spec
===================== MÓDULO 6: LA CONTROVERSIA DE LA MAMOGRAFÍA ====================
Diapositiva 6.2: La promesa del screening
Diapositiva 6.4: Los números
==================== MÓDULO 7: META-ANÁLISIS DE DTA ====================
Diapositiva 7.3: El modelo bivariado
==================== MÓDULO 9: EL DTA KIT DE HERRAMIENTAS ====================
Diapositiva 9.2: Las medidas
Diapositiva 9.3: Herramientas y software
Diapositiva 9.4: La lista de verificación
==================== MÓDULO 10: HISTORIAS DE DECISIONES DEL MUNDO REAL ====================
¿No has oído la historia de la mujer
who promised to cambia el mundo con una gota de sangre,
who raised billions on a test that never worked?
who promised to cambia el mundo con una gota de sangre,
who raised billions on a test that never worked?
Palo Alto, 2003
STANFORD UNIVERSITY
A Un joven de diecinueve años abandonó la universidad con una visión: un dispositivo que podía realizar cientos de análisis de sangre con una sola gota, pinchada sin dolor con un dedo.
No more needles. No more vials. No more waiting.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
No more needles. No more vials. No more waiting.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Carreyrou J. Bad Blood: Secrets and Lies in a Silicon Valley Startup. 2018
Pero las pruebas lied.
$9 Billion
Built on a test that didn't work
WHAT HAPPENED
Las máquinas de Theranos dio wrong results. A los pacientes se les dijo que tenían VIH cuando no era así. A los pacientes se les dijo que su sangre era normal cuando estaban dying. La empresa ocultó la verdad para 15 years.
The Victims
PHOENIX, ARIZONA
A una mujer embarazada le dijeron que su bebé nacería con una anomalía cromosómica. Se estaba preparando para lo peor. Estaba de luto.
La prueba fue incorrecta. El bebé estaba sano.
But how many women, receiving the same news, made different decisions?
La prueba fue incorrecta. El bebé estaba sano.
But how many women, receiving the same news, made different decisions?
THE QUESTION
How do we know when a test is telling the truth?
How do we measure a test's honesty?
"Y la prueba mintió,
y la mentira se vistió de certeza,
y nadie cuestionó el números."
y la mentira se vistió de certeza,
y nadie cuestionó el números."
Es por eso que estudiamos la precisión de las pruebas de diagnóstico.
When a test gives a result,
hay solo four possible truths.
Dos son bendiciones. Dos son maldiciones.
hay solo four possible truths.
Dos son bendiciones. Dos son maldiciones.
El árbol de resultados
Every Test Result Has a Reality Behind It
Patient Tested
↓
Test Says: POSITIVE
"You have it"
Test Says: NEGATIVE
"You're clear"
↓
TP
FP
FN
TN
Has disease
Test: Positive
Test: Positive
No disease
Test: Positive
Test: Positive
Has disease
Test: Negative
Test: Negative
No disease
Test: Negative
Test: Negative
Los cuatro Verdades
True Positive (TP)
Sick person correctly identified.
La prueba dijo la verdad.
False Positive (FP)
Healthy person wrongly alarmed.
La prueba mintió.
False Negative (FN)
Sick person wrongly reassured.
La mentira más mortífera.
True Negative (TN)
Healthy person correctly cleared.
La prueba dijo la verdad.
Lo Sagrado Tabla
La matriz de confusión 2x2
| Disease Present | Disease Absent | |
|---|---|---|
| Test Positive | TP True Positive |
FP False Positive |
| Test Negative | FN False Negative |
TN True Negative |
REMEMBER
Cada estudio de diagnóstico debe informar estos four numbers.
Without them, you cannot judge a test.
"Two outcomes save. Two outcomes harm.
Know them by name.
TP, TN: la prueba decía la verdad.
FP, FN: la prueba mintió."
Know them by name.
TP, TN: la prueba decía la verdad.
FP, FN: la prueba mintió."
A test has two virtues and two vices.
Sensitivity asks: Can it find the sick?
Specificity asks: Can it spare the healthy?
Sensitivity asks: Can it find the sick?
Specificity asks: Can it spare the healthy?
Sensitivity
"De todos los enfermos, ¿cuántos hicieron la prueba? ¿captura?"
THE FORMULA
Sensitivity = TP / (TP + FN)
True Positives divided by All Diseased
IN SIMPLE WORDS
Si 100 personas tienen cáncer y la prueba encuentra 90 de ellas,
sensitivity = 90%.
High sensitivity = few false negatives = few missed cases.
High sensitivity = few false negatives = few missed cases.
Specificity
"De todos los sanos, ¿a cuántos perdonó la prueba?"
THE FORMULA
Specificity = TN / (TN + FP)
True Negatives divided by All Non-Diseased
IN SIMPLE WORDS
Si 100 personas están sanas y la prueba dice correctamente "negativo" para 95 de ellas,
specificity = 95%.
High specificity = few false positives = few false alarms.
High specificity = few false positives = few false alarms.
Los crueles Compensación
THE DILEMMA
A test cannot have both perfect sensitivity AND perfect specificity.
Lower the threshold to catch more sick people? You'll alarm more healthy people.
Raise the threshold to spare healthy people? You'll miss more sick people.
This is the threshold effect—el balancín del diagnóstico.
Lower the threshold to catch more sick people? You'll alarm more healthy people.
Raise the threshold to spare healthy people? You'll miss more sick people.
This is the threshold effect—el balancín del diagnóstico.
Las reglas de la memoria
Sn
SnNout: Sensitive tests rule OUT
A highly sensitive test, when negative, rules out disease. If it didn't find it, it's probably not there.
Sp
SpPin: Specific tests rule IN
Una prueba altamente específica, cuando es positiva, gobierna la enfermedad. Si dice que lo tienes, probablemente lo tengas.
REMEMBER
SnNout: Sensitive Negative rules OUT
SpPin: Specific Positive rules IN
SpPin: Specific Positive rules IN
"La sensibilidad atrapa a los enfermos.
La especificidad salva el pozo.
But no test masters both perfectly—
Esta es la carga que debemos oso."
La especificidad salva el pozo.
But no test masters both perfectly—
Esta es la carga que debemos oso."
En el año 2020, cuando la pestilencia arrasó el tierra,
el mundo necesitaba una prueba que pudiera encontrar a los infectados rápidamente.
But what if the rapid test missed too many?
el mundo necesitaba una prueba que pudiera encontrar a los infectados rápidamente.
But what if the rapid test missed too many?
La promesa de las pruebas rápidas
15 min
Results Time
$5
Cost per Test
Home
Self-Administered
THE HOPE
Rapid antigen tests could be used at home, at work, before gatherings.
They could stop outbreaks before they started.
The Reality
REVISIÓN SISTEMÁTICA COCHRANE, 2022
Cuando los investigadores combinaron datos de 155 estudios sobre pruebas rápidas de antígenos de COVID-19:
En personas CON síntomas:
Sensitivity: 73% (missed 27% of cases)
In people WITHOUT symptoms:
Sensitivity: 55% (missed 45% of cases)
Casi la mitad de los infectados asintomáticos a las personas se les dijo que estaban claros.
En personas CON síntomas:
Sensitivity: 73% (missed 27% of cases)
In people WITHOUT symptoms:
Sensitivity: 55% (missed 45% of cases)
Casi la mitad de los infectados asintomáticos a las personas se les dijo que estaban claros.
Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
Los falsos negativos se propagan
1
Thanksgiving Dinners
Families tested negative in the morning, gathered indoors, unknowingly infected grandparents
2
Workplace Outbreaks
Workers tested negative, came to work, infected colleagues in the break room
3
Hospital Transmission
Patients tested negative, admitted to wards, infected vulnerable patients
THE LESSON
A 55% sensitivity means 45% false negative rate.
False negatives are invisible. They feel safe. They spread disease.
"Y la prueba dijo 'negativo',
y la familia se reunieron,
y el abuelo abrazó a sus nietos,
y al final del invierno, ya no estaba."
y la familia se reunieron,
y el abuelo abrazó a sus nietos,
y al final del invierno, ya no estaba."
La sensibilidad y la especificidad describen la prueba.
Pero el paciente hace una pregunta diferente:
"I tested positive. What are my chances?"
Pero el paciente hace una pregunta diferente:
"I tested positive. What are my chances?"
The Disconnect
A DOCTOR'S DILEMMA
A test has 99% sensitivity and 95% specificity. Sounds excellent.
Su paciente da positivo para una enfermedad rara (prevalencia 1 en 1000).
Question: ¿Cuál es la probabilidad de que realmente tenga la enfermedad?
La mayoría de los médicos dicen que 95%. ¿La verdadera respuesta? About 2%.
Su paciente da positivo para una enfermedad rara (prevalencia 1 en 1000).
Question: ¿Cuál es la probabilidad de que realmente tenga la enfermedad?
La mayoría de los médicos dicen que 95%. ¿La verdadera respuesta? About 2%.
Likelihood Ratios
How much a test result changes the odds
POSITIVE LIKELIHOOD RATIO
LR+ = Sensitivity / (1 - Specificity)
How much more likely is a positive result in sick vs healthy?
NEGATIVE LIKELIHOOD RATIO
LR- = (1 - Sensitivity) / Specificity
How much more likely is a negative result in sick vs healthy?
What Good LRs Look Like
LR+ > 10
Strong rule-in
LR+ 5-10
Moderate rule-in
LR+ 2-5
Weak evidence
LR- < 0.1
Strong rule-out
LR- 0.1-0.2
Moderate rule-out
LR- 0.2-0.5
Weak evidence
"Sensitivity tells how many sick the test will catch.
Specificity tells how many well it will spare.
But only the likelihood ratio answers:
¿Qué significa este resultado para ESTE paciente?"
Specificity tells how many well it will spare.
But only the likelihood ratio answers:
¿Qué significa este resultado para ESTE paciente?"
¿No has escuchado la controversia del screening
that found too much?
When does finding disease become causing harm?
that found too much?
When does finding disease become causing harm?
El sueño de la detección temprana
1970s - PRESENT
La lógica era hermosa: encontrar el cáncer temprano, tratarlo temprano, salvar vidas.
Mammography could detect tumors too small to feel.
A las mujeres se les dijo: "Annual mammograms save lives."
But what if some of those "cancers" would never have killed?
Mammography could detect tumors too small to feel.
A las mujeres se les dijo: "Annual mammograms save lives."
But what if some of those "cancers" would never have killed?
La maldición del sobrediagnóstico
19-30%
of screen-detected breast cancers may be overdiagnosed
WHAT IS OVERDIAGNOSIS?
Encontrar un "cáncer" que never have caused symptoms or death
durante la vida de la persona toda su vida.
La mujer es diagnosticada, tratada con cirugía, radiación, quimioterapia— para una enfermedad que nunca la habría dañado.
La mujer es diagnosticada, tratada con cirugía, radiación, quimioterapia— para una enfermedad que nunca la habría dañado.
Independent UK Panel on Breast Cancer Screening. Lancet. 2012;380:1778-1786
Por cada 10,000 mujeres Examinado
3-4
Lives saved
de cáncer de mama
de cáncer de mama
~15
Overdiagnosed
(treated unnecessarily)
(treated unnecessarily)
~500
False alarms
(anxiety, biopsies)
(anxiety, biopsies)
THE TRADE-OFF
To save 3-4 lives, debes aceptar que ~15 women
recibirá tratamiento para cánceres que nunca les habrían hecho daño, y ~500 women will experience false alarms.
¿Es este un buen intercambio? La respuesta depende de los valores, no solo números.
¿Es este un buen intercambio? La respuesta depende de los valores, no solo números.
"Y la prueba encontró lo que estaba oculto,
y lo llamó enfermedad,
y la mujer fue cortada, quemada y envenenada—
por una sombra que nunca la habría oscurecido días."
y lo llamó enfermedad,
y la mujer fue cortada, quemada y envenenada—
por una sombra que nunca la habría oscurecido días."
Este es el problema del sobrediagnóstico.
Un estudio puede mentir. Un estudio puede ser halagador.
Pero cuando reúnes todos los estudios,
cuando sopesas su evidencia en conjunto—
The truth becomes harder to hide.
Pero cuando reúnes todos los estudios,
cuando sopesas su evidencia en conjunto—
The truth becomes harder to hide.
¿Por qué agrupar la evidencia?
1
More Precision
Combining studies gives narrower confidence intervals, reducing uncertainty
2
Detect Heterogeneity
Why do different studies give different answers? Setting? Population? Threshold?
3
Expose Publication Bias
¿Se están ocultando los estudios negativos? Los gráficos de embudo revelan asimetría
4
Explore Thresholds
Build SROC curves to understand the sensitivity-specificity trade-off
El modelo bivariado
WHY IT'S SPECIAL
No se puede combinar la sensibilidad y la especificidad por separado.
They are correlated: cuando una sube, la otra tiende a bajar (el umbral efecto).
The bivariate model tiene en cuenta esta correlación, dando estimaciones agrupadas válidas.
They are correlated: cuando una sube, la otra tiende a bajar (el umbral efecto).
The bivariate model tiene en cuenta esta correlación, dando estimaciones agrupadas válidas.
Reitsma JB et al. J Clin Epidemiol. 2005;58:982-990
La curva ROC resumen
ROC Space
Perfect test
1-Specificity (FPR) →
Cada punto = un estudio
La curva muestra la compensación
Higher = better test
La curva muestra la compensación
Higher = better test
↓ Sensitivity
Useless test (chance line)
LEER EL SROC
Top-left corner = perfect test (100% sens, 100% spec)
Diagonal line = useless test (random guessing)
The curve = resumen del rendimiento de todos los estudios
Diagonal line = useless test (random guessing)
The curve = resumen del rendimiento de todos los estudios
"Un estudio puede engañar. Muchos estudios, ponderados en conjunto,
comienzan a revelar la verdad.
La curva SROC es el camino de evidencia—
showing what the test can truly do."
comienzan a revelar la verdad.
La curva SROC es el camino de evidencia—
showing what the test can truly do."
Pero ¿y si los estudios disagree?
Un estudio dice que la sensibilidad es del 95%.
Another says 60%.
¿Qué verdad crees?
Un estudio dice que la sensibilidad es del 95%.
Another says 60%.
¿Qué verdad crees?
Heterogeneidad: el desacuerdo
DEFINITION
Heterogeneity es la variación entre estudios que no se puede explicar solo por casualidad.
High heterogeneity means los estudios miden diferentes cosas— or the test performs differently in different settings.
High heterogeneity means los estudios miden diferentes cosas— or the test performs differently in different settings.
Por qué los estudios no están de acuerdo
T
Threshold Differences
Diferentes límites para un resultado "positivo" (por ejemplo, diferentes umbrales de HbA1c para la diabetes)
P
Population Differences
Disease severity, age, comorbidities differ between studies
S
Setting Differences
Primary care vs. specialist clinic vs. emergency room
Q
Quality Differences
Risk of bias, verification bias, spectrum bias
Medición del desacuerdo
I² < 25%
Low heterogeneity
Studies agree
Studies agree
I² 25-75%
Moderate
Some disagreement
Some disagreement
I² > 75%
High heterogeneity
Major disagreement
Major disagreement
THE WARNING
When I² > 75%, the pooled estimate may be meaningless.
No se pueden promediar manzanas y naranjas. Debes explain why studies differ before pooling them.
No se pueden promediar manzanas y naranjas. Debes explain why studies differ before pooling them.
"Cuando los estudios no están de acuerdo,
no silenciar el disenso.
Ask: Why do they see differently?
El desacuerdo en sí enseña."
no silenciar el disenso.
Ask: Why do they see differently?
El desacuerdo en sí enseña."
Su kit de herramientas DTA
Las medidas esenciales y cuándo usarlas
Essential Metrics
1
Sensitivity & Specificity
How well the test performs on sick vs. healthy people
2
Likelihood Ratios (LR+, LR-)
How much a result changes the probability of disease
3
Diagnostic Odds Ratio (DOR)
Single measure of test discrimination (DOR = LR+ / LR-)
4
Área bajo el SROC Curva (AUC)
Overall test performance across all thresholds (0.5 = useless, 1.0 = perfect)
Herramientas del oficio
mada
R package for
bivariate meta-analysis
bivariate meta-analysis
metaDTA
Stata module
para revisiones de DTA
para revisiones de DTA
DTA Pro
Browser-based
herramienta de acceso abierto
herramienta de acceso abierto
EL ESTÁNDAR REFERENCIAS
Reitsma et al. 2005 - Bivariate model
Rutter & Gatsonis 2001 - HSROC model
Cochrane Handbook Ch. 10 - DTA methods
Rutter & Gatsonis 2001 - HSROC model
Cochrane Handbook Ch. 10 - DTA methods
Antes de confiar en un estudio DTA
✓
Was there a valid reference standard?
Gold standard test applied to all patients?
✓
¿Estaban cegados los intérpretes?
Test readers unaware of diagnosis, and vice versa?
✓
¿Fue apropiado el espectro?
Patients similar to your clinical population?
✓
¿Fue el ¿umbral preespecificado?
¿O se eligió para maximizar los resultados?
"Armed with sensitivity, specificity, likelihood,
armado con el SROC y la medida de acuerdo,
puedes ver más allá de la mentira de la prueba—
y juzgar su verdad por "
armado con el SROC y la medida de acuerdo,
puedes ver más allá de la mentira de la prueba—
y juzgar su verdad por "
========== HISTORIA 1: EL ESPEJISMO DE THERANOS ==========
Diapositiva 10.2: Caja de datos reales
Diapositiva 10.4: La revelación
========== HISTORIA 2: EL CAOS DE LA PRUEBA RÁPIDA DE COVID ==========
Diapositiva 10.6: Cuadro de datos reales
Diapositiva 10.8: La Revelación
========== HISTORIA 3: LA CONTROVERSIA DE LA MAMOGRAFÍA ==========
Diapositiva 10.10: Cuadro de datos reales
Diapositiva 10.12: La revelación
========== HISTORIA 4: LA PARADOJA DEL PSA ==========
Diapositiva 10.14: Cuadro de datos reales
Diapositiva 10.16: La revelación
========== HISTORIA 5: LA PRUEBA DE TB EN DOS POBLACIONES ==========
Diapositiva 10.18: Cuadro de datos reales
Diapositiva 10.20: La Revelación
Diapositiva 10.21: Resumen del módulo
==================== MÓDULO 11: REFERENCIAS Y EXAMEN =====================
Have you considered what happens when a test promises everything?
When a machine claims to see what no other machine can see,
y nadie pregunta: "Muéstrame la prueba"?
When a machine claims to see what no other machine can see,
y nadie pregunta: "Muéstrame la prueba"?
El espejismo de Theranos
REAL DATA: FDA INSPECTION FINDINGS
Theranos claimed: 200+ tests from a single finger prick
FDA found:
• Results varied by 146% between runs on the same sample
• Edison machines failed 87% of proficiency tests
• Zero estudios de validación revisados por pares publicados
• Los pacientes recibieron resultados positivos para el VIH en muestras que fueron negativas
FDA found:
• Results varied by 146% between runs on the same sample
• Edison machines failed 87% of proficiency tests
• Zero estudios de validación revisados por pares publicados
• Los pacientes recibieron resultados positivos para el VIH en muestras que fueron negativas
Sources: FDA Warning Letter 2016; Carreyrou J. Bad Blood. 2018; CMS Inspection Reports.
El árbol de decisiones
Eres administrador de un hospital. Theranos le ofrece un contrato.
¿Qué elige?
Theranos Contract Offered
↓
PATH A: Trust Marketing Claims
↓
Firme el contrato
↓
Misdiagnose thousands
Face lawsuits
Harm patients
Face lawsuits
Harm patients
RUTA B: Datos de validación de la demanda
↓
No encuentre estudios revisados por pares
↓
Rechazar el contrato
Proteja a sus pacientes
Avoid Scandal
Proteja a sus pacientes
Avoid Scandal
THE REVELATION
Elizabeth Holmes never validated a single test externally.
A $9 billion valuation became a criminal fraud conviction.
Cada hospital que exigió datos de validación antes de firmar
fue protegido de la mentira.
Cada hospital que confió en el marketing
became complicit in harming patients.
A $9 billion valuation became a criminal fraud conviction.
Cada hospital que exigió datos de validación antes de firmar
fue protegido de la mentira.
Cada hospital que confió en el marketing
became complicit in harming patients.
THE LESSON
No peer-reviewed validation = No trust.
La ausencia de evidencia no es un problema de marketing.
It is a patient safety emergency.
La ausencia de evidencia no es un problema de marketing.
It is a patient safety emergency.
When speed defeats accuracy,
quién paga el precio?
The test result comes in 15 minutes.
Pero ¿qué pasa si el resultado es 15 minutes of false confidence?
quién paga el precio?
The test result comes in 15 minutes.
Pero ¿qué pasa si el resultado es 15 minutes of false confidence?
The COVID Rapid Test Chaos
DATOS REALES: FABRICANTE VS. REALIDAD
Manufacturer claims: 97% sensitivity
Real-world performance (Cochrane 2022):
• Symptomatic individuals: 73% sensitivity (missed 27%)
• Asymptomatic individuals: 58% sensitivity (missed 42%)
• Early infection (days 0-3): ~50% sensitivity
A casi la mitad de las personas infectadas asintomáticas se les dijo que estaban "limpias".
Real-world performance (Cochrane 2022):
• Symptomatic individuals: 73% sensitivity (missed 27%)
• Asymptomatic individuals: 58% sensitivity (missed 42%)
• Early infection (days 0-3): ~50% sensitivity
A casi la mitad de las personas infectadas asintomáticas se les dijo que estaban "limpias".
Source: Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
El árbol de decisiones
Usted es enfermera escolar durante un aumento de COVID. Un maestro sintomático da negativo en una prueba rápida.
¿Qué elige?
Symptomatic Teacher + Negative Rapid Test
↓
PATH A: Trust the Negative Result
↓
Send Teacher to Class
↓
Outbreak infects 30 students
School closure
Three hospitalizations
School closure
Three hospitalizations
PATH B: Remember Sensitivity Limits
↓
Require PCR Confirmation
↓
PCR positive confirmed
Teacher isolates
Outbreak prevented
Teacher isolates
Outbreak prevented
THE REVELATION
A negative test no significa no infection.
It means: "not detected."
La diferencia entre estas dos frases
is measured in lives.
It means: "not detected."
La diferencia entre estas dos frases
is measured in lives.
THE LESSON
When sensitivity is 58%, a negative result in a symptomatic person
is almost meaningless.
SnNout only works when sensitivity is HIGH.
Know your test's limits before trusting its verdict.
is almost meaningless.
SnNout only works when sensitivity is HIGH.
Know your test's limits before trusting its verdict.
Puede una prueba que finds cancer
still cause harm?
¿Qué pasa si el cáncer que encuentra
would never have hurt you?
still cause harm?
¿Qué pasa si el cáncer que encuentra
would never have hurt you?
La mamografía Controversia
DATOS REALES: LA PARADOJA DEL CRIBADO
Test characteristics:
Sensitivity: ~85% | Specificity: ~90%
Para 1.000 mujeres examinadas anualmente durante 10 años:
• 1 death prevented de cáncer de mama
• 5 women overtreated para cánceres que nunca les habrían hecho daño
• 100-500 false alarms leading to biopsies, anxiety, repeat imaging
Overdiagnosis rate: 19-30% of screen-detected cancers
Sensitivity: ~85% | Specificity: ~90%
Para 1.000 mujeres examinadas anualmente durante 10 años:
• 1 death prevented de cáncer de mama
• 5 women overtreated para cánceres que nunca les habrían hecho daño
• 100-500 false alarms leading to biopsies, anxiety, repeat imaging
Overdiagnosis rate: 19-30% of screen-detected cancers
Source: Independent UK Panel on Breast Cancer Screening. Lancet. 2012;380:1778-1786
El árbol de decisiones
A 45-year-old woman asks your advice on mammography screening.
¿Qué elige?
Patient Asks: "Should I Get Annual Mammograms?"
↓
PATH A: Recommend Without Context
↓
Small Tumor Found
↓
Mastectomy performed
El tumor era indolente (DCIS)
Would never have harmed her
El tumor era indolente (DCIS)
Would never have harmed her
PATH B: Explain Trade-offs
↓
Shared Decision-Making
↓
Patient makes informed choice
Comprende los beneficios Y los daños
Autonomy preserved
Comprende los beneficios Y los daños
Autonomy preserved
THE REVELATION
La precisión de la prueba no es la única métrica.
A test can be accurate y aún causa harm.
When overdiagnosis exceeds lives saved,
we must ask: Is finding always helping?
A test can be accurate y aún causa harm.
When overdiagnosis exceeds lives saved,
we must ask: Is finding always helping?
THE LESSON
El daño de falsos positivos y sobrediagnóstico
puede exceder el beneficio de true positives.
Always weigh benefits against harms.
La detección no siempre es salvadora.
puede exceder el beneficio de true positives.
Always weigh benefits against harms.
La detección no siempre es salvadora.
What if finding the disease
is worse than missing it?
What if the treatment causes more suffering
than the disease ever would?
is worse than missing it?
What if the treatment causes more suffering
than the disease ever would?
La paradoja del PSA
DATOS REALES: LA TRAMPA DEL UMBRAL
PSA cutoff of 4.0 ng/mL:
• Sensibilidad para el cáncer de alto grado: 21%
• Detects many indolent cancers that would never harm
Lower cutoff to 2.5 ng/mL:
• Sensitivity rises to: 40%
• But overdiagnosis doubles
Treatment consequences:
• 20-30% of men experience incontinence after prostatectomy
• 30-70% experience erectile dysfunction
• Sensibilidad para el cáncer de alto grado: 21%
• Detects many indolent cancers that would never harm
Lower cutoff to 2.5 ng/mL:
• Sensitivity rises to: 40%
• But overdiagnosis doubles
Treatment consequences:
• 20-30% of men experience incontinence after prostatectomy
• 30-70% experience erectile dysfunction
Source: US Preventive Services Task Force. JAMA. 2018;319(18):1901-1913
El árbol de decisiones
Usted está estableciendo una política de detección de PSA para un sistema de salud. Tres caminos se encuentran ante ti.
¿Qué umbral eliges?
PSA Screening Policy Decision
↓
PATH A: Low Threshold (2.5)
↓
Maximize sensitivity
Thousands of unnecessary
biopsias y tratamientos
Thousands of unnecessary
biopsias y tratamientos
PATH B: High Threshold (4.0)
↓
Miss some cancers
But most missed are indolent
Fewer unnecessary treatments
But most missed are indolent
Fewer unnecessary treatments
PATH C: Abandon PSA Screening
↓
Miss aggressive cancers
Some preventable deaths
No overtreatment harm
Some preventable deaths
No overtreatment harm
THE REVELATION
There is no "right" cutoff.
Every threshold trades sensibilidad para especificidad,
detección de sobrediagnóstico.
La elección no es médica. Es ethical.
Depende de los daños que estés dispuesto a aceptar.
Every threshold trades sensibilidad para especificidad,
detección de sobrediagnóstico.
La elección no es médica. Es ethical.
Depende de los daños que estés dispuesto a aceptar.
THE LESSON
El efecto umbral no es un problema técnico.
It is a values problem.
Before choosing a cutoff, ask:
What is worse: missing disease or overtreating the healthy?
It is a values problem.
Before choosing a cutoff, ask:
What is worse: missing disease or overtreating the healthy?
La misma prueba. El mismo límite.
Different truths.
How can identical numbers
mean opposite things?
Different truths.
How can identical numbers
mean opposite things?
La prueba de tuberculosis en dos poblaciones
REAL DATA: SAME TEST, DIFFERENT MEANING
Tuberculin Skin Test (10mm cutoff)
Sensitivity: ~80% | Specificity: ~95%
In high-prevalence setting (TB prevalence 10%):
• Positive Predictive Value: 85%
• A positive test usually means TB
In low-prevalence setting (TB prevalence 0.1%):
• Positive Predictive Value: 15%
• A positive test is usually a false positive
Sensitivity: ~80% | Specificity: ~95%
In high-prevalence setting (TB prevalence 10%):
• Positive Predictive Value: 85%
• A positive test usually means TB
In low-prevalence setting (TB prevalence 0.1%):
• Positive Predictive Value: 15%
• A positive test is usually a false positive
Source: Pai M et al. Lancet Infect Dis. 2014;14(8):765-773
El árbol de decisiones
Usted es un médico en Londres que atiende a un inmigrante de un país con un alto nivel de tuberculosis. La TST es positiva.
¿Qué concluyes?
Positive TST in Immigrant Patient
↓
PATH A: Apply UK Population PPV
↓
Assume "Probably False Positive"
↓
Miss active TB
Patient infects family
Retrasa el diagnóstico por meses
Patient infects family
Retrasa el diagnóstico por meses
PATH B: Consider Patient's Pre-Test Probability
↓
Recognize PPV Depends on Prevalence
↓
Investigate further
Chest X-ray, sputum
Treat early if confirmed
Chest X-ray, sputum
Treat early if confirmed
THE REVELATION
Sensibilidad y especificidad are properties of the test.
PPV y VPN are properties of the population.
El mismo resultado significa different things
in different people.
PPV y VPN are properties of the population.
El mismo resultado significa different things
in different people.
THE LESSON
Never interpret a test result without knowing the pre-test probability.
A positive test in a high-risk patient means disease.
The same positive in a low-risk patient means probably nothing.
Context is everything.
A positive test in a high-risk patient means disease.
The same positive in a low-risk patient means probably nothing.
Context is everything.
Five Stories, Five Lessons
1
Theranos: Demand Validation
No peer-reviewed data = no trust, regardless of marketing claims
2
COVID Rapid Tests: Know Sensitivity Limits
"No detectado" no es lo mismo que "no infectado"
3
Mammography: Weigh Benefits vs. Harms
Finding is not always helping; overdiagnosis causes real harm
4
PSA: The Threshold is a Values Choice
Cada el límite intercambia sensibilidad por especificidad; no hay una respuesta "correcta"
5
TB Test: Context Determines Meaning
The same result means different things in different populations
References
Fuentes clave citadas en este Curso
- Carreyrou J. Bad Blood: Secrets and Lies in a Silicon Valley Startup. Knopf, 2018.
- Dinnes J, et al. Rapid, point-of-care antigen tests for diagnosis of SARS-CoV-2 infection. Cochrane Database Syst Rev. 2022;7:CD013705.
- Panel Independiente del Reino Unido sobre Detección de Cáncer de Mama. Los beneficios y daños de la detección del cáncer de mama. Lancet. 2012;380:1778-1786.
- Reitsma JB, et al. El análisis bivariado de sensibilidad y especificidad produce medidas resumidas informativas en las revisiones de diagnóstico. J Clin Epidemiol. 2005;58:982-990.
- Rutter CM, Gatsonis CA. A hierarchical regression approach to meta-analysis of diagnostic test accuracy evaluations. Stat Med. 2001;20:2865-2884.
- Deeks JJ, et al. The performance of tests of publication bias in systematic reviews of diagnostic test accuracy. J Clin Epidemiol. 2005;58:882-893.
- Macaskill P, et al. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy. Chapter 10. 2023.
- Higgins JPT, Thompson SG. Quantifying heterogeneity in a meta-analysis. Stat Med. 2002;21:1539-1558.
- US Food and Drug Administration. Warning Letter to Theranos Inc. 2016.
- US Preventive Services Task Force. Screening for Prostate Cancer. JAMA. 2018;319(18):1901-1913.
- Pai M, et al. Tuberculosis. Lancet Infect Dis. 2014;14(8):765-773.
En la historia de Theranos, ¿cuál fue el problema fundamental con sus análisis de sangre?
Eran demasiado caros
Daron resultados incorrectos que podrían dañar a los pacientes
Eran demasiado lento
They required too much blood
A COVID rapid test has 55% sensitivity in asymptomatic people. What does this mean?
55% de los resultados positivos son correctos
La prueba funciona el 55% de las veces
The test misses 45% of infected asymptomatic people
55% de los resultados negativos son incorrectos
What does "SnNout" mean?
A highly Sensitive test, when Negative, rules OUT disease
A highly Specific test, when Negative, rules OUT disease
A sensitive test should be used for screening
La sensibilidad y la especificidad son negativas correlacionado
¿Por qué no se puede agrupar la sensibilidad y la especificidad por separado en el metanálisis?
They use different scales
Están correlacionados debido al efecto umbral
They come from different populations
It's computationally too difficult
✔
Course Complete
"Ahora conoces los cuatro resultados,
las dos virtudes de una prueba,
la cruel compensación del umbral,
y el arte de agrupar evidencia.
Cuando la próxima prueba te miente—
you will know how to see through it."
las dos virtudes de una prueba,
la cruel compensación del umbral,
y el arte de agrupar evidencia.
Cuando la próxima prueba te miente—
you will know how to see through it."
Cuando te miente la prueba—Ahora lo sabes.
1 / 5