DTA > The Fraud
==================== MODULO 1: LA FRODE ====================
==================== MODULO 2: I QUATTRO RISULTATI ====================
==================== MODULO 3: PERIODO FINESTRA HIV ====================
==================== MODULO 4: SENSIBILITÀ E SPECIFICITÀ ====================
==================== MODULO 5: L'ERRORE DELLA TARATURA BASE ====================
==================== MODULO 6: LA POLEMICA DEL PSA ====================
==================== MODULO 7: RAPPORTI DI PROBABILITÀ ====================
==================== MODULO 8: RDT MALARIA ====================
==================== MODULO 9: TEST RAPIDI COVID ====================
==================== MODULO 13: IL TOOLKIT ====================
==================== MODULO 14: QUIZ E RIFERIMENTI ====================
Non hai sentito la storia della donna
who promised to cambiare il mondo con una goccia di sangue,
who raised billions on a test that never worked?
who promised to cambiare il mondo con una goccia di sangue,
who raised billions on a test that never worked?
Palo Alto, 2003
STANFORD UNIVERSITY
Un diciannovenne si è ritirato con una visione: centinaia di sangue test da una singola goccia.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Ma i test hanno dato risultati errati. Ai pazienti veniva detto che avevano l'HIV quando non era così. Ai pazienti è stato detto che il loro sangue era normale quando erano dying.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Ma i test hanno dato risultati errati. Ai pazienti veniva detto che avevano l'HIV quando non era così. Ai pazienti è stato detto che il loro sangue era normale quando erano dying.
Carreyrou J. Bad Blood. 2018
L'albero decisionale dell'inganno
What Theranos Did vs. What Should Happen
New Diagnostic Test
↓
SHOULD DO
Validate Against Gold Standard
↓
Publish TP/FP/FN/TN
↓
FDA Approval
THERANOS DID
Skip Validation
↓
Hide Failures
↓
Harm Patients
"E il test mentì,
e la menzogna era vestita di certezza,
e nessuno ha chiesto la tabella 2x2."
e la menzogna era vestita di certezza,
e nessuno ha chiesto la tabella 2x2."
Ecco perché studiamo l'accuratezza dei test diagnostici.
When a test speaks,
ci sono solo four possible truths.
Due sono benedizioni. Due sono maledizioni.
ci sono solo four possible truths.
Due sono benedizioni. Due sono maledizioni.
L'albero dei risultati
Every Test Result Has a Reality Behind It
Patient Tested
↓
Qual è la VERITÀ?
Has Disease
D+
↓
TPTest +
FNTest -
No Disease
D-
↓
FPTest +
TNTest -
Il Sacro 2x2 Tabella
HIV Rapid Test Example (Real Data)
| HIV+ | HIV- | Total | |
|---|---|---|---|
| Test + | 98 | 3 | 101 |
| Test - | 2 | 895 | 897 |
| Total | 100 | 898 | 998 |
DA QUESTA TABELLA NASCE TUTTA LA VERITÀ
Sensitivity = 98/100 = 98%
Specificity = 895/898 = 99.7%
Specificity = 895/898 = 99.7%
"Two outcomes save. Two outcomes harm.
TP, TN: il test ha parlato vero.
FP, FN: il test ha mentito.
Know them by name, for they determine fate."
TP, TN: il test ha parlato vero.
FP, FN: il test ha mentito.
Know them by name, for they determine fate."
Non hai sentito parlare del sangue che fu analizzato,
found clean,
e donato a migliaia di persone—
while death swam within it?
found clean,
e donato a migliaia di persone—
while death swam within it?
La crisi dell'approvvigionamento di sangue, 1985
UNITED STATES
When HIV testing began, doctors celebrated: they could now screen the blood supply.
Ma il test aveva a window period—settimane dopo l'infezione quando il virus era presente ma undetectable.
Il sangue è stato testato. Il sangue è stato "negativo". Il sangue è stato trasfuso.
8,000-12,000 Americans sono stati infettati tramite trasfusioni prima che test migliori chiudessero la finestra.
Ma il test aveva a window period—settimane dopo l'infezione quando il virus era presente ma undetectable.
Il sangue è stato testato. Il sangue è stato "negativo". Il sangue è stato trasfuso.
8,000-12,000 Americans sono stati infettati tramite trasfusioni prima che test migliori chiudessero la finestra.
CDC. MMWR. 1987;36(49):833-840
The Window Period Decision Tree
Why False Negatives Are Deadly
Person Recently Infected
↓
Time Since Infection?
< 2 weeks
Test NEGATIVEVirus present!
↓
Blood DonatedOthers infected
> 4 weeks
Test POSITIVECorrectly detected
↓
Blood DiscardedSupply safe
La sensibilità cambia Ora
0%
Day 1-7
Eclipse period
Eclipse period
~50%
Day 14
Seroconversion
Seroconversion
~95%
Day 21
Most detected
Most detected
99.9%
Day 45+
Window closed
Window closed
THE LESSON
La sensibilità non è fissa. It depends on when you test.
A "99% sensitive" test may be 0% sensitive in early infection.
"E il test ha detto 'pulito'
perché il virus non si era ancora mostrato il suo volto.
E il sangue è stato condiviso,
e l'infezione diffondersi agli innocenti."
perché il virus non si era ancora mostrato il suo volto.
E il sangue è stato condiviso,
e l'infezione diffondersi agli innocenti."
A test has two virtues and two vices.
Sensitivity: Può trovare i malati?
Specificity: Può risparmiare i sani?
Sensitivity: Può trovare i malati?
Specificity: Può risparmiare i sani?
Sensibilità: Il cacciatore
THE FORMULA
Sensitivity = TP / (TP + FN)
"Of all the sick, how many did we catch?"
Worked Example: COVID PCR Test
Given: 200 infected patients tested
TP = 196 (correctly positive), FN = 4 (missed)
Sensitivity = 196 / (196 + 4) = 196/200 = 98%
Interpretation: Test catches 98 of every 100 infected people
Specificità: Il guardiano
THE FORMULA
Specificity = TN / (TN + FP)
"Of all the healthy, how many did we spare?"
Worked Example: Same COVID PCR Test
Given: 1000 uninfected people tested
TN = 999 (correctly negative), FP = 1 (false alarm)
Specificity = 999 / (999 + 1) = 999/1000 = 99.9%
Interpretation: Test correctly clears 999 of every 1000 healthy people
Le regole della memoria
When to Use Which Test
Di cosa hai bisogno?
RULE OUT disease
Use HIGH SENSITIVITY
↓
SnNoutSensitive Negative = OUT
RULE IN disease
Use HIGH SPECIFICITY
↓
SpPinSpecific Positive = IN
"La sensibilità cattura i malati.
La specificità risparmia i buoni.
But no test masters both perfectly—
questo è il fardello che dobbiamo affrontare sopportare."
La specificità risparmia i buoni.
But no test masters both perfectly—
questo è il fardello che dobbiamo affrontare sopportare."
Non hai visto il medico
who saw 99% accurate
and believed a positive result meant 99% certainty?
Questa è la cosa più mortale errore in medicina.
who saw 99% accurate
and believed a positive result meant 99% certainty?
Questa è la cosa più mortale errore in medicina.
L'errore del tasso di base
THE PUZZLE
A disease affects 1 in 1000 people.
Un test è sensibile al 99% e specifico al 99%.
A patient tests positive.
Qual è la probabilità che abbiano la malattia?
Most doctors say ~99%. La vera risposta riguarda 9%.
Un test è sensibile al 99% e specifico al 99%.
A patient tests positive.
Qual è la probabilità che abbiano la malattia?
Most doctors say ~99%. La vera risposta riguarda 9%.
La matematica rivelata
Testing 100,000 People (Prevalence 1/1000)
Step 1: 100 have disease, 99,900 healthy
Step 2: Of 100 sick: 99 test positive (TP), 1 negative (FN)
Step 3: Of 99,900 healthy: 999 test positive (FP), 98,901 negative (TN)
Step 4: Total positives = 99 + 999 = 1,098
PPV = TP / All Positives = 99 / 1,098 = 9%
Il 91% dei risultati positivi sono FALSI POSITIVI!
L'albero decisionale della prevalenza
Same Test, Different Settings
Test: 99% Sens, 99% Spec
↓
Where Is Testing Done?
General Population
Prevalence 0.1%
Prevalence 0.1%
PPV = 9%91% false positives!
High-Risk Clinic
Prevalence 10%
Prevalence 10%
PPV = 92%8% false positives
Confirmatory Test
Prevalence 50%
Prevalence 50%
PPV = 99%1% false positives
"E il medico disse 'accurato al 99%'
e il paziente sentì 'certo al 99%'
ed entrambi furono ingannati—
perché si erano dimenticati di chiedere: quanto è raro questo ?"
e il paziente sentì 'certo al 99%'
ed entrambi furono ingannati—
perché si erano dimenticati di chiedere: quanto è raro questo ?"
Non hai sentito parlare del test per gli uomini
che ha scoperto tumori che avrebbe never kill,
e avrebbe portato a trattamenti che destroyed lives?
che ha scoperto tumori che avrebbe never kill,
e avrebbe portato a trattamenti che destroyed lives?
La tragedia dello screening del PSA
UNITED STATES, 1990s-2010s
PSA (Prostate-Specific Antigen) could detect prostate cancer early.
I medici hanno sottoposto a screening milioni di uomini. Sono stati trovati tumori. Le prostate furono rimosse.
Ma molti di questi "tumori" non avrebbero mai causato sintomi. L'intervento ha causato impotenza e incontinenza in men who would have died of old age, not cancer.
I medici hanno sottoposto a screening milioni di uomini. Sono stati trovati tumori. Le prostate furono rimosse.
Ma molti di questi "tumori" non avrebbero mai causato sintomi. L'intervento ha causato impotenza e incontinenza in men who would have died of old age, not cancer.
Moyer VA. Ann Intern Med. 2012;157:120-134
I numeri del danno
1
Vita salvata dallo
prostate cancer
per 1000 screened
prostate cancer
per 1000 screened
30-40
Men made impotent
or incontinent
per 1000 screened
or incontinent
per 1000 screened
100+
False positives
(biopsies, anxiety)
per 1000 screened
(biopsies, anxiety)
per 1000 screened
THE REVERSAL
In 2012, the US Preventive Services Task Force recommended against
screening PSA di routine. Il test stava rilevando troppe cose che non era necessario trovare.
L'albero decisionale dello screening
Le conseguenze indesiderate dello screening
1000 Men Screened
↓
~120 Positive PSA
↓
~30 Biopsies Show Cancer
↓
~25 Would Never
Have Harmed
Have Harmed
~5 Truly
Aggressive
Aggressive
~880 Negative PSA
↓
Reassured(But ~3 have aggressive cancer missed)
"E il test ha trovato l'ombra,
e il chirurgo tagliato,
e l'uomo viveva – impotente, incontinente –
da un cancro che non si sarebbe mai risvegliato."
e il chirurgo tagliato,
e l'uomo viveva – impotente, incontinente –
da un cancro che non si sarebbe mai risvegliato."
La sensibilità descrive il test.
La specificità descrive il test.
Ma il paziente chiede:
"I tested positive. What are MY chances?"
La specificità descrive il test.
Ma il paziente chiede:
"I tested positive. What are MY chances?"
Likelihood Ratios
POSITIVE LIKELIHOOD RATIO
LR+ = Sensitivity / (1 - Specificity)
How much more likely is a + result in sick vs healthy?
NEGATIVE LIKELIHOOD RATIO
LR- = (1 - Sensitivity) / Specificity
How much more likely is a - result in sick vs healthy?
Il Fagan Nomogramma
Dalla probabilità pre-test a quella post-test
Pre-Test
Probability
Probability
99%
50%
20%
5%
1%
Likelihood
Ratio
Ratio
100
10
1
0.1
0.01
Post-Test
Probability
Probability
99%
80%
50%
20%
1%
Draw a line from pre-test through LR to find post-test probability
Interpreting Likelihood Ratios
Quanto è potente questo test?
What Is the LR+?
LR+ > 10Strong rule-in
LR+ 5-10Moderate
LR+ 2-5Weak
LR+ 1-2Useless
What Is the LR-?
LR- < 0.1Strong rule-out
LR- 0.1-0.2Moderate
LR- 0.2-0.5Weak
LR- 0.5-1Useless
"La sensibilità racconta dei malati.
La specificità racconta dei malati bene.
But the likelihood ratio answers:
Cosa significa questo risultato per QUESTO paziente?"
La specificità racconta dei malati bene.
But the likelihood ratio answers:
Cosa significa questo risultato per QUESTO paziente?"
Non hai visto il bambino con la febbre nel villaggio,
il test rapido detto questo negative,
and the Plasmodium che continuava a moltiplicarsi?
il test rapido detto questo negative,
and the Plasmodium che continuava a moltiplicarsi?
Il problema dell'RDT sulla malaria
SUB-SAHARAN AFRICA
Malaria kills 600,000 people yearly, mostly children under 5.
Rapid Diagnostic Tests were meant to guide treatment in remote areas without microscopes or laboratories.
But when parasitemia is low—l'RDT non rileva i casi. And when P. falciparum elimina il gene HRP2— the RDT sees nothing at all.
Rapid Diagnostic Tests were meant to guide treatment in remote areas without microscopes or laboratories.
But when parasitemia is low—l'RDT non rileva i casi. And when P. falciparum elimina il gene HRP2— the RDT sees nothing at all.
WHO. Malaria RDT Performance. 2022
La decisione clinica Albero
Child with Fever in Malaria-Endemic Area
Febrile Child
↓
Perform RDT
↓
RDT Positive
↓
Trattamento per la malaria
RDT Negative
↓
Clinical Suspicion?
High
Treat Anyway
or Microscopy
or Microscopy
Low
Look for
Other Cause
Other Cause
Sensitivity Varies by Parasitemia
95%
High parasitemia
(>200/μL)
(>200/μL)
75%
Low parasitemia
(100-200/μL)
(100-200/μL)
50%
Very low
(<100/μL)
(<100/μL)
LA LEZIONE CLINICA
A negative RDT does not rule out malaria in endemic areas.
Clinical judgment must override the test when suspicion is high.
"E il test ha dato 'negativo'
e il bambino fu mandato a casa,
e i parassiti si moltiplicarono nell'oscurità,
e al mattino il bambino non poteva più wake."
e il bambino fu mandato a casa,
e i parassiti si moltiplicarono nell'oscurità,
e al mattino il bambino non poteva più wake."
Nell'anno della pestilenza,
il mondo aveva bisogno di un test che era fast.
Ma veloce non è la stessa cosa di accurate.
il mondo aveva bisogno di un test che era fast.
Ma veloce non è la stessa cosa di accurate.
Il verdetto Cochrane
COVID-19 Rapid Antigen Tests (155 Studies Pooled)
| Population | Sensitivity | Missed Cases |
|---|---|---|
| Symptomatic | 73% | 27% missed |
| Asymptomatic | 55% | 45% missed |
| First 7 days of symptoms | 80% | 20% missed |
Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
The False Security Decision Tree
Thanksgiving 2020: What Happened
Family Member Tests Negative
↓
Questa persona è veramente negativa?
55% chance if asymptomatic
True NegativeSafe to gather
45% chance if asymptomatic
FALSE NegativeInfectious!
↓
Si riunisce con la famigliaGrandparents infected
"E il test ha dato 'negativo'
e la famiglia abbracciato,
e alla fine dell'inverno,
il nonno fu sepolto."
e la famiglia abbracciato,
e alla fine dell'inverno,
il nonno fu sepolto."
Non hai sentito parlare dello screening
che ha scoperto tumori che would never kill,
e avrebbe portato a trattamenti che caused more harm than the disease?
che ha scoperto tumori che would never kill,
e avrebbe portato a trattamenti che caused more harm than the disease?
La sovradiagnosi Problema
3-4
Lives saved
per 10,000 screened
per 10,000 screened
~15
Overdiagnosed
(treated unnecessarily)
(treated unnecessarily)
~500
False alarms
(anxiety, biopsies)
(anxiety, biopsies)
THE QUESTION
Per salvare 3-4 vite, circa 15 donne vengono sottoposte a intervento chirurgico, radioterapia e chemioterapia per tumori che non avrebbero mai potuto danneggiarle.
Vale la pena questo compromesso?
Vale la pena questo compromesso?
L'albero decisionale dello screening
10.000 donne sottoposte a screening in oltre 10 Anni
10,000 Women
↓
~1,000 RecalledAbnormal mammogram
↓
~500 False AlarmAnxiety only
~500 Biopsy~50 cancer found
~9,000 ClearedContinue screening
Of ~50 Cancers Found
~35 Would KillTreatment saves 3-4
~15 Would Never KillOverdiagnosed
"E il test ha trovato l'ombra,
e lo chiamavano cancro,
e la donna veniva tagliata e bruciata—
per un'ombra che non l'avrebbe mai oscurata giorni."
e lo chiamavano cancro,
e la donna veniva tagliata e bruciata—
per un'ombra che non l'avrebbe mai oscurata giorni."
Uno studio può ingannare.
Uno studio può lusingare.
Ma quando raccogli tutti i prove—
the truth becomes harder to hide.
Uno studio può lusingare.
Ma quando raccogli tutti i prove—
the truth becomes harder to hide.
Why DTA Meta-Analysis Is Different
THE PROBLEM
La sensibilità e la specificità sono correlated.
When one goes up, the other tends to go down.
Non è possibile raggrupparle separatamente come gli effetti del trattamento. Hai bisogno di bivariate model.
Non è possibile raggrupparle separatamente come gli effetti del trattamento. Hai bisogno di bivariate model.
La curva SROC
Reading ROC Space
Top-Left CornerPerfect Test
↓ (curve shows trade-off)
Diagonal LineUseless Test (Chance)
COSA MOSTRA LO SROC
Each dot = one study's sensitivity & specificity
La curva = riepilogo di tutti gli studi
Closer to top-left = better test
La curva = riepilogo di tutti gli studi
Closer to top-left = better test
"Uno studio può ingannare.
Molti studi, soppesati insieme,
tracciano il percorso della verità:
la curva SROC che rivela ciò che il test può veramente fare."
Molti studi, soppesati insieme,
tracciano il percorso della verità:
la curva SROC che rivela ciò che il test può veramente fare."
Ma cosa accadrebbe se gli studi disagree?
One says sensitivity is 95%.
Another says 60%.
A quale verità credi?
One says sensitivity is 95%.
Another says 60%.
A quale verità credi?
Sources of Heterogeneity
Perché gli studi non concordano
Stesso test, risultati diversi?
ThresholdDifferent cutoffs
PopulationSeverity, age
SettingPrimary vs specialist
QualityBias, blinding
Measuring Disagreement: I²
I² < 25%
Low
Studies agree
Studies agree
I² 25-75%
Moderate
Some variation
Some variation
I² > 75%
High
Major disagreement
Major disagreement
THE WARNING
When I² > 75%, the pooled estimate may be meaningless.
Explain the disagreement before averaging.
"Quando gli studi sono in disaccordo,
non tacere il dissenso.
Ask: Why do they see differently?
Il disaccordo stesso insegna."
non tacere il dissenso.
Ask: Why do they see differently?
Il disaccordo stesso insegna."
Il tuo DTA Toolkit
Le misure essenziali e quando utilizzarle
The Checklist
✓
Was there a valid reference standard?
Gold standard applied to ALL patients?
✓
Gli interpreti erano accecati?
Test readers unaware of diagnosis?
✓
Lo spettro era appropriato?
Pazienti simili alla vostra popolazione?
✓
Era la soglia pre-specificata?
O scelti per massimizzare i risultati?
When Results Don't Match Suspicion
The Clinical Override Decision Tree
Test Negative, High Suspicion
↓
What Is the LR-?
LR- < 0.1
Strong rule-outAccept negative
LR- 0.1-0.5
Consider repeat testOr different test
LR- > 0.5
Trust clinical judgmentTest is weak
"Armed with sensitivity, specificity, likelihood,
armato dello SROC e della misura dell'accordo,
puoi vedere oltre la menzogna del test—
e giudicarne la verità te stesso."
armato dello SROC e della misura dell'accordo,
puoi vedere oltre la menzogna del test—
e giudicarne la verità te stesso."
References
Key Sources
- Carreyrou J. Bad Blood. Knopf, 2018.
- CDC. MMWR. 1987;36(49):833-840. [HIV blood supply]
- Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705. [COVID RAT]
- Moyer VA. Ann Intern Med. 2012;157:120-134. [PSA screening]
- UK Panel. Lancet. 2012;380:1778-1786. [Mammography]
- WHO. Malaria RDT Performance. 2022.
- Reitsma JB et al. J Clin Epidemiol. 2005;58:982-990. [Bivariate model]
- Deeks JJ et al. J Clin Epidemiol. 2005;58:882-893. [Publication bias]
- Macaskill P et al. Cochrane Handbook Ch. 10. 2023.
Un test è sensibile al 99% e specifico al 99%. La prevalenza della malattia è 1/1000. Un paziente risulta positivo. Qual è la probabilità che abbiano la malattia?
99%
90%
About 9%
50%
Perché il sangue è stato contaminato dall'HIV nonostante i test?
The tests had low specificity
I test avevano un periodo finestra con bassa sensibilità all'inizio dell'infezione
I test non sono stati eseguiti correttamente
I test erano troppo costosi
What does "SnNout" mean?
A highly Sensitive test, when Negative, rules OUT disease
A highly Specific test, when Negative, rules OUT disease
Sensitivity should be used for screening
Specificity should be above 90%
✔
Course Complete
"Ora conosci i quattro risultati,
le due virtù di un test,
L'errore della base tasso,
e l'arte del pooling prove.
Quando la prossima prova ti mentirà:
lo saprai."
le due virtù di un test,
L'errore della base tasso,
e l'arte del pooling prove.
Quando la prossima prova ti mentirà:
lo saprai."
1 / 4