who promised to cambiare il mondo con una goccia di sangue,
who raised billions on a test that never worked?
No more needles. No more vials. No more waiting.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Il test era sbagliato. Il bambino era sano.
But how many women, receiving the same news, made different decisions?
e la menzogna era vestita di certezza,
e nessuno mise in dubbio il numeri."
Ecco perché studiamo l'accuratezza dei test diagnostici.
ci sono solo four possible truths.
Due sono benedizioni. Due sono maledizioni.
Every Test Result Has a Reality Behind It
Test: Positive
Test: Positive
Test: Negative
Test: Negative
True Positive (TP)
Sick person correctly identified.
Il test ha detto la verità.
False Positive (FP)
Healthy person wrongly alarmed.
Il test ha mentito.
False Negative (FN)
Sick person wrongly reassured.
La bugia più mortale.
True Negative (TN)
Healthy person correctly cleared.
Il test ha detto la verità.
La matrice di confusione 2x2
| Disease Present | Disease Absent | |
|---|---|---|
| Test Positive | TP True Positive |
FP False Positive |
| Test Negative | FN False Negative |
TN True Negative |
Know them by name.
TP, TN: il test ha parlato vero.
FP, FN: il test ha mentito."
Sensitivity asks: Can it find the sick?
Specificity asks: Can it spare the healthy?
High sensitivity = few false negatives = few missed cases.
High specificity = few false positives = few false alarms.
Lower the threshold to catch more sick people? You'll alarm more healthy people.
Raise the threshold to spare healthy people? You'll miss more sick people.
This is the threshold effect—l'altalena della diagnosi.
SnNout: Sensitive tests rule OUT
A highly sensitive test, when negative, rules out disease. If it didn't find it, it's probably not there.
SpPin: Specific tests rule IN
Un test altamente specifico, quando positivo, governa la malattia. Se dice che ce l'hai, probabilmente ce l'hai.
SpPin: Specific Positive rules IN
La specificità risparmia i buoni.
But no test masters both perfectly—
Questo è il fardello che dobbiamo sopportare orso."
il mondo aveva bisogno di un test in grado trovare rapidamente gli infetti.
But what if the rapid test missed too many?
Nelle persone CON sintomi:
Sensitivity: 73% (missed 27% of cases)
In people WITHOUT symptoms:
Sensitivity: 55% (missed 45% of cases)
Quasi la metà delle persone infette alle persone asintomatiche è stato detto che erano guarite.
Thanksgiving Dinners
Families tested negative in the morning, gathered indoors, unknowingly infected grandparents
Workplace Outbreaks
Workers tested negative, came to work, infected colleagues in the break room
Hospital Transmission
Patients tested negative, admitted to wards, infected vulnerable patients
e la famiglia si riunirono,
e il nonno abbracciò i suoi nipoti,
e alla fine dell'inverno se n'era andato."
Ma il paziente pone una domanda diversa:
"I tested positive. What are my chances?"
Il tuo paziente risulta positivo a una malattia rara (prevalenza 1 su 1000).
Question: Qual è la probabilità che abbia effettivamente la malattia?
La maggior parte dei medici dice il 95%. La vera risposta? About 2%.
Specificity tells how many well it will spare.
But only the likelihood ratio answers:
Cosa significa questo risultato per QUESTO paziente?"
that found too much?
When does finding disease become causing harm?
Mammography could detect tumors too small to feel.
Alle donne veniva detto: "Annual mammograms save lives."
But what if some of those "cancers" would never have killed?
Alla donna viene diagnosticata, curata con intervento chirurgico, radioterapia, chemioterapia— per una malattia che non le avrebbe mai fatto del male.
Independent UK Panel on Breast Cancer Screening. Lancet. 2012;380:1778-1786
dal cancro al seno
(treated unnecessarily)
(anxiety, biopsies)
È un buon affare? La risposta dipende dai valori, non solo numeri.
e la chiamò malattia,
e la donna fu tagliata, bruciata e avvelenata—
per un'ombra che non l'avrebbe mai oscurata giorni."
Questo è il problema della sovradiagnosi.
Ma quando raccogli tutti gli studi,
quando soppesi insieme le loro prove—
The truth becomes harder to hide.
More Precision
Combining studies gives narrower confidence intervals, reducing uncertainty
Detect Heterogeneity
Why do different studies give different answers? Setting? Population? Threshold?
Expose Publication Bias
Gli studi negativi vengono nascosti? I grafici a imbuto rivelano l'asimmetria
Explore Thresholds
Build SROC curves to understand the sensitivity-specificity trade-off
They are correlated: quando uno sale, l'altro tende a scendere (la soglia effetto).
The bivariate model tiene conto di questa correlazione, fornendo stime aggregate valide.
Reitsma JB et al. J Clin Epidemiol. 2005;58:982-990
ROC Space
La curva mostra il compromesso
Higher = better test
Diagonal line = useless test (random guessing)
The curve = riepilogo delle prestazioni di tutti gli studi
iniziano a rivelare la verità.
La curva SROC è il percorso di prove—
showing what the test can truly do."
Uno studio afferma che la sensibilità è del 95%.
Another says 60%.
A quale verità credi?
High heterogeneity means gli studi misurano risultati diversi cose— or the test performs differently in different settings.
Threshold Differences
Diversi valori limite per risultati "positivi" (ad esempio, diverse soglie di HbA1c per il diabete)
Population Differences
Disease severity, age, comorbidities differ between studies
Setting Differences
Primary care vs. specialist clinic vs. emergency room
Quality Differences
Risk of bias, verification bias, spectrum bias
Studies agree
Some disagreement
Major disagreement
Non è possibile calcolare la media di mele e arance. Devi explain why studies differ before pooling them.
non tacere il dissenso.
Ask: Why do they see differently?
Il disaccordo stesso insegna."
Sensitivity & Specificity
How well the test performs on sick vs. healthy people
Likelihood Ratios (LR+, LR-)
How much a result changes the probability of disease
Diagnostic Odds Ratio (DOR)
Single measure of test discrimination (DOR = LR+ / LR-)
Area sotto il Curva SROC (AUC)
Overall test performance across all thresholds (0.5 = useless, 1.0 = perfect)
bivariate meta-analysis
per revisioni DTA
strumento ad accesso aperto
Rutter & Gatsonis 2001 - HSROC model
Cochrane Handbook Ch. 10 - DTA methods
Was there a valid reference standard?
Gold standard test applied to all patients?
Gli interpreti erano accecati?
Test readers unaware of diagnosis, and vice versa?
Lo spettro era appropriato?
Patients similar to your clinical population?
Era la soglia pre-specificata?
O è stato scelto per massimizzare i risultati?
armato dello SROC e della misura dell'accordo,
puoi vedere oltre la menzogna del test—
e giudicarne la verità te stesso."
When a machine claims to see what no other machine can see,
e nessuno chiede: "Mostrami la prova"?
FDA found:
• Results varied by 146% between runs on the same sample
• Edison machines failed 87% of proficiency tests
• Zero studi di validazione peer-reviewed pubblicati
• I pazienti hanno ricevuto risultati positivi all'HIV per campioni negativi
Sources: FDA Warning Letter 2016; Carreyrou J. Bad Blood. 2018; CMS Inspection Reports.
Cosa scegli?
Face lawsuits
Harm patients
Proteggi i tuoi pazienti
Avoid Scandal
A $9 billion valuation became a criminal fraud conviction.
Ogni ospedale che ha richiesto dati di convalida prima di firmare
era protetto da la bugia.
Ogni ospedale che si è fidato del marketing
became complicit in harming patients.
L'assenza di prove non è un problema di marketing.
It is a patient safety emergency.
chi paga il prezzo?
The test result comes in 15 minutes.
Ma cosa succede se il risultato è 15 minutes of false confidence?
Real-world performance (Cochrane 2022):
• Symptomatic individuals: 73% sensitivity (missed 27%)
• Asymptomatic individuals: 58% sensitivity (missed 42%)
• Early infection (days 0-3): ~50% sensitivity
A quasi la metà delle persone asintomatiche infette è stato detto che erano "guarite".
Source: Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
Cosa scegli?
School closure
Three hospitalizations
Teacher isolates
Outbreak prevented
It means: "not detected."
La differenza tra queste due frasi
is measured in lives.
is almost meaningless.
SnNout only works when sensitivity is HIGH.
Know your test's limits before trusting its verdict.
still cause harm?
E se il cancro trovasse
would never have hurt you?
Sensitivity: ~85% | Specificity: ~90%
Per 1.000 donne sottoposte a screening ogni anno per 10 anni:
• 1 death prevented dal cancro al seno
• 5 women overtreated per tumori che non avrebbero mai potuto danneggiarle
• 100-500 false alarms leading to biopsies, anxiety, repeat imaging
Overdiagnosis rate: 19-30% of screen-detected cancers
Source: Independent UK Panel on Breast Cancer Screening. Lancet. 2012;380:1778-1786
Cosa scegli?
Il tumore era indolente (DCIS)
Would never have harmed her
Comprende benefici e danni
Autonomy preserved
A test can be accurate e ancora causa harm.
When overdiagnosis exceeds lives saved,
we must ask: Is finding always helping?
può superare il beneficio derivante da true positives.
Always weigh benefits against harms.
Lo screening non sempre salva.
is worse than missing it?
What if the treatment causes more suffering
than the disease ever would?
• Sensibilità per il cancro ad alto grado: 21%
• Detects many indolent cancers that would never harm
Lower cutoff to 2.5 ng/mL:
• Sensitivity rises to: 40%
• But overdiagnosis doubles
Treatment consequences:
• 20-30% of men experience incontinence after prostatectomy
• 30-70% experience erectile dysfunction
Source: US Preventive Services Task Force. JAMA. 2018;319(18):1901-1913
Quale soglia scegli?
Thousands of unnecessary
biopsie e trattamenti
But most missed are indolent
Fewer unnecessary treatments
Some preventable deaths
No overtreatment harm
Every threshold trades sensibilità per specificità,
rilevamento di sovradiagnosi.
La scelta non è medica. È ethical.
Dipende da quali danni sei disposto ad accettare.
It is a values problem.
Before choosing a cutoff, ask:
What is worse: missing disease or overtreating the healthy?
Different truths.
How can identical numbers
mean opposite things?
Sensitivity: ~80% | Specificity: ~95%
In high-prevalence setting (TB prevalence 10%):
• Positive Predictive Value: 85%
• A positive test usually means TB
In low-prevalence setting (TB prevalence 0.1%):
• Positive Predictive Value: 15%
• A positive test is usually a false positive
Source: Pai M et al. Lancet Infect Dis. 2014;14(8):765-773
Cosa concludi?
Patient infects family
Ritarda la diagnosi di mesi
Chest X-ray, sputum
Treat early if confirmed
PPV e NPV are properties of the population.
Lo stesso risultato significa different things
in different people.
A positive test in a high-risk patient means disease.
The same positive in a low-risk patient means probably nothing.
Context is everything.
Theranos: Demand Validation
No peer-reviewed data = no trust, regardless of marketing claims
COVID Rapid Tests: Know Sensitivity Limits
"Non rilevato" non è la stessa cosa di "non infetto"
Mammography: Weigh Benefits vs. Harms
Finding is not always helping; overdiagnosis causes real harm
PSA: The Threshold is a Values Choice
Ogni il cut-off scambia la sensibilità con la specificità; non esiste una risposta "giusta"
TB Test: Context Determines Meaning
The same result means different things in different populations
Fonti chiave citate in questo Corso
- Carreyrou J. Bad Blood: Secrets and Lies in a Silicon Valley Startup. Knopf, 2018.
- Dinnes J, et al. Rapid, point-of-care antigen tests for diagnosis of SARS-CoV-2 infection. Cochrane Database Syst Rev. 2022;7:CD013705.
- Gruppo indipendente britannico sullo screening del cancro al seno. I benefici e i danni dello screening del cancro al seno. Lancet. 2012;380:1778-1786.
- Reitsma JB, et al. L'analisi bivariata di sensibilità e specificità produce misure riassuntive informative nelle revisioni diagnostiche. J Clin Epidemiol. 2005;58:982-990.
- Rutter CM, Gatsonis CA. A hierarchical regression approach to meta-analysis of diagnostic test accuracy evaluations. Stat Med. 2001;20:2865-2884.
- Deeks JJ, et al. The performance of tests of publication bias in systematic reviews of diagnostic test accuracy. J Clin Epidemiol. 2005;58:882-893.
- Macaskill P, et al. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy. Chapter 10. 2023.
- Higgins JPT, Thompson SG. Quantifying heterogeneity in a meta-analysis. Stat Med. 2002;21:1539-1558.
- US Food and Drug Administration. Warning Letter to Theranos Inc. 2016.
- US Preventive Services Task Force. Screening for Prostate Cancer. JAMA. 2018;319(18):1901-1913.
- Pai M, et al. Tuberculosis. Lancet Infect Dis. 2014;14(8):765-773.
le due virtù di un test,
il crudele compromesso della soglia,
e l'arte del pooling prove.
Quando la prossima prova ti mentirà:
you will know how to see through it."
Quando la prova ti mentirà, ora lo sai.