DTA Course > The Fraud
==================== MODULE 1 : LA FRAUDE (THERANOS) ====================
Diapositive 1.2 : L'histoire de Theranos
Diapositive 1.3 : La fraude
Diapositive 1.4 : Les victimes
Diapositive 1.5 : Le refrain
>==================== MODULE 2 : LES QUATRE RÉSULTATS ====================
Diapositive 2.2 : L'arbre de décision
Diapositive 2.3 : Les quatre quadrants
Diapositive 2.4 : La table 2x2
Diapositive 2.5 : Le Refrain
==================== MODULE 3 : SENSIBILITÉ ET SPÉCIFICITÉ ====================
Diapositive 3.4 : Le compromis
Diapositive 3.5 : SnNout et SpPin
==================== MODULE 4 : LE SCANDALE DU TEST COVID =====================
Diapositive 4.2 : La promesse
Diapositive 4.3 : La réalité
Diapositive 4.4 : La conséquence
==================== MODULE 5 : RATIOS DE PROBABILITÉ ====================
Diapositive 5.2 : Le problème avec Sens/Spec
============== MODULE 6 : LA CONTROVERSE DE LA MAMMOGRAPHIE ====================
Diapositive 6.2 : La promesse du dépistage
Diapositive 6.4 : Les chiffres
==================== MODULE 7 : MÉTA-ANALYSE DES DTA ====================
Diapositive 7.3 : Le modèle bivarié
==================== MODULE 9 : LA BOÎTE À OUTILS DTA ====================
Diapositive 9.2 : Les mesures
Diapositive 9.3 : Outils et logiciels
Diapositive 9.4 : La liste de contrôle
==================== MODULE 10 : HISTOIRES DE DÉCISIONS DU MONDE RÉEL =====================
N'avez-vous pas entendu l'histoire de la femme
who promised to changer le monde avec une goutte de sang,
who raised billions on a test that never worked?
who promised to changer le monde avec une goutte de sang,
who raised billions on a test that never worked?
Palo Alto, 2003
STANFORD UNIVERSITY
A Un jeune de dix-neuf ans a abandonné ses études avec une vision : un appareil capable d'effectuer des centaines de tests sanguins à partir d'une seule goutte, piquée sans douleur avec un doigt.
No more needles. No more vials. No more waiting.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
No more needles. No more vials. No more waiting.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Carreyrou J. Bad Blood: Secrets and Lies in a Silicon Valley Startup. 2018
Mais les tests lied.
$9 Billion
Built on a test that didn't work
WHAT HAPPENED
Les machines Theranos donné wrong results. On a dit aux patients qu'ils étaient séropositifs alors que ce n'était pas le cas. On a dit aux patients que leur sang était normal lorsqu'ils étaient dying. L'entreprise a caché la vérité pour 15 years.
The Victims
PHOENIX, ARIZONA
On a dit à une femme enceinte que son bébé naîtrait avec une anomalie chromosomique. Elle se préparait au pire. Elle était en deuil.
Le test était erroné. Le bébé était en bonne santé.
But how many women, receiving the same news, made different decisions?
Le test était erroné. Le bébé était en bonne santé.
But how many women, receiving the same news, made different decisions?
THE QUESTION
How do we know when a test is telling the truth?
How do we measure a test's honesty?
"Et le test a menti,
et le mensonge a été habillé avec certitude,
et personne n'a remis en question le numéros."
et le mensonge a été habillé avec certitude,
et personne n'a remis en question le numéros."
C'est pourquoi nous étudions la précision des tests de diagnostic.
When a test gives a result,
il y a seulement four possible truths.
Deux sont des bénédictions. Deux sont des malédictions.
il y a seulement four possible truths.
Deux sont des bénédictions. Deux sont des malédictions.
L'arbre des résultats
Every Test Result Has a Reality Behind It
Patient Tested
↓
Test Says: POSITIVE
"You have it"
Test Says: NEGATIVE
"You're clear"
↓
TP
FP
FN
TN
Has disease
Test: Positive
Test: Positive
No disease
Test: Positive
Test: Positive
Has disease
Test: Negative
Test: Negative
No disease
Test: Negative
Test: Negative
Les quatre Vérités
True Positive (TP)
Sick person correctly identified.
Le test a dit la vérité.
False Positive (FP)
Healthy person wrongly alarmed.
Le test a menti.
False Negative (FN)
Sick person wrongly reassured.
Le mensonge le plus meurtrier.
True Negative (TN)
Healthy person correctly cleared.
Le test a dit la vérité.
Le sacré Tableau
La matrice de confusion 2x2
| Disease Present | Disease Absent | |
|---|---|---|
| Test Positive | TP True Positive |
FP False Positive |
| Test Negative | FN False Negative |
TN True Negative |
REMEMBER
Chaque étude diagnostique doit rapporter ces four numbers.
Without them, you cannot judge a test.
"Two outcomes save. Two outcomes harm.
Know them by name.
TP, TN : le test parlait vrai.
FP, FN : le test a menti."
Know them by name.
TP, TN : le test parlait vrai.
FP, FN : le test a menti."
A test has two virtues and two vices.
Sensitivity asks: Can it find the sick?
Specificity asks: Can it spare the healthy?
Sensitivity asks: Can it find the sick?
Specificity asks: Can it spare the healthy?
Sensitivity
"Parmi tous les malades, combien ont fait le test catch?"
THE FORMULA
Sensitivity = TP / (TP + FN)
True Positives divided by All Diseased
IN SIMPLE WORDS
Si 100 personnes ont un cancer et que le test en trouve 90,
sensitivity = 90%.
High sensitivity = few false negatives = few missed cases.
High sensitivity = few false negatives = few missed cases.
Specificity
"Parmi tous les sains, combien le test a-t-il épargné ?"
THE FORMULA
Specificity = TN / (TN + FP)
True Negatives divided by All Non-Diseased
IN SIMPLE WORDS
Si 100 personnes sont en bonne santé et que le test indique correctement "négatif" pour 95 d'entre elles,
specificity = 95%.
High specificity = few false positives = few false alarms.
High specificity = few false positives = few false alarms.
Le cruel compromis
THE DILEMMA
A test cannot have both perfect sensitivity AND perfect specificity.
Lower the threshold to catch more sick people? You'll alarm more healthy people.
Raise the threshold to spare healthy people? You'll miss more sick people.
This is the threshold effect— la bascule du diagnostic.
Lower the threshold to catch more sick people? You'll alarm more healthy people.
Raise the threshold to spare healthy people? You'll miss more sick people.
This is the threshold effect— la bascule du diagnostic.
Les règles de la mémoire
Sn
SnNout: Sensitive tests rule OUT
A highly sensitive test, when negative, rules out disease. If it didn't find it, it's probably not there.
Sp
SpPin: Specific tests rule IN
Un test très spécifique, lorsqu’il est positif, détermine la maladie. S'il est indiqué que vous l'avez, c'est probablement le cas.
REMEMBER
SnNout: Sensitive Negative rules OUT
SpPin: Specific Positive rules IN
SpPin: Specific Positive rules IN
"La sensibilité attrape les malades.
La spécificité épargne le bien.
But no test masters both perfectly—
C'est le fardeau que nous devons porter. »
La spécificité épargne le bien.
But no test masters both perfectly—
C'est le fardeau que nous devons porter. »
En 2020, lorsque la peste a balayé la terre,
le monde avait besoin d'un test qui pourrait trouver rapidement les infectés.
But what if the rapid test missed too many?
le monde avait besoin d'un test qui pourrait trouver rapidement les infectés.
But what if the rapid test missed too many?
La promesse des tests rapides
15 min
Results Time
$5
Cost per Test
Home
Self-Administered
THE HOPE
Rapid antigen tests could be used at home, at work, before gatherings.
They could stop outbreaks before they started.
The Reality
REVUE SYSTÉMATIQUE COCHRANE, 2022
Lorsque les chercheurs ont regroupé les données de 155 études sur les tests rapides d’antigène COVID-19 :
Chez les personnes PRÉSENTANT des symptômes :
Sensitivity: 73% (missed 27% of cases)
In people WITHOUT symptoms:
Sensitivity: 55% (missed 45% of cases)
Près de la moitié des personnes infectées asymptomatiques ont appris qu’elles étaient guéries.
Chez les personnes PRÉSENTANT des symptômes :
Sensitivity: 73% (missed 27% of cases)
In people WITHOUT symptoms:
Sensitivity: 55% (missed 45% of cases)
Près de la moitié des personnes infectées asymptomatiques ont appris qu’elles étaient guéries.
Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
La propagation des faux négatifs
1
Thanksgiving Dinners
Families tested negative in the morning, gathered indoors, unknowingly infected grandparents
2
Workplace Outbreaks
Workers tested negative, came to work, infected colleagues in the break room
3
Hospital Transmission
Patients tested negative, admitted to wards, infected vulnerable patients
THE LESSON
A 55% sensitivity means 45% false negative rate.
False negatives are invisible. They feel safe. They spread disease.
"Et le test disait 'négatif',
et la famille s'est réunie,
et le grand-père embrassa ses petits-enfants,
et à la fin de l'hiver, il était parti."
et la famille s'est réunie,
et le grand-père embrassa ses petits-enfants,
et à la fin de l'hiver, il était parti."
La sensibilité et la spécificité décrivent le test.
Mais le patient pose une autre question :
"I tested positive. What are my chances?"
Mais le patient pose une autre question :
"I tested positive. What are my chances?"
The Disconnect
A DOCTOR'S DILEMMA
A test has 99% sensitivity and 95% specificity. Sounds excellent.
Votre patient est testé positif pour une maladie rare (prévalence 1 sur 1000).
Question: Quelle est la probabilité qu’ils soient réellement atteints de la maladie ?
La plupart des médecins disent 95 %. La vraie réponse ? About 2%.
Votre patient est testé positif pour une maladie rare (prévalence 1 sur 1000).
Question: Quelle est la probabilité qu’ils soient réellement atteints de la maladie ?
La plupart des médecins disent 95 %. La vraie réponse ? About 2%.
Likelihood Ratios
How much a test result changes the odds
POSITIVE LIKELIHOOD RATIO
LR+ = Sensitivity / (1 - Specificity)
How much more likely is a positive result in sick vs healthy?
NEGATIVE LIKELIHOOD RATIO
LR- = (1 - Sensitivity) / Specificity
How much more likely is a negative result in sick vs healthy?
What Good LRs Look Like
LR+ > 10
Strong rule-in
LR+ 5-10
Moderate rule-in
LR+ 2-5
Weak evidence
LR- < 0.1
Strong rule-out
LR- 0.1-0.2
Moderate rule-out
LR- 0.2-0.5
Weak evidence
"Sensitivity tells how many sick the test will catch.
Specificity tells how many well it will spare.
But only the likelihood ratio answers:
Que signifie ce résultat pour CE patient ?"
Specificity tells how many well it will spare.
But only the likelihood ratio answers:
Que signifie ce résultat pour CE patient ?"
N'avez-vous pas entendu la polémique de la projection
that found too much?
When does finding disease become causing harm?
that found too much?
When does finding disease become causing harm?
Le rêve d’une détection précoce
1970s - PRESENT
La logique était belle : détecter le cancer tôt, le traiter tôt, sauver des vies.
Mammography could detect tumors too small to feel.
On disait aux femmes : "Annual mammograms save lives."
But what if some of those "cancers" would never have killed?
Mammography could detect tumors too small to feel.
On disait aux femmes : "Annual mammograms save lives."
But what if some of those "cancers" would never have killed?
La malédiction du surdiagnostic
19-30%
of screen-detected breast cancers may be overdiagnosed
WHAT IS OVERDIAGNOSIS?
Trouver un « cancer » qui never have caused symptoms or death
pendant la vie de la personne vie.
La femme est diagnostiquée, traitée par chirurgie, radiothérapie, chimiothérapie— pour une maladie qui ne lui aurait jamais fait de mal.
La femme est diagnostiquée, traitée par chirurgie, radiothérapie, chimiothérapie— pour une maladie qui ne lui aurait jamais fait de mal.
Independent UK Panel on Breast Cancer Screening. Lancet. 2012;380:1778-1786
Pour 10 000 femmes Dépistés
3-4
Lives saved
du cancer du sein
du cancer du sein
~15
Overdiagnosed
(treated unnecessarily)
(treated unnecessarily)
~500
False alarms
(anxiety, biopsies)
(anxiety, biopsies)
THE TRADE-OFF
To save 3-4 lives, vous devez accepter que ~15 women
sera traité pour des cancers qui ne leur auraient jamais fait de mal, et ~500 women will experience false alarms.
Est-ce un bon métier ? La réponse dépend des valeurs, pas seulement des chiffres.
Est-ce un bon métier ? La réponse dépend des valeurs, pas seulement des chiffres.
"Et le test a découvert ce qui était caché,
et l'a appelé maladie,
et la femme a été coupée, brûlée et empoisonnée—
pour une ombre qui ne l'aurait jamais obscurcie jours."
et l'a appelé maladie,
et la femme a été coupée, brûlée et empoisonnée—
pour une ombre qui ne l'aurait jamais obscurcie jours."
C'est le problème du surdiagnostic.
Une étude peut mentir. Une étude peut être plus flatteuse.
Mais lorsque vous rassemblez toutes les études,
lorsque vous évaluez leurs preuves ensemble—
The truth becomes harder to hide.
Mais lorsque vous rassemblez toutes les études,
lorsque vous évaluez leurs preuves ensemble—
The truth becomes harder to hide.
Pourquoi regrouper les preuves ?
1
More Precision
Combining studies gives narrower confidence intervals, reducing uncertainty
2
Detect Heterogeneity
Why do different studies give different answers? Setting? Population? Threshold?
3
Expose Publication Bias
Les études négatives sont-elles cachées ? Les tracés en entonnoir révèlent une asymétrie
4
Explore Thresholds
Build SROC curves to understand the sensitivity-specificity trade-off
Le modèle bivarié
WHY IT'S SPECIAL
On ne peut pas regrouper sensibilité et spécificité séparément.
They are correlated: quand l'une monte, l'autre a tendance à baisser (le seuil
The bivariate model prend en compte cette corrélation, donnant des estimations groupées valides.
They are correlated: quand l'une monte, l'autre a tendance à baisser (le seuil
The bivariate model prend en compte cette corrélation, donnant des estimations groupées valides.
Reitsma JB et al. J Clin Epidemiol. 2005;58:982-990
La courbe ROC récapitulative
ROC Space
Perfect test
1-Specificity (FPR) →
Chaque point = une étude
La courbe montre le compromis
Higher = better test
La courbe montre le compromis
Higher = better test
↓ Sensitivity
Useless test (chance line)
LECTURE DE SROC
Top-left corner = perfect test (100% sens, 100% spec)
Diagonal line = useless test (random guessing)
The curve = résumé des performances de toutes les études
Diagonal line = useless test (random guessing)
The curve = résumé des performances de toutes les études
"Une étude peut tromper. De nombreuses études, pesées ensemble,
commencent à révéler la vérité.
La courbe SROC est le chemin de preuves—
showing what the test can truly do."
commencent à révéler la vérité.
La courbe SROC est le chemin de preuves—
showing what the test can truly do."
Mais et si les études disagree?
Une étude indique que la sensibilité est de 95 %.
Another says 60%.
À quelle vérité croyez-vous ?
Une étude indique que la sensibilité est de 95 %.
Another says 60%.
À quelle vérité croyez-vous ?
Hétérogénéité : le désaccord
DEFINITION
Heterogeneity est la variation entre les études qui ne peut être expliquée uniquement par le hasard.
High heterogeneity means les études mesurent différentes choses— or the test performs differently in different settings.
High heterogeneity means les études mesurent différentes choses— or the test performs differently in different settings.
Pourquoi les études ne sont pas d'accord
T
Threshold Differences
Différents seuils pour un résultat « positif » (par exemple, différents seuils d'HbA1c pour le diabète)
P
Population Differences
Disease severity, age, comorbidities differ between studies
S
Setting Differences
Primary care vs. specialist clinic vs. emergency room
Q
Quality Differences
Risk of bias, verification bias, spectrum bias
Mesurer le désaccord
I² < 25%
Low heterogeneity
Studies agree
Studies agree
I² 25-75%
Moderate
Some disagreement
Some disagreement
I² > 75%
High heterogeneity
Major disagreement
Major disagreement
THE WARNING
When I² > 75%, the pooled estimate may be meaningless.
Vous ne pouvez pas faire la moyenne des pommes et des oranges. Vous devez explain why studies differ before pooling them.
Vous ne pouvez pas faire la moyenne des pommes et des oranges. Vous devez explain why studies differ before pooling them.
"Quand les études ne sont pas d'accord,
ne faites pas taire la dissidence.
Ask: Why do they see differently?
Le désaccord lui-même est instructif. »
ne faites pas taire la dissidence.
Ask: Why do they see differently?
Le désaccord lui-même est instructif. »
Votre boîte à outils DTA
Les mesures essentielles et quand les utiliser
Essential Metrics
1
Sensitivity & Specificity
How well the test performs on sick vs. healthy people
2
Likelihood Ratios (LR+, LR-)
How much a result changes the probability of disease
3
Diagnostic Odds Ratio (DOR)
Single measure of test discrimination (DOR = LR+ / LR-)
4
Aire sous la courbe SROC (AUC)
Overall test performance across all thresholds (0.5 = useless, 1.0 = perfect)
Outils du métier
mada
R package for
bivariate meta-analysis
bivariate meta-analysis
metaDTA
Stata module
pour les examens DTA
pour les examens DTA
DTA Pro
Browser-based
outil en libre accès
outil en libre accès
LES RÉFÉRENCES STANDARD
Reitsma et al. 2005 - Bivariate model
Rutter & Gatsonis 2001 - HSROC model
Cochrane Handbook Ch. 10 - DTA methods
Rutter & Gatsonis 2001 - HSROC model
Cochrane Handbook Ch. 10 - DTA methods
Avant de faire confiance à une étude DTA
✓
Was there a valid reference standard?
Gold standard test applied to all patients?
✓
Les interprètes étaient-ils aveuglés ?
Test readers unaware of diagnosis, and vice versa?
✓
Le spectre était-il approprié ?
Patients similar to your clinical population?
✓
Le seuil était-il prédéfini ?
Ou a-t-il été choisi pour maximiser les résultats ?
"Armed with sensitivity, specificity, likelihood,
armé du SROC et de la mesure d’accord,
vous pouvez voir à travers le mensonge du test—
et juge par toi-même de sa vérité. »
armé du SROC et de la mesure d’accord,
vous pouvez voir à travers le mensonge du test—
et juge par toi-même de sa vérité. »
========== HISTOIRE 1 : LE MIRAGE THERANOS ==========
Diapositive 10.2 : Boîte de données réelles
Diapositive 10.4 : La révélation
========== HISTOIRE 2 : LE CHAOS DU TEST RAPIDE COVID ==========
Diapositive 10.6 : Boîte de données réelles
Diapositive 10.8 : La Révélation
========== HISTOIRE 3 : LA MAMMOGRAPHIE CONTROVERSE ==========
Diapositive 10.10 : Boîte de données réelles
Diapositive 10.12 : La révélation
========== HISTOIRE 4 : LE PARADOXE DU PSA ==========
Diapositive 10.14 : Boîte de données réelles
Diapositive 10.16 : La révélation
========== HISTOIRE 5 : LE TEST DE LA TB DANS DEUX POPULATIONS ==========
Diapositive 10.18 : Boîte de données réelles
Diapositive 10.20 : La révélation
Diapositive 10.21 : Résumé du module
==================== MODULE 11 : RÉFÉRENCES ET QUIZ ====================
Have you considered what happens when a test promises everything?
When a machine claims to see what no other machine can see,
et personne ne demande : "Montre-moi la preuve"?
When a machine claims to see what no other machine can see,
et personne ne demande : "Montre-moi la preuve"?
Le Mirage Théranos
REAL DATA: FDA INSPECTION FINDINGS
Theranos claimed: 200+ tests from a single finger prick
FDA found:
• Results varied by 146% between runs on the same sample
• Edison machines failed 87% of proficiency tests
• Zero Publication d'études de validation évaluées par des pairs
• Les patients ont reçu des résultats séropositifs pour des échantillons négatifs.
FDA found:
• Results varied by 146% between runs on the same sample
• Edison machines failed 87% of proficiency tests
• Zero Publication d'études de validation évaluées par des pairs
• Les patients ont reçu des résultats séropositifs pour des échantillons négatifs.
Sources: FDA Warning Letter 2016; Carreyrou J. Bad Blood. 2018; CMS Inspection Reports.
L'arbre de décision
Vous êtes administrateur d'un hôpital. Theranos vous propose un contrat.
Que choisissez-vous ?
Theranos Contract Offered
↓
PATH A: Trust Marketing Claims
↓
Signer le contrat
↓
Misdiagnose thousands
Face lawsuits
Harm patients
Face lawsuits
Harm patients
CHEMIN B : données de validation de la demande
↓
Ne trouver aucune évaluation évaluée par les pairs Études
↓
Rejeter le contrat
Protégez vos patients
Avoid Scandal
Protégez vos patients
Avoid Scandal
THE REVELATION
Elizabeth Holmes never validated a single test externally.
A $9 billion valuation became a criminal fraud conviction.
Chaque hôpital qui exigeait des données de validation avant de signer
était protégé du mentir.
Tous les hôpitaux qui ont fait confiance au marketing
became complicit in harming patients.
A $9 billion valuation became a criminal fraud conviction.
Chaque hôpital qui exigeait des données de validation avant de signer
était protégé du mentir.
Tous les hôpitaux qui ont fait confiance au marketing
became complicit in harming patients.
THE LESSON
No peer-reviewed validation = No trust.
L'absence de preuves n'est pas un problème de marketing.
It is a patient safety emergency.
L'absence de preuves n'est pas un problème de marketing.
It is a patient safety emergency.
When speed defeats accuracy,
qui paie le prix ?
The test result comes in 15 minutes.
Mais que se passe-t-il si le résultat est 15 minutes of false confidence?
qui paie le prix ?
The test result comes in 15 minutes.
Mais que se passe-t-il si le résultat est 15 minutes of false confidence?
The COVID Rapid Test Chaos
DONNÉES RÉELLES : FABRICANT VS. RÉALITÉ
Manufacturer claims: 97% sensitivity
Real-world performance (Cochrane 2022):
• Symptomatic individuals: 73% sensitivity (missed 27%)
• Asymptomatic individuals: 58% sensitivity (missed 42%)
• Early infection (days 0-3): ~50% sensitivity
Près de la moitié des personnes asymptomatiques infectées se sont fait dire qu'elles étaient « indemnes ».
Real-world performance (Cochrane 2022):
• Symptomatic individuals: 73% sensitivity (missed 27%)
• Asymptomatic individuals: 58% sensitivity (missed 42%)
• Early infection (days 0-3): ~50% sensitivity
Près de la moitié des personnes asymptomatiques infectées se sont fait dire qu'elles étaient « indemnes ».
Source: Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
L'arbre de décision
Vous êtes infirmière scolaire pendant une vague de COVID. Un enseignant symptomatique est négatif au test rapide.
Que choisissez-vous ?
Symptomatic Teacher + Negative Rapid Test
↓
PATH A: Trust the Negative Result
↓
Send Teacher to Class
↓
Outbreak infects 30 students
School closure
Three hospitalizations
School closure
Three hospitalizations
PATH B: Remember Sensitivity Limits
↓
Require PCR Confirmation
↓
PCR positive confirmed
Teacher isolates
Outbreak prevented
Teacher isolates
Outbreak prevented
THE REVELATION
A negative test ne veut pas dire no infection.
It means: "not detected."
La différence entre ces deux phrases
is measured in lives.
It means: "not detected."
La différence entre ces deux phrases
is measured in lives.
THE LESSON
When sensitivity is 58%, a negative result in a symptomatic person
is almost meaningless.
SnNout only works when sensitivity is HIGH.
Know your test's limits before trusting its verdict.
is almost meaningless.
SnNout only works when sensitivity is HIGH.
Know your test's limits before trusting its verdict.
Peut-on tester cela finds cancer
still cause harm?
Et si le cancer est détecté
would never have hurt you?
still cause harm?
Et si le cancer est détecté
would never have hurt you?
La mammographie Polémique
DONNÉES RÉELLES : LE PARADOXE DU DÉPISTAGE
Test characteristics:
Sensitivity: ~85% | Specificity: ~90%
Pour 1 000 femmes dépistées annuellement pendant 10 ans :
• 1 death prevented du cancer du sein
• 5 women overtreated pour des cancers qui ne leur auraient jamais fait de mal
• 100-500 false alarms leading to biopsies, anxiety, repeat imaging
Overdiagnosis rate: 19-30% of screen-detected cancers
Sensitivity: ~85% | Specificity: ~90%
Pour 1 000 femmes dépistées annuellement pendant 10 ans :
• 1 death prevented du cancer du sein
• 5 women overtreated pour des cancers qui ne leur auraient jamais fait de mal
• 100-500 false alarms leading to biopsies, anxiety, repeat imaging
Overdiagnosis rate: 19-30% of screen-detected cancers
Source: Independent UK Panel on Breast Cancer Screening. Lancet. 2012;380:1778-1786
L'arbre de décision
A 45-year-old woman asks your advice on mammography screening.
Que choisissez-vous ?
Patient Asks: "Should I Get Annual Mammograms?"
↓
PATH A: Recommend Without Context
↓
Small Tumor Found
↓
Mastectomy performed
La tumeur était indolente (DCIS)
Would never have harmed her
La tumeur était indolente (DCIS)
Would never have harmed her
PATH B: Explain Trade-offs
↓
Shared Decision-Making
↓
Patient makes informed choice
Comprend les avantages ET les inconvénients
Autonomy preserved
Comprend les avantages ET les inconvénients
Autonomy preserved
THE REVELATION
La précision du test n'est pas la seule mesure.
A test can be accurate et cause toujours harm.
When overdiagnosis exceeds lives saved,
we must ask: Is finding always helping?
A test can be accurate et cause toujours harm.
When overdiagnosis exceeds lives saved,
we must ask: Is finding always helping?
THE LESSON
La les méfaits des les faux positifs et les surdiagnostics
peuvent dépasser les avantages de true positives.
Always weigh benefits against harms.
Le dépistage ne sauve pas toujours.
peuvent dépasser les avantages de true positives.
Always weigh benefits against harms.
Le dépistage ne sauve pas toujours.
What if finding the disease
is worse than missing it?
What if the treatment causes more suffering
than the disease ever would?
is worse than missing it?
What if the treatment causes more suffering
than the disease ever would?
Le paradoxe du PSA
DONNÉES RÉELLES : LE PIÈGE À SEUIL
PSA cutoff of 4.0 ng/mL:
• Sensibilité au cancer de haut grade : 21%
• Detects many indolent cancers that would never harm
Lower cutoff to 2.5 ng/mL:
• Sensitivity rises to: 40%
• But overdiagnosis doubles
Treatment consequences:
• 20-30% of men experience incontinence after prostatectomy
• 30-70% experience erectile dysfunction
• Sensibilité au cancer de haut grade : 21%
• Detects many indolent cancers that would never harm
Lower cutoff to 2.5 ng/mL:
• Sensitivity rises to: 40%
• But overdiagnosis doubles
Treatment consequences:
• 20-30% of men experience incontinence after prostatectomy
• 30-70% experience erectile dysfunction
Source: US Preventive Services Task Force. JAMA. 2018;319(18):1901-1913
L'arbre de décision
Vous définissez une politique de dépistage du PSA pour un système de santé. Trois chemins s'offrent à vous.
Quel seuil choisissez-vous ?
PSA Screening Policy Decision
↓
PATH A: Low Threshold (2.5)
↓
Maximize sensitivity
Thousands of unnecessary
biopsies et traitements
Thousands of unnecessary
biopsies et traitements
PATH B: High Threshold (4.0)
↓
Miss some cancers
But most missed are indolent
Fewer unnecessary treatments
But most missed are indolent
Fewer unnecessary treatments
PATH C: Abandon PSA Screening
↓
Miss aggressive cancers
Some preventable deaths
No overtreatment harm
Some preventable deaths
No overtreatment harm
THE REVELATION
There is no "right" cutoff.
Every threshold trades sensibilité pour spécificité,
détection de surdiagnostic.
Le choix n'est pas médical. C'est ethical.
Cela dépend des préjudices que vous êtes prêt à accepter.
Every threshold trades sensibilité pour spécificité,
détection de surdiagnostic.
Le choix n'est pas médical. C'est ethical.
Cela dépend des préjudices que vous êtes prêt à accepter.
THE LESSON
L'effet de seuil n'est pas un problème technique.
It is a values problem.
Before choosing a cutoff, ask:
What is worse: missing disease or overtreating the healthy?
It is a values problem.
Before choosing a cutoff, ask:
What is worse: missing disease or overtreating the healthy?
Le même test. Même seuil.
Different truths.
How can identical numbers
mean opposite things?
Different truths.
How can identical numbers
mean opposite things?
Le test de tuberculose dans deux populations
REAL DATA: SAME TEST, DIFFERENT MEANING
Tuberculin Skin Test (10mm cutoff)
Sensitivity: ~80% | Specificity: ~95%
In high-prevalence setting (TB prevalence 10%):
• Positive Predictive Value: 85%
• A positive test usually means TB
In low-prevalence setting (TB prevalence 0.1%):
• Positive Predictive Value: 15%
• A positive test is usually a false positive
Sensitivity: ~80% | Specificity: ~95%
In high-prevalence setting (TB prevalence 10%):
• Positive Predictive Value: 85%
• A positive test usually means TB
In low-prevalence setting (TB prevalence 0.1%):
• Positive Predictive Value: 15%
• A positive test is usually a false positive
Source: Pai M et al. Lancet Infect Dis. 2014;14(8):765-773
L'arbre de décision
Vous êtes un médecin à Londres et vous voyez un immigrant originaire d'un pays à forte prévalence de tuberculose. Le TCT est positif.
Que concluez-vous ?
Positive TST in Immigrant Patient
↓
PATH A: Apply UK Population PPV
↓
Assume "Probably False Positive"
↓
Miss active TB
Patient infects family
Retarde le diagnostic de plusieurs mois
Patient infects family
Retarde le diagnostic de plusieurs mois
PATH B: Consider Patient's Pre-Test Probability
↓
Recognize PPV Depends on Prevalence
↓
Investigate further
Chest X-ray, sputum
Treat early if confirmed
Chest X-ray, sputum
Treat early if confirmed
THE REVELATION
Sensibilité et spécificité are properties of the test.
PPV et NPV are properties of the population.
Le même résultat signifie different things
in different people.
PPV et NPV are properties of the population.
Le même résultat signifie different things
in different people.
THE LESSON
Never interpret a test result without knowing the pre-test probability.
A positive test in a high-risk patient means disease.
The same positive in a low-risk patient means probably nothing.
Context is everything.
A positive test in a high-risk patient means disease.
The same positive in a low-risk patient means probably nothing.
Context is everything.
Five Stories, Five Lessons
1
Theranos: Demand Validation
No peer-reviewed data = no trust, regardless of marketing claims
2
COVID Rapid Tests: Know Sensitivity Limits
"Non détecté" n'est pas la même chose que "non infecté"
3
Mammography: Weigh Benefits vs. Harms
Finding is not always helping; overdiagnosis causes real harm
4
PSA: The Threshold is a Values Choice
Chaque seuil échange la sensibilité contre la spécificité; il n'y a pas de "bonne" réponse
5
TB Test: Context Determines Meaning
The same result means different things in different populations
References
Sources clés citées dans ce document Cours
- Carreyrou J. Bad Blood: Secrets and Lies in a Silicon Valley Startup. Knopf, 2018.
- Dinnes J, et al. Rapid, point-of-care antigen tests for diagnosis of SARS-CoV-2 infection. Cochrane Database Syst Rev. 2022;7:CD013705.
- Panel britannique indépendant sur le dépistage du cancer du sein. Les avantages et les inconvénients du dépistage du cancer du sein. Lancet. 2012;380:1778-1786.
- Reitsma JB, et al. L'analyse bivariée de la sensibilité et de la spécificité produit des mesures récapitulatives informatives dans les revues diagnostiques. J Clin Epidemiol. 2005;58:982-990.
- Rutter CM, Gatsonis CA. A hierarchical regression approach to meta-analysis of diagnostic test accuracy evaluations. Stat Med. 2001;20:2865-2884.
- Deeks JJ, et al. The performance of tests of publication bias in systematic reviews of diagnostic test accuracy. J Clin Epidemiol. 2005;58:882-893.
- Macaskill P, et al. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy. Chapter 10. 2023.
- Higgins JPT, Thompson SG. Quantifying heterogeneity in a meta-analysis. Stat Med. 2002;21:1539-1558.
- US Food and Drug Administration. Warning Letter to Theranos Inc. 2016.
- US Preventive Services Task Force. Screening for Prostate Cancer. JAMA. 2018;319(18):1901-1913.
- Pai M, et al. Tuberculosis. Lancet Infect Dis. 2014;14(8):765-773.
Dans l'histoire de Theranos, quel était le problème fondamental avec leurs tests sanguins ?
Ils étaient trop chers
Ils ont donné des résultats erronés qui pourraient nuire aux patients
Ils l'étaient trop lent
They required too much blood
A COVID rapid test has 55% sensitivity in asymptomatic people. What does this mean?
55 % des résultats positifs sont corrects
Le test fonctionne 55 % du temps
The test misses 45% of infected asymptomatic people
55 % des résultats négatifs sont faux
What does "SnNout" mean?
A highly Sensitive test, when Negative, rules OUT disease
A highly Specific test, when Negative, rules OUT disease
A sensitive test should be used for screening
La sensibilité et la spécificité sont négatives corrélé
Pourquoi ne pouvez-vous pas regrouper séparément la sensibilité et la spécificité dans la méta-analyse ?
They use different scales
Ils sont corrélés grâce à l'effet de seuil
They come from different populations
It's computationally too difficult
✔
Course Complete
"Vous connaissez désormais les quatre résultats,
les deux vertus d'un test,
le compromis cruel du seuil,
et l'art de la mutualisation preuve.
Quand le prochain test vous mentira—
you will know how to see through it."
les deux vertus d'un test,
le compromis cruel du seuil,
et l'art de la mutualisation preuve.
Quand le prochain test vous mentira—
you will know how to see through it."
Quand le test vous mentira — Vous le savez maintenant.
1 / 5