DTA Course > The Fraud
==================== MODUL 1: DER BETRUG (THERANOS) ====================
Folie 1.2: Theranos-Geschichte
Folie 1.3: Der Betrug
Folie 1.4: Die Opfer
Folie 1.5: Der Refrain
==================== MODUL 2: DIE VIER ERGEBNISSE ====================
Folie 2.2: Der Entscheidungsbaum
Folie 2.3: Die vier Quadranten
Folie 2.4: Die 2x2-Tabelle
Folie 2.5: Der Refrain
==================== MODUL 3: SENSITIVITÄT UND SPEZIFITITÄT ====================
Folie 3.4: Der Kompromiss
Folie 3.5: SnNout und SpPin
==================== MODUL 4: DER COVID-TESTSKANDAL ====================
Folie 4.2: Das Versprechen
Folie 4.3: Die Realität
Folie 4.4: Die Konsequenz
==================== MODUL 5: LIKELIHOOD-VERHÄLTNISSE ====================
Folie 5.2: Das Problem mit Sens/Spec
==================== MODUL 6: DIE MAMMOGRAPHIE-KONTROVERSE ====================
Folie 6.2: Das Versprechen des Screenings
Folie 6.4: Die Zahlen
==================== MODUL 7: META-ANALYSE VON DTA ====================
Folie 7.3: Das bivariate Modell
==================== MODUL 9: DIE DTA TOOLKIT ===================
Folie 9.2: Die Maßnahmen
Folie 9.3: Tools und Software
Folie 9.4: Die Checkliste
=================== MODUL 10: ENTSCHEIDUNGSGESCHICHTEN AUS DER REALEN WELT ===================
Haben Sie die Geschichte der Frau nicht gehört?
who promised to Verändere die Welt mit einem Tropfen Blut,
who raised billions on a test that never worked?
who promised to Verändere die Welt mit einem Tropfen Blut,
who raised billions on a test that never worked?
Palo Alto, 2003
STANFORD UNIVERSITY
Ein Neunzehnjähriger brach das College mit einer Vision ab: einem Gerät, das mit einem einzigen Tropfen, der schmerzlos aus einem Finger gestochen wird, Hunderte von Blutuntersuchungen durchführen kann.
No more needles. No more vials. No more waiting.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
No more needles. No more vials. No more waiting.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Carreyrou J. Bad Blood: Secrets and Lies in a Silicon Valley Startup. 2018
Aber die Tests lied.
$9 Billion
Built on a test that didn't work
WHAT HAPPENED
Die Theranos-Maschinen gaben nach wrong results. Den Patienten wurde gesagt, sie hätten HIV, obwohl dies nicht der Fall war. Den Patienten wurde mitgeteilt, dass ihr Blut zu diesem Zeitpunkt normal sei dying. Das Unternehmen verheimlichte die Wahrheit 15 years.
The Victims
PHOENIX, ARIZONA
Einer schwangeren Frau wurde mitgeteilt, dass ihr Baby mit einer Chromosomenanomalie zur Welt kommen würde. Sie bereitete sich auf das Schlimmste vor. Sie trauerte.
Der Test war falsch. Das Baby war gesund.
But how many women, receiving the same news, made different decisions?
Der Test war falsch. Das Baby war gesund.
But how many women, receiving the same news, made different decisions?
THE QUESTION
How do we know when a test is telling the truth?
How do we measure a test's honesty?
„Und der Test hat gelogen,
und die Lüge wurde mit Gewissheit gekleidet,
und niemand hat die Zahlen in Frage gestellt.
und die Lüge wurde mit Gewissheit gekleidet,
und niemand hat die Zahlen in Frage gestellt.
Aus diesem Grund untersuchen wir die Genauigkeit diagnostischer Tests.
When a test gives a result,
es gibt nur four possible truths.
Zwei sind Segen. Zwei sind Flüche.
es gibt nur four possible truths.
Zwei sind Segen. Zwei sind Flüche.
Der Baum der Ergebnisse
Every Test Result Has a Reality Behind It
Patient Tested
↓
Test Says: POSITIVE
"You have it"
Test Says: NEGATIVE
"You're clear"
↓
TP
FP
FN
TN
Has disease
Test: Positive
Test: Positive
No disease
Test: Positive
Test: Positive
Has disease
Test: Negative
Test: Negative
No disease
Test: Negative
Test: Negative
Die vier Wahrheiten
True Positive (TP)
Sick person correctly identified.
Der Test hat die Wahrheit gesagt.
False Positive (FP)
Healthy person wrongly alarmed.
Der Test hat gelogen.
False Negative (FN)
Sick person wrongly reassured.
Die tödlichste Lüge.
True Negative (TN)
Healthy person correctly cleared.
Der Test hat die Wahrheit gesagt.
Der Heilige Tisch
Die 2x2-Verwirrungsmatrix
| Disease Present | Disease Absent | |
|---|---|---|
| Test Positive | TP True Positive |
FP False Positive |
| Test Negative | FN False Negative |
TN True Negative |
REMEMBER
Jede diagnostische Studie muss diese melden four numbers.
Without them, you cannot judge a test.
"Two outcomes save. Two outcomes harm.
Know them by name.
TP, TN: Der Test hat die Wahrheit gesagt.
FP, FN: Der Test hat gelogen.“
Know them by name.
TP, TN: Der Test hat die Wahrheit gesagt.
FP, FN: Der Test hat gelogen.“
A test has two virtues and two vices.
Sensitivity asks: Can it find the sick?
Specificity asks: Can it spare the healthy?
Sensitivity asks: Can it find the sick?
Specificity asks: Can it spare the healthy?
Sensitivity
„Wie viele von allen Erkrankten hat der Test erwischt?“
THE FORMULA
Sensitivity = TP / (TP + FN)
True Positives divided by All Diseased
IN SIMPLE WORDS
Wenn 100 Menschen Krebs haben und der Test 90 von ihnen findet,
sensitivity = 90%.
High sensitivity = few false negatives = few missed cases.
High sensitivity = few false negatives = few missed cases.
Specificity
„Wie viele von allen Gesunden hat der Test verschont?“
THE FORMULA
Specificity = TN / (TN + FP)
True Negatives divided by All Non-Diseased
IN SIMPLE WORDS
Wenn 100 Menschen gesund sind und der Test bei 95 von ihnen korrekt „negativ“ lautet,
specificity = 95%.
High specificity = few false positives = few false alarms.
High specificity = few false positives = few false alarms.
Der grausame Kompromiss
THE DILEMMA
A test cannot have both perfect sensitivity AND perfect specificity.
Lower the threshold to catch more sick people? You'll alarm more healthy people.
Raise the threshold to spare healthy people? You'll miss more sick people.
This is the threshold effect– die Wippe der Diagnose.
Lower the threshold to catch more sick people? You'll alarm more healthy people.
Raise the threshold to spare healthy people? You'll miss more sick people.
This is the threshold effect– die Wippe der Diagnose.
Die Gedächtnisregeln
Sn
SnNout: Sensitive tests rule OUT
A highly sensitive test, when negative, rules out disease. If it didn't find it, it's probably not there.
Sp
SpPin: Specific tests rule IN
Ein hochspezifischer Test entscheidet, wenn er positiv ist, über die Erkrankung. Wenn dort steht, dass Sie es haben, dann haben Sie es wahrscheinlich.
REMEMBER
SnNout: Sensitive Negative rules OUT
SpPin: Specific Positive rules IN
SpPin: Specific Positive rules IN
„Sensibilität fängt die Kranken ein.
Spezifität schont den Brunnen.
But no test masters both perfectly—
Das ist die Last, die wir tragen müssen.“
Spezifität schont den Brunnen.
But no test masters both perfectly—
Das ist die Last, die wir tragen müssen.“
Im Jahr 2020, als die Pest die Erde heimsuchte,
Die Welt brauchte einen Test, der das konnte Finden Sie die Infizierten schnell.
But what if the rapid test missed too many?
Die Welt brauchte einen Test, der das konnte Finden Sie die Infizierten schnell.
But what if the rapid test missed too many?
Das Versprechen des Schnelltests
15 min
Results Time
$5
Cost per Test
Home
Self-Administered
THE HOPE
Rapid antigen tests could be used at home, at work, before gatherings.
They could stop outbreaks before they started.
The Reality
COCHRANE SYSTEMATIC REVIEW, 2022
Als Forscher Daten aus 155 Studien zu COVID-19-Antigen-Schnelltests zusammenfassten:
Bei Menschen MIT Symptomen:
Sensitivity: 73% (missed 27% of cases)
In people WITHOUT symptoms:
Sensitivity: 55% (missed 45% of cases)
Fast der Hälfte der asymptomatischen Infizierten wurde mitgeteilt, dass sie gesund seien.
Bei Menschen MIT Symptomen:
Sensitivity: 73% (missed 27% of cases)
In people WITHOUT symptoms:
Sensitivity: 55% (missed 45% of cases)
Fast der Hälfte der asymptomatischen Infizierten wurde mitgeteilt, dass sie gesund seien.
Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
Die falschen Negative verbreiten sich
1
Thanksgiving Dinners
Families tested negative in the morning, gathered indoors, unknowingly infected grandparents
2
Workplace Outbreaks
Workers tested negative, came to work, infected colleagues in the break room
3
Hospital Transmission
Patients tested negative, admitted to wards, infected vulnerable patients
THE LESSON
A 55% sensitivity means 45% false negative rate.
False negatives are invisible. They feel safe. They spread disease.
„Und der Test sagte ‚negativ‘,
und die Familie versammelte sich,
und der Großvater umarmte seine Enkel,
und am Ende des Winters war er weg.
und die Familie versammelte sich,
und der Großvater umarmte seine Enkel,
und am Ende des Winters war er weg.
Sensitivität und Spezifität beschreiben den Test.
Doch der Patient stellt eine andere Frage:
"I tested positive. What are my chances?"
Doch der Patient stellt eine andere Frage:
"I tested positive. What are my chances?"
The Disconnect
A DOCTOR'S DILEMMA
A test has 99% sensitivity and 95% specificity. Sounds excellent.
Ihr Patient wurde positiv auf eine seltene Krankheit getestet (Prävalenz 1 von 1000).
Question: Wie groß ist die Wahrscheinlichkeit, dass sie tatsächlich an der Krankheit leiden?
Die meisten Ärzte sagen 95 %. Die wahre Antwort? About 2%.
Ihr Patient wurde positiv auf eine seltene Krankheit getestet (Prävalenz 1 von 1000).
Question: Wie groß ist die Wahrscheinlichkeit, dass sie tatsächlich an der Krankheit leiden?
Die meisten Ärzte sagen 95 %. Die wahre Antwort? About 2%.
Likelihood Ratios
How much a test result changes the odds
POSITIVE LIKELIHOOD RATIO
LR+ = Sensitivity / (1 - Specificity)
How much more likely is a positive result in sick vs healthy?
NEGATIVE LIKELIHOOD RATIO
LR- = (1 - Sensitivity) / Specificity
How much more likely is a negative result in sick vs healthy?
What Good LRs Look Like
LR+ > 10
Strong rule-in
LR+ 5-10
Moderate rule-in
LR+ 2-5
Weak evidence
LR- < 0.1
Strong rule-out
LR- 0.1-0.2
Moderate rule-out
LR- 0.2-0.5
Weak evidence
"Sensitivity tells how many sick the test will catch.
Specificity tells how many well it will spare.
But only the likelihood ratio answers:
Was bedeutet dieses Ergebnis für DIESEN Patienten?"
Specificity tells how many well it will spare.
But only the likelihood ratio answers:
Was bedeutet dieses Ergebnis für DIESEN Patienten?"
Haben Sie die Kontroverse um die Vorführung nicht gehört?
that found too much?
When does finding disease become causing harm?
that found too much?
When does finding disease become causing harm?
Der Traum der Früherkennung
1970s - PRESENT
Die Logik war schön: Krebs früh erkennen, früh behandeln, Leben retten.
Mammography could detect tumors too small to feel.
Frauen wurde gesagt: "Annual mammograms save lives."
But what if some of those "cancers" would never have killed?
Mammography could detect tumors too small to feel.
Frauen wurde gesagt: "Annual mammograms save lives."
But what if some of those "cancers" would never have killed?
Der Fluch der Überdiagnose
19-30%
of screen-detected breast cancers may be overdiagnosed
WHAT IS OVERDIAGNOSIS?
Einen „Krebs“ finden, der never have caused symptoms or death
während der Krankheit der Person Leben lang.
Bei der Frau wird eine Krankheit diagnostiziert, die mit Operation, Bestrahlung, Chemotherapie behandelt wird – für eine Krankheit, die ihr niemals geschadet hätte.
Bei der Frau wird eine Krankheit diagnostiziert, die mit Operation, Bestrahlung, Chemotherapie behandelt wird – für eine Krankheit, die ihr niemals geschadet hätte.
Independent UK Panel on Breast Cancer Screening. Lancet. 2012;380:1778-1786
Für alle 10.000 Frauen
3-4
Lives saved
auf Brustkrebs untersucht
auf Brustkrebs untersucht
~15
Overdiagnosed
(treated unnecessarily)
(treated unnecessarily)
~500
False alarms
(anxiety, biopsies)
(anxiety, biopsies)
THE TRADE-OFF
To save 3-4 livesmüssen Sie akzeptieren, dass ~15 women
gegen Krebserkrankungen behandelt wird, die ihnen nie geschadet hätten, und ~500 women will experience false alarms.
Ist das ein guter Handel? Die Antwort hängt von Werten ab, nicht nur Zahlen.
Ist das ein guter Handel? Die Antwort hängt von Werten ab, nicht nur Zahlen.
„Und der Test fand heraus, was verborgen war,
und nannte es Krankheit,
und die Frau wurde verletzt und verbrannt und vergiftet –
für einen Schatten, der sie niemals verdunkelt hätte Tage.“
und nannte es Krankheit,
und die Frau wurde verletzt und verbrannt und vergiftet –
für einen Schatten, der sie niemals verdunkelt hätte Tage.“
Das ist das Problem der Überdiagnose.
Eine Studie kann Lüge. Eine Studie kann schmeichelhaft sein.
Aber wenn man alle Studien zusammenfasst,
wenn man ihre Beweise zusammen wägt –
The truth becomes harder to hide.
Aber wenn man alle Studien zusammenfasst,
wenn man ihre Beweise zusammen wägt –
The truth becomes harder to hide.
Warum die Beweise bündeln?
1
More Precision
Combining studies gives narrower confidence intervals, reducing uncertainty
2
Detect Heterogeneity
Why do different studies give different answers? Setting? Population? Threshold?
3
Expose Publication Bias
Werden negative Studien ausgeblendet? Trichterdiagramme offenbaren Asymmetrie
4
Explore Thresholds
Build SROC curves to understand the sensitivity-specificity trade-off
Das bivariate Modell
WHY IT'S SPECIAL
Sie können Sensitivität und Spezifität nicht separat zusammenfassen.
They are correlated: Wenn das eine steigt, sinkt das andere tendenziell (der Schwellenwert). Effekt).
The bivariate model berücksichtigt diese Korrelation und liefert gültige gepoolte Schätzungen.
They are correlated: Wenn das eine steigt, sinkt das andere tendenziell (der Schwellenwert). Effekt).
The bivariate model berücksichtigt diese Korrelation und liefert gültige gepoolte Schätzungen.
Reitsma JB et al. J Clin Epidemiol. 2005;58:982-990
Die zusammenfassende ROC-Kurve
ROC Space
Perfect test
1-Specificity (FPR) →
Jeder Punkt = eine Studie
Die Kurve zeigt den Kompromiss
Higher = better test
Die Kurve zeigt den Kompromiss
Higher = better test
↓ Sensitivity
Useless test (chance line)
LESEN DER SROC
Top-left corner = perfect test (100% sens, 100% spec)
Diagonal line = useless test (random guessing)
The curve = Zusammenfassung der Leistung aller Studien
Diagonal line = useless test (random guessing)
The curve = Zusammenfassung der Leistung aller Studien
"Eine Studie kann täuschen. Viele Studien, zusammen betrachtet,
beginnen, die Wahrheit zu enthüllen.
Die SROC-Kurve ist der Weg von Beweise –
showing what the test can truly do."
beginnen, die Wahrheit zu enthüllen.
Die SROC-Kurve ist der Weg von Beweise –
showing what the test can truly do."
Aber was wäre, wenn die Studien disagree?
Eine Studie besagt, dass die Sensitivität 95 % beträgt.
Another says 60%.
An welche Wahrheit glauben Sie?
Eine Studie besagt, dass die Sensitivität 95 % beträgt.
Another says 60%.
An welche Wahrheit glauben Sie?
Heterogenität: Die Meinungsverschiedenheit
DEFINITION
Heterogeneity ist die Variation zwischen Studien, die nicht allein durch Zufall erklärt werden kann.
High heterogeneity means Die Studien messen unterschiedlich Dinge— or the test performs differently in different settings.
High heterogeneity means Die Studien messen unterschiedlich Dinge— or the test performs differently in different settings.
Warum Studien nicht übereinstimmen
T
Threshold Differences
Unterschiedliche Grenzwerte für „positive“ Ergebnisse (z. B. unterschiedliche HbA1c-Grenzwerte für Diabetes)
P
Population Differences
Disease severity, age, comorbidities differ between studies
S
Setting Differences
Primary care vs. specialist clinic vs. emergency room
Q
Quality Differences
Risk of bias, verification bias, spectrum bias
Messung der Unstimmigkeit
I² < 25%
Low heterogeneity
Studies agree
Studies agree
I² 25-75%
Moderate
Some disagreement
Some disagreement
I² > 75%
High heterogeneity
Major disagreement
Major disagreement
THE WARNING
When I² > 75%, the pooled estimate may be meaningless.
Sie können Äpfel und Birnen nicht mitteln. Sie müssen explain why studies differ before pooling them.
Sie können Äpfel und Birnen nicht mitteln. Sie müssen explain why studies differ before pooling them.
„Wenn die Studien anderer Meinung sind,
den Dissens nicht zum Schweigen bringen.
Ask: Why do they see differently?
Die Meinungsverschiedenheit selbst lehrt.“
den Dissens nicht zum Schweigen bringen.
Ask: Why do they see differently?
Die Meinungsverschiedenheit selbst lehrt.“
Ihr DTA-Toolkit
Die wesentlichen Maßnahmen und wann man sie verwendet
Essential Metrics
1
Sensitivity & Specificity
How well the test performs on sick vs. healthy people
2
Likelihood Ratios (LR+, LR-)
How much a result changes the probability of disease
3
Diagnostic Odds Ratio (DOR)
Single measure of test discrimination (DOR = LR+ / LR-)
4
Bereich Unter dem SROC-Kurve (AUC)
Overall test performance across all thresholds (0.5 = useless, 1.0 = perfect)
Handelswerkzeuge
mada
R package for
bivariate meta-analysis
bivariate meta-analysis
metaDTA
Stata module
für DTA-Reviews
für DTA-Reviews
DTA Pro
Browser-based
Open-Access-Tool
Open-Access-Tool
DER STANDARD REFERENZEN
Reitsma et al. 2005 - Bivariate model
Rutter & Gatsonis 2001 - HSROC model
Cochrane Handbook Ch. 10 - DTA methods
Rutter & Gatsonis 2001 - HSROC model
Cochrane Handbook Ch. 10 - DTA methods
Bevor Sie einer DTA-Studie vertrauen
✓
Was there a valid reference standard?
Gold standard test applied to all patients?
✓
Wurden Dolmetscher geblendet?
Test readers unaware of diagnosis, and vice versa?
✓
War das Spektrum angemessen?
Patients similar to your clinical population?
✓
War das Schwellenwert vorab festgelegt?
Oder wurde er gewählt, um die Ergebnisse zu maximieren?
"Armed with sensitivity, specificity, likelihood,
Mit dem SROC und dem Maß der Übereinstimmung bewaffnet,
können Sie die Lüge des Tests durchschauen –
und seine Wahrheit beurteilen sich selbst.“
Mit dem SROC und dem Maß der Übereinstimmung bewaffnet,
können Sie die Lüge des Tests durchschauen –
und seine Wahrheit beurteilen sich selbst.“
========== GESCHICHTE 1: DIE THERANOS-MIRAGE ==========
Folie 10.2: Real Data Box
Folie 10.4: Die Offenbarung
========== GESCHICHTE 2: DAS COVID-SCHNELLTEST-CHAOS ==========
Folie 10.6: Echtdatenbox
Folie 10.8: Die Offenbarung
========== GESCHICHTE 3: DIE MAMMOGRAPHIE-KONTROVERSE ==========
Folie 10.10: Echtdatenbox
Folie 10.12: Die Offenbarung
========== GESCHICHTE 4: DAS PSA-PARADOX ==========
Folie 10.14: Box mit echten Daten
Folie 10.16: Die Offenbarung
========== GESCHICHTE 5: DER TB-TEST IN ZWEI BEVÖLKERUNGEN ==========
Folie 10.18: Real Data Box
Folie 10.20: Die Offenbarung
Folie 10.21: Modulzusammenfassung
==================== MODUL 11: REFERENZEN & QUIZ ====================
Have you considered what happens when a test promises everything?
When a machine claims to see what no other machine can see,
und niemand fragt: "Zeigen Sie mir den Beweis"?
When a machine claims to see what no other machine can see,
und niemand fragt: "Zeigen Sie mir den Beweis"?
Die Theranos Mirage
REAL DATA: FDA INSPECTION FINDINGS
Theranos claimed: 200+ tests from a single finger prick
FDA found:
• Results varied by 146% between runs on the same sample
• Edison machines failed 87% of proficiency tests
• Zero peer-reviewte Validierungsstudien veröffentlicht
• Patienten erhielten HIV-positive Ergebnisse für Proben, die negativ waren
FDA found:
• Results varied by 146% between runs on the same sample
• Edison machines failed 87% of proficiency tests
• Zero peer-reviewte Validierungsstudien veröffentlicht
• Patienten erhielten HIV-positive Ergebnisse für Proben, die negativ waren
Sources: FDA Warning Letter 2016; Carreyrou J. Bad Blood. 2018; CMS Inspection Reports.
Der Entscheidungsbaum
Sie sind ein Krankenhausverwalter. Theranos bietet Ihnen einen Vertrag an.
Was wählen Sie?
Theranos Contract Offered
↓
PATH A: Trust Marketing Claims
↓
Unterschreiben Sie den Vertrag
↓
Misdiagnose thousands
Face lawsuits
Harm patients
Face lawsuits
Harm patients
PFAD B: Bedarfsvalidierungsdaten
↓
Finden Sie keine peer-reviewten Studien
↓
Lehnen Sie den Vertrag ab
Schützen Sie Ihre Patienten
Avoid Scandal
Schützen Sie Ihre Patienten
Avoid Scandal
THE REVELATION
Elizabeth Holmes never validated a single test externally.
A $9 billion valuation became a criminal fraud conviction.
Jedes Krankenhaus, das vor der Unterzeichnung Validierungsdaten verlangte
war vor der Lüge geschützt.
Jedes Krankenhaus, das dem Marketing vertraut hat
became complicit in harming patients.
A $9 billion valuation became a criminal fraud conviction.
Jedes Krankenhaus, das vor der Unterzeichnung Validierungsdaten verlangte
war vor der Lüge geschützt.
Jedes Krankenhaus, das dem Marketing vertraut hat
became complicit in harming patients.
THE LESSON
No peer-reviewed validation = No trust.
Das Fehlen von Beweisen ist kein Marketingproblem.
It is a patient safety emergency.
Das Fehlen von Beweisen ist kein Marketingproblem.
It is a patient safety emergency.
When speed defeats accuracy,
Wer zahlt den Preis?
The test result comes in 15 minutes.
Aber was ist, wenn das Ergebnis ist 15 minutes of false confidence?
Wer zahlt den Preis?
The test result comes in 15 minutes.
Aber was ist, wenn das Ergebnis ist 15 minutes of false confidence?
The COVID Rapid Test Chaos
ECHTE DATEN: HERSTELLER VS. WIRKLICHKEIT
Manufacturer claims: 97% sensitivity
Real-world performance (Cochrane 2022):
• Symptomatic individuals: 73% sensitivity (missed 27%)
• Asymptomatic individuals: 58% sensitivity (missed 42%)
• Early infection (days 0-3): ~50% sensitivity
Fast der Hälfte der asymptomatischen Infizierten wurde mitgeteilt, dass sie „frei“ seien.
Real-world performance (Cochrane 2022):
• Symptomatic individuals: 73% sensitivity (missed 27%)
• Asymptomatic individuals: 58% sensitivity (missed 42%)
• Early infection (days 0-3): ~50% sensitivity
Fast der Hälfte der asymptomatischen Infizierten wurde mitgeteilt, dass sie „frei“ seien.
Source: Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
Der Entscheidungsbaum
Sie sind Schulkrankenschwester während eines COVID-Anstiegs. Ein symptomatischer Lehrer testet einen Schnelltest negativ.
Was wählen Sie?
Symptomatic Teacher + Negative Rapid Test
↓
PATH A: Trust the Negative Result
↓
Send Teacher to Class
↓
Outbreak infects 30 students
School closure
Three hospitalizations
School closure
Three hospitalizations
PATH B: Remember Sensitivity Limits
↓
Require PCR Confirmation
↓
PCR positive confirmed
Teacher isolates
Outbreak prevented
Teacher isolates
Outbreak prevented
THE REVELATION
A negative test bedeutet nicht no infection.
It means: "not detected."
Der Unterschied zwischen diesen beiden Sätzen
is measured in lives.
It means: "not detected."
Der Unterschied zwischen diesen beiden Sätzen
is measured in lives.
THE LESSON
When sensitivity is 58%, a negative result in a symptomatic person
is almost meaningless.
SnNout only works when sensitivity is HIGH.
Know your test's limits before trusting its verdict.
is almost meaningless.
SnNout only works when sensitivity is HIGH.
Know your test's limits before trusting its verdict.
Kann das mal testen finds cancer
still cause harm?
Was ist, wenn der Krebs gefunden wird?
would never have hurt you?
still cause harm?
Was ist, wenn der Krebs gefunden wird?
would never have hurt you?
Die Mammographie-Kontroverse
ECHTE DATEN: DAS SCREENING-PARADOX
Test characteristics:
Sensitivity: ~85% | Specificity: ~90%
Für 1.000 Frauen, die 10 Jahre lang jährlich untersucht werden:
• 1 death prevented auf Brustkrebs untersucht
• 5 women overtreated für Krebserkrankungen, die ihnen nie geschadet hätten
• 100-500 false alarms leading to biopsies, anxiety, repeat imaging
Overdiagnosis rate: 19-30% of screen-detected cancers
Sensitivity: ~85% | Specificity: ~90%
Für 1.000 Frauen, die 10 Jahre lang jährlich untersucht werden:
• 1 death prevented auf Brustkrebs untersucht
• 5 women overtreated für Krebserkrankungen, die ihnen nie geschadet hätten
• 100-500 false alarms leading to biopsies, anxiety, repeat imaging
Overdiagnosis rate: 19-30% of screen-detected cancers
Source: Independent UK Panel on Breast Cancer Screening. Lancet. 2012;380:1778-1786
Der Entscheidungsbaum
A 45-year-old woman asks your advice on mammography screening.
Was wählen Sie?
Patient Asks: "Should I Get Annual Mammograms?"
↓
PATH A: Recommend Without Context
↓
Small Tumor Found
↓
Mastectomy performed
Tumor war indolent (DCIS)
Would never have harmed her
Tumor war indolent (DCIS)
Would never have harmed her
PATH B: Explain Trade-offs
↓
Shared Decision-Making
↓
Patient makes informed choice
Versteht Nutzen UND Schaden
Autonomy preserved
Versteht Nutzen UND Schaden
Autonomy preserved
THE REVELATION
Die Testgenauigkeit ist nicht die einzige Messgröße.
A test can be accurate und immer noch verursachen harm.
When overdiagnosis exceeds lives saved,
we must ask: Is finding always helping?
A test can be accurate und immer noch verursachen harm.
When overdiagnosis exceeds lives saved,
we must ask: Is finding always helping?
THE LESSON
Der Schaden von Fehlalarme und Überdiagnosen
kann den Nutzen übersteigen true positives.
Always weigh benefits against harms.
Screening spart nicht immer.
kann den Nutzen übersteigen true positives.
Always weigh benefits against harms.
Screening spart nicht immer.
What if finding the disease
is worse than missing it?
What if the treatment causes more suffering
than the disease ever would?
is worse than missing it?
What if the treatment causes more suffering
than the disease ever would?
Das PSA-Paradoxon
ECHTE DATEN: DIE SCHWELLENFALLE
PSA cutoff of 4.0 ng/mL:
• Empfindlichkeit für hochgradigen Krebs: 21%
• Detects many indolent cancers that would never harm
Lower cutoff to 2.5 ng/mL:
• Sensitivity rises to: 40%
• But overdiagnosis doubles
Treatment consequences:
• 20-30% of men experience incontinence after prostatectomy
• 30-70% experience erectile dysfunction
• Empfindlichkeit für hochgradigen Krebs: 21%
• Detects many indolent cancers that would never harm
Lower cutoff to 2.5 ng/mL:
• Sensitivity rises to: 40%
• But overdiagnosis doubles
Treatment consequences:
• 20-30% of men experience incontinence after prostatectomy
• 30-70% experience erectile dysfunction
Source: US Preventive Services Task Force. JAMA. 2018;319(18):1901-1913
Der Entscheidungsbaum
Sie legen die PSA-Screening-Richtlinie für ein Gesundheitssystem fest. Drei Wege liegen vor Ihnen.
Welche Schwelle wählen Sie?
PSA Screening Policy Decision
↓
PATH A: Low Threshold (2.5)
↓
Maximize sensitivity
Thousands of unnecessary
Biopsien und Behandlungen
Thousands of unnecessary
Biopsien und Behandlungen
PATH B: High Threshold (4.0)
↓
Miss some cancers
But most missed are indolent
Fewer unnecessary treatments
But most missed are indolent
Fewer unnecessary treatments
PATH C: Abandon PSA Screening
↓
Miss aggressive cancers
Some preventable deaths
No overtreatment harm
Some preventable deaths
No overtreatment harm
THE REVELATION
There is no "right" cutoff.
Every threshold trades Sensibilität für Spezifität,
Erkennung einer Überdiagnose.
Die Auswahl ist nicht medizinisch. Es ist ethical.
Es hängt davon ab, welche Schäden Sie bereit sind zu akzeptieren.
Every threshold trades Sensibilität für Spezifität,
Erkennung einer Überdiagnose.
Die Auswahl ist nicht medizinisch. Es ist ethical.
Es hängt davon ab, welche Schäden Sie bereit sind zu akzeptieren.
THE LESSON
Der Schwelleneffekt ist kein technisches Problem.
It is a values problem.
Before choosing a cutoff, ask:
What is worse: missing disease or overtreating the healthy?
It is a values problem.
Before choosing a cutoff, ask:
What is worse: missing disease or overtreating the healthy?
Derselbe Test. Der gleiche Grenzwert.
Different truths.
How can identical numbers
mean opposite things?
Different truths.
How can identical numbers
mean opposite things?
Der TB-Test in zwei Populationen
REAL DATA: SAME TEST, DIFFERENT MEANING
Tuberculin Skin Test (10mm cutoff)
Sensitivity: ~80% | Specificity: ~95%
In high-prevalence setting (TB prevalence 10%):
• Positive Predictive Value: 85%
• A positive test usually means TB
In low-prevalence setting (TB prevalence 0.1%):
• Positive Predictive Value: 15%
• A positive test is usually a false positive
Sensitivity: ~80% | Specificity: ~95%
In high-prevalence setting (TB prevalence 10%):
• Positive Predictive Value: 85%
• A positive test usually means TB
In low-prevalence setting (TB prevalence 0.1%):
• Positive Predictive Value: 15%
• A positive test is usually a false positive
Source: Pai M et al. Lancet Infect Dis. 2014;14(8):765-773
Der Entscheidungsbaum
Sie sind ein Arzt in London und sehen einen Einwanderer aus einem Land mit hoher Tuberkuloserate. TST ist positiv.
War Schließen Sie daraus?
Positive TST in Immigrant Patient
↓
PATH A: Apply UK Population PPV
↓
Assume "Probably False Positive"
↓
Miss active TB
Patient infects family
Verzögert die Diagnose um Monate
Patient infects family
Verzögert die Diagnose um Monate
PATH B: Consider Patient's Pre-Test Probability
↓
Recognize PPV Depends on Prevalence
↓
Investigate further
Chest X-ray, sputum
Treat early if confirmed
Chest X-ray, sputum
Treat early if confirmed
THE REVELATION
Empfindlichkeit und Spezifität are properties of the test.
PPV und NPV are properties of the population.
Das gleiche Ergebnis bedeutet different things
in different people.
PPV und NPV are properties of the population.
Das gleiche Ergebnis bedeutet different things
in different people.
THE LESSON
Never interpret a test result without knowing the pre-test probability.
A positive test in a high-risk patient means disease.
The same positive in a low-risk patient means probably nothing.
Context is everything.
A positive test in a high-risk patient means disease.
The same positive in a low-risk patient means probably nothing.
Context is everything.
Five Stories, Five Lessons
1
Theranos: Demand Validation
No peer-reviewed data = no trust, regardless of marketing claims
2
COVID Rapid Tests: Know Sensitivity Limits
„Nicht erkannt“ ist nicht dasselbe wie „nicht infiziert“
3
Mammography: Weigh Benefits vs. Harms
Finding is not always helping; overdiagnosis causes real harm
4
PSA: The Threshold is a Values Choice
Alle Cutoff tauscht Sensitivität gegen Spezifität; Es gibt keine „richtige“ Antwort
5
TB Test: Context Determines Meaning
The same result means different things in different populations
References
Hier zitierte wichtige Quellen Kurs
- Carreyrou J. Bad Blood: Secrets and Lies in a Silicon Valley Startup. Knopf, 2018.
- Dinnes J, et al. Rapid, point-of-care antigen tests for diagnosis of SARS-CoV-2 infection. Cochrane Database Syst Rev. 2022;7:CD013705.
- Unabhängiges britisches Gremium für Brustkrebs-Screening. Nutzen und Schaden des Brustkrebs-Screenings. Lancet. 2012;380:1778-1786.
- Reitsma JB, et al. Die bivariate Analyse von Sensitivität und Spezifität liefert aussagekräftige zusammenfassende Messungen in diagnostischen Überprüfungen. J Clin Epidemiol. 2005;58:982-990.
- Rutter CM, Gatsonis CA. A hierarchical regression approach to meta-analysis of diagnostic test accuracy evaluations. Stat Med. 2001;20:2865-2884.
- Deeks JJ, et al. The performance of tests of publication bias in systematic reviews of diagnostic test accuracy. J Clin Epidemiol. 2005;58:882-893.
- Macaskill P, et al. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy. Chapter 10. 2023.
- Higgins JPT, Thompson SG. Quantifying heterogeneity in a meta-analysis. Stat Med. 2002;21:1539-1558.
- US Food and Drug Administration. Warning Letter to Theranos Inc. 2016.
- US Preventive Services Task Force. Screening for Prostate Cancer. JAMA. 2018;319(18):1901-1913.
- Pai M, et al. Tuberculosis. Lancet Infect Dis. 2014;14(8):765-773.
Was war in der Theranos-Geschichte das grundlegende Problem mit ihren Bluttests?
Sie waren zu teuer
Sie lieferten falsche Ergebnisse, die den Patienten schaden könnten
Das waren sie auch langsam
They required too much blood
A COVID rapid test has 55% sensitivity in asymptomatic people. What does this mean?
55 % der positiven Ergebnisse sind korrekt
Der Test funktioniert in 55 % der Fälle
The test misses 45% of infected asymptomatic people
55 % der negativen Ergebnisse sind falsch
What does "SnNout" mean?
A highly Sensitive test, when Negative, rules OUT disease
A highly Specific test, when Negative, rules OUT disease
A sensitive test should be used for screening
Sensitivität und Spezifität sind negativ korreliert
Warum können Sie Sensitivität und Spezifität in der Metaanalyse nicht getrennt zusammenfassen?
They use different scales
Sie korrelieren aufgrund des Schwellenwerteffekts
They come from different populations
It's computationally too difficult
✔
Course Complete
"Jetzt kennen Sie die vier Ergebnisse,
die beiden Vorzüge eines Tests,
den grausamen Kompromiss des Schwellenwerts
und die Kunst des Poolings Beweise.
Wenn der nächste Test Sie belügt –
you will know how to see through it."
die beiden Vorzüge eines Tests,
den grausamen Kompromiss des Schwellenwerts
und die Kunst des Poolings Beweise.
Wenn der nächste Test Sie belügt –
you will know how to see through it."
Wenn der Test lügt – Jetzt wissen Sie es.
1 / 5