DTA Course > The Fraud
==================== मॉड्यूल 1: धोखाधड़ी (थेरानोस) ===================
स्लाइड 1.2: थेरानोस स्टोरी
स्लाइड 1.3: धोखाधड़ी
स्लाइड 1.4: पीड़ित
स्लाइड 1.5: बचना
==================== मॉड्यूल 2: चार परिणाम ===================
स्लाइड 2.2: निर्णय वृक्ष
स्लाइड 2.3: चार चतुर्थांश
स्लाइड 2.4: 2x2 तालिका
स्लाइड 2.5: बचना
==================== मॉड्यूल 3: संवेदनशीलता और विशिष्टता ====================
स्लाइड 3.4: समझौता
स्लाइड 3.5: स्नाउट और एसपीपिन
==================== मॉड्यूल 4: कोविड परीक्षण घोटाला ====================
स्लाइड 4.2: वादा
स्लाइड 4.3: वास्तविकता
स्लाइड 4.4: परिणाम
==================== मॉड्यूल 5: संभावना अनुपात ====================
स्लाइड 5.2: सेंस/स्पेक के साथ समस्या
==================== मॉड्यूल 6: मैमोग्राफी विवाद ====================
स्लाइड 6.2: स्क्रीनिंग का वादा
स्लाइड 6.4: संख्याएँ
==================== मॉड्यूल 7: डीटीए का मेटा-विश्लेषण ====================
स्लाइड 7.3: द्विचर मॉडल
=================== मॉड्यूल 9: डीटीए टूलकिट ===================
स्लाइड 9.2: उपाय
स्लाइड 9.3: उपकरण और सॉफ्टवेयर
स्लाइड 9.4: चेकलिस्ट
==================== मॉड्यूल 10: वास्तविक-विश्व निर्णय कहानियां ===================
क्या आपने उस महिला की कहानी नहीं सुनी है
who promised to खून की एक बूंद से बदल जाती है दुनिया,
who raised billions on a test that never worked?
who promised to खून की एक बूंद से बदल जाती है दुनिया,
who raised billions on a test that never worked?
Palo Alto, 2003
STANFORD UNIVERSITY
A उन्नीस वर्षीय ने एक सपने के साथ कॉलेज छोड़ दिया: एक उपकरण जो उंगली से दर्द रहित तरीके से एक बूंद से सैकड़ों रक्त परीक्षण कर सकता है।
No more needles. No more vials. No more waiting.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
No more needles. No more vials. No more waiting.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Carreyrou J. Bad Blood: Secrets and Lies in a Silicon Valley Startup. 2018
लेकिन परीक्षण lied.
$9 Billion
Built on a test that didn't work
WHAT HAPPENED
थेरानोस मशीनें दिया wrong results. मरीजों को बताया गया कि उन्हें एचआईवी है जबकि उन्हें एचआईवी नहीं था। मरीजों को बताया गया कि जब वे dyingथे तो उनका रक्त सामान्य था। कंपनी ने सच्चाई छुपाई 15 years.
The Victims
PHOENIX, ARIZONA
एक गर्भवती महिला को बताया गया कि उसका बच्चा क्रोमोसोमल असामान्यता के साथ पैदा होगा। वह सबसे बुरे के लिए तैयारी कर रही थी। वह शोक मना रही थी।
परीक्षण गलत था। बच्चा स्वस्थ था।
But how many women, receiving the same news, made different decisions?
परीक्षण गलत था। बच्चा स्वस्थ था।
But how many women, receiving the same news, made different decisions?
THE QUESTION
How do we know when a test is telling the truth?
How do we measure a test's honesty?
"और परीक्षण में झूठ बोला गया,
और झूठ को निश्चितता का जामा पहनाया गया,
और किसी ने सवाल नहीं उठाया संख्याएं।"
और झूठ को निश्चितता का जामा पहनाया गया,
और किसी ने सवाल नहीं उठाया संख्याएं।"
यही कारण है कि हम डायग्नोस्टिक टेस्ट सटीकता का अध्ययन करते हैं।
When a test gives a result,
केवल four possible truths.
दो ही आशीर्वाद हैं। दो अभिशाप हैं।
केवल four possible truths.
दो ही आशीर्वाद हैं। दो अभिशाप हैं।
परिणामों का वृक्ष
Every Test Result Has a Reality Behind It
Patient Tested
↓
Test Says: POSITIVE
"You have it"
Test Says: NEGATIVE
"You're clear"
↓
TP
FP
FN
TN
Has disease
Test: Positive
Test: Positive
No disease
Test: Positive
Test: Positive
Has disease
Test: Negative
Test: Negative
No disease
Test: Negative
Test: Negative
चार सच्चाई
True Positive (TP)
Sick person correctly identified.
परीक्षण ने सच बताया।
False Positive (FP)
Healthy person wrongly alarmed.
परीक्षण ने झूठ बोला।
False Negative (FN)
Sick person wrongly reassured.
सबसे घातक झूठ।
True Negative (TN)
Healthy person correctly cleared.
परीक्षण ने सच बताया।
पवित्र तालिका
2x2 कन्फ्यूजन मैट्रिक्स
| Disease Present | Disease Absent | |
|---|---|---|
| Test Positive | TP True Positive |
FP False Positive |
| Test Negative | FN False Negative |
TN True Negative |
REMEMBER
प्रत्येक नैदानिक अध्ययन को ये रिपोर्ट करनी चाहिए four numbers.
Without them, you cannot judge a test.
"Two outcomes save. Two outcomes harm.
Know them by name.
टीपी, टीएन: परीक्षण बोला गया सच।
FP, FN: परीक्षण झूठ बोला।"
Know them by name.
टीपी, टीएन: परीक्षण बोला गया सच।
FP, FN: परीक्षण झूठ बोला।"
A test has two virtues and two vices.
Sensitivity asks: Can it find the sick?
Specificity asks: Can it spare the healthy?
Sensitivity asks: Can it find the sick?
Specificity asks: Can it spare the healthy?
Sensitivity
"सभी बीमारों में से कितनों को परीक्षण ने पकड़ लिया?"
THE FORMULA
Sensitivity = TP / (TP + FN)
True Positives divided by All Diseased
IN SIMPLE WORDS
यदि 100 लोगों को कैंसर है, और परीक्षण उनमें से 90 को पकड़ लेता है,
sensitivity = 90%.
High sensitivity = few false negatives = few missed cases.
High sensitivity = few false negatives = few missed cases.
Specificity
"सभी स्वस्थ लोगों में से, परीक्षण में कितने बचे?"
THE FORMULA
Specificity = TN / (TN + FP)
True Negatives divided by All Non-Diseased
IN SIMPLE WORDS
यदि 100 लोग स्वस्थ हैं, और परीक्षण सही ढंग से उनमें से 95 के लिए "नकारात्मक" बताता है,
specificity = 95%.
High specificity = few false positives = few false alarms.
High specificity = few false positives = few false alarms.
क्रूर व्यापार-बंद
THE DILEMMA
A test cannot have both perfect sensitivity AND perfect specificity.
Lower the threshold to catch more sick people? You'll alarm more healthy people.
Raise the threshold to spare healthy people? You'll miss more sick people.
This is the threshold effect- निदान का झूला।
Lower the threshold to catch more sick people? You'll alarm more healthy people.
Raise the threshold to spare healthy people? You'll miss more sick people.
This is the threshold effect- निदान का झूला।
स्मृति नियम
Sn
SnNout: Sensitive tests rule OUT
A highly sensitive test, when negative, rules out disease. If it didn't find it, it's probably not there.
Sp
SpPin: Specific tests rule IN
एक अत्यधिक विशिष्ट परीक्षण, सकारात्मक होने पर, रोग में नियम बनाता है। यदि यह कहता है कि आपके पास यह है, तो संभवतः आपके पास है।
REMEMBER
SnNout: Sensitive Negative rules OUT
SpPin: Specific Positive rules IN
SpPin: Specific Positive rules IN
"संवेदनशीलता बीमार को पकड़ लेती है।
विशिष्टता कुएं को बचाती है।
But no test masters both perfectly—
यह वह बोझ है जिसे हमें उठाना होगा।"
विशिष्टता कुएं को बचाती है।
But no test masters both perfectly—
यह वह बोझ है जिसे हमें उठाना होगा।"
साल 2020 में जब धरती पर महामारी का प्रकोप हुआ.
दुनिया को एक ऐसे परीक्षण की आवश्यकता थी जो कर सके संक्रमित को जल्दी ढूंढो.
But what if the rapid test missed too many?
दुनिया को एक ऐसे परीक्षण की आवश्यकता थी जो कर सके संक्रमित को जल्दी ढूंढो.
But what if the rapid test missed too many?
त्वरित परीक्षण का वादा
15 min
Results Time
$5
Cost per Test
Home
Self-Administered
THE HOPE
Rapid antigen tests could be used at home, at work, before gatherings.
They could stop outbreaks before they started.
The Reality
कोक्रेन व्यवस्थित समीक्षा, 2022
जब शोधकर्ताओं ने COVID-19 रैपिड एंटीजन परीक्षणों पर 155 अध्ययनों से डेटा एकत्र किया:
लक्षण वाले लोगों में:
Sensitivity: 73% (missed 27% of cases)
In people WITHOUT symptoms:
Sensitivity: 55% (missed 45% of cases)
लगभग आधे संक्रमित स्पर्शोन्मुख लोगों को बताया गया कि वे स्पष्ट हैं।
लक्षण वाले लोगों में:
Sensitivity: 73% (missed 27% of cases)
In people WITHOUT symptoms:
Sensitivity: 55% (missed 45% of cases)
लगभग आधे संक्रमित स्पर्शोन्मुख लोगों को बताया गया कि वे स्पष्ट हैं।
Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
झूठी नकारात्मक बातें फैलती हैं
1
Thanksgiving Dinners
Families tested negative in the morning, gathered indoors, unknowingly infected grandparents
2
Workplace Outbreaks
Workers tested negative, came to work, infected colleagues in the break room
3
Hospital Transmission
Patients tested negative, admitted to wards, infected vulnerable patients
THE LESSON
A 55% sensitivity means 45% false negative rate.
False negatives are invisible. They feel safe. They spread disease.
"और परीक्षण ने 'नकारात्मक' कहा,
और परिवार इकट्ठा हुआ,
और दादाजी ने अपने पोते-पोतियों को गले लगा लिया,
और सर्दियों के अंत तक, वह चला गया।"
और परिवार इकट्ठा हुआ,
और दादाजी ने अपने पोते-पोतियों को गले लगा लिया,
और सर्दियों के अंत तक, वह चला गया।"
संवेदनशीलता और विशिष्टता परीक्षण का वर्णन करती है।
लेकिन मरीज़ एक अलग सवाल पूछता है:
"I tested positive. What are my chances?"
लेकिन मरीज़ एक अलग सवाल पूछता है:
"I tested positive. What are my chances?"
The Disconnect
A DOCTOR'S DILEMMA
A test has 99% sensitivity and 95% specificity. Sounds excellent.
आपके मरीज का परीक्षण एक दुर्लभ बीमारी (प्रचलन 1000 में 1) के लिए सकारात्मक है।
Question: क्या संभावना है कि उन्हें वास्तव में यह बीमारी है?
अधिकांश डॉक्टर 95% कहते हैं। असली उत्तर? About 2%.
आपके मरीज का परीक्षण एक दुर्लभ बीमारी (प्रचलन 1000 में 1) के लिए सकारात्मक है।
Question: क्या संभावना है कि उन्हें वास्तव में यह बीमारी है?
अधिकांश डॉक्टर 95% कहते हैं। असली उत्तर? About 2%.
Likelihood Ratios
How much a test result changes the odds
POSITIVE LIKELIHOOD RATIO
LR+ = Sensitivity / (1 - Specificity)
How much more likely is a positive result in sick vs healthy?
NEGATIVE LIKELIHOOD RATIO
LR- = (1 - Sensitivity) / Specificity
How much more likely is a negative result in sick vs healthy?
What Good LRs Look Like
LR+ > 10
Strong rule-in
LR+ 5-10
Moderate rule-in
LR+ 2-5
Weak evidence
LR- < 0.1
Strong rule-out
LR- 0.1-0.2
Moderate rule-out
LR- 0.2-0.5
Weak evidence
"Sensitivity tells how many sick the test will catch.
Specificity tells how many well it will spare.
But only the likelihood ratio answers:
इस रोगी के लिए इस परिणाम का क्या अर्थ है?"
Specificity tells how many well it will spare.
But only the likelihood ratio answers:
इस रोगी के लिए इस परिणाम का क्या अर्थ है?"
क्या आपने स्क्रीनिंग का विवाद नहीं सुना
that found too much?
When does finding disease become causing harm?
that found too much?
When does finding disease become causing harm?
जल्दी पता लगाने का सपना
1970s - PRESENT
तर्क सुंदर था: कैंसर का शीघ्र पता लगाएं, इसका शीघ्र उपचार करें, जीवन बचाएं।
Mammography could detect tumors too small to feel.
महिलाओं से कहा गया: "Annual mammograms save lives."
But what if some of those "cancers" would never have killed?
Mammography could detect tumors too small to feel.
महिलाओं से कहा गया: "Annual mammograms save lives."
But what if some of those "cancers" would never have killed?
अति निदान का अभिशाप
19-30%
of screen-detected breast cancers may be overdiagnosed
WHAT IS OVERDIAGNOSIS?
एक ऐसा "कैंसर" ढूंढना जो ऐसा कर सके never have caused symptoms or death
व्यक्ति के जीवनकाल के दौरान.
महिला का निदान किया जाता है, सर्जरी, विकिरण, कीमोथेरेपी से इलाज किया जाता है- एक ऐसी बीमारी के लिए जिसने उसे कभी नुकसान नहीं पहुंचाया होगा।
महिला का निदान किया जाता है, सर्जरी, विकिरण, कीमोथेरेपी से इलाज किया जाता है- एक ऐसी बीमारी के लिए जिसने उसे कभी नुकसान नहीं पहुंचाया होगा।
Independent UK Panel on Breast Cancer Screening. Lancet. 2012;380:1778-1786
प्रत्येक 10,000 महिलाओं की जांच की गई
3-4
Lives saved
स्तन कैंसर से
स्तन कैंसर से
~15
Overdiagnosed
(treated unnecessarily)
(treated unnecessarily)
~500
False alarms
(anxiety, biopsies)
(anxiety, biopsies)
THE TRADE-OFF
To save 3-4 lives, आपको इसे स्वीकार करना होगा ~15 women
उन कैंसरों का इलाज किया जाएगा जिनसे उन्हें कभी नुकसान नहीं हुआ होगा, और ~500 women will experience false alarms.
क्या यह एक अच्छा व्यापार है? उत्तर केवल संख्याओं पर नहीं, बल्कि मूल्यों पर निर्भर करता है।
क्या यह एक अच्छा व्यापार है? उत्तर केवल संख्याओं पर नहीं, बल्कि मूल्यों पर निर्भर करता है।
"और परीक्षण में वह पाया गया जो छिपा हुआ था,
और इसे बीमारी कहा,
और स्त्री को काटा गया, जलाया गया और ज़हर दिया गया—
एक ऐसी छाया के लिए जिसने उसके दिन कभी अंधकारमय न किये होंगे।"
और इसे बीमारी कहा,
और स्त्री को काटा गया, जलाया गया और ज़हर दिया गया—
एक ऐसी छाया के लिए जिसने उसके दिन कभी अंधकारमय न किये होंगे।"
यह अति निदान की समस्या है.
एक अध्ययन झूठ बोल सकता है। एक अध्ययन चापलूसी कर सकता है।
लेकिन जब आप इकट्ठे होते हैं सारी पढ़ाई,
जब आप उनके साक्ष्यों को एक साथ तौलते हैं-
The truth becomes harder to hide.
लेकिन जब आप इकट्ठे होते हैं सारी पढ़ाई,
जब आप उनके साक्ष्यों को एक साथ तौलते हैं-
The truth becomes harder to hide.
साक्ष्य एकत्रित क्यों करें?
1
More Precision
Combining studies gives narrower confidence intervals, reducing uncertainty
2
Detect Heterogeneity
Why do different studies give different answers? Setting? Population? Threshold?
3
Expose Publication Bias
क्या नकारात्मक अध्ययनों को छुपाया जा रहा है? फ़नल प्लॉट विषमता को प्रकट करते हैं
4
Explore Thresholds
Build SROC curves to understand the sensitivity-specificity trade-off
द्विचर मॉडल
WHY IT'S SPECIAL
आप संवेदनशीलता और विशिष्टता को अलग-अलग एकत्रित नहीं कर सकते।
They are correlated: जब एक ऊपर जाता है, तो दूसरा नीचे जाने लगता है (दहलीज प्रभाव)।
The bivariate model इस सहसंबंध के लिए खाते, वैध एकत्रित अनुमान देते हैं।
They are correlated: जब एक ऊपर जाता है, तो दूसरा नीचे जाने लगता है (दहलीज प्रभाव)।
The bivariate model इस सहसंबंध के लिए खाते, वैध एकत्रित अनुमान देते हैं।
Reitsma JB et al. J Clin Epidemiol. 2005;58:982-990
सारांश आरओसी वक्र
ROC Space
Perfect test
1-Specificity (FPR) →
प्रत्येक बिन्दु = एक अध्ययन
वक्र व्यापार-बंद को दर्शाता है
Higher = better test
वक्र व्यापार-बंद को दर्शाता है
Higher = better test
↓ Sensitivity
Useless test (chance line)
एसआरसी पढ़ना
Top-left corner = perfect test (100% sens, 100% spec)
Diagonal line = useless test (random guessing)
The curve = सभी अध्ययनों के प्रदर्शन का सारांश
Diagonal line = useless test (random guessing)
The curve = सभी अध्ययनों के प्रदर्शन का सारांश
"एक अध्ययन धोखा दे सकता है। एक साथ तौले गए कई अध्ययन,
सच्चाई उजागर करना शुरू करें.
SROC वक्र साक्ष्य का मार्ग है-
showing what the test can truly do."
सच्चाई उजागर करना शुरू करें.
SROC वक्र साक्ष्य का मार्ग है-
showing what the test can truly do."
लेकिन पढ़ाई से क्या होगा disagree?
एक अध्ययन कहता है कि संवेदनशीलता 95% है।
Another says 60%.
आप किस सत्य पर विश्वास करते हैं?
एक अध्ययन कहता है कि संवेदनशीलता 95% है।
Another says 60%.
आप किस सत्य पर विश्वास करते हैं?
विषमता: असहमति
DEFINITION
Heterogeneity अध्ययनों के बीच भिन्नता है जिसे अकेले संयोग से नहीं समझाया जा सकता है।
High heterogeneity means अध्ययन अलग-अलग माप रहे हैं चीज़ें— or the test performs differently in different settings.
High heterogeneity means अध्ययन अलग-अलग माप रहे हैं चीज़ें— or the test performs differently in different settings.
अध्ययन असहमत क्यों हैं
T
Threshold Differences
"सकारात्मक" परिणाम के लिए अलग-अलग कटऑफ (उदाहरण के लिए, मधुमेह के लिए अलग HbA1c सीमाएँ)
P
Population Differences
Disease severity, age, comorbidities differ between studies
S
Setting Differences
Primary care vs. specialist clinic vs. emergency room
Q
Quality Differences
Risk of bias, verification bias, spectrum bias
असहमति को मापना
I² < 25%
Low heterogeneity
Studies agree
Studies agree
I² 25-75%
Moderate
Some disagreement
Some disagreement
I² > 75%
High heterogeneity
Major disagreement
Major disagreement
THE WARNING
When I² > 75%, the pooled estimate may be meaningless.
आप सेब और संतरे का औसत नहीं कर सकते। आपको explain why studies differ before pooling them.
आप सेब और संतरे का औसत नहीं कर सकते। आपको explain why studies differ before pooling them.
"जब अध्ययन असहमत हों, तो
असहमति को चुप न कराएं।
Ask: Why do they see differently?
असहमति ही सिखाती है।"
असहमति को चुप न कराएं।
Ask: Why do they see differently?
असहमति ही सिखाती है।"
आपका DTA टूलकिट
आवश्यक उपाय और उनका उपयोग कब करें
Essential Metrics
1
Sensitivity & Specificity
How well the test performs on sick vs. healthy people
2
Likelihood Ratios (LR+, LR-)
How much a result changes the probability of disease
3
Diagnostic Odds Ratio (DOR)
Single measure of test discrimination (DOR = LR+ / LR-)
4
के अंतर्गत क्षेत्र SROC कर्व (AUC)
Overall test performance across all thresholds (0.5 = useless, 1.0 = perfect)
व्यापार के उपकरण
mada
R package for
bivariate meta-analysis
bivariate meta-analysis
metaDTA
Stata module
DTA समीक्षाओं के लिए
DTA समीक्षाओं के लिए
DTA Pro
Browser-based
ओपन एक्सेस टूल
ओपन एक्सेस टूल
द मानक संदर्भ
Reitsma et al. 2005 - Bivariate model
Rutter & Gatsonis 2001 - HSROC model
Cochrane Handbook Ch. 10 - DTA methods
Rutter & Gatsonis 2001 - HSROC model
Cochrane Handbook Ch. 10 - DTA methods
इससे पहले कि आप किसी DTA अध्ययन पर भरोसा करें
✓
Was there a valid reference standard?
Gold standard test applied to all patients?
✓
क्या दुभाषियों को अंधा कर दिया गया था?
Test readers unaware of diagnosis, and vice versa?
✓
क्या स्पेक्ट्रम था उपयुक्त?
Patients similar to your clinical population?
✓
क्या सीमा पूर्व-निर्दिष्ट थी?
या इसे परिणामों को अधिकतम करने के लिए चुना गया था?
"Armed with sensitivity, specificity, likelihood,
SROC और समझौते के माप से लैस,
आप झूठ के पार देख सकते हैं परीक्षण करें—
और इसकी सच्चाई का आकलन स्वयं करें।"
SROC और समझौते के माप से लैस,
आप झूठ के पार देख सकते हैं परीक्षण करें—
और इसकी सच्चाई का आकलन स्वयं करें।"
========== कहानी 1: थेरानोस मृगतृष्णा ==========
स्लाइड 10.2: वास्तविक डेटा बॉक्स
स्लाइड 10.4: रहस्योद्घाटन
========== कहानी 2: कोविड रैपिड टेस्ट अराजकता ==========
स्लाइड 10.6: वास्तविक डेटा बॉक्स
स्लाइड 10.8: रहस्योद्घाटन
========== कहानी 3: मैमोग्राफी विवाद ==========
स्लाइड 10.10: वास्तविक डेटा बॉक्स
स्लाइड 10.12: रहस्योद्घाटन
========== कहानी 4: पीएसए विरोधाभास ==========
स्लाइड 10.14: वास्तविक डेटा बॉक्स
स्लाइड 10.16: रहस्योद्घाटन
========== कहानी 5: दो आबादी में टीबी परीक्षण ==========
स्लाइड 10.18: वास्तविक डेटा बॉक्स
स्लाइड 10.20: रहस्योद्घाटन
स्लाइड 10.21: मॉड्यूल सारांश
==================== मॉड्यूल 11: संदर्भ और प्रश्नोत्तरी ===================
Have you considered what happens when a test promises everything?
When a machine claims to see what no other machine can see,
और कोई नहीं पूछता: "मुझे दिखाओ सबूत"?
When a machine claims to see what no other machine can see,
और कोई नहीं पूछता: "मुझे दिखाओ सबूत"?
थेरानोस मिराज
REAL DATA: FDA INSPECTION FINDINGS
Theranos claimed: 200+ tests from a single finger prick
FDA found:
• Results varied by 146% between runs on the same sample
• Edison machines failed 87% of proficiency tests
• Zero सहकर्मी-समीक्षित सत्यापन अध्ययन प्रकाशित
• मरीजों को उन नमूनों के लिए एचआईवी-सकारात्मक परिणाम प्राप्त हुए जो थे नकारात्मक
FDA found:
• Results varied by 146% between runs on the same sample
• Edison machines failed 87% of proficiency tests
• Zero सहकर्मी-समीक्षित सत्यापन अध्ययन प्रकाशित
• मरीजों को उन नमूनों के लिए एचआईवी-सकारात्मक परिणाम प्राप्त हुए जो थे नकारात्मक
Sources: FDA Warning Letter 2016; Carreyrou J. Bad Blood. 2018; CMS Inspection Reports.
निर्णय वृक्ष
आप एक अस्पताल प्रशासक हैं. थेरानोस आपको एक अनुबंध प्रदान करता है।
आप क्या चयन करेंगे?
Theranos Contract Offered
↓
PATH A: Trust Marketing Claims
↓
अनुबंध पत्र पर हस्ताक्षर कीजिये
↓
Misdiagnose thousands
Face lawsuits
Harm patients
Face lawsuits
Harm patients
पथ बी: मांग सत्यापन डेटा
↓
कोई सहकर्मी-समीक्षित अध्ययन न खोजें
↓
अनुबंध अस्वीकार करें
अपने मरीजों की रक्षा करें
Avoid Scandal
अपने मरीजों की रक्षा करें
Avoid Scandal
THE REVELATION
Elizabeth Holmes never validated a single test externally.
A $9 billion valuation became a criminal fraud conviction.
प्रत्येक अस्पताल जिसने हस्ताक्षर करने से पहले सत्यापन डेटा की मांग की
झूठ से बचाया गया.
हर अस्पताल जिसने मार्केटिंग पर भरोसा किया
became complicit in harming patients.
A $9 billion valuation became a criminal fraud conviction.
प्रत्येक अस्पताल जिसने हस्ताक्षर करने से पहले सत्यापन डेटा की मांग की
झूठ से बचाया गया.
हर अस्पताल जिसने मार्केटिंग पर भरोसा किया
became complicit in harming patients.
THE LESSON
No peer-reviewed validation = No trust.
साक्ष्य का अभाव कोई मार्केटिंग समस्या नहीं है.
It is a patient safety emergency.
साक्ष्य का अभाव कोई मार्केटिंग समस्या नहीं है.
It is a patient safety emergency.
When speed defeats accuracy,
कीमत कौन चुकाता है?
The test result comes in 15 minutes.
लेकिन नतीजा क्या हो तो क्या होगा 15 minutes of false confidence?
कीमत कौन चुकाता है?
The test result comes in 15 minutes.
लेकिन नतीजा क्या हो तो क्या होगा 15 minutes of false confidence?
The COVID Rapid Test Chaos
वास्तविक डेटा: निर्माता बनाम। वास्तविकता
Manufacturer claims: 97% sensitivity
Real-world performance (Cochrane 2022):
• Symptomatic individuals: 73% sensitivity (missed 27%)
• Asymptomatic individuals: 58% sensitivity (missed 42%)
• Early infection (days 0-3): ~50% sensitivity
लगभग आधे संक्रमित स्पर्शोन्मुख लोगों को बताया गया कि वे "स्पष्ट" थे।
Real-world performance (Cochrane 2022):
• Symptomatic individuals: 73% sensitivity (missed 27%)
• Asymptomatic individuals: 58% sensitivity (missed 42%)
• Early infection (days 0-3): ~50% sensitivity
लगभग आधे संक्रमित स्पर्शोन्मुख लोगों को बताया गया कि वे "स्पष्ट" थे।
Source: Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
निर्णय वृक्ष
आप एक COVID उछाल के दौरान एक स्कूल नर्स हैं। रैपिड टेस्ट में रोगसूचक शिक्षक का परीक्षण नकारात्मक आया।
आप क्या चयन करेंगे?
Symptomatic Teacher + Negative Rapid Test
↓
PATH A: Trust the Negative Result
↓
Send Teacher to Class
↓
Outbreak infects 30 students
School closure
Three hospitalizations
School closure
Three hospitalizations
PATH B: Remember Sensitivity Limits
↓
Require PCR Confirmation
↓
PCR positive confirmed
Teacher isolates
Outbreak prevented
Teacher isolates
Outbreak prevented
THE REVELATION
A negative test यह अर्थ नहीं no infection.
It means: "not detected."
इन दोनों वाक्यांशों के बीच अंतर
is measured in lives.
It means: "not detected."
इन दोनों वाक्यांशों के बीच अंतर
is measured in lives.
THE LESSON
When sensitivity is 58%, a negative result in a symptomatic person
is almost meaningless.
SnNout only works when sensitivity is HIGH.
Know your test's limits before trusting its verdict.
is almost meaningless.
SnNout only works when sensitivity is HIGH.
Know your test's limits before trusting its verdict.
क्या कोई इसका परीक्षण कर सकता है? finds cancer
still cause harm?
क्या होगा अगर यह कैंसर मिल जाए
would never have hurt you?
still cause harm?
क्या होगा अगर यह कैंसर मिल जाए
would never have hurt you?
मैमोग्राफी विवाद
वास्तविक डेटा: स्क्रीनिंग विरोधाभास
Test characteristics:
Sensitivity: ~85% | Specificity: ~90%
10 वर्षों तक प्रति वर्ष 1,000 महिलाओं की जांच:
• 1 death prevented स्तन कैंसर से
• 5 women overtreated उन कैंसरों के लिए जिन्होंने उन्हें कभी नुकसान नहीं पहुँचाया होगा
• 100-500 false alarms leading to biopsies, anxiety, repeat imaging
Overdiagnosis rate: 19-30% of screen-detected cancers
Sensitivity: ~85% | Specificity: ~90%
10 वर्षों तक प्रति वर्ष 1,000 महिलाओं की जांच:
• 1 death prevented स्तन कैंसर से
• 5 women overtreated उन कैंसरों के लिए जिन्होंने उन्हें कभी नुकसान नहीं पहुँचाया होगा
• 100-500 false alarms leading to biopsies, anxiety, repeat imaging
Overdiagnosis rate: 19-30% of screen-detected cancers
Source: Independent UK Panel on Breast Cancer Screening. Lancet. 2012;380:1778-1786
निर्णय वृक्ष
A 45-year-old woman asks your advice on mammography screening.
आप क्या चयन करेंगे?
Patient Asks: "Should I Get Annual Mammograms?"
↓
PATH A: Recommend Without Context
↓
Small Tumor Found
↓
Mastectomy performed
ट्यूमर निष्क्रिय था (DCIS)
Would never have harmed her
ट्यूमर निष्क्रिय था (DCIS)
Would never have harmed her
PATH B: Explain Trade-offs
↓
Shared Decision-Making
↓
Patient makes informed choice
लाभ और हानि को समझता है
Autonomy preserved
लाभ और हानि को समझता है
Autonomy preserved
THE REVELATION
परीक्षण सटीकता ही एकमात्र मीट्रिक नहीं है.
A test can be accurate और अभी भी कारण है harm.
When overdiagnosis exceeds lives saved,
we must ask: Is finding always helping?
A test can be accurate और अभी भी कारण है harm.
When overdiagnosis exceeds lives saved,
we must ask: Is finding always helping?
THE LESSON
से हानि झूठी सकारात्मकता और अति निदान
से लाभ अधिक हो सकता है true positives.
Always weigh benefits against harms.
स्क्रीनिंग हमेशा बचत नहीं होती.
से लाभ अधिक हो सकता है true positives.
Always weigh benefits against harms.
स्क्रीनिंग हमेशा बचत नहीं होती.
What if finding the disease
is worse than missing it?
What if the treatment causes more suffering
than the disease ever would?
is worse than missing it?
What if the treatment causes more suffering
than the disease ever would?
PSA विरोधाभास
वास्तविक डेटा: दहलीज जाल
PSA cutoff of 4.0 ng/mL:
• उच्च श्रेणी के कैंसर के लिए संवेदनशीलता: 21%
• Detects many indolent cancers that would never harm
Lower cutoff to 2.5 ng/mL:
• Sensitivity rises to: 40%
• But overdiagnosis doubles
Treatment consequences:
• 20-30% of men experience incontinence after prostatectomy
• 30-70% experience erectile dysfunction
• उच्च श्रेणी के कैंसर के लिए संवेदनशीलता: 21%
• Detects many indolent cancers that would never harm
Lower cutoff to 2.5 ng/mL:
• Sensitivity rises to: 40%
• But overdiagnosis doubles
Treatment consequences:
• 20-30% of men experience incontinence after prostatectomy
• 30-70% experience erectile dysfunction
Source: US Preventive Services Task Force. JAMA. 2018;319(18):1901-1913
निर्णय वृक्ष
आप स्वास्थ्य के लिए PSA स्क्रीनिंग नीति निर्धारित कर रहे हैं प्रणाली. आपके सामने तीन रास्ते हैं।
आप क्या सीमा चुनते हैं?
PSA Screening Policy Decision
↓
PATH A: Low Threshold (2.5)
↓
Maximize sensitivity
Thousands of unnecessary
बायोप्सी और उपचार
Thousands of unnecessary
बायोप्सी और उपचार
PATH B: High Threshold (4.0)
↓
Miss some cancers
But most missed are indolent
Fewer unnecessary treatments
But most missed are indolent
Fewer unnecessary treatments
PATH C: Abandon PSA Screening
↓
Miss aggressive cancers
Some preventable deaths
No overtreatment harm
Some preventable deaths
No overtreatment harm
THE REVELATION
There is no "right" cutoff.
Every threshold trades के लिए संवेदनशीलता विशिष्टता,
अति निदान का पता लगाना.
विकल्प चिकित्सा नहीं है। यह ethical.
यह इस बात पर निर्भर करता है कि आप क्या नुकसान स्वीकार करना चाहते हैं।
Every threshold trades के लिए संवेदनशीलता विशिष्टता,
अति निदान का पता लगाना.
विकल्प चिकित्सा नहीं है। यह ethical.
यह इस बात पर निर्भर करता है कि आप क्या नुकसान स्वीकार करना चाहते हैं।
THE LESSON
दहलीज प्रभाव कोई तकनीकी समस्या नहीं है।
It is a values problem.
Before choosing a cutoff, ask:
What is worse: missing disease or overtreating the healthy?
It is a values problem.
Before choosing a cutoff, ask:
What is worse: missing disease or overtreating the healthy?
वही परीक्षण। वही कटऑफ।
Different truths.
How can identical numbers
mean opposite things?
Different truths.
How can identical numbers
mean opposite things?
दो आबादी में टीबी परीक्षण
REAL DATA: SAME TEST, DIFFERENT MEANING
Tuberculin Skin Test (10mm cutoff)
Sensitivity: ~80% | Specificity: ~95%
In high-prevalence setting (TB prevalence 10%):
• Positive Predictive Value: 85%
• A positive test usually means TB
In low-prevalence setting (TB prevalence 0.1%):
• Positive Predictive Value: 15%
• A positive test is usually a false positive
Sensitivity: ~80% | Specificity: ~95%
In high-prevalence setting (TB prevalence 10%):
• Positive Predictive Value: 85%
• A positive test usually means TB
In low-prevalence setting (TB prevalence 0.1%):
• Positive Predictive Value: 15%
• A positive test is usually a false positive
Source: Pai M et al. Lancet Infect Dis. 2014;14(8):765-773
निर्णय वृक्ष
आप लंदन में एक चिकित्सक हैं जो उच्च टीबी वाले देश के एक आप्रवासी को देख रहे हैं। टीएसटी सकारात्मक है।
आप क्या निष्कर्ष निकालते हैं?
Positive TST in Immigrant Patient
↓
PATH A: Apply UK Population PPV
↓
Assume "Probably False Positive"
↓
Miss active TB
Patient infects family
महीनों तक निदान में देरी
Patient infects family
महीनों तक निदान में देरी
PATH B: Consider Patient's Pre-Test Probability
↓
Recognize PPV Depends on Prevalence
↓
Investigate further
Chest X-ray, sputum
Treat early if confirmed
Chest X-ray, sputum
Treat early if confirmed
THE REVELATION
संवेदनशीलता और विशिष्टता are properties of the test.
PPV और NPV are properties of the population.
समान परिणाम का अर्थ है different things
in different people.
PPV और NPV are properties of the population.
समान परिणाम का अर्थ है different things
in different people.
THE LESSON
Never interpret a test result without knowing the pre-test probability.
A positive test in a high-risk patient means disease.
The same positive in a low-risk patient means probably nothing.
Context is everything.
A positive test in a high-risk patient means disease.
The same positive in a low-risk patient means probably nothing.
Context is everything.
Five Stories, Five Lessons
1
Theranos: Demand Validation
No peer-reviewed data = no trust, regardless of marketing claims
2
COVID Rapid Tests: Know Sensitivity Limits
"पता नहीं चला" "नहीं" के समान नहीं है संक्रमित"
3
Mammography: Weigh Benefits vs. Harms
Finding is not always helping; overdiagnosis causes real harm
4
PSA: The Threshold is a Values Choice
प्रत्येक कटऑफ विशिष्टता के लिए संवेदनशीलता का व्यापार करता है; कोई "सही" उत्तर नहीं है
5
TB Test: Context Determines Meaning
The same result means different things in different populations
References
इसमें उद्धृत मुख्य स्रोत कोर्स
- Carreyrou J. Bad Blood: Secrets and Lies in a Silicon Valley Startup. Knopf, 2018.
- Dinnes J, et al. Rapid, point-of-care antigen tests for diagnosis of SARS-CoV-2 infection. Cochrane Database Syst Rev. 2022;7:CD013705.
- स्तन कैंसर स्क्रीनिंग पर स्वतंत्र यूके पैनल। स्तन कैंसर स्क्रीनिंग के लाभ और हानि। Lancet. 2012;380:1778-1786.
- रेइट्स्मा जेबी, एट अल। संवेदनशीलता और विशिष्टता का द्विचर विश्लेषण नैदानिक समीक्षाओं में जानकारीपूर्ण सारांश उपाय तैयार करता है। J Clin Epidemiol. 2005;58:982-990.
- Rutter CM, Gatsonis CA. A hierarchical regression approach to meta-analysis of diagnostic test accuracy evaluations. Stat Med. 2001;20:2865-2884.
- Deeks JJ, et al. The performance of tests of publication bias in systematic reviews of diagnostic test accuracy. J Clin Epidemiol. 2005;58:882-893.
- Macaskill P, et al. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy. Chapter 10. 2023.
- Higgins JPT, Thompson SG. Quantifying heterogeneity in a meta-analysis. Stat Med. 2002;21:1539-1558.
- US Food and Drug Administration. Warning Letter to Theranos Inc. 2016.
- US Preventive Services Task Force. Screening for Prostate Cancer. JAMA. 2018;319(18):1901-1913.
- Pai M, et al. Tuberculosis. Lancet Infect Dis. 2014;14(8):765-773.
थेरानोस कहानी में, उनके रक्त परीक्षणों में मूलभूत समस्या क्या थी?
वे बहुत महंगे थे
उन्होंने गलत परिणाम दिए जो रोगियों को नुकसान पहुंचा सकते थे
वे बहुत अधिक थे धीमा
They required too much blood
A COVID rapid test has 55% sensitivity in asymptomatic people. What does this mean?
55% सकारात्मक परिणाम सही हैं
परीक्षण 55% समय काम करता है
The test misses 45% of infected asymptomatic people
55% नकारात्मक परिणाम गलत हैं
What does "SnNout" mean?
A highly Sensitive test, when Negative, rules OUT disease
A highly Specific test, when Negative, rules OUT disease
A sensitive test should be used for screening
संवेदनशीलता और विशिष्टता नकारात्मक है सहसंबद्ध
आप मेटा-विश्लेषण में संवेदनशीलता और विशिष्टता को अलग-अलग पूल क्यों नहीं कर सकते?
They use different scales
वे सीमा प्रभाव के कारण सहसंबद्ध हैं
They come from different populations
It's computationally too difficult
✔
Course Complete
"अब आप चार परिणामों को जानते हैं,
एक परीक्षण के दो गुण,
सीमा का क्रूर व्यापार-बंद,
और पूलिंग की कला सबूत।
जब अगला परीक्षण आपके सामने होता है -
you will know how to see through it."
एक परीक्षण के दो गुण,
सीमा का क्रूर व्यापार-बंद,
और पूलिंग की कला सबूत।
जब अगला परीक्षण आपके सामने होता है -
you will know how to see through it."
जब परीक्षण झूठ बोलता है - अब आप जानते हैं।
1 / 5