साक्ष्य की वाचा: मेटा-विश्लेषण पेपर लिखना

==================== मॉड्यूल 1: छिपा हुआ डेटा ====================

क्या तुमने उन परीक्षाओं के विषय में नहीं सुना जो गुप्त थीं?
वह डेटा जो दबा दिया गया था,
जो कागजात ने बताया केवल आधा सच?

टैमीफ्लू कांड

COCHRANE COLLABORATION, 2009-2014

Governments stockpiled $9 billion worth of Tamiflu to fight pandemic flu.

लेकिन जब कोक्रेन शोधकर्ताओं ने दवा के लाभों को सत्यापित करने की कोशिश की, तो उन्होंने पाया कि 60% of trial data had never been published.

5 साल की लड़ाई के बाद, उन्होंने छिपा हुआ डेटा हासिल कर लिया। निष्कर्ष बदल गया: Tamiflu shortened symptoms by less than a day और जटिलताओं को रोका नहीं।

9 अरब डॉलर उन सबूतों पर खर्च किए गए जिनका कभी भी पूरी तरह से खुलासा नहीं किया गया।

Jefferson T et al. Cochrane Database Syst Rev. 2014;4:CD008965

Why We Write Meta-Analyses

संश्लेषण का उद्देश्य

Individual Studies

↓

Problem?

Small samplesLow power

Conflicting resultsWhich to believe?

Publication biasMissing negatives

↓

Meta-AnalysisSystematic synthesis

↓

More precise estimate + Bias detection

टैमीफ्लू पारदर्शिता अभियान

2009-2014 | COCHRANE COLLABORATION vs. ROCHE

For years, governments worldwide stockpiled Tamiflu (oseltamivir) at a cost of billions of dollars, निर्माता के दावे के आधार पर कि इसने फ्लू की जटिलताओं और अस्पताल में भर्ती होने से रोका।

जब कोक्रेन समीक्षकों ने इन दावों को सत्यापित करने के लिए पूर्ण परीक्षण डेटा का अनुरोध किया, रोश ने 5 साल तक मना कर दिया, "गोपनीयता" का हवाला देते हुए। कंपनी ने 10 उपचार परीक्षण किए थे, लेकिन केवल 2 ही पूरी तरह से प्रकाशित हुए थे।

लगातार दबाव के बाद, क्लिनिकल अध्ययन रिपोर्ट अंततः 2014 में जारी की गई। तस्वीर नाटकीय रूप से बदल गई: टेमीफ्लू ने लक्षणों को एक दिन से भी कम कर दिया और अस्पताल में भर्ती होने या गंभीर जटिलताओं को रोकने का कोई सबूत नहीं दिखाया।

THE LESSON

एक मेटा-विश्लेषण केवल उतना ही अच्छा होता है जितने डेटा तक वह पहुंच सकता है। छिपे हुए परीक्षण अप्रभावी उपचारों को प्रभावी बना सकते हैं - और संसाधनों के गलत व्यय में अरबों खर्च हो सकते हैं।

"और कंपनी को पता था,
और नियामकों को पता था,
लेकिन प्रकाशित पत्रों ने यह नहीं बताया-
और आधे-अधूरे सच पर अरबों रुपये खर्च किये गये।"

यही कारण है कि हम संपूर्ण सत्य जानने के लिए मेटा-विश्लेषण लिखते हैं।

==================== मॉड्यूल 2: अनुबंध (प्रिज्मा) ====================

अगर आप चाहते हैं कि आपका काम बन जाए trusted,
आपको अपने पाठकों के साथ एक अनुबंध करना होगा।

उस अनुबंध का एक नाम है:
PRISMA.

PRISMA 2020

व्यवस्थित समीक्षा और मेटा-विश्लेषण के लिए पसंदीदा रिपोर्टिंग आइटम

Checklist items

2020

Updated version

50K+

Citations

THE COVENANT

PRISMA नौकरशाही नहीं है. यह एक है अपने पाठकों से वादा करें कि आपने कार्य को पारदर्शिता एवं पूर्णता से किया है।

सात खंड

Title

Identify as systematic review, meta-analysis, or both

Abstract

संपूर्ण समीक्षा का संरचित सारांश

Introduction

PICO के साथ तर्क और उद्देश्य

Methods

Protocol, search, selection, data, bias, synthesis

Results

Flow diagram, characteristics, risk of bias, synthesis results

Discussion

Summary, limitations, interpretation, implications

Other

Registration, funding, conflicts of interest

प्रिज्मा क्रांति

2009-PRESENT | TRANSFORMING SYSTEMATIC REVIEW REPORTING

PRISMA (2009) से पहले, व्यवस्थित समीक्षा रिपोर्टिंग अव्यवस्थित थी। कुछ समीक्षाओं ने उनकी खोज रणनीतियों की बिल्कुल भी रिपोर्ट नहीं की। अन्य लोगों ने पूर्वाग्रह मूल्यांकन के जोखिम को छोड़ दिया। कई लोग यह समझाने में असफल रहे कि अध्ययन को क्यों बाहर रखा गया। Readers couldn't judge quality—they had to trust blindly.

PRISMA की 27-आइटम चेकलिस्ट ने सब कुछ बदल दिया। इसके लिए लेखकों को हर चरण का दस्तावेजीकरण करना आवश्यक था: पूर्ण खोज रणनीति, चयन मानदंड, निष्कर्षण विधियां, और संश्लेषण निर्णय।

Today, 10,000 से अधिक पत्रिकाएँ PRISMA का समर्थन करती हैं. जो पारदर्शिता एक समय असाधारण थी वह अपेक्षित मानक बन गई।

THE LESSON

एक साधारण चेकलिस्ट ने पूरे क्षेत्र को बदल दिया। पारदर्शी रिपोर्टिंग अपवाद से आदर्श की ओर चली गई—इस बात का प्रमाण कि मानक मायने रखते हैं।

"PRISMA लेखक और पाठक के बीच का अनुबंध है:
मैं तुम्हें सब कुछ दिखाऊंगा-
how I searched, what I found, what I excluded, why.
इसलिए आप मेरे काम का मूल्यांकन कर सकते हैं, और मेरे निष्कर्षों पर भरोसा कर सकते हैं या सवाल उठा सकते हैं।"

==================== मॉड्यूल 3: प्रोटोकॉल ====================

क्या आपने समीक्षक को नहीं देखा
जिन्होंने डेटा देखने के बाद नतीजे बदल दिए.
जिन्होंने नतीजों तक गोलपोस्ट को आगे बढ़ाया looked right?

वापस लिया गया मेटा-विश्लेषण

MULTIPLE JOURNALS, 2010-2023

शोधकर्ताओं ने यह पाया many retracted meta-analyses had no pre-registered protocol.

Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• निष्कर्ष बदलने के लिए अध्ययन जोड़ें या हटाएँ

प्रोटोकॉल आपका है pre-commitment device- यह आपको स्वयं को मूर्ख बनाने से रोकता है।

Defined outcome switching: PROSPERO registration prevents bias

Protocol Registration Decision Tree

अपना प्रोटोकॉल कहां पंजीकृत करें

नई व्यवस्थित समीक्षा

↓

Type of Review?

Health/Medical

PROSPEROprospero.york.ac.uk

Any Field

OSFosf.io/registries

Cochrane

Cochrane LibraryIntegrated protocol

↓

Registration ID in PaperCite in Methods

What the Protocol Must Contain

Essential Protocol Elements

1. शोध प्रश्न (PICO प्रारूप)

2. Eligibility criteria (inclusion/exclusion)

3. Information sources and search strategy

4. चयन प्रक्रिया का अध्ययन करें

5. डेटा निष्कर्षण आइटम

6. पूर्वाग्रह मूल्यांकन उपकरण का जोखिम

7. प्राथमिक और माध्यमिक परिणाम

8. संश्लेषण विधियाँ (मेटा-विश्लेषण योजना)

9. उपसमूह और संवेदनशीलता विश्लेषण

"डेटा देखने से पहले प्रोटोकॉल लिखें।
Lock it in a public registry.
Then follow it—or explain why you deviated.
इस तरह आप साबित करते हैं कि आपने धोखा नहीं दिया।"

==================== मॉड्यूल 4: शीर्षक ====================

शीर्षक आपके द्वारा किया गया पहला वादा है।

इसे पाठक को अवश्य बताना चाहिए:
आपने क्या पढ़ा, कैसे पढ़ा और यह किस प्रकार की पढ़ाई है।

एक शीर्षक की शारीरिक रचना

PRISMA Title Requirements

Title Must Include

↓

Populationजिसका अध्ययन किया गया

Interventionक्या किया गया था

Outcomeक्या नापा गया

↓

+ "व्यवस्थित समीक्षा" या "मेटा-विश्लेषण"

Good vs. Bad Titles

❌ BAD TITLE

"मधुमेह उपचार की समीक्षा"

Problems: No population specified, no intervention, no outcome, doesn't say systematic review

✓ GOOD TITLE

"टाइप 2 मधुमेह वाले वयस्कों में हृदय मृत्यु दर पर एसजीएलटी2 अवरोधकों की प्रभावकारिता: एक व्यवस्थित समीक्षा और मेटा-विश्लेषण"

जनसंख्या, हस्तक्षेप, परिणाम और अध्ययन प्रकार सभी स्पष्ट हैं

"शीर्षक पाठक के लिए आपका पहला शब्द है।
इसे पूरा करो. इसे ईमानदार बनाओ.
Tell them exactly what they will find within."

==================== मॉड्यूल 5: सार ====================

Most readers will only read your abstract.

If the abstract lies, or omits, or misleads—
most readers will never know.

स्पिन समस्या

BOUTRON ET AL., 2010

Researchers analyzed 72 RCTs with non-significant primary outcomes.

उन्होंने वह पाया 40% of abstracts contained "spin"- रिपोर्टिंग जो द्वितीयक परिणामों, उपसमूहों, या समूह के भीतर परिवर्तनों पर केंद्रित थी ताकि परिणाम पहले की तुलना में अधिक अनुकूल दिखें।

सारांश डेटा से अलग कहानी बताता है।

Boutron I et al. JAMA. 2010;303:2058-2064

Structured Abstract Elements

PRISMA Abstract Checklist

□ पृष्ठभूमि और उद्देश्य

□ Eligibility criteria

□ Information sources

□ Risk of bias assessment

□ Synthesis methods

□ परिणाम (# अध्ययन, # प्रतिभागी, सीआई के साथ प्रभाव अनुमान)

□ Limitations

□ निष्कर्ष और निहितार्थ

□ Registration number

क्या होता है जब सारांश स्वयं कागज़ से भिन्न कहानी कहता है?

REAL DATA

पिटकिन एट अल. (1999, बीएमजे) ने छह प्रमुख पत्रिकाओं में संरचित सार की जांच की और पाया कि 18-68% सार में संपूर्ण लेख से असंगत डेटा शामिल है। कमियाँ संख्यात्मक त्रुटियों से लेकर ऐसे निष्कर्षों तक थीं जो रिपोर्ट किए गए परिणामों द्वारा समर्थित नहीं थे।

भ्रामक सार: पिटकिन 1999

आपके मेटा-विश्लेषण में एक गैर-महत्वपूर्ण प्राथमिक परिणाम (आरआर 0.92, 95% सीआई 0.78-1.09) पाया गया। आप सार कैसे लिखते हैं?

पथ ए: सार घुमाएँ

Emphasize a significant secondary outcome and use language like "trend toward benefit"

↓

जो पाठक केवल सार देखते हैं वे उपचार के बारे में भ्रामक सकारात्मक धारणा बनाते हैं

OUTCOME: Misleading clinical decisions

PATH B: Report Faithfully

गैर-महत्वपूर्ण प्राथमिक परिणाम को स्पष्ट रूप से बताएं और माध्यमिक परिणामों को खोजपूर्ण के रूप में नोट करें

↓

पाठकों को एक सटीक सारांश मिलता है; जिन लोगों को विवरण चाहिए वे पूरा पेपर पढ़ें

परिणाम: साक्ष्य की अखंडता सुरक्षित रखी गई

THE REVELATION

अधिकांश पाठक कभी भी अमूर्त से आगे नहीं बढ़ पाते। यदि सार गुमराह करता है, तो पूरे पेपर की ईमानदारी क्षति की भरपाई नहीं कर सकती।

"मत घुमाओ। छुपो मत।"
यदि प्राथमिक परिणाम शून्य था, तो ऐसा कहें।
The abstract must be a faithful mirror—
कोई चापलूसी वाला चित्र नहीं।"

==================== मॉड्यूल 6: प्रश्न (पिको) ====================

A vague question yields vague answers.

खोजने से पहले, लिखने से पहले-
तुम्हें ठीक-ठीक मालूम होना चाहिए आप क्या चाहते हैं.

पीआईसीओ फ्रेमवर्क

अनुसंधान प्रश्न की संरचना करना

Research Question

↓

PPopulation

Who?

IIntervention

What treatment?

CComparator

Vs. what?

OOutcome

What measured?

PICO Example

एक अस्पष्ट प्रश्न का रूपांतरण

Vague: "Does exercise help depression?"

PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)

अब आप ठीक-ठीक जानते हैं कि क्या खोजना है।

"अपने प्रश्न को सटीकता से परिभाषित करें।
मरीज़ कौन हैं? इलाज क्या है?
तुलनित्र क्या है? आप क्या मापेंगे?
पीआईसीओ यात्रा से पहले का नक्शा है।"

==================== मॉड्यूल 7: खोज ====================

क्या आपने मेटा-विश्लेषण के बारे में नहीं सुना है?
that searched only one database,
आधे सबूत चूक गए,
और खींचा wrong conclusion?

The Search Strategy Decision Tree

Where to Search

Comprehensive Search

↓

Minimum Databases

MEDLINEPubMed

EmbaseEuropean focus

CENTRALCochrane trials

↓

Plus Additional Sources

Trial registriesClinicalTrials.gov

Grey literatureTheses, reports

Reference listsBackward citation

खोज का दस्तावेज़ीकरण

WHAT TO REPORT

• Full search strategy for at least one database (appendix)
• Date of search प्रत्येक डेटाबेस के लिए
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• लेखकों से संपर्क करें अप्रकाशित डेटा के लिए

पुनरुत्पादन परीक्षण

Another researcher should be able to अपनी खोज को हूबहू दोहराएँ और समान संख्या में रिकॉर्ड खोजें।

The Cochrane Search Strategy Discovery

2003 | कोक्रेन पद्धति समीक्षा

Cochrane researchers asked a simple question: What would happen if systematic reviewers only searched MEDLINE?

उत्तर चिंताजनक था. उन्होने किया होगा शामिल अध्ययनों में से 30% चूक गए-जिनमें कुछ ऐसे भी शामिल हैं जिन्होंने मेटा-विश्लेषण निष्कर्षों को पूरी तरह से बदल दिया।

One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. लापता अध्ययन छोटे, नकारात्मक परीक्षण थे जो EMBASE और PsycINFO जैसे विशेष डेटाबेस में अनुक्रमित थे।

THE LESSON

एकल-डेटाबेस खोजें व्यवस्थित रूप से नकारात्मक परीक्षणों को छोड़ सकती हैं। जो अध्ययन मेडलाइन में नहीं हैं वे वही अध्ययन हो सकते हैं जो आपके निष्कर्ष को बदल देते हैं।

"Search wide. Search deep.
Document every database, every date, every term.
जो साक्ष्य आप चूक गए हैं वह वह साक्ष्य हो सकता है जो सबसे अधिक मायने रखता है।"

==================== मॉड्यूल 8: चयन ====================

हजारों रिकॉर्ड्स में से, आपको चुनना होगा।

But choose by what rule?
और आपकी पसंद की जाँच कौन करेगा?

प्रिज्मा प्रवाह आरेख

PRISMA 2020 Flow Diagram

IDENTIFICATION

n = 3,847

डेटाबेस से रिकॉर्ड

↓

Duplicates removed (n = 892)

SCREENING

n = 2,955

Titles/abstracts screened

↓

Excluded (n = 2,680)

ELIGIBILITY

n = 275

Full-text assessed

↓

कारणों सहित बहिष्कृत (n = 247)

INCLUDED

n = 28

Studies in synthesis

Selection Process Decision Tree

Who Selects? How?

Study Selection

↓

Two independent reviewersGold standard

↓

Disagreement?

ConsensusDiscussion

Third reviewerArbiter

One reviewer onlyAcknowledge limitation

REPORT AGREEMENT

गणना करें और रिपोर्ट करें inter-rater agreement (kappa statistic). Low agreement suggests unclear criteria.

क्या एक एकल परीक्षण से पोस्ट-हॉक उपसमूह विश्लेषण एक दशक के लिए पूरे क्षेत्र को नया आकार दे सकता है?

REAL DATA

महिला स्वास्थ्य पहल (डब्ल्यूएचआई, 2002) ने पाया कि एच.आर.टी increased cardiovascular risk overall. But post-hoc subgroup analysis suggested women aged <60 या रजोनिवृत्ति के 10 वर्षों के भीतर लाभ हो सकता है, जबकि वृद्ध महिलाओं को नुकसान होता है। इस "समय परिकल्पना" ने वर्षों की बहस और आगे के अध्ययन को बढ़ावा दिया।

The HRT Timing Hypothesis: WHI 2002

एचआरटी का आपका मेटा-विश्लेषण समग्र रूप से नुकसान दिखाता है, लेकिन एक खोजपूर्ण उपसमूह युवा महिलाओं में लाभ का सुझाव देता है। आप इसे कैसे लिखते हैं?

पथ ए: उपसमूह को बढ़ा-चढ़ाकर बताएं

आयु उपसमूह परिणाम को ऐसे शीर्षक दें जैसे कि यह प्राथमिक खोज हो

↓

चिकित्सक खोजपूर्ण, कम शक्ति वाले उपसमूह के आधार पर एचआरटी निर्धारित करते हैं; खोज को दोहराया नहीं जा सकता

OUTCOME: Premature clinical change

PATH B: Report Honestly

Present overall result as primary; label subgroup as exploratory and pre-specified or post-hoc

↓

Readers understand the hypothesis needs confirmation; future trials can be designed to test it

OUTCOME: Responsible hypothesis generation

THE REVELATION

उपसमूह विश्लेषण परिकल्पनाएँ उत्पन्न करते हैं, निष्कर्ष नहीं। उन्हें हमेशा खोजपूर्ण के रूप में लेबल करें और पहले समग्र परिणाम की रिपोर्ट करें।

"Every exclusion must have a reason.
Every reason must be documented.
Two pairs of eyes are better than one—
क्योंकि जो एक चूक जाता है, दूसरा पकड़ सकता है।”

==================== मॉड्यूल 9: पूर्वाग्रह का जोखिम ====================

क्या आपने मेटा-विश्लेषण नहीं देखा है?
जिसने अच्छी पढ़ाई को बुरी पढ़ाई के साथ जोड़ दिया,
और औसत कहा जाता है truth?

पूर्वाग्रह को नजरअंदाज करने का खतरा

अवसादरोधी घोटाला

Turner et al. (2008) obtained FDA data on 74 antidepressant trials.

In the published literature: 94% परीक्षण सकारात्मक थे।

In the FDA database: केवल 51% सकारात्मक थे।

प्रकाशित मेटा-विश्लेषणों ने चुनिंदा रिपोर्ट किए गए डेटा को एकत्रित किया था। प्रभाव का आकार था inflated by 32%.

Turner EH et al. N Engl J Med. 2008;358:252-260

पूर्वाग्रह मूल्यांकन उपकरण का जोखिम

किस उपकरण का उपयोग करें?

Study Design

↓

RCTs

RoB 2Cochrane tool

Non-randomized

ROBINS-IInterventions

DTA studies

QUADAS-2Diagnostic

Observational

NOSNewcastle-Ottawa

RoB 2 Domains

Cochrane Risk of Bias 2.0 for RCTs

D1 Randomization process

D2 इच्छित हस्तक्षेप से विचलन

D3 अनुपलब्ध परिणाम डेटा

D4 परिणाम का माप

D5 रिपोर्ट किए गए परिणाम का चयन

JUDGMENT OPTIONS

Each domain: Low risk / Some concerns / High risk

"एक मेटा-विश्लेषण पक्षपातपूर्ण अध्ययन
yields a biased conclusion—
एक संकीर्ण आत्मविश्वास अंतराल के साथ।
आपने झूठ को और अधिक सटीक बना दिया है।"

================== मॉड्यूल 10: डेटा निष्कर्षण ===================

प्रत्येक अध्ययन से, आपको संख्याएं निकालनी होंगी।

गलत निकालें, और आपका संपूर्ण विश्लेषण
is built on sand.

डेटा निष्कर्षण फॉर्म

आवश्यक डेटा आइटम

1 Study identifiers (author, year, country)

2 अध्ययन डिज़ाइन और सेटिंग

3 Participant characteristics (n, age, sex, severity)

4 Intervention details (dose, duration, delivery)

5 Comparator details

6 परिणाम परिभाषाएँ और माप

7 Results (means, SDs, events, sample sizes)

8 Follow-up duration and loss to follow-up

9 Funding source and conflicts of interest

Extraction Decision Tree

गुम डेटा को संभालना

डेटा रिपोर्ट नहीं किया गया

↓

What to Do?

First

Contact authorsडेटा के लिए ईमेल

If no response

Calculate/imputeDocument method

If impossible

Exclude from MAInclude in narrative

रोसिग्लिटाज़ोन डेटा निष्कर्षण त्रुटि

2007 | NEW ENGLAND JOURNAL OF MEDICINE

Nissen and Wolski's 2007 meta-analysis of rosiglitazone (Avandia) found a 43% increased risk of heart attack। इस खोज ने FDA चेतावनियाँ शुरू कर दीं और दुनिया भर में नुस्खे ध्वस्त हो गए।

But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports। घटनाओं की गिनती के तरीके में छोटे अंतर - विभिन्न स्रोतों से निकाले गए - ने परिणामों को सार्थक रूप से बदल दिया।

मेटा-विश्लेषण प्रभावशाली और काफी हद तक सही था, लेकिन विवाद ने इस बात पर प्रकाश डाला कि कैसे small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.

THE LESSON

हमेशा प्राथमिक स्रोतों से निकाला जाता है। प्रत्येक विकल्प का दस्तावेजीकरण करें। निकाले गए नंबरों में एक छोटी सी विसंगति विनियामक निर्णय और बाजार की किस्मत बदल सकती है।

"Extract in duplicate. Check each number.
One digit wrong can change the conclusion.
निष्कर्षण फॉर्म आपका खाता है-
keep it meticulous, keep it true."

=================== मॉड्यूल 11: प्रभाव उपाय ===================

प्रभाव का आकार आपके मेटा-विश्लेषण का केंद्र है।

गलत माप चुनें,
और आपका एकत्रित अनुमान होगा meaningless.

Effect Measure Decision Tree

Choosing the Right Effect Size

Outcome Type

↓

Binary

RR, OR, RDEvents/no events

Continuous

Same scale?

YesMD (mean diff)

NoSMD (Hedge's g)

Time-to-event

HRHazard ratio

Common Effect Measures

Risk Ratio
Multiplicative

Odds Ratio
Case-control

Mean Diff
Same units

SMD

Std Mean Diff
Different scales

THE PRINCIPLE

प्रभाव माप अवश्य होना चाहिए अध्ययनों में तुलनीय हो. If studies used different scales, standardize.

Can a trial that transforms global practice still have serious limitations?

REAL DATA

रिकवरी परीक्षण (2020) ने प्रदर्शित किया कि डेक्सामेथासोन ने ऑक्सीजन की आवश्यकता वाले अस्पताल में भर्ती COVID-19 रोगियों में 28 दिनों की मृत्यु दर को कम कर दिया: RR 0.83, 95% CI 0.75-0.93। फिर भी परीक्षण ओपन-लेबल (कोई अंधा नहीं) था, मुख्य रूप से यूके के अस्पतालों में आयोजित किया गया था, और नियंत्रण समूह को सामान्य देखभाल प्राप्त हुई (जो भिन्न थी)।

रिकवरी ट्रायल: 2020

आपके मेटा-विश्लेषण में रिकवरी को प्रमुख अध्ययन के रूप में शामिल किया गया है। आप किसी अन्यथा ऐतिहासिक परीक्षण की सीमाओं को कैसे संभालते हैं?

PATH A: Minimize Limitations

ओपन-लेबल डिज़ाइन और भौगोलिक एकाग्रता को कम करें; उल्लेखनीय मृत्यु लाभ पर ध्यान दें

↓

Readers cannot judge generalizability to other settings; potential detection bias is obscured

परिणाम: अपूर्ण साक्ष्य मूल्यांकन

PATH B: Honest Limitations

मृत्यु लाभ को स्पष्ट रूप से बताते हुए ओपन-लेबल डिज़ाइन और भौगोलिक सीमाओं को स्वीकार करें

↓

पाठक खोज की ताकत और अनिश्चितता दोनों को समझते हैं अवशेष

OUTCOME: Trustworthy, balanced reporting

THE REVELATION

यहां तक कि अभूतपूर्व परीक्षणों की भी सीमाएं हैं। उन्हें स्वीकार करने से निष्कर्ष कमजोर नहीं होते; यह पाठक का विश्वास बनाता है और भविष्य के शोध का मार्गदर्शन करता है।

"वह माप चुनें जो डेटा के अनुकूल हो।
सामान्य परिणामों के लिए जोखिम अनुपात, दुर्लभ के लिए विषम अनुपात।
Standardize when scales differ.
गलत माप सेब को संतरे के साथ मिला देता है।"

==================== मॉड्यूल 12: संश्लेषण ====================

क्या तुमने जंगल का प्लॉट नहीं देखा
where studies pointed in opposite directions,
yet the diamond declared a single truth?

Fixed vs. Random Effects

Which Model to Use?

Meta-Analysis Model

↓

सच्चे प्रभाव के बारे में धारणा?

One true effect

Fixed Effectसभी अध्ययन समान θ का अनुमान लगाते हैं

↓

Rarely appropriateबहुत समान अध्ययन

Effects vary

Random EffectsDistribution of θᵢ

↓

Usually preferredMore conservative

पूल कब नहीं करना चाहिए

Do Not Meta-Analyze If...

✗ अध्ययन बहुत विषम हैं (नैदानिक या पद्धतिगत)

✗ परिणाम अलग-अलग परिभाषित किए गए हैं

✗ जनसंख्या मौलिक रूप से भिन्न है

✗ Risk of bias is too high across studies

✗ Publication bias is severe

THE WISDOM

Sometimes the most honest conclusion is: "इन अध्ययनों को एकत्रित नहीं किया जाना चाहिए।"

क्या होता है जब कोक्रेन समीक्षा की पद्धतिगत आलोचना एक संगठनात्मक संकट में बदल जाती है?

REAL DATA

2018 में, पीटर गोट्ज़ और उनके सहयोगियों ने कोक्रेन एचपीवी वैक्सीन समीक्षा की एक आलोचना प्रकाशित की, जिसमें तर्क दिया गया कि इसमें प्रमुख परीक्षणों को बाहर रखा गया है और अनुचित समावेशन मानदंडों का उपयोग किया गया है। कोक्रेन समीक्षा में शामिल किया गया था 73,000 से अधिक महिलाओं के साथ 26 अध्ययन. यह विवाद एक शासन संकट बन गया, जिसकी परिणति कोक्रेन के बोर्ड से गोत्शे के निष्कासन के रूप में हुई।

कोक्रेन एचपीवी विवाद: 2018

आपको अपने प्रकाशित संश्लेषण की एक पद्धतिगत आलोचना प्राप्त होती है जिसमें तर्क दिया जाता है कि आपको अतिरिक्त अध्ययन शामिल करना चाहिए था। आप कैसे प्रतिक्रिया देते हैं?

पथ ए: आलोचना को खारिज करें

उठाए गए विशिष्ट पद्धतिगत बिंदुओं से उलझे बिना मूल दृष्टिकोण का बचाव करें

↓

जनता का भरोसा टूटता है; विवाद वैज्ञानिक न होकर व्यक्तिगत हो जाता है; साक्ष्य आधार में सुधार नहीं हुआ है

OUTCOME: Polarization and lost credibility

PATH B: Engage Transparently

सुझाए गए अध्ययनों को शामिल करते हुए संवेदनशीलता विश्लेषण करें; यदि निष्कर्ष बदलते हैं तो एक पारदर्शी प्रतिक्रिया प्रकाशित करें

↓

सबूत पुख्ता हो गए हैं; पद्धतिगत प्रवचन क्षेत्र को आगे बढ़ाता है; भरोसा कायम है

OUTCOME: Science self-corrects publicly

THE REVELATION

पद्धतिगत आलोचना यह है कि विज्ञान कैसे सुधार करता है। रक्षात्मकता के बजाय डेटा के साथ जवाब देने से समीक्षा और क्षेत्र दोनों मजबूत होते हैं।

"पूलिंग के लिए पूल मत करो।
असंगत अध्ययनों का एक मेटा-विश्लेषण
यह संश्लेषण नहीं है—यह भ्रम है।
Know when to say: these cannot be combined."

जब अध्ययन असहमत हों,
असहमति ही है data.

Do not hide it. Explain it.

Heterogeneity Measures

Cochran's Q
Significance test

I²

Inconsistency
% variation

τ²

Tau-squared
Between-study var

Prediction interval
Future studies

Investigating Heterogeneity

When I² > 50%

High Heterogeneity

↓

Investigation Methods

Subgroup analysisPre-specified

Meta-regressionIf ≥10 studies

Sensitivity analysisExclude outliers

↓

Report unexplained heterogeneityLimitation

What if a meta-analysis of small positive trials is overturned by a single mega-trial?

REAL DATA

1990 के दशक की शुरुआत में, कई छोटे परीक्षणों से पता चला कि अंतःशिरा मैग्नीशियम तीव्र रोधगलन के बाद मृत्यु दर को कम कर देता है। एक मेटा-विश्लेषण (टीओ एट अल., 1991) ने इन्हें एकत्रित किया और एक महत्वपूर्ण लाभ पाया: OR 0.44, 95% CI 0.27-0.71. फिर आईएसआईएस-4 (1995), एक मेगा-ट्रायल 58,050 patients, बिल्कुल कोई लाभ नहीं मिला। छोटे अध्ययन के प्रभाव और विविधता को नजरअंदाज कर दिया गया था।

मैग्नीशियम विवाद: 1991-1995

छोटे परीक्षणों का आपका मेटा-विश्लेषण उच्च विविधता (50% से ऊपर I²) दिखाता है लेकिन एकत्रित अनुमान महत्वपूर्ण है। आप इसे कैसे प्रस्तुत करते हैं?

पथ ए: विषमता को दफनाओ

Report the significant pooled estimate prominently; mention I² only in passing

↓

चिकित्सक उपचार अपनाते हैं; भविष्य का बड़ा परीक्षण मेटा-विश्लेषण का खंडन कर सकता है, जिससे विधि में विश्वास कम हो सकता है

OUTCOME: Premature guideline changes

PATH B: Investigate Transparently

विविधता पर प्रकाश डालें; स्रोतों की जांच करें (अध्ययन का आकार, गुणवत्ता); ध्यान दें कि छोटे-अध्ययन के प्रभाव अनुमान को बढ़ा सकते हैं

↓

पाठक अनिश्चितता को समझते हैं; सिफ़ारिशें अभ्यास बदलने से पहले एक निश्चित बड़े परीक्षण की मांग करती हैं

OUTCOME: Evidence-appropriate caution

THE REVELATION

विषमता एक चेतावनी संकेत है, फ़ुटनोट नहीं। छोटे अध्ययन के प्रभाव एक झूठा आश्वस्त करने वाला एकत्रित अनुमान उत्पन्न कर सकते हैं कि एक बड़ा परीक्षण पलट सकता है।

"I-squared is not just a number to report.
यह एक प्रश्न है: ये अध्ययन असहमत क्यों हैं?
Investigate. Explain. Or acknowledge ignorance."

==================== मॉड्यूल 14: प्रकाशन पूर्वाग्रह ====================

क्या आपने फ़ाइल ड्रॉअर के बारे में नहीं सुना है,
जहां नकारात्मक अध्ययन जाते हैं die,
leaving only the positive survivors
to tell a distorted story?

Vioxx आपदा

MERCK, 2004

Vioxx (rofecoxib) was a blockbuster painkiller earning $2.5 billion/year.

Internal company documents showed Merck knew of cardiovascular risks but दबाया हुआ प्रतिकूल डेटा and published only favorable analyses.

A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.

Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.

Topol EJ. N Engl J Med. 2004;351:1707-1709

Detecting Publication Bias

Assessment Methods

Publication Bias Assessment

↓

Funnel plotVisual inspection

Egger's testStatistical asymmetry

ट्रिम करें और भरेंImpute missing

↓

Requires ≥10 studiesLow power otherwise

Preventing Bias: The AllTrials Campaign

ALLTRIALS.NET

"All trials registered. All results reported."

• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• के लिए कंपनियों से संपर्क करें अप्रकाशित डेटा
• अपनी समीक्षा में पंजीकरण संख्या बताएं
• रिपोर्ट करें कि कौन से पंजीकृत परीक्षण आपके विश्लेषण से गायब हैं

"फ़ाइल दराज खाली नहीं है।
यह उन अध्ययनों को रखता है जो कंपनियां छुपाएं,
परिणाम जिन्हें पत्रिकाओं ने अस्वीकार कर दिया।
आपका काम उस दराज को खोलना है - या कहें कि आप नहीं खोल सके।"

=================== मॉड्यूल 15: वन प्लॉट ===================

जंगल प्लॉट आपके मेटा-विश्लेषण का चेहरा है।

यह पाठक everything:
each study, each weight, each confidence interval,
और अंतिम एकत्रित अनुमान दिखाता है।

जंगल पढ़ना प्लॉट

वन प्लॉट के तत्व

Forest Plot

↓

Study namesLeft column

SquaresPoint estimates

Lines95% CI

DiamondPooled estimate

↓

वर्ग आकार = अध्ययन वजनLarger = more precise

Forest Plot Checklist

What to Include

□ अध्ययन पहचानकर्ता (लेखक, वर्ष)

□ Sample size per arm

□ 95% के साथ प्रभाव अनुमान CI

□ Weight (% contribution)

□ Line of no effect (RR=1 or MD=0)

□ 95% CI के साथ एकत्रित अनुमान

□ Heterogeneity statistics (I², τ², Q)

□ Test for overall effect (Z, p-value)

Vioxx नंबर जिसने सब कुछ बदल दिया

2004 | अनुमोदन परीक्षण और बाजार वापसी

वर्षों से, Vioxx (rofecoxib) हृदय सुरक्षा के लिए वन भूखंड ने एक आश्वस्त पैटर्न दिखाया। पहले के परीक्षणों से बिंदु अनुमान बिना किसी प्रभाव की रेखा के आसपास एकत्रित हो गए। हीरे ने सुझाव दिया कि दवा सुरक्षित थी।

फिर APPROVe परीक्षण आया। जब इसका डेटा फ़ॉरेस्ट प्लॉट में जोड़ा गया, तो तस्वीर नाटकीय रूप से बदल गई। APPROVe के बड़े वर्ग ने एकत्रित हीरे को निश्चित रूप से नुकसान की ओर खींच लिया। दृश्य अचूक था।

वह वन भूखंड ended Vioxx। मर्क ने स्वेच्छा से दवा वापस ले ली। इसके बाद की मुकदमेबाजी में कंपनी को $4.85 billion in settlementsका नुकसान उठाना पड़ा। हजारों रोगियों को दिल का दौरा पड़ा था, जबकि पहले के छोटे परीक्षणों में अस्पष्ट परिणाम सामने आए थे।

THE LESSON

एक अच्छी तरह से संचालित, पर्याप्त रूप से संचालित परीक्षण पूरे एकत्रित अनुमान को बदल सकता है। वन भूखंड यह कहानी बताते हैं कि सबूत कैसे जमा होते हैं - और कभी-कभी, यह कैसे पाठ्यक्रम को उलट देता है।

भ्रामक वन भूखंड

आप अपने मेटा-विश्लेषण के लिए एक वन भूखंड डिजाइन कर रहे हैं। अक्ष पैमाने और अध्ययन क्रम दृश्य प्रभाव को बदल सकते हैं। आप कैसे आगे बढ़ते हैं?

पथ A: प्रभाव के लिए डिज़ाइन

Use a compressed axis scale to make effect sizes look larger; order studies to build a visual narrative

↓

पाठक प्रभाव परिमाण के अतिरंजित प्रभाव बनाते हैं; कथानक डेटा प्रदर्शन के बजाय एक वकालत उपकरण बन जाता है

परिणाम: साक्ष्य का दृश्य विरूपण

पथ बी: स्पष्टता के लिए डिज़ाइन

Use standard axis scaling; order studies by year or alphabetically; include all standard elements (weights, CIs, I²)

↓

पाठक अपना निर्णय ले सकते हैं; कथानक एक पारदर्शी डेटा विज़ुअलाइज़ेशन के रूप में कार्य करता है

OUTCOME: Honest visual communication

"The forest plot hides nothing.
Every study visible. Every weight transparent.
पाठक को वह देखने दें जो आपने देखा—
और स्वयं निर्णय करो।"

==================== मॉड्यूल 16: साक्ष्य की निश्चितता ====================

एक एकत्रित अनुमान पर्याप्त नहीं है.

आपको पाठक को यह भी बताना होगा:
How confident should they be in this result?

GRADE Certainty Assessment

साक्ष्य का मूल्यांकन करें

Start: RCTs = High, Obs = Low

↓

Reasons to Downgrade?

Risk of bias-1 or -2

Inconsistency-1 or -2

Indirectness-1 or -2

Imprecision-1 or -2

Pub. bias-1 or -2

GRADE Certainty Levels

⊕⊕⊕⊕

HIGH
Very confident

⊕⊕⊕◯

MODERATE
Likely close

⊕⊕◯◯

LOW
May differ

⊕◯◯◯

VERY LOW
Uncertain

What happens when a GRADE assessment of "low certainty" collides with a public health emergency?

REAL DATA

श्वसन वायरस के प्रसार को कम करने के लिए शारीरिक हस्तक्षेप की 2023 कोक्रेन समीक्षा (जेफ़रसन एट अल) में पाया गया कि सामुदायिक सेटिंग्स में मास्क के लिए सबूत थे low certainty प्रति ग्रेड, व्यापक आत्मविश्वास अंतराल के साथ। समीक्षा को व्यापक रूप से "मास्क काम नहीं करते" साबित करने के रूप में रिपोर्ट किया गया था, हालांकि लेखकों ने कहा कि सबूत किसी भी दिशा में ठोस निष्कर्ष निकालने के लिए अपर्याप्त थे।

कोक्रेन मास्क समीक्षा: 2023

राजनीतिक रूप से संवेदनशील विषय पर आपकी व्यवस्थित समीक्षा को "कम निश्चितता" की ग्रेड रेटिंग प्राप्त होती है। आप इसे कैसे संप्रेषित करते हैं?

पथ ए: रेटिंग को नरम करें

राजनीतिक विवाद से बचने के लिए ग्रेड मूल्यांकन को कम महत्व दें; निश्चितता स्तर पर बिंदु अनुमान पर जोर दें

↓

समीक्षा पद्धतिगत विश्वसनीयता खो देती है; ग्रेड को कठोर के बजाय वैकल्पिक के रूप में देखा जाने लगा है

OUTCOME: Compromised methodology

PATH B: Report Faithfully

ग्रेड रेटिंग की ईमानदारी से रिपोर्ट करें; स्पष्ट रूप से समझाएं कि "कम निश्चितता" का क्या अर्थ है (और इसका क्या अर्थ नहीं है); साक्ष्य की अनुपस्थिति को अनुपस्थिति के साक्ष्य से अलग करें

↓

जनता गलत व्याख्या कर सकती है, लेकिन वैज्ञानिक रिकॉर्ड सटीक है; भविष्य के शोध की दिशाएँ स्पष्ट हो जाती हैं

OUTCOME: Methodological integrity

THE REVELATION

"कम निश्चितता" का अर्थ "कोई प्रभाव नहीं" नहीं है। ग्रेड रेटिंग को ईमानदारी से रिपोर्ट किया जाना चाहिए, विशेष रूप से राजनीतिक रूप से आरोपित विषयों के लिए, उनके अर्थ की स्पष्ट व्याख्या के साथ।

"प्रभाव का आकार क्या है.
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."

==================== मॉड्यूल 17: चर्चा ====================

चर्चा वह जगह है जहां आप interpret.

घुमाने के लिए नहीं. अतिशयोक्ति नहीं.
But to explain what your findings mean—
और वे क्या करते हैं not mean.

Discussion Structure

Summary of Findings

निश्चितता रेटिंग के साथ मुख्य परिणामों को दोबारा दोहराएं

मौजूदा साहित्य से तुलना

How do your findings relate to prior reviews?

ताकत और सीमाएं

समीक्षा और सम्मिलित अध्ययन दोनों

अभ्यास के लिए निहितार्थ

What should clinicians/policymakers do?

अनुसंधान के लिए निहितार्थ

अभी भी किन अध्ययनों की आवश्यकता है?

Common Mistakes in Discussion

What NOT to Do

✗ आंकड़ों से परे निष्कर्षों को बढ़ा-चढ़ाकर बताना

✗ Ignoring limitations

✗ Treating statistical significance as clinical importance

✗ Failing to address heterogeneity

✗ अवलोकन संबंधी डेटा से कारणात्मक दावे करना

क्या होगा यदि अब तक प्रकाशित सबसे अधिक उद्धृत कार्यप्रणाली पेपर में चेतावनी दी गई है कि अधिकांश शोध निष्कर्ष झूठे हैं?

REAL DATA

पीएलओएस मेडिसिन में जॉन आयोनिडिस के 2005 के पेपर, "अधिकांश प्रकाशित शोध निष्कर्ष गलत क्यों हैं," का हवाला दिया गया है 10,000 times. गणितीय मॉडलिंग का उपयोग करते हुए, उन्होंने तर्क दिया कि किसी शोध निष्कर्ष के सत्य होने की संभावना अध्ययन की शक्ति, पूर्वाग्रह और परीक्षण किए गए संबंधों की संख्या पर निर्भर करती है। कई शोध डिज़ाइनों के लिए, अध्ययन के बाद सही निष्कर्ष की संभावना 50% से कम हो सकती है।

आयोनिडिस वेक-अप कॉल: 2005

आपके मेटा-विश्लेषण का सांख्यिकीय रूप से महत्वपूर्ण परिणाम है, लेकिन इसमें शामिल अध्ययन छोटे, विषम हैं, और कई में पूर्वाग्रह का खतरा अधिक है। आप चर्चा कैसे लिखते हैं?

पथ ए: खोज को ओवरसेल करें

महत्वपूर्ण एकत्रित अनुमान के साथ नेतृत्व करें; सीमाएँ न्यूनतम करें; मजबूत अभ्यास अनुशंसाएँ करें

↓

खोज दिशानिर्देशों में समय से पहले प्रवेश करती है; जब प्रतिकृति विफल हो जाती है, तो संपूर्ण मेटा-विश्लेषण पद्धति को दोषी ठहराया जाता है

OUTCOME: Eroded trust in evidence synthesis

पथ बी: व्याख्या को कैलिब्रेट करें

अध्ययन की गुणवत्ता, विविधता और निश्चितता के संदर्भ में परिणाम पर चर्चा करें; सिफ़ारिश की ताकत का साक्ष्य की ताकत से मिलान करें

↓

Readers understand the degree of confidence warranted; future research priorities become clear

OUTCOME: Proportionate, trustworthy conclusions

THE REVELATION

चर्चा में साक्ष्य की गुणवत्ता के अनुरूप उत्साह का समावेश होना चाहिए। कमजोर सबूतों से बने मजबूत दावे पूरे क्षेत्र की विश्वसनीयता को नुकसान पहुंचाते हैं।

"चर्चा वकालत के लिए नहीं है।
यह ईमानदार व्याख्या के लिए है.
कहो सबूत क्या दिखाते हैं.
Admit what it does not show."

क्या आपने वेकफील्ड पेपर के बारे में नहीं सुना है,
where conflicts of interest were hidden,
जहां डेटा गढ़ा गया था,
और लाखों बच्चे गए unvaccinated?

एमएमआर-ऑटिज़्म धोखाधड़ी

THE LANCET, 1998-2010

Andrew Wakefield published a study linking MMR vaccine to autism.

उसने यह खुलासा नहीं किया कि वह था paid £435,643 by lawyers seeking to sue vaccine manufacturers.

उन्होंने यह खुलासा नहीं किया कि उनके पास क्या था filed a patent for a competing single-dose measles vaccine.

अंततः अध्ययन वापस ले लिया गया। वेकफ़ील्ड मारा गया। लेकिन नुकसान हुआ था: vaccination rates plummeted, और खसरे का प्रकोप वापस लौट आया।

Deer B. BMJ. 2011;342:c5347

Transparency Checklist

What to Declare

□ Protocol registration number

□ Funding sources (all)

□ समीक्षा में फंडर की भूमिका

□ Conflicts of interest (all authors)

□ डेटा उपलब्धता विवरण

□ प्रोटोकॉल से विचलन (कारणों सहित)

□ Author contributions

ऑलट्रायल्स पहल

2013-PRESENT | A GRASSROOTS TRANSPARENCY MOVEMENT

2013 में, कोक्रेन कोलैबोरेशन के बेन गोल्डाक्रे और उनके सहयोगियों ने एक परेशान करने वाली सच्चाई की खोज के बाद ऑलट्रायल्स लॉन्च किया: approximately half of all clinical trials were never published. छूटे हुए परीक्षण असंगत रूप से नकारात्मक या असुविधाजनक परिणाम वाले थे।

अभियान जुट गया 90,000 से अधिक व्यक्तिगत हस्ताक्षरकर्ता और 700+ संगठन। इसमें मांग की गई कि सभी पिछले और भविष्य के परीक्षणों को पूर्ण तरीकों और परिणामों के साथ पंजीकृत किया जाए।

प्रभाव परिवर्तनकारी था. EU को अब परीक्षण पंजीकरण और परिणाम रिपोर्टिंग की आवश्यकता है. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.

THE LESSON

डेटा एक्सेस की मांग करना काम करता है। एक जमीनी स्तर के आंदोलन ने अंतरराष्ट्रीय नियमों को बदल दिया - यह साबित करते हुए कि पारदर्शिता की वकालत करने वाले साक्ष्य पारिस्थितिकी तंत्र को नया आकार दे सकते हैं।

हाइड्रोक्सीक्लोरोक्वीन प्री-प्रिंट कैस्केड: 2020

यह 2020 की शुरुआत है। आपकी टीम के पास COVID-19 उपचार पर प्रारंभिक मेटा-विश्लेषण परिणाम हैं। गौट्रेट प्रीप्रिंट (गैर-यादृच्छिक, 42 मरीज़) पहले ही वायरल हो चुका है। सर्जिस्फेयर घोटाला जल्द ही प्रमुख पत्रिकाओं में मनगढ़ंत डेटा दिखाएगा। क्या आप प्रीप्रिंट करने में जल्दबाजी करते हैं या प्रतीक्षा करते हैं?

पथ ए: गति के लिए प्रीप्रिंट

नीति को प्रभावित करने के लिए medRxiv पर तुरंत पोस्ट करें; तात्कालिकता के लिए सहकर्मी समीक्षा छोड़ें

↓

यदि शामिल अध्ययनों में मनगढ़ंत डेटा या त्रुटिपूर्ण तरीके हैं, तो आपका मेटा-विश्लेषण त्रुटियों को बढ़ाता है; पीछे हटने से विश्वसनीयता को नुकसान पहुंचता है

OUTCOME: Accelerated misinformation

PATH B: Verify, Then Publish

अध्ययन की गुणवत्ता का कठोरता से मूल्यांकन करें; कच्चे डेटा के लिए लेखकों से संपर्क करें; पोस्ट करने से पहले तीव्र सहकर्मी समीक्षा से गुजरें

↓

प्रकाशित करने में धीमा, लेकिन विश्लेषण मजबूत है; जब त्रुटिपूर्ण अध्ययन वापस ले लिए जाते हैं तो निष्कर्ष बचे रहते हैं

परिणाम: टिकाऊ, भरोसेमंद साक्ष्य

"पारदर्शिता वैकल्पिक नहीं है.
अपनी फंडिंग की घोषणा करें. अपने संघर्षों की घोषणा करें.
The reader has a right to know
इस काम के लिए किसने भुगतान किया-और क्यों।"

==================== मॉड्यूल 19: अंतिम जांच ====================

सबमिट करने से पहले

अंतिम चेकलिस्ट

PRISMA 2020 Final Check

Have You...

□ Completed all 27 PRISMA checklist items?

□ Included the PRISMA flow diagram?

□ Provided full search strategy in appendix?

□ कारणों सहित बहिष्कृत अध्ययनों को सूचीबद्ध करें?

□ प्रत्येक अध्ययन के लिए पूर्वाग्रह का जोखिम बताया गया?

□ Provided forest plot(s)?

□ मूल्यांकित प्रकाशन पूर्वाग्रह (यदि ≥10 अध्ययन)?

□ साक्ष्य की श्रेणीबद्ध निश्चितता (ग्रेड)?

□ Declared all conflicts of interest?

□ Cited protocol registration?

Supplementary Materials

WHAT TO INCLUDE

• Full search strategies सभी डेटाबेस के लिए
• बहिष्कृत अध्ययनों की सूची with reasons
• डेटा निष्कर्षण फॉर्म (रिक्त और पूर्ण)
• Risk of bias details प्रत्येक के लिए अध्ययन
• Additional forest plots (subgroups, sensitivity)
• Funnel plot और सांख्यिकीय परीक्षण
• ग्रेड साक्ष्य प्रोफ़ाइल tables

कितने समय तक एक कपटपूर्ण पेपर सहकर्मी समीक्षा, संपादकीय जांच और सार्वजनिक चुनौती से बच सकता है?

REAL DATA

Andrew Wakefield's 1998 Lancet paper linking MMR vaccine to autism took 12 years पूरी तरह से वापस ले लिया जाएगा (2010)। उस दौरान, पत्रकार ब्रायन डीयर ने वित्तीय संघर्ष, नैतिक उल्लंघन और डेटा हेरफेर को उजागर किया। कई बड़े अध्ययन ( over 650,000 children) found no association, yet the original paper's influence persisted.

वेकफील्ड रिट्रेक्शन के डेनिश समूह सहित: 1998-2010

सहकर्मी समीक्षा के दौरान, एक समीक्षक डेटा विसंगतियों का हवाला देते हुए आपके मेटा-विश्लेषण में शामिल एक अध्ययन के बारे में गंभीर चिंताएं उठाता है। आप कैसे प्रतिक्रिया देते हैं?

पथ ए: चिंता को दूर करें

समीक्षक की चिंता को अत्यधिक सतर्क मानकर खारिज करें; आगे की जांच के बिना अध्ययन को शामिल रखें

↓

यदि अध्ययन बाद में वापस ले लिया जाता है, तो आपके मेटा-विश्लेषण को वापस लेने की आवश्यकता हो सकती है

परिणाम: दूषित साक्ष्य संश्लेषण

PATH B: Investigate Thoroughly

कच्चे डेटा के लिए अध्ययन लेखकों से संपर्क करें; प्रश्नगत अध्ययन को छोड़कर संवेदनशीलता विश्लेषण चलाएं;

↓

आपका मेटा-विश्लेषण संदिग्ध अध्ययन को शामिल करने या बाहर करने के लिए मजबूत है

परिणाम: लचीला, स्व-सुधारात्मक; समीक्षा

THE REVELATION

प्रकाशन से पहले सहकर्मी समीक्षा आपका अंतिम बचाव है। समीक्षक की चिंताओं को अपने काम को मजबूत करने के अवसर के रूप में शामिल करें, न कि बाधाओं को दूर करने के लिए।

"आपने साक्ष्य एकत्र कर लिया है।
आपने इसे निष्पक्ष रूप से तौला है।
आपने इसे लिखा है पारदर्शी रूप से।

अब अपना काम सबमिट करें-
और सत्य को खोजने दें, और फिर से ढूंढने दें।"

==================== मॉड्यूल 20: प्रश्नोत्तरी और संदर्भ ===================

References

Key Sources

Page MJ et al. BMJ. 2021;372:n71. [PRISMA 2020]
Jefferson T et al. Cochrane 2014;4:CD008965. [Tamiflu]
Turner EH et al. N Engl J Med. 2008;358:252-260. [Antidepressants]
Boutron I et al. JAMA. 2010;303:2058-2064. [Spin]
Topol EJ. N Engl J Med. 2004;351:1707-1709. [Vioxx]
Deer B. BMJ. 2011;342:c5347. [Wakefield]
Sterne JAC et al. BMJ. 2019;366:l4898. [RoB 2]
Higgins JPT et al. Cochrane Handbook. 2023.
Schünemann HJ et al. GRADE Handbook. 2013.
Ioannidis JPA. PLoS Med. 2005;2:e124. [Why most research is false]

What percentage of antidepressant trials appeared positive in published literature vs. FDA data?

Published 51%, FDA 94%

Published 94%, FDA 51%

Both about 75%

Published 80%, FDA 60%

व्यवस्थित समीक्षा करने से पहले एक प्रोटोकॉल पंजीकृत करने का उद्देश्य क्या है?

To get funding

To claim priority

To prevent outcome switching and data-driven decisions

समीक्षा करने के लिए प्रकाशन योग्य

आपको मेटा-विश्लेषण में अध्ययन को कब शामिल नहीं करना चाहिए?

जब 10 से कम अध्ययन हों

जब अध्ययन बहुत अधिक नैदानिक या पद्धतिगत रूप से विषम हों

जब प्रभाव सांख्यिकीय रूप से नहीं होता है महत्वपूर्ण

जब अध्ययन अलग-अलग देशों से हो

✔

Course Complete

"अब आप साक्ष्य की वाचा को जानते हैं:
खोज करने से पहले पंजीकरण करें।
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
बुद्धिमानी से पूल करें - या नहीं सभी।
Write so that truth may be found,
और अनुसरण करने वालों द्वारा पुनः पाया गया।"

==================== मॉड्यूल 21: सॉफ्टवेयर उपकरण ===================

विधि उन्हें निष्पादित करने वाले उपकरणों के बिना कुछ भी नहीं हैं।

कौन सा सॉफ्टवेयर आपका विश्लेषण ले जाएगा
from protocol to forest plot?

Software Decision Tree

अपने उपकरण चुनना

Meta-Analysis Software

↓

Your Context?

Cochrane Review

RevManFree, official

Academic/Flexible

R metaforFree, powerful

Institution License

Stata metaComprehensive

Point-and-Click

CMAUser-friendly

आवश्यक टूलकिट

RevMan

Cochrane official
Free download

R + metafor

Most flexible
Reproducible code

GRADEpro

Certainty tables
SoF tables

Rayyan

Screening tool
AI-assisted

REPRODUCIBILITY

कोड-आधारित उपकरण (आर, स्टाटा) बनाते हैं reproducible analyses. अपना कोड साझा करें ताकि अन्य लोग आपके कार्य को सत्यापित कर सकें।

R metafor Example

BASIC META-ANALYSIS IN R

                    library(metafor)

                    # Calculate effect sizes

                    dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,

                        ci=events_ctrl, di=noevents_ctrl, data=mydata)

                    # Random effects model

                    रेस <- rma(yi, vi, data=dat, विधि='REML')

                    # Forest plot

                    forest(res, slab=paste(author, year))

जब एक व्यवस्थित समीक्षा में दर्जनों लेखक होते हैं तो आप लेखन का समन्वय कैसे करते हैं?

REAL DATA

स्प्रिंट परीक्षण (2015) सूचीबद्ध 100 authors दर्जनों संस्थानों से. लेखन समूह में एक संचालन समिति, साइट जांचकर्ता और सांख्यिकीविद् शामिल थे। योगदान का समन्वय, संस्करण नियंत्रण का प्रबंधन, और लेखकत्व क्रेडिट का निर्धारण करने के लिए औपचारिक संरचनाओं की आवश्यकता होती है। ICMJE मानदंड पर्याप्त योगदान, प्रारूपण या संशोधन, अंतिम अनुमोदन और जवाबदेही की आवश्यकता के रूप में लेखकत्व को परिभाषित करते हैं।

Team Writing Challenges: Large Collaborative Reviews

आपकी व्यवस्थित समीक्षा टीम में 4 देशों में 12 सदस्य हैं। आप लेखन प्रक्रिया का प्रबंधन कैसे करते हैं?

PATH A: Informal Coordination

Pass drafts via email; resolve authorship at the end; no writing plan or version control

↓

Duplication of effort; authorship disputes at submission; inconsistent voice and formatting; lost contributions

परिणाम: देरी और संघर्ष

PATH B: Structured Process

अनुभाग लीड को अग्रिम रूप से निर्दिष्ट करें; संस्करण नियंत्रण के साथ साझा प्लेटफ़ॉर्म का उपयोग करें; प्रारंभ में ICMJE मानदंड और लेखकत्व आदेश से सहमत हों

↓

स्पष्ट जवाबदेही; लगातार आउटपुट; पारदर्शी योगदान; परिणाम ज्ञात होने से पहले लेखकत्व का निर्णय लिया गया

OUTCOME: Efficient, fair collaboration

THE REVELATION

काम शुरू होने से पहले लेखकत्व मानदंड और लेखन जिम्मेदारियों पर सहमत हों। नतीजे सामने आने के बाद विवादों को सुलझाना सबसे कठिन होता है।

"उपकरण विश्लेषण नहीं करता है.
विश्लेषक करता है.
लेकिन अपना उपकरण बुद्धिमानी से चुनें—
और अपना कोड साझा करें ताकि सत्यता की पुष्टि की जा सके।"

==================== मॉड्यूल 22: मेटा-विश्लेषण पढ़ना ====================

हर कोई मेटा-विश्लेषण नहीं लिखता।

But every clinician, every policymaker, every patient
must know how to read them.

एचआरटी रिवर्सल

WOMEN'S HEALTH INITIATIVE, 2002

दशकों से, अवलोकन संबंधी अध्ययनों से पता चला है कि हार्मोन रिप्लेसमेंट थेरेपी (एचआरटी) ने महिलाओं को हृदय रोग से बचाया है।

इन अध्ययनों के मेटा-विश्लेषणों से पता चला 35-50% reduction in cardiovascular risk.

फिर WHI यादृच्छिक परीक्षण से सच्चाई सामने आई: HRT increased heart attack risk by 29%.

The observational meta-analyses had pooled confounded data- स्वस्थ महिलाओं ने एचआरटी को चुना, इसके विपरीत नहीं।

Rossouw JE et al. JAMA. 2002;288:321-333

How to Read a Forest Plot

Consumer's Guide

जंगल पढ़ना प्लॉट

↓

Line of no effectRR=1 or MD=0

Diamond positionLeft=benefit, Right=harm

Diamond widthNarrow=precise

↓

Does diamond cross the line?

NoStatistically significant

YesNot significant

Red Flags When Reading

Warning Signs in Published Meta-Analyses

⚠ No protocol registration cited

⚠ Single database searched

⚠ No risk of bias assessment

⚠ High I² but no investigation

⚠ Asymmetric funnel plot ignored

⚠ उद्योग वित्त पोषण, कोई संवेदनशीलता विश्लेषण नहीं

⚠ निष्कर्ष साक्ष्य से बढ़कर हैं

What GRADE Ratings Mean

चिकित्सकों और रोगियों के लिए

HIGH: We are very confident. Future research unlikely to change.

MODERATE: Probably close to truth. Future research may change estimate.

LOW: Uncertain. Future research likely to change substantially.

VERY LOW: Very uncertain. Any estimate is speculative.

"जंगल को पढ़ें, सिर्फ हीरे को नहीं।
प्रोटोकॉल की तलाश करें. पूर्वाग्रह की जाँच करें.
Ask: Who funded this? What did they hide?
सूचित पाठक सत्य का संरक्षक है।"

==================== मॉड्यूल 23: नेटवर्क मेटा-विश्लेषण ====================

What if you must compare treatments
जिनका कभी आमने-सामने परीक्षण नहीं किया गया?

यह का क्षेत्र है network meta-analysis.

When to Use Network MA

NMA Decision Tree

Multiple Treatments

↓

Direct comparisons available?

All pairs directly compared

Pairwise MAStandard approach

Some indirect only

Network MABorrow strength

↓

Check transitivity assumptionSimilar populations across comparisons

नेटवर्क ज्यामिति

साक्ष्य का दृश्यीकरण

Nodes = Treatments (size = sample)
Edges = प्रत्यक्ष तुलना (चौड़ाई = अध्ययन)
Dashed = केवल अप्रत्यक्ष साक्ष्य

League Tables

एनएमए परिणाम पढ़ना

League tables show all pairwise comparisons नेटवर्क से.

• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options

CRITICAL ASSUMPTION

Transitivity: यदि समान रोगियों में ए बनाम बी और बी बनाम सी की तुलना की जाती है, तो हम अप्रत्यक्ष रूप से ए बनाम सी का अनुमान लगा सकते हैं।

What happens to meta-analyses when a prolific author's entire body of work is retracted?

REAL DATA

Joachim Boldt, a German anesthesiologist, had over 220 papers retracted डेटा निर्माण के लिए (2010-2011 में खोजा गया)। कोलाइड समाधानों पर उनके अध्ययन को कई व्यवस्थित समीक्षाओं और मेटा-विश्लेषणों में शामिल किया गया था। जब वापसी हुई, तो उनके काम वाले प्रत्येक मेटा-विश्लेषण का पुनर्मूल्यांकन करना पड़ा। जब उसका मनगढ़ंत डेटा हटा दिया गया तो कुछ निष्कर्ष काफी हद तक बदल गए।

बोल्ड रिट्रैक्शन कैस्केड: 2010-2011

आपको पता चलता है कि आपके प्रकाशित मेटा-विश्लेषण में शामिल एक अध्ययन को डेटा निर्माण के लिए वापस ले लिया गया है। आप क्या करते हैं?

PATH A: Hope No One Notices

वापसी पर ध्यान न दें; मेटा-विश्लेषण पहले ही प्रकाशित हो चुका है और वापस लिया गया अध्ययन छोटा था

↓

अन्य लोग आपके मेटा-विश्लेषण का हवाला देते हैं; मनगढ़ंत डेटा द्वितीयक उद्धरणों के माध्यम से प्रसारित होता है; रोगी देखभाल निर्णय दूषित साक्ष्य पर आधारित होते हैं

OUTCOME: Cascading harm from inaction

PATH B: Self-Correct Publicly

वापस लिए गए अध्ययन को छोड़कर सुधार या अद्यतन विश्लेषण प्रकाशित करें; जर्नल को सूचित करें; बताएं कि क्या निष्कर्ष बदलते हैं

↓

वैज्ञानिक रिकॉर्ड सही हो गया है; पाठक अद्यतन विश्लेषण देखें; सत्यनिष्ठा के लिए आपकी प्रतिष्ठा बढ़ी है

OUTCOME: Scientific self-correction

THE REVELATION

साक्ष्य संश्लेषण की सत्यनिष्ठा निरंतर सतर्कता पर निर्भर करती है। जब शामिल अध्ययन वापस ले लिए जाते हैं, तो नैतिक कर्तव्य अद्यतन करना और सही करना है, चुप रहना नहीं।

"When treatments have never met,
नेटवर्क सबूतों का एक पुल बनाता है।
But the bridge rests on transitivity—
सत्यापित करें कि आबादी तुलनीय है।"

=================== मॉड्यूल 24: एआई/एमएल भविष्यवाणी मॉडल ==================

क्या आपने वह एआई नहीं देखा है जो कैंसर की भविष्यवाणी करता था
प्रशिक्षण सेट में 99% सटीकता के साथ-
और विफल रहा भयावह रूप से
जब real world?

सेप्सिस एल्गोरिथम विफलता में तैनात किया गया

EPIC SEPSIS MODEL, 2021

Epic's sepsis prediction algorithm was deployed in hundreds of hospitals.

Internal validation showed excellent performance.

लेकिन मिशिगन मेडिसिन में एक स्वतंत्र अध्ययन में मॉडल पाया गया missed 67% of sepsis cases and generated excessive false alarms.

एल्गोरिदम को मान्य किया गया था उसी आबादी पर इसे प्रशिक्षित किया गया था- ओवरफिटिंग और विफलता के लिए एक नुस्खा।

Wong A et al. JAMA Intern Med. 2021;181:1065-1070

AI Validation Decision Tree

AI/ML के लिए साक्ष्य के स्तर

AI Prediction Model

↓

Validation Level?

Internal onlyसमान डेटा विभाजन

HIGH RISK

TemporalDifferent time

MODERATE

ExternalDifferent site

BETTER

Impact RCTPatient outcomes

BEST

PROBAST & TRIPOD

PROBAST

Prediction model
Risk of Bias

TRIPOD

Reporting
guideline

TRIPOD-AI

AI-specific
extension

CALIBRATION VS. DISCRIMINATION

AUC/c-statistic: Can the model rank patients? (discrimination)
Calibration: की भविष्यवाणी की गई है संभावनाएं सटीक?

A model can have good AUC but poor calibration—and harm patients.

"एल्गोरिदम ने डेटा से सीखा,
और डेटा पक्षपाती था।
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."

==================== मॉड्यूल 25: रोगी संचार ===================

मेटा-विश्लेषण संख्याओं में बोलता है।

लेकिन रोगी सुनता है डर और आशाएं.

आप कैसे पाटेंगे गैप?

Translating Numbers to Meaning

Communication Decision Tree

Meta-Analysis Result

↓

Effect Size Type?

Relative (RR, OR)

Convert to NNTMore intuitive

Absolute (RD)

Use directly"X fewer per 1000"

Continuous (MD)

ContextualizeMinimal important diff

मरीजों के लिए स्क्रिप्ट

EXPLAINING A POSITIVE RESULT

"शोध में 8,000 मरीजों के साथ 15 अध्ययनों को शामिल किया गया।

यह पाया गया कि यह उपचार [परिणाम] के जोखिम को लगभग 30% तक कम कर देता है।

व्यावहारिक रूप से: यदि हम इलाज करते हैं आपके जैसे 100 लोगों में, बिना इलाज की तुलना में लगभग 5 कम लोगों को [परिणाम] मिलेगा।

We're moderately confident in this—future research might change it slightly.

इस बारे में आपके क्या प्रश्न हैं?"

Questions Patients Should Ask

Empowering Patients

1 "कितने अध्ययन और रोगियों को शामिल किया गया?"

2 "इस परिणाम में शोधकर्ता कितने आश्वस्त हैं?"

3 "क्या हैं लाभ और हानि?"

4 "क्या मेरे जैसे लोग इन अध्ययनों में शामिल थे?"

5 "इस शोध को किसने वित्त पोषित किया?"

6 "मेरी विशिष्ट स्थिति के लिए इसका क्या मतलब है?"

Can a spreadsheet error in an academic paper directly shape the economic policy of entire nations?

REAL DATA

रेनहार्ट और रोगॉफ के 2010 के पेपर में दावा किया गया कि देश सार्वजनिक ऋण अधिक होना 90% of GDP नाटकीय रूप से कम वृद्धि का अनुभव किया। पूरे यूरोप में मितव्ययता नीतियों को उचित ठहराने के लिए इस निष्कर्ष का व्यापक रूप से हवाला दिया गया। 2013 में, हेरंडन, ऐश और पोलिन ने एक स्प्रेडशीट त्रुटि की खोज की: कई देशों को गलती से गणना से बाहर कर दिया गया था। सुधार के बाद, तीव्र 90% सीमा गायब हो गई।

रेनहार्ट-रोगॉफ़ नीति प्रभाव: 2010-2013

आपके मेटा-विश्लेषण परिणामों में स्पष्ट नीतिगत निहितार्थ हैं। नीति निर्माता एक सरल संदेश के लिए उत्सुक हैं। आप नीति संक्षिप्त कैसे लिखते हैं?

पथ ए: प्रभाव के लिए अति सरलीकरण

एक साफ़ सीमा या शीर्षक संख्या प्रदान करें; अधिकतम नीतिगत प्रभाव के लिए चेतावनियों और अनिश्चितता की सीमाओं को छोड़ दें

↓

Policy is adopted based on simplified findings; जब बारीकियाँ सामने आती हैं या त्रुटियाँ पाई जाती हैं, तो अनुसंधान और परिणामी नीति दोनों बदनाम हो जाती हैं

OUTCOME: Policy built on a fragile foundation

पथ बी: ईमानदारी के साथ संवाद करें

उचित अनिश्चितता के साथ साक्ष्य प्रस्तुत करें; विचारोत्तेजक निष्कर्षों से मजबूत अंतर करना; कार्रवाई योग्य सारांश प्रदान करें जो बारीकियों को सुरक्षित रखें

↓

नीति-निर्माता समझते हैं कि साक्ष्य किस बात का समर्थन करते हैं और कहाँ अनिश्चितता बनी हुई है; निर्णय उचित सावधानी के साथ लिए जाते हैं

OUTCOME: Durable, evidence-informed policy

THE REVELATION

Policy briefs must communicate uncertainty honestly. Oversimplified findings may gain influence quickly but collapse when scrutinized, damaging trust in research-policy relationships.

"मेटा-विश्लेषण संख्याओं में बोलता है।
रोगी भय और आशा में सुनता है।
आपका काम अनुवादक बनना है-
सबूतों के प्रति वफादार, व्यक्ति के प्रति दयालु।"

==================== मॉड्यूल 26: सजीव समीक्षाएँ और भविष्य ====================

एक व्यवस्थित समीक्षा किसी भी समय साक्ष्य को पकड़ लेती है।

But science does not stop.
हम सबूत कैसे रखें alive?

Living Systematic Reviews

COVID-19 PANDEMIC, 2020-2023

महामारी के दौरान, पारंपरिक समीक्षाओं की तुलना में साक्ष्य तेजी से सामने आए।

Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.

सीओवीआईडी-एनएमए कंसोर्टियम ने उपचार, टीकों और निदान पर लाइव समीक्षाएं तैयार कीं, जिसमें सिफारिशों को अद्यतन किया गया real-time जैसे-जैसे साक्ष्य विकसित हुए।

Hydroxychloroquine went from "promising" to "ineffective" within months.

Defined by Cochrane: continual updates at ≤monthly intervals

When to Use Living Reviews

लिविंग रिव्यू डिसीजन ट्री

समीक्षा प्रकार निर्णय

↓

क्या साक्ष्य तेजी से विकसित हो रहे हैं?

Yes + High Priority

Living ReviewContinuous updates

No / Stable

Standard ReviewUpdate every 2-5 years

↓

Resource intensiveRequires ongoing funding

साक्ष्य संश्लेषण का भविष्य

Automation

ML-assisted
screening

IPD-MA

Individual patient
data pooling

Real-World

EHR-based
evidence

Adaptive

Platform trials
+ MA

"साक्ष्य की वाचा स्थिर नहीं है।
यह प्रत्येक नए अध्ययन, प्रत्येक नए प्रश्न के साथ बढ़ता है।
अपनी समीक्षाएँ जीवित रखें.
अपने तरीके पारदर्शी रखें.
अपने सभी कार्यों के केंद्र में सत्य को रखें।"

1 / 4