Writing > Die verborgenen Daten
==================== MODUL 1: DIE VERSTECKTEN DATEN ====================
==================== MODUL 2: DER BUND (PRISMA) ====================
==================== MODUL 3: DAS PROTOKOLL ====================
==================== MODUL 4: DER TITEL ====================
==================== MODUL 5: DIE ZUSAMMENFASSUNG ====================
==================== MODUL 6: DIE FRAGE (PICO) ====================
==================== MODUL 7: DIE SUCHE ====================
==================== MODUL 8: DIE AUSWAHL ====================
==================== MODUL 9: BIAS-RISIKO ====================
==================== Modul 10: Datenextraktion ====================
==================== MODUL 11: WIRKUNGSMASSNAHMEN ====================
==================== MODUL 12: DIE SYNTHESE ====================
==================== MODUL 14: PUBLIKATIONSBIAS ====================
==================== MODUL 15: DAS WALDGRUNDSTÜCK ====================
==================== MODUL 16: BEWEISSGEWISSHEIT ====================
==================== MODUL 17: DIE DISKUSSION ====================
==================== MODUL 19: DIE LETZTE ÜBERPRÜFUNG ====================
==================== MODUL 20: QUIZ & REFERENZEN ====================
==================== MODUL 21: SOFTWARE-TOOLS ====================
==================== MODUL 22: META-ANALYSEN LESEN ====================
==================== MODUL 23: NETZWERK-META-ANALYSE ====================
Nodes = Treatments (size = sample)
Edges = Direkte Vergleiche (Breite = Studien)
Dashed = Nur indirekter Beweis
==================== MODUL 24: KI/ML-VORHERSAGEMODELLE ====================
==================== MODUL 25: PATIENTENKOMMUNIKATION ====================
=================== MODUL 26: LEBENDE BEWERTUNGEN & ZUKUNFT ====================
Hast du nicht von den Prüfungen gehört, die verborgen waren?
die Daten, die vergraben waren,
die Papiere, die es erzählten nur die halbe Wahrheit?
die Daten, die vergraben waren,
die Papiere, die es erzählten nur die halbe Wahrheit?
Der Tamiflu-Skandal
COCHRANE COLLABORATION, 2009-2014
Governments stockpiled $9 billion worth of Tamiflu to fight pandemic flu.
Doch als Cochrane-Forscher versuchten, den Nutzen des Arzneimittels zu überprüfen, stellten sie Folgendes fest 60% of trial data had never been published.
Nach einem fünfjährigen Kampf gelangten sie an die verborgenen Daten. Die Schlussfolgerung wurde geändert: Tamiflu shortened symptoms by less than a day und verhinderte keine Komplikationen.
9 Milliarden US-Dollar wurden für Beweise ausgegeben, die nie vollständig offengelegt wurden.
Doch als Cochrane-Forscher versuchten, den Nutzen des Arzneimittels zu überprüfen, stellten sie Folgendes fest 60% of trial data had never been published.
Nach einem fünfjährigen Kampf gelangten sie an die verborgenen Daten. Die Schlussfolgerung wurde geändert: Tamiflu shortened symptoms by less than a day und verhinderte keine Komplikationen.
9 Milliarden US-Dollar wurden für Beweise ausgegeben, die nie vollständig offengelegt wurden.
Jefferson T et al. Cochrane Database Syst Rev. 2014;4:CD008965
Why We Write Meta-Analyses
Der Zweck der Synthese
Individual Studies
↓
Problem?
Small samplesLow power
Conflicting resultsWhich to believe?
Publication biasMissing negatives
↓
Meta-AnalysisSystematic synthesis
↓
More precise estimate + Bias detection
Die Tamiflu-Transparenzkampagne
2009-2014 | COCHRANE COLLABORATION vs. ROCHE
For years, governments worldwide stockpiled Tamiflu (oseltamivir) at a cost of billions of dollars, basierend auf Herstellerangaben, dass es Grippekomplikationen und Krankenhausaufenthalte verhindert habe.
Als Cochrane-Gutachter die vollständigen Studiendaten anforderten, um diese Behauptungen zu überprüfen, Roche weigerte sich 5 Jahre langunter Berufung auf „Vertraulichkeit“. Das Unternehmen hatte 10 Behandlungsstudien durchgeführt, aber nur 2 wurden vollständig veröffentlicht.
Nach unerbittlichem Druck wurden 2014 schließlich klinische Studienberichte veröffentlicht. Das Bild änderte sich dramatisch: Tamiflu verkürzte die Symptome um weniger als einen Tag und zeigte keine Hinweise darauf, dass es Krankenhausaufenthalte oder schwerwiegende Komplikationen verhinderte.
Als Cochrane-Gutachter die vollständigen Studiendaten anforderten, um diese Behauptungen zu überprüfen, Roche weigerte sich 5 Jahre langunter Berufung auf „Vertraulichkeit“. Das Unternehmen hatte 10 Behandlungsstudien durchgeführt, aber nur 2 wurden vollständig veröffentlicht.
Nach unerbittlichem Druck wurden 2014 schließlich klinische Studienberichte veröffentlicht. Das Bild änderte sich dramatisch: Tamiflu verkürzte die Symptome um weniger als einen Tag und zeigte keine Hinweise darauf, dass es Krankenhausaufenthalte oder schwerwiegende Komplikationen verhinderte.
THE LESSON
Eine Metaanalyse ist nur so gut wie die Daten, auf die sie zugreifen kann. Versteckte Studien können unwirksame Behandlungen wirksam aussehen lassen – und Milliarden an vergeudeten Ressourcen kosten.
„Und das Unternehmen wusste,
und die Aufsichtsbehörden wussten,
aber die veröffentlichten Artikel sagten nichts darüber –
und Milliarden wurden für eine Halbwahrheit ausgegeben.“
und die Aufsichtsbehörden wussten,
aber die veröffentlichten Artikel sagten nichts darüber –
und Milliarden wurden für eine Halbwahrheit ausgegeben.“
Deshalb schreiben wir Metaanalysen – um die ganze Wahrheit herauszufinden.
Wenn Sie möchten, dass Ihre Arbeit so ist trusted,
Sie müssen einen Vertrag mit Ihren Lesern eingehen.
Dieser Bund hat einen Namen:
PRISMA.
Sie müssen einen Vertrag mit Ihren Lesern eingehen.
Dieser Bund hat einen Namen:
PRISMA.
PRISMA 2020
Bevorzugte Berichtselemente für systematische Überprüfungen und Metaanalysen
27
Checklist items
2020
Updated version
50K+
Citations
THE COVENANT
PRISMA ist keine Bürokratie. es ist ein versprechen Sie es Ihren Lesern
dass Sie die Arbeit transparent und vollständig erledigt haben.
Die sieben Abschnitte
1
Title
Identify as systematic review, meta-analysis, or both
2
Abstract
Strukturierte Zusammenfassung der gesamten Rezension
3
Introduction
Begründung und Ziele mit PICO
4
Methods
Protocol, search, selection, data, bias, synthesis
5
Results
Flow diagram, characteristics, risk of bias, synthesis results
6
Discussion
Summary, limitations, interpretation, implications
7
Other
Registration, funding, conflicts of interest
Die PRISMA-Revolution
2009-PRESENT | TRANSFORMING SYSTEMATIC REVIEW REPORTING
Vor PRISMA (2009) war die systematische Überprüfungsberichterstattung chaotisch. In einigen Rezensionen wurden die Suchstrategien überhaupt nicht angegeben. Andere ließen die Beurteilung des Risikos von Verzerrungen weg. Viele konnten nicht erklären, warum Studien ausgeschlossen wurden. Readers couldn't judge quality—they had to trust blindly.
Die 27 Punkte umfassende Checkliste von PRISMA hat alles verändert. Die Autoren mussten jeden Schritt dokumentieren: die vollständige Suchstrategie, Auswahlkriterien, Extraktionsmethoden und Syntheseentscheidungen.
Today, Über 10.000 Zeitschriften unterstützen PRISMA. Was einst außergewöhnliche Transparenz war, wurde zum erwarteten Standard.
Die 27 Punkte umfassende Checkliste von PRISMA hat alles verändert. Die Autoren mussten jeden Schritt dokumentieren: die vollständige Suchstrategie, Auswahlkriterien, Extraktionsmethoden und Syntheseentscheidungen.
Today, Über 10.000 Zeitschriften unterstützen PRISMA. Was einst außergewöhnliche Transparenz war, wurde zum erwarteten Standard.
THE LESSON
Eine einfache Checkliste hat ein ganzes Feld verändert. Transparente Berichterstattung wurde von der Ausnahme zur Norm – ein Beweis dafür, dass Standards wichtig sind.
„PRISMA ist der Bund zwischen Autor und Leser:
Ich werde dir alles zeigen –
how I searched, what I found, what I excluded, why.
So können Sie meine Arbeit beurteilen und meinen Schlussfolgerungen vertrauen – oder sie in Frage stellen.“
Ich werde dir alles zeigen –
how I searched, what I found, what I excluded, why.
So können Sie meine Arbeit beurteilen und meinen Schlussfolgerungen vertrauen – oder sie in Frage stellen.“
Haben Sie den Rezensenten nicht gesehen
wer das Ergebnis geändert hat, nachdem er die Daten gesehen hat,
der die Torpfosten bis zu den Ergebnissen verschoben hat looked right?
wer das Ergebnis geändert hat, nachdem er die Daten gesehen hat,
der die Torpfosten bis zu den Ergebnissen verschoben hat looked right?
Die zurückgezogenen Metaanalysen
MULTIPLE JOURNALS, 2010-2023
Das haben Forscher herausgefunden many retracted meta-analyses had no pre-registered protocol.
Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• Fügen Sie Studien hinzu oder entfernen Sie sie, um die Schlussfolgerung zu ändern
Das Protokoll liegt bei Ihnen pre-commitment device– es verhindert, dass Sie sich etwas vormachen.
Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• Fügen Sie Studien hinzu oder entfernen Sie sie, um die Schlussfolgerung zu ändern
Das Protokoll liegt bei Ihnen pre-commitment device– es verhindert, dass Sie sich etwas vormachen.
Defined outcome switching: PROSPERO registration prevents bias
Protocol Registration Decision Tree
Wo Sie Ihr Protokoll registrieren können
Neue systematische Überprüfung
↓
Type of Review?
Health/Medical
PROSPEROprospero.york.ac.uk
Any Field
OSFosf.io/registries
Cochrane
Cochrane LibraryIntegrated protocol
↓
Registration ID in PaperCite in Methods
What the Protocol Must Contain
Essential Protocol Elements
1. Forschungsfrage (PICO-Format)
2. Eligibility criteria (inclusion/exclusion)
3. Information sources and search strategy
4. Studienauswahlverfahren
5. Datenextraktionselemente
6. Tool zur Bewertung des Risikos einer Verzerrung
7. Primäre und sekundäre Ergebnisse
8. Synthesemethoden (Metaanalyseplan)
9. Subgruppen- und Sensitivitätsanalysen
„Schreiben Sie das Protokoll, bevor Sie die Daten sehen.
Lock it in a public registry.
Then follow it—or explain why you deviated.
So beweisen Sie, dass Sie nicht betrogen haben.
Lock it in a public registry.
Then follow it—or explain why you deviated.
So beweisen Sie, dass Sie nicht betrogen haben.
Der Titel ist das erste Versprechen, das Sie machen.
Es muss dem Leser sagen:
Was Sie studiert haben, wie Sie es studiert haben und um welche Art von Studium es sich handelt.
Es muss dem Leser sagen:
Was Sie studiert haben, wie Sie es studiert haben und um welche Art von Studium es sich handelt.
Die Anatomie eines Titels
PRISMA Title Requirements
Title Must Include
↓
PopulationWer wurde untersucht?
InterventionWas wurde getan?
OutcomeWas wurde gemessen
↓
+ „Systematische Überprüfung“ oder „Meta-Analyse“
Good vs. Bad Titles
❌ BAD TITLE
„Ein Überblick über die Diabetes-Behandlung“
Problems: No population specified, no intervention, no outcome, doesn't say systematic review
Problems: No population specified, no intervention, no outcome, doesn't say systematic review
✓ GOOD TITLE
„Wirksamkeit von SGLT2-Inhibitoren auf die kardiovaskuläre Mortalität bei Erwachsenen mit Typ-2-Diabetes: Eine systematische Überprüfung und Metaanalyse“
Population, Intervention, Ergebnis und Studientyp sind klar
Population, Intervention, Ergebnis und Studientyp sind klar
„Der Titel ist Ihr erstes Wort an den Leser.
Machen Sie es komplett. Machen Sie es ehrlich.
Tell them exactly what they will find within."
Machen Sie es komplett. Machen Sie es ehrlich.
Tell them exactly what they will find within."
Most readers will only read your abstract.
If the abstract lies, or omits, or misleads—
most readers will never know.
If the abstract lies, or omits, or misleads—
most readers will never know.
Das Spinproblem
BOUTRON ET AL., 2010
Researchers analyzed 72 RCTs with non-significant primary outcomes.
Das haben sie herausgefunden 40% of abstracts contained "spin"– Berichterstattung, die sich auf sekundäre Ergebnisse, Untergruppen oder gruppeninterne Änderungen konzentrierte, um die Ergebnisse günstiger erscheinen zu lassen, als sie waren.
Die Zusammenfassung erzählte eine andere Geschichte als die Daten.
Das haben sie herausgefunden 40% of abstracts contained "spin"– Berichterstattung, die sich auf sekundäre Ergebnisse, Untergruppen oder gruppeninterne Änderungen konzentrierte, um die Ergebnisse günstiger erscheinen zu lassen, als sie waren.
Die Zusammenfassung erzählte eine andere Geschichte als die Daten.
Boutron I et al. JAMA. 2010;303:2058-2064
Structured Abstract Elements
PRISMA Abstract Checklist
□ Hintergrund und Ziele
□ Eligibility criteria
□ Information sources
□ Risk of bias assessment
□ Synthesis methods
□ Ergebnisse (# Studien, # Teilnehmer, Effektschätzung mit CI)
□ Limitations
□ Schlussfolgerungen und Implikationen
□ Registration number
Was passiert, wenn die Zusammenfassung eine andere Geschichte erzählt als die Arbeit selbst?
REAL DATA
Pitkin et al. (1999, BMJ) untersuchten strukturierte Abstracts in sechs großen Fachzeitschriften und kamen zu dem Ergebnis 18-68% der Abstracts enthielten Daten, die nicht mit dem vollständigen Artikel übereinstimmten. Die Mängel reichten von numerischen Fehlern bis hin zu Schlussfolgerungen, die nicht durch die gemeldeten Ergebnisse gestützt wurden.
Die irreführende Zusammenfassung: Pitkin 1999
Ihre Metaanalyse ergab einen nicht signifikanten primären Endpunkt (RR 0,92, 95 %-KI 0,78–1,09). Wie schreibt man das Abstract?
PFAD A: Drehen Sie die Zusammenfassung
Emphasize a significant secondary outcome and use language like "trend toward benefit"
↓
Leser, die nur die Zusammenfassung sehen, gewinnen einen irreführend positiven Eindruck von der Behandlung
OUTCOME: Misleading clinical decisions
PATH B: Report Faithfully
Geben Sie das nicht signifikante primäre Ergebnis klar an und kennzeichnen Sie sekundäre Ergebnisse als explorativ
↓
Leser erhalten eine genaue Zusammenfassung; Diejenigen, die Details benötigen, lesen den vollständigen Artikel
ERGEBNIS: Die Integrität der Beweise bleibt erhalten
THE REVELATION
Die meisten Leser kommen nie über die Zusammenfassung hinaus. Wenn die Zusammenfassung irreführt, kann die Ehrlichkeit der vollständigen Arbeit den Schaden nicht wiedergutmachen.
„Spinnen Sie nicht. Verstecken Sie sich nicht.“
Wenn das primäre Ergebnis null war, sagen Sie es.
The abstract must be a faithful mirror—
kein schmeichelhaftes Porträt.“
Wenn das primäre Ergebnis null war, sagen Sie es.
The abstract must be a faithful mirror—
kein schmeichelhaftes Porträt.“
A vague question yields vague answers.
Bevor Sie suchen, bevor Sie schreiben –
Du musst es genau wissen was du suchst.
Bevor Sie suchen, bevor Sie schreiben –
Du musst es genau wissen was du suchst.
Das PICO-Framework
Strukturierung der Forschungsfrage
Research Question
↓
PPopulation
Who?
IIntervention
What treatment?
CComparator
Vs. what?
OOutcome
What measured?
PICO Example
Eine vage Frage transformieren
Vague: "Does exercise help depression?"
PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)
Jetzt wissen Sie genau, wonach Sie suchen müssen.
PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)
Jetzt wissen Sie genau, wonach Sie suchen müssen.
„Formulieren Sie Ihre Frage präzise.
Wer sind die Patienten? Was ist die Behandlung?
Was ist der Komparator? Was werden Sie messen?
PICO ist die Karte vor der Reise.“
Wer sind die Patienten? Was ist die Behandlung?
Was ist der Komparator? Was werden Sie messen?
PICO ist die Karte vor der Reise.“
Haben Sie noch nichts von der Metaanalyse gehört?
that searched only one database,
habe die Hälfte der Beweise verpasst,
und zeichnete das wrong conclusion?
that searched only one database,
habe die Hälfte der Beweise verpasst,
und zeichnete das wrong conclusion?
The Search Strategy Decision Tree
Where to Search
Comprehensive Search
↓
Minimum Databases
MEDLINEPubMed
EmbaseEuropean focus
CENTRALCochrane trials
↓
Plus Additional Sources
Trial registriesClinicalTrials.gov
Grey literatureTheses, reports
Reference listsBackward citation
Dokumentation der Suche
WHAT TO REPORT
• Full search strategy for at least one database (appendix)
• Date of search für jede Datenbank
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• Kontakt zu Autoren für unveröffentlichte Daten
• Date of search für jede Datenbank
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• Kontakt zu Autoren für unveröffentlichte Daten
DER REPRODUZIERBARKEITSTEST
Another researcher should be able to Reproduzieren Sie Ihre Suche genau
und finden Sie die gleiche Anzahl von Datensätzen.
The Cochrane Search Strategy Discovery
2003 | COCHRANE-METHODOLOGIE-ÜBERPRÜFUNG
Cochrane researchers asked a simple question: What would happen if systematic reviewers only searched MEDLINE?
Die Antwort war alarmierend. Das hätten sie getan 30 % der eingeschlossenen Studien verpasst– einschließlich einiger, die die Schlussfolgerungen der Metaanalyse völlig veränderten.
One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. Bei den fehlenden Studien handelte es sich um kleinere, negative Studien, die in Fachdatenbanken wie EMBASE und PsycINFO indexiert waren.
Die Antwort war alarmierend. Das hätten sie getan 30 % der eingeschlossenen Studien verpasst– einschließlich einiger, die die Schlussfolgerungen der Metaanalyse völlig veränderten.
One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. Bei den fehlenden Studien handelte es sich um kleinere, negative Studien, die in Fachdatenbanken wie EMBASE und PsycINFO indexiert waren.
THE LESSON
Bei der Suche in einer einzigen Datenbank können negative Studien systematisch übersehen werden. Die Studien, die nicht in MEDLINE enthalten sind, könnten genau die Studien sein, die Ihre Schlussfolgerung ändern.
"Search wide. Search deep.
Document every database, every date, every term.
Die Beweise, die Sie übersehen, sind möglicherweise die Beweise, die am wichtigsten sind.
Document every database, every date, every term.
Die Beweise, die Sie übersehen, sind möglicherweise die Beweise, die am wichtigsten sind.
Sie müssen aus Tausenden von Datensätzen auswählen.
But choose by what rule?
Und wer prüft Ihre Auswahl?
But choose by what rule?
Und wer prüft Ihre Auswahl?
Das PRISMA-Flussdiagramm
PRISMA 2020 Flow Diagram
IDENTIFICATION
n = 3,847
Datensätze aus Datenbanken
↓
Duplicates removed (n = 892)
SCREENING
n = 2,955
Titles/abstracts screened
↓
Excluded (n = 2,680)
ELIGIBILITY
n = 275
Full-text assessed
↓
Mit Gründen ausgeschlossen (n = 247)
INCLUDED
n = 28
Studies in synthesis
Selection Process Decision Tree
Who Selects? How?
Study Selection
↓
Two independent reviewersGold standard
↓
Disagreement?
ConsensusDiscussion
Third reviewerArbiter
One reviewer onlyAcknowledge limitation
REPORT AGREEMENT
Berechnen und berichten inter-rater agreement (kappa statistic).
Low agreement suggests unclear criteria.
Kann eine Post-hoc-Untergruppenanalyse aus einem einzigen Versuch ein ganzes Fachgebiet für ein Jahrzehnt umgestalten?
REAL DATA
Die Women's Health Initiative (WHI, 2002) stellte fest, dass HRT increased cardiovascular risk overall. But post-hoc subgroup analysis suggested women aged <60 oder innerhalb von 10 Jahren nach der Menopause könnten von Vorteil sein, während ältere Frauen geschädigt wurden. Diese „Timing-Hypothese“ löste jahrelange Debatten und weitere Studien aus.
The HRT Timing Hypothesis: WHI 2002
Ihre Metaanalyse der HRT zeigt insgesamt einen Schaden, eine explorative Untergruppe deutet jedoch auf einen Nutzen bei jüngeren Frauen hin. Wie schreibt man das?
PFAD A: Überbewerten Sie die Untergruppe
Überschreiben Sie das Ergebnis der Altersuntergruppe, als wäre es das primäre Ergebnis
↓
Ärzte verschreiben eine HRT auf der Grundlage einer explorativen, leistungsschwachen Untergruppe; Der Befund kann möglicherweise nicht reproduziert werden
OUTCOME: Premature clinical change
PATH B: Report Honestly
Present overall result as primary; label subgroup as exploratory and pre-specified or post-hoc
↓
Readers understand the hypothesis needs confirmation; future trials can be designed to test it
OUTCOME: Responsible hypothesis generation
THE REVELATION
Untergruppenanalysen generieren Hypothesen, keine Schlussfolgerungen. Kennzeichnen Sie sie immer als explorativ und berichten Sie zuerst über das Gesamtergebnis.
"Every exclusion must have a reason.
Every reason must be documented.
Two pairs of eyes are better than one—
denn was der eine verpasst, kann der andere fangen.“
Every reason must be documented.
Two pairs of eyes are better than one—
denn was der eine verpasst, kann der andere fangen.“
Haben Sie die Metaanalyse nicht gesehen?
das gute Studien mit schlechten kombinierte,
und nannte den Durchschnitt truth?
das gute Studien mit schlechten kombinierte,
und nannte den Durchschnitt truth?
Die Gefahr, Voreingenommenheit zu ignorieren
DER ANTIDEPRESSIVS-SKANDAL
Turner et al. (2008) obtained FDA data on 74 antidepressant trials.
In the published literature: 94 % der Studien waren positiv.
In the FDA database: Nur 51 % waren positiv.
Die veröffentlichten Metaanalysen hatten selektiv gemeldete Daten gebündelt. Die Effektgröße betrug inflated by 32%.
In the published literature: 94 % der Studien waren positiv.
In the FDA database: Nur 51 % waren positiv.
Die veröffentlichten Metaanalysen hatten selektiv gemeldete Daten gebündelt. Die Effektgröße betrug inflated by 32%.
Turner EH et al. N Engl J Med. 2008;358:252-260
Tools zur Bewertung des Verzerrungsrisikos
Welches Tool verwenden?
Study Design
↓
RCTs
RoB 2Cochrane tool
Non-randomized
ROBINS-IInterventions
DTA studies
QUADAS-2Diagnostic
Observational
NOSNewcastle-Ottawa
RoB 2 Domains
Cochrane Risk of Bias 2.0 for RCTs
D1 Randomization process
D2 Abweichungen von vorgesehenen Eingriffen
D3 Fehlende Ergebnisdaten
D4 Messung des Ergebnisses
D5 Auswahl des gemeldeten Ergebnisses
JUDGMENT OPTIONS
Each domain: Low risk /
Some concerns /
High risk
„Eine Metaanalyse voreingenommener Studien
yields a biased conclusion—
mit einem engeren Konfidenzintervall.
Sie haben die Lüge präzisiert.“
yields a biased conclusion—
mit einem engeren Konfidenzintervall.
Sie haben die Lüge präzisiert.“
Aus jeder Studie müssen Sie die Zahlen extrahieren.
Extrahieren Sie falsch und Ihre gesamte Analyse
is built on sand.
Extrahieren Sie falsch und Ihre gesamte Analyse
is built on sand.
Datenextraktionsformular
Wesentliche Datenelemente
1 Study identifiers (author, year, country)
2 Studiendesign und -setting
3 Participant characteristics (n, age, sex, severity)
4 Intervention details (dose, duration, delivery)
5 Comparator details
6 Ergebnisdefinitionen und -messung
7 Results (means, SDs, events, sample sizes)
8 Follow-up duration and loss to follow-up
9 Funding source and conflicts of interest
Extraction Decision Tree
Umgang mit fehlenden Daten
Daten nicht gemeldet
↓
What to Do?
First
Contact authorsE-Mail für Daten
If no response
Calculate/imputeDocument method
If impossible
Exclude from MAInclude in narrative
Der Rosiglitazon-Datenextraktionsfehler
2007 | NEW ENGLAND JOURNAL OF MEDICINE
Nissen and Wolski's 2007 meta-analysis of rosiglitazone (Avandia) found a 43% increased risk of heart attack. Der Befund löste Warnungen der FDA aus und führte zu einem weltweiten Rückgang der Verschreibungen.
But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports. Kleine Unterschiede in der Art und Weise, wie Ereignisse gezählt wurden – extrahiert aus verschiedenen Quellen – veränderten die Ergebnisse erheblich.
Die Metaanalyse war einflussreich und weitgehend korrekt, aber die Kontroverse zeigte, wie small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.
But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports. Kleine Unterschiede in der Art und Weise, wie Ereignisse gezählt wurden – extrahiert aus verschiedenen Quellen – veränderten die Ergebnisse erheblich.
Die Metaanalyse war einflussreich und weitgehend korrekt, aber die Kontroverse zeigte, wie small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.
THE LESSON
Extrahieren Sie immer aus Primärquellen. Dokumentieren Sie jede Entscheidung. Eine kleine Abweichung in den extrahierten Zahlen kann regulatorische Entscheidungen und das Marktgeschehen verändern.
"Extract in duplicate. Check each number.
One digit wrong can change the conclusion.
Das Extraktionsformular ist Ihr Hauptbuch –
keep it meticulous, keep it true."
One digit wrong can change the conclusion.
Das Extraktionsformular ist Ihr Hauptbuch –
keep it meticulous, keep it true."
Die Effektgröße ist das Herzstück Ihrer Metaanalyse.
Wählen Sie das falsche Maß,
und Ihre zusammengefasste Schätzung wird sein meaningless.
Wählen Sie das falsche Maß,
und Ihre zusammengefasste Schätzung wird sein meaningless.
Effect Measure Decision Tree
Choosing the Right Effect Size
Outcome Type
↓
Binary
RR, OR, RDEvents/no events
Continuous
Same scale?
YesMD (mean diff)
NoSMD (Hedge's g)
Time-to-event
HRHazard ratio
Common Effect Measures
RR
Risk Ratio
Multiplicative
Multiplicative
OR
Odds Ratio
Case-control
Case-control
MD
Mean Diff
Same units
Same units
SMD
Std Mean Diff
Different scales
Different scales
THE PRINCIPLE
Das Wirkungsmaß muss sein studienübergreifend vergleichbar.
If studies used different scales, standardize.
Can a trial that transforms global practice still have serious limitations?
REAL DATA
Die RECOVERY-Studie (2020) zeigte, dass Dexamethason die 28-Tage-Mortalität bei hospitalisierten COVID-19-Patienten, die Sauerstoff benötigen, senkte: RR 0.83, 95% CI 0.75-0.93. Dennoch war die Studie offen (keine Verblindung), wurde überwiegend in britischen Krankenhäusern durchgeführt und die Kontrollgruppe erhielt die übliche Pflege (die unterschiedlich war).
Der RECOVERY-Prozess: 2020
In Ihrer Metaanalyse ist RECOVERY die dominierende Studie. Wie gehen Sie mit den Einschränkungen einer ansonsten bahnbrechenden Studie um?
PATH A: Minimize Limitations
Open-Label-Design und geografische Konzentration herunterspielen; Konzentrieren Sie sich auf den auffälligen Sterblichkeitsvorteil
↓
Readers cannot judge generalizability to other settings; potential detection bias is obscured
ERGEBNIS: Unvollständige Beweiswürdigung
PATH B: Honest Limitations
Berücksichtigen Sie das Open-Label-Design und die geografischen Einschränkungen und geben Sie gleichzeitig den Sterblichkeitsvorteil klar an
↓
Die Leser verstehen sowohl die Stärke des Ergebnisses als auch, wo noch Unsicherheit besteht
OUTCOME: Trustworthy, balanced reporting
THE REVELATION
Selbst bahnbrechende Studien haben ihre Grenzen. Ihre Anerkennung untergräbt die Ergebnisse nicht; Es stärkt das Vertrauen der Leser und leitet zukünftige Forschungen.
„Wählen Sie das Maß, das zu den Daten passt.
Risikoverhältnisse für häufige Ergebnisse, Quotenverhältnisse für seltene.
Standardize when scales differ.
Das falsche Maß bündelt Äpfel mit Birnen.“
Risikoverhältnisse für häufige Ergebnisse, Quotenverhältnisse für seltene.
Standardize when scales differ.
Das falsche Maß bündelt Äpfel mit Birnen.“
Haben Sie das Waldgrundstück nicht gesehen?
where studies pointed in opposite directions,
yet the diamond declared a single truth?
where studies pointed in opposite directions,
yet the diamond declared a single truth?
Fixed vs. Random Effects
Which Model to Use?
Meta-Analysis Model
↓
Annahme über wahre Wirkung?
One true effect
Fixed EffectAlle Studien schätzen das gleiche θ
↓
Rarely appropriateSehr ähnliche Studien
Effects vary
Random EffectsDistribution of θᵢ
↓
Usually preferredMore conservative
Wann man NICHT Poolen sollte
Do Not Meta-Analyze If...
✗ Studien sind zu heterogen (klinisch oder methodisch)
✗ Ergebnisse werden unterschiedlich definiert
✗ Populationen sind grundsätzlich unterschiedlich
✗ Risk of bias is too high across studies
✗ Publication bias is severe
THE WISDOM
Sometimes the most honest conclusion is:
„Diese Studien sollten nicht zusammengefasst werden.“
Was passiert, wenn eine methodische Kritik an einem Cochrane-Review zu einer Organisationskrise eskaliert?
REAL DATA
Im Jahr 2018 veröffentlichten Peter Gøtzsche und Kollegen eine Kritik an der Überprüfung des Cochrane-HPV-Impfstoffs und argumentierten, diese habe wichtige Studien ausgeschlossen und unangemessene Einschlusskriterien verwendet. Die Cochrane-Rezension hatte enthalten 26 Studien mit über 73.000 Frauen. Der Streit entwickelte sich zu einer Regierungskrise, die in Gøtzsches Ausschluss aus dem Vorstand von Cochrane gipfelte.
Die Cochrane HPV-Kontroverse: 2018
Sie erhalten eine methodische Kritik Ihrer veröffentlichten Synthese mit der Begründung, dass Sie zusätzliche Studien hätten einbeziehen sollen. Wie reagieren Sie?
PFAD A: Kritik ablehnen
Verteidigen Sie den ursprünglichen Ansatz, ohne sich auf die angesprochenen spezifischen methodischen Punkte einzulassen
↓
Das Vertrauen der Öffentlichkeit schwindet; der Streit wird eher persönlich als wissenschaftlich; Die Evidenzbasis wird nicht verbessert
OUTCOME: Polarization and lost credibility
PATH B: Engage Transparently
Durchführung von Sensitivitätsanalysen unter Einbeziehung der vorgeschlagenen Studien; Veröffentlichen Sie eine transparente Antwort, aus der hervorgeht, ob sich die Schlussfolgerungen ändern
↓
Die Beweise werden gestärkt; Der methodologische Diskurs bringt das Fachgebiet voran. Vertrauen bleibt erhalten
OUTCOME: Science self-corrects publicly
THE REVELATION
Methodenkritik ist der Weg, wie sich die Wissenschaft verbessert. Mit Daten zu reagieren und nicht mit Abwehrhaltung, stärkt sowohl die Überprüfung als auch das Feld.
„Zusammenlegen nicht um des Zusammenlegens willen.
Eine Metaanalyse inkompatibler Studien
ist keine Synthese – es ist Verwirrung.
Know when to say: these cannot be combined."
Eine Metaanalyse inkompatibler Studien
ist keine Synthese – es ist Verwirrung.
Know when to say: these cannot be combined."
Wenn Studien anderer Meinung sind,
die Meinungsverschiedenheit selbst ist data.
Do not hide it. Explain it.
die Meinungsverschiedenheit selbst ist data.
Do not hide it. Explain it.
Heterogeneity Measures
Q
Cochran's Q
Significance test
Significance test
I²
Inconsistency
% variation
% variation
τ²
Tau-squared
Between-study var
Between-study var
PI
Prediction interval
Future studies
Future studies
Investigating Heterogeneity
When I² > 50%
High Heterogeneity
↓
Investigation Methods
Subgroup analysisPre-specified
Meta-regressionIf ≥10 studies
Sensitivity analysisExclude outliers
↓
Report unexplained heterogeneityLimitation
What if a meta-analysis of small positive trials is overturned by a single mega-trial?
REAL DATA
In den frühen 1990er Jahren deuteten mehrere kleine Studien darauf hin, dass intravenöses Magnesium die Sterblichkeit nach einem akuten Myokardinfarkt senkte. Eine Metaanalyse (Teo et al., 1991) fasste diese zusammen und stellte einen signifikanten Nutzen fest: OR 0.44, 95% CI 0.27-0.71. Dann ISIS-4 (1995), ein Mega-Prozess mit 58,050 patients, fand überhaupt keinen Nutzen. Die Auswirkungen kleiner Studien und die Heterogenität wurden ignoriert.
Die Magnesium-Kontroverse: 1991-1995
Ihre Metaanalyse kleiner Studien zeigt eine hohe Heterogenität (I² über 50 %), aber die gepoolte Schätzung ist signifikant. Wie präsentieren Sie das?
PFAD A: Begraben Sie die Heterogenität
Report the significant pooled estimate prominently; mention I² only in passing
↓
Ärzte übernehmen die Behandlung; Eine zukünftige große Studie könnte der Metaanalyse widersprechen und das Vertrauen in die Methode untergraben
OUTCOME: Premature guideline changes
PATH B: Investigate Transparently
Heterogenität hervorheben; Quellen untersuchen (Studienumfang, Qualität); Beachten Sie, dass die Auswirkungen kleiner Studien die Schätzung erhöhen können
↓
Die Leser verstehen die Unsicherheit; Die Empfehlungen erfordern einen endgültigen großen Versuch, bevor die Praxis geändert wird
OUTCOME: Evidence-appropriate caution
THE REVELATION
Heterogenität ist ein Warnsignal, keine Fußnote. Die Auswirkungen kleiner Studien können zu einer fälschlicherweise beruhigenden zusammengefassten Schätzung führen, die eine einzelne große Studie zum Scheitern bringen kann.
"I-squared is not just a number to report.
Es stellt sich die Frage: Warum stimmen diese Studien nicht überein?
Investigate. Explain. Or acknowledge ignorance."
Es stellt sich die Frage: Warum stimmen diese Studien nicht überein?
Investigate. Explain. Or acknowledge ignorance."
Haben Sie noch nichts von der Aktenschublade gehört?
wohin negative Studien gehen die,
leaving only the positive survivors
to tell a distorted story?
wohin negative Studien gehen die,
leaving only the positive survivors
to tell a distorted story?
Die Vioxx-Katastrophe
MERCK, 2004
Vioxx (rofecoxib) was a blockbuster painkiller earning $2.5 billion/year.
Internal company documents showed Merck knew of cardiovascular risks but ungünstige Daten unterdrückt and published only favorable analyses.
A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.
Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.
Internal company documents showed Merck knew of cardiovascular risks but ungünstige Daten unterdrückt and published only favorable analyses.
A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.
Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.
Topol EJ. N Engl J Med. 2004;351:1707-1709
Detecting Publication Bias
Assessment Methods
Publication Bias Assessment
↓
Funnel plotVisual inspection
Egger's testStatistical asymmetry
Zuschneiden und füllenImpute missing
↓
Requires ≥10 studiesLow power otherwise
Preventing Bias: The AllTrials Campaign
ALLTRIALS.NET
"All trials registered. All results reported."
• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• Kontaktieren Sie Unternehmen für unveröffentlichte Daten
• Geben Sie in Ihrer Bewertung Registrierungsnummern an
• Melden Sie, welche registrierten Studien in Ihrer Analyse fehlen
• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• Kontaktieren Sie Unternehmen für unveröffentlichte Daten
• Geben Sie in Ihrer Bewertung Registrierungsnummern an
• Melden Sie, welche registrierten Studien in Ihrer Analyse fehlen
„Die Aktenschublade ist nicht leer.
Es enthält die Studien, die Unternehmen versteckt haben,
die Ergebnisse, die Zeitschriften ablehnten.
Ihre Aufgabe ist es, diese Schublade zu öffnen – oder zu sagen, dass Sie es nicht konnten.
Es enthält die Studien, die Unternehmen versteckt haben,
die Ergebnisse, die Zeitschriften ablehnten.
Ihre Aufgabe ist es, diese Schublade zu öffnen – oder zu sagen, dass Sie es nicht konnten.
Das Waldgrundstück ist das Gesicht Ihrer Metaanalyse.
Es zeigt den Leser everything:
each study, each weight, each confidence interval,
und die endgültige gepoolte Schätzung.
Es zeigt den Leser everything:
each study, each weight, each confidence interval,
und die endgültige gepoolte Schätzung.
Lesen des Waldgrundstücks
Elemente des Waldgrundstücks
Forest Plot
↓
Study namesLeft column
SquaresPoint estimates
Lines95% CI
DiamondPooled estimate
↓
Quadratgröße = StudiengewichtLarger = more precise
Forest Plot Checklist
What to Include
□ Studienidentifikatoren (Autor, Jahr)
□ Sample size per arm
□ Effektschätzung mit 95 %-KI
□ Weight (% contribution)
□ Line of no effect (RR=1 or MD=0)
□ Gepoolte Schätzung mit 95 %-KI
□ Heterogeneity statistics (I², τ², Q)
□ Test for overall effect (Z, p-value)
Die Vioxx-Zahlen, die alles veränderten
2004 | DIE GENEHMIGUNG DES VERSUCHS UND DER MARKTZÜCKZUG
Jahrelang zeigte die Waldparzelle für die kardiovaskuläre Sicherheit von Vioxx (Rofecoxib) ein beruhigendes Muster. Punktschätzungen aus früheren Versuchen gruppierten sich um die Linie ohne Wirkung. Der Diamant deutete darauf hin, dass das Medikament sicher war.
Dann kam die APPROVe-Studie. Als seine Daten dem Waldgrundstück hinzugefügt wurden, Das Bild veränderte sich dramatisch. Das große Quadrat von APPROVe zog den gesammelten Diamanten endgültig in Richtung Schaden. Das Bild war unverkennbar.
Dieses Waldgrundstück ended Vioxx. Merck hat das Medikament freiwillig zurückgezogen. Der anschließende Rechtsstreit kostete das Unternehmen Kosten $4.85 billion in settlements. Tausende Patienten hatten einen Herzinfarkt erlitten, während die früheren, kleineren Studien unklare Ergebnisse lieferten.
Dann kam die APPROVe-Studie. Als seine Daten dem Waldgrundstück hinzugefügt wurden, Das Bild veränderte sich dramatisch. Das große Quadrat von APPROVe zog den gesammelten Diamanten endgültig in Richtung Schaden. Das Bild war unverkennbar.
Dieses Waldgrundstück ended Vioxx. Merck hat das Medikament freiwillig zurückgezogen. Der anschließende Rechtsstreit kostete das Unternehmen Kosten $4.85 billion in settlements. Tausende Patienten hatten einen Herzinfarkt erlitten, während die früheren, kleineren Studien unklare Ergebnisse lieferten.
THE LESSON
Ein gut durchgeführter Versuch mit ausreichender Leistung kann die gesamte gepoolte Schätzung verändern. Waldparzellen erzählen die Geschichte davon, wie sich Beweise ansammeln – und manchmal auch, wie sie den Kurs umkehren.
Das irreführende Waldgrundstück
Sie entwerfen ein Walddiagramm für Ihre Metaanalyse. Der Achsenmaßstab und die Studienreihenfolge können den visuellen Eindruck verändern. Wie gehen Sie vor?
PFAD A: Design für Wirkung
Use a compressed axis scale to make effect sizes look larger; order studies to build a visual narrative
↓
Der Leser bildet sich übertriebene Eindrücke von der Wirkungsstärke; Die Handlung wird eher zu einem Instrument der Interessenvertretung als zu einer Datenanzeige
ERGEBNIS: Visuelle Verfälschung der Beweise
PFAD B: Design für Klarheit
Use standard axis scaling; order studies by year or alphabetically; include all standard elements (weights, CIs, I²)
↓
Der Leser kann sich sein eigenes Urteil bilden; Der Plot dient als transparente Datenvisualisierung
OUTCOME: Honest visual communication
"The forest plot hides nothing.
Every study visible. Every weight transparent.
Lassen Sie den Leser sehen, was Sie gesehen haben –
und urteilen selbst.“
Every study visible. Every weight transparent.
Lassen Sie den Leser sehen, was Sie gesehen haben –
und urteilen selbst.“
Eine zusammengefasste Schätzung reicht nicht aus.
Sie müssen dem Leser auch sagen:
How confident should they be in this result?
Sie müssen dem Leser auch sagen:
How confident should they be in this result?
GRADE Certainty Assessment
Bewertung der Beweise
Start: RCTs = High, Obs = Low
↓
Reasons to Downgrade?
Risk of bias-1 or -2
Inconsistency-1 or -2
Indirectness-1 or -2
Imprecision-1 or -2
Pub. bias-1 or -2
GRADE Certainty Levels
⊕⊕⊕⊕
HIGH
Very confident
Very confident
⊕⊕⊕◯
MODERATE
Likely close
Likely close
⊕⊕◯◯
LOW
May differ
May differ
⊕◯◯◯
VERY LOW
Uncertain
Uncertain
What happens when a GRADE assessment of "low certainty" collides with a public health emergency?
REAL DATA
Der Cochrane-Review 2023 zu physischen Interventionen zur Reduzierung der Ausbreitung von Atemwegsviren (Jefferson et al.) ergab, dass die Evidenz für Masken in gemeinschaftlichen Einrichtungen lautete low certainty pro GRADE, mit breiten Konfidenzintervallen. Es wurde weithin berichtet, dass die Überprüfung beweise, dass „Masken nicht funktionieren“, obwohl die Autoren erklärten, dass die Beweise nicht ausreichten, um eindeutige Schlussfolgerungen in die eine oder andere Richtung zu ziehen.
Die Cochrane-Masken-Rezension: 2023
Ihre systematische Überprüfung zu einem politisch sensiblen Thema erhält die GRADE-Bewertung „geringe Sicherheit“. Wie kommunizieren Sie das?
PFAD A: Die Bewertung abschwächen
Spielen Sie die GRADE-Bewertung herunter, um politische Kontroversen zu vermeiden. Betonen Sie die Punktschätzung gegenüber dem Sicherheitsniveau
↓
Die Rezension verliert an methodischer Glaubwürdigkeit; GRADE wird eher als optional denn als streng angesehen
OUTCOME: Compromised methodology
PATH B: Report Faithfully
Geben Sie die GRADE-Bewertung ehrlich an. Erklären Sie klar und deutlich, was „geringe Sicherheit“ bedeutet (und was nicht); Unterscheiden Sie das Fehlen von Beweisen vom Beweis des Fehlens
↓
Die Öffentlichkeit mag es falsch interpretieren, aber die wissenschaftlichen Erkenntnisse sind korrekt; zukünftige Forschungsrichtungen werden klar
OUTCOME: Methodological integrity
THE REVELATION
„Geringe Sicherheit“ bedeutet nicht „keine Wirkung“. GRADE-Bewertungen müssen wahrheitsgetreu angegeben werden, mit einer klaren Erläuterung ihrer Bedeutung, insbesondere bei politisch brisanten Themen.
„Die Effektgröße ist das Was.“
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."
Die Diskussion ist da, wo Sie sind interpret.
Nicht drehen. Nicht zu übertreiben.
But to explain what your findings mean—
und was sie tun not mean.
Nicht drehen. Nicht zu übertreiben.
But to explain what your findings mean—
und was sie tun not mean.
Discussion Structure
1
Summary of Findings
Wiederholen Sie die Hauptergebnisse mit der Bewertung „Sicherheit“.
2
Vergleich mit vorhandener Literatur
How do your findings relate to prior reviews?
3
Stärken und Grenzen
Sowohl der Review als auch die eingeschlossenen Studien
4
Implikationen für die Praxis
What should clinicians/policymakers do?
5
Implikationen für die Forschung
Welche Studien sind noch nötig?
Common Mistakes in Discussion
What NOT to Do
✗ Übertriebene Schlussfolgerungen, die über die Daten hinausgehen
✗ Ignoring limitations
✗ Treating statistical significance as clinical importance
✗ Failing to address heterogeneity
✗ Kausalbehauptungen aus Beobachtungsdaten aufstellen
Was wäre, wenn das meistzitierte methodische Papier, das jemals veröffentlicht wurde, davor warnt, dass die meisten Forschungsergebnisse falsch sind?
REAL DATA
John Ioannidis‘ Artikel aus dem Jahr 2005 in PLoS Medicine mit dem Titel „Why Most Published Research Findings Are False“ wurde bereits mehrfach zitiert 10,000 times. Unter Verwendung mathematischer Modelle argumentierte er, dass die Wahrscheinlichkeit, dass ein Forschungsergebnis wahr ist, von der Studienleistung, der Voreingenommenheit und der Anzahl der getesteten Beziehungen abhängt. Bei vielen Forschungsdesigns kann die Wahrscheinlichkeit eines echten Ergebnisses nach dem Studium unter 50 % liegen.
Der Weckruf von Ioannidis: 2005
Ihre Metaanalyse hat ein statistisch signifikantes Ergebnis, aber die eingeschlossenen Studien sind klein, heterogen und viele weisen ein hohes Risiko für Verzerrungen auf. Wie schreiben Sie die Diskussion?
PFAD A: Überverkaufen Sie den Befund
Führen Sie mit der signifikanten gepoolten Schätzung durch; Einschränkungen minimieren; starke Praxisempfehlungen abgeben
↓
Der Befund geht vorzeitig in die Leitlinien ein; Wenn die Replikation fehlschlägt, wird die gesamte Metaanalysemethode dafür verantwortlich gemacht
OUTCOME: Eroded trust in evidence synthesis
PFAD B: Kalibrieren Sie die Interpretation
Besprechen Sie das Ergebnis im Kontext von Studienqualität, Heterogenität und Sicherheit; Ordnen Sie die Empfehlungsstärke der Evidenzstärke zu
↓
Readers understand the degree of confidence warranted; future research priorities become clear
OUTCOME: Proportionate, trustworthy conclusions
THE REVELATION
Die Diskussion muss den Enthusiasmus auf die Qualität der Beweise abstimmen. Starke Behauptungen aufgrund schwacher Beweise schaden der Glaubwürdigkeit des gesamten Fachgebiets.
„Die Diskussion dient nicht der Interessenvertretung.
Es dient der ehrlichen Interpretation.
Sagen Sie, was die Beweise zeigen.
Admit what it does not show."
Es dient der ehrlichen Interpretation.
Sagen Sie, was die Beweise zeigen.
Admit what it does not show."
Haben Sie noch nichts von der Wakefield-Zeitung gehört?
where conflicts of interest were hidden,
wo Daten erfunden wurden,
und Millionen von Kindern gingen unvaccinated?
where conflicts of interest were hidden,
wo Daten erfunden wurden,
und Millionen von Kindern gingen unvaccinated?
Der MMR-Autismus-Betrug
THE LANCET, 1998-2010
Andrew Wakefield published a study linking MMR vaccine to autism.
Er gab nicht bekannt, dass er es war paid £435,643 by lawyers seeking to sue vaccine manufacturers.
Er gab nicht bekannt, dass er es getan hatte filed a patent for a competing single-dose measles vaccine.
Die Studie wurde schließlich zurückgezogen. Wakefield wurde vom Platz gestellt. Aber der Schaden war angerichtet: vaccination rates plummeted, und Masernausbrüche kehrten zurück.
Er gab nicht bekannt, dass er es war paid £435,643 by lawyers seeking to sue vaccine manufacturers.
Er gab nicht bekannt, dass er es getan hatte filed a patent for a competing single-dose measles vaccine.
Die Studie wurde schließlich zurückgezogen. Wakefield wurde vom Platz gestellt. Aber der Schaden war angerichtet: vaccination rates plummeted, und Masernausbrüche kehrten zurück.
Deer B. BMJ. 2011;342:c5347
Transparency Checklist
What to Declare
□ Protocol registration number
□ Funding sources (all)
□ Rolle des Geldgebers bei der Überprüfung
□ Conflicts of interest (all authors)
□ Erklärung zur Datenverfügbarkeit
□ Abweichungen vom Protokoll (mit Begründung)
□ Author contributions
Die AllTrials-Initiative
2013-PRESENT | A GRASSROOTS TRANSPARENCY MOVEMENT
Im Jahr 2013 starteten Ben Goldacre und Kollegen der Cochrane Collaboration AllTrials, nachdem sie eine beunruhigende Wahrheit entdeckt hatten: approximately half of all clinical trials were never published. Bei den fehlenden Studien handelte es sich überproportional um solche mit negativen oder unbequemen Ergebnissen.
Die Kampagne versammelte sich über 90.000 Einzelunterzeichner und über 700 Organisationen. Es verlangte, dass alle vergangenen und zukünftigen Versuche registriert und die vollständigen Methoden und Ergebnisse gemeldet werden.
Die Wirkung war transformativ. Der Die EU verlangt jetzt die Registrierung von Studien und die Berichterstattung über die Ergebnisse. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.
Die Kampagne versammelte sich über 90.000 Einzelunterzeichner und über 700 Organisationen. Es verlangte, dass alle vergangenen und zukünftigen Versuche registriert und die vollständigen Methoden und Ergebnisse gemeldet werden.
Die Wirkung war transformativ. Der Die EU verlangt jetzt die Registrierung von Studien und die Berichterstattung über die Ergebnisse. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.
THE LESSON
Anspruchsvoller Datenzugriff funktioniert. Eine Basisbewegung hat internationale Vorschriften geändert und damit bewiesen, dass Befürworter der Transparenz das Ökosystem der Beweise neu gestalten können.
Die Hydroxychloroquin-Preprint-Kaskade: 2020
Es ist Anfang 2020. Ihr Team verfügt über vorläufige Metaanalyseergebnisse zu einer COVID-19-Behandlung. Der Gautret-Preprint (nicht randomisiert, 42 Patienten) ist bereits viral gegangen. Der Surgisphere-Skandal wird bald gefälschte Daten in großen Fachzeitschriften zeigen. Beeilen Sie sich mit dem Vordruck oder warten Sie?
PFAD A: Preprint für Geschwindigkeit
Posten Sie sofort an medRxiv, um Einfluss auf die Richtlinien zu nehmen. Überspringen Sie die Peer-Review wegen Dringlichkeit
↓
Wenn eingeschlossene Studien gefälschte Daten oder fehlerhafte Methoden enthalten, verstärkt Ihre Metaanalyse die Fehler. Ein Widerruf schadet der Glaubwürdigkeit
OUTCOME: Accelerated misinformation
PATH B: Verify, Then Publish
Beurteilen Sie die Studienqualität sorgfältig; Kontaktieren Sie die Autoren für Rohdaten. vor der Veröffentlichung einem schnellen Peer-Review unterzogen werden
↓
Langsamere Veröffentlichung, aber die Analyse ist robust; Schlussfolgerungen bleiben bestehen, wenn fehlerhafte Studien zurückgezogen werden
ERGEBNIS: Beständige, vertrauenswürdige Beweise
„Transparenz ist nicht optional.
Erklären Sie Ihre Finanzierung. Erklären Sie Ihre Konflikte.
The reader has a right to know
Wer hat für diese Arbeit bezahlt – und warum?
Erklären Sie Ihre Finanzierung. Erklären Sie Ihre Konflikte.
The reader has a right to know
Wer hat für diese Arbeit bezahlt – und warum?
Bevor Sie absenden
Die letzte Checkliste
PRISMA 2020 Final Check
Have You...
□ Completed all 27 PRISMA checklist items?
□ Included the PRISMA flow diagram?
□ Provided full search strategy in appendix?
□ Ausgeschlossene Studien mit Begründung aufgelistet?
□ Gemeldetes Verzerrungsrisiko für jede Studie?
□ Provided forest plot(s)?
□ Bewerteter Publikationsbias (bei ≥10 Studien)?
□ Abgestufte Beweissicherheit (GRADE)?
□ Declared all conflicts of interest?
□ Cited protocol registration?
Supplementary Materials
WHAT TO INCLUDE
• Full search strategies für alle Datenbanken
• Liste der ausgeschlossenen Studien with reasons
• Formulare zur Datenextraktion (leer und ausgefüllt)
• Risk of bias details für jede Studie
• Additional forest plots (subgroups, sensitivity)
• Funnel plot und statistische Tests
• GRADE-Evidenzprofil tables
• Liste der ausgeschlossenen Studien with reasons
• Formulare zur Datenextraktion (leer und ausgefüllt)
• Risk of bias details für jede Studie
• Additional forest plots (subgroups, sensitivity)
• Funnel plot und statistische Tests
• GRADE-Evidenzprofil tables
Wie lange kann ein betrügerisches Papier Peer-Review, redaktioneller Prüfung und öffentlicher Anfechtung standhalten?
REAL DATA
Andrew Wakefield's 1998 Lancet paper linking MMR vaccine to autism took 12 years vollständig zurückgezogen werden (2010). In dieser Zeit deckte der Journalist Brian Deer finanzielle Konflikte, ethische Verstöße und Datenmanipulationen auf. Mehrere große Studien (einschließlich einer dänischen Kohorte von over 650,000 children) found no association, yet the original paper's influence persisted.
Der Wakefield-Rückzug: 1998-2010
Während des Peer-Reviews äußert ein Gutachter ernsthafte Bedenken hinsichtlich einer in Ihre Metaanalyse einbezogenen Studie und führt dabei Dateninkonsistenzen an. Wie reagieren Sie?
PFAD A: Lenken Sie die Bedenken ab
Die Bedenken des Rezensenten als übervorsichtig abtun; Behalten Sie die Studie bei, ohne weitere Untersuchungen durchzuführen
↓
Wenn die Studie später zurückgezogen wird, ist Ihre Metaanalyse kontaminiert; die Schlussfolgerung muss möglicherweise zurückgezogen werden
ERGEBNIS: Synthese kontaminierter Beweise
PATH B: Investigate Thoroughly
Kontaktieren Sie die Autoren der Studie für Rohdaten. Führen Sie eine Sensitivitätsanalyse unter Ausschluss der befragten Studie durch. Offenlegung des Anliegens transparent
↓
Ihre Metaanalyse ist robust gegenüber dem Einschluss oder Ausschluss der verdächtigen Studie; die Sensitivitätsanalyse wird dokumentiert
ERGEBNIS: Belastbare, selbstkorrigierende Überprüfung
THE REVELATION
Peer-Review ist Ihre letzte Verteidigung vor der Veröffentlichung. Betrachten Sie die Bedenken der Prüfer als Möglichkeiten zur Stärkung Ihrer Arbeit und nicht als Hindernisse, die es zu überwinden gilt.
„Sie haben die Beweise gesammelt.
Du hast es fair abgewogen.
Du hast es transparent geschrieben.
Reichen Sie jetzt Ihre Arbeit ein –
und lasst die Wahrheit gefunden und wiedergefunden werden.“
Du hast es fair abgewogen.
Du hast es transparent geschrieben.
Reichen Sie jetzt Ihre Arbeit ein –
und lasst die Wahrheit gefunden und wiedergefunden werden.“
References
Key Sources
- Page MJ et al. BMJ. 2021;372:n71. [PRISMA 2020]
- Jefferson T et al. Cochrane 2014;4:CD008965. [Tamiflu]
- Turner EH et al. N Engl J Med. 2008;358:252-260. [Antidepressants]
- Boutron I et al. JAMA. 2010;303:2058-2064. [Spin]
- Topol EJ. N Engl J Med. 2004;351:1707-1709. [Vioxx]
- Deer B. BMJ. 2011;342:c5347. [Wakefield]
- Sterne JAC et al. BMJ. 2019;366:l4898. [RoB 2]
- Higgins JPT et al. Cochrane Handbook. 2023.
- Schünemann HJ et al. GRADE Handbook. 2013.
- Ioannidis JPA. PLoS Med. 2005;2:e124. [Why most research is false]
What percentage of antidepressant trials appeared positive in published literature vs. FDA data?
Published 51%, FDA 94%
Published 94%, FDA 51%
Both about 75%
Published 80%, FDA 60%
Welchen Zweck hat die Registrierung eines Protokolls vor der Durchführung einer systematischen Überprüfung?
To get funding
To claim priority
To prevent outcome switching and data-driven decisions
Um die Rezension veröffentlichbar zu machen
Wann sollten Sie Studien NICHT in einer Metaanalyse zusammenfassen?
Wenn weniger als 10 Studien vorhanden sind
Wenn Studien klinisch oder methodisch zu heterogen sind
Wenn der Effekt statistisch nicht signifikant ist
Wenn Studien aus verschiedenen Ländern stammen
✔
Course Complete
„Sie kennen jetzt die Beweisvereinbarung:
Registrieren Sie sich, bevor Sie suchen.
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
Poolen Sie mit Bedacht – oder gar nicht.
Write so that truth may be found,
und wiedergefunden von denen, die ihm folgen.“
Registrieren Sie sich, bevor Sie suchen.
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
Poolen Sie mit Bedacht – oder gar nicht.
Write so that truth may be found,
und wiedergefunden von denen, die ihm folgen.“
Die Methoden sind nichts ohne die Werkzeuge, um sie auszuführen.
Welche Software führt Ihre Analyse durch?
from protocol to forest plot?
Welche Software führt Ihre Analyse durch?
from protocol to forest plot?
Software Decision Tree
Wählen Sie Ihre Werkzeuge
Meta-Analysis Software
↓
Your Context?
Cochrane Review
RevManFree, official
Academic/Flexible
R metaforFree, powerful
Institution License
Stata metaComprehensive
Point-and-Click
CMAUser-friendly
Das unverzichtbare Toolkit
RevMan
Cochrane official
Free download
Free download
R + metafor
Most flexible
Reproducible code
Reproducible code
GRADEpro
Certainty tables
SoF tables
SoF tables
Rayyan
Screening tool
AI-assisted
AI-assisted
REPRODUCIBILITY
Codebasierte Tools (R, Stata) erstellen reproducible analyses. Teilen Sie Ihren Code, damit andere Ihre Arbeit überprüfen können.
R metafor Example
BASIC META-ANALYSIS IN R
library(metafor)
# Calculate effect sizes
dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,
ci=events_ctrl, di=noevents_ctrl, data=mydata)
# Random effects model
res <- rma(yi, vi, data=dat, method="REML")
# Forest plot
forest(res, slab=paste(author, year))
# Calculate effect sizes
dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,
ci=events_ctrl, di=noevents_ctrl, data=mydata)
# Random effects model
res <- rma(yi, vi, data=dat, method="REML")
# Forest plot
forest(res, slab=paste(author, year))
Wie koordinieren Sie das Schreiben, wenn eine systematische Rezension Dutzende von Autoren umfasst?
REAL DATA
Die oben aufgeführte SPRINT-Studie (2015). 100 authors von Dutzenden von Institutionen. Zur Schreibgruppe gehörten ein Lenkungsausschuss, Standortermittler und Statistiker. Für die Koordinierung von Beiträgen, die Verwaltung der Versionskontrolle und die Festlegung der Urheberanerkennung waren formale Strukturen erforderlich. ICMJE-Kriterien definieren Urheberschaft als einen wesentlichen Beitrag, einen Entwurf oder eine Überarbeitung, eine endgültige Genehmigung und Rechenschaftspflicht.
Team Writing Challenges: Large Collaborative Reviews
Ihr Team für systematische Überprüfung besteht aus 12 Mitgliedern in 4 Ländern. Wie managen Sie den Schreibprozess?
PATH A: Informal Coordination
Pass drafts via email; resolve authorship at the end; no writing plan or version control
↓
Duplication of effort; authorship disputes at submission; inconsistent voice and formatting; lost contributions
ERGEBNIS: Verzögerungen und Konflikte
PATH B: Structured Process
Weisen Sie Abschnittsleiter im Voraus zu. Verwenden Sie gemeinsam genutzte Plattformen mit Versionskontrolle. Vereinbaren Sie zu Beginn die ICMJE-Kriterien und die Autorenreihenfolge
↓
Klare Verantwortlichkeit; konsistente Ausgabe; transparente Beiträge; Die Urheberschaft wird entschieden, bevor die Ergebnisse bekannt sind
OUTCOME: Efficient, fair collaboration
THE REVELATION
Vereinbaren Sie vor Beginn der Arbeit die Kriterien für die Autorenschaft und die Schreibverantwortung. Streitigkeiten lassen sich am schwersten lösen, wenn die Ergebnisse bekannt sind.
„Das Tool führt die Analyse nicht durch.
Der Analytiker tut es.
Aber wählen Sie Ihr Werkzeug mit Bedacht aus –
und teilen Sie Ihren Code mit, damit die Wahrheit überprüft werden kann.
Der Analytiker tut es.
Aber wählen Sie Ihr Werkzeug mit Bedacht aus –
und teilen Sie Ihren Code mit, damit die Wahrheit überprüft werden kann.
Nicht jeder schreibt Metaanalysen.
But every clinician, every policymaker, every patient
must know how to read them.
But every clinician, every policymaker, every patient
must know how to read them.
Die HRT-Umkehr
WOMEN'S HEALTH INITIATIVE, 2002
Beobachtungsstudien legten jahrzehntelang nahe, dass eine Hormonersatztherapie (HRT) Frauen vor Herzerkrankungen schützte.
Metaanalysen dieser Studien zeigten a 35-50% reduction in cardiovascular risk.
Dann brachte die randomisierte WHI-Studie die Wahrheit ans Licht: HRT increased heart attack risk by 29%.
The observational meta-analyses had pooled confounded data– Gesündere Frauen entschieden sich für eine HRT, nicht umgekehrt.
Metaanalysen dieser Studien zeigten a 35-50% reduction in cardiovascular risk.
Dann brachte die randomisierte WHI-Studie die Wahrheit ans Licht: HRT increased heart attack risk by 29%.
The observational meta-analyses had pooled confounded data– Gesündere Frauen entschieden sich für eine HRT, nicht umgekehrt.
Rossouw JE et al. JAMA. 2002;288:321-333
How to Read a Forest Plot
Consumer's Guide
Lesen des Waldgrundstücks
↓
Line of no effectRR=1 or MD=0
Diamond positionLeft=benefit, Right=harm
Diamond widthNarrow=precise
↓
Does diamond cross the line?
NoStatistically significant
YesNot significant
Red Flags When Reading
Warning Signs in Published Meta-Analyses
⚠ No protocol registration cited
⚠ Single database searched
⚠ No risk of bias assessment
⚠ High I² but no investigation
⚠ Asymmetric funnel plot ignored
⚠ Industriefinanzierung, keine Sensitivitätsanalyse
⚠ Schlussfolgerungen übertreffen die Beweise
What GRADE Ratings Mean
FÜR ÄRZTE UND PATIENTEN
HIGH: We are very confident. Future research unlikely to change.
MODERATE: Probably close to truth. Future research may change estimate.
LOW: Uncertain. Future research likely to change substantially.
VERY LOW: Very uncertain. Any estimate is speculative.
MODERATE: Probably close to truth. Future research may change estimate.
LOW: Uncertain. Future research likely to change substantially.
VERY LOW: Very uncertain. Any estimate is speculative.
„Lesen Sie den Wald, nicht nur den Diamanten.
Suchen Sie nach dem Protokoll. Überprüfen Sie die Voreingenommenheit.
Ask: Who funded this? What did they hide?
Der informierte Leser ist der Hüter der Wahrheit.“
Suchen Sie nach dem Protokoll. Überprüfen Sie die Voreingenommenheit.
Ask: Who funded this? What did they hide?
Der informierte Leser ist der Hüter der Wahrheit.“
What if you must compare treatments
die nie im direkten Vergleich getestet wurden?
Dies ist das Reich von network meta-analysis.
die nie im direkten Vergleich getestet wurden?
Dies ist das Reich von network meta-analysis.
When to Use Network MA
NMA Decision Tree
Multiple Treatments
↓
Direct comparisons available?
All pairs directly compared
Pairwise MAStandard approach
Some indirect only
Network MABorrow strength
↓
Check transitivity assumptionSimilar populations across comparisons
Die Netzwerkgeometrie
VISUALISIERUNG DER BEWEISE
Nodes = Treatments (size = sample)
Edges = Direkte Vergleiche (Breite = Studien)
Dashed = Nur indirekter Beweis
League Tables
NMA-ERGEBNISSE LESEN
League tables show all pairwise comparisons aus dem Netzwerk.
• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options
• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options
CRITICAL ASSUMPTION
Transitivity: Wenn A vs. B und B vs. C bei ähnlichen Patienten verglichen werden, können wir A vs. C indirekt schätzen.
What happens to meta-analyses when a prolific author's entire body of work is retracted?
REAL DATA
Joachim Boldt, a German anesthesiologist, had over 220 papers retracted zur Datenherstellung (entdeckt 2010-2011). Seine Studien zu Kolloidlösungen wurden in mehrere systematische Übersichten und Metaanalysen einbezogen. Als die Rücknahmen erfolgten, musste jede Metaanalyse, die seine Arbeit enthielt, neu bewertet werden. Einige Schlussfolgerungen änderten sich erheblich, als seine gefälschten Daten entfernt wurden.
Die Boldt-Retraktionskaskade: 2010-2011
Sie stellen fest, dass eine in Ihrer veröffentlichten Metaanalyse enthaltene Studie wegen Datenfälschung zurückgezogen wurde. Was machst du?
PATH A: Hope No One Notices
Ignorieren Sie den Widerruf; Die Metaanalyse ist bereits veröffentlicht und die zurückgezogene Studie war klein
↓
Andere zitieren Ihre Metaanalyse; die erfundenen Daten verbreiten sich durch sekundäre Zitate; Entscheidungen zur Patientenversorgung basieren auf kontaminierten Beweisen
OUTCOME: Cascading harm from inaction
PATH B: Self-Correct Publicly
Veröffentlichen Sie eine Korrektur oder aktualisierte Analyse mit Ausnahme der zurückgezogenen Studie. die Zeitschrift benachrichtigen; Geben Sie an, ob sich die Schlussfolgerungen ändern
↓
Die wissenschaftliche Aufzeichnung wird korrigiert; Leser sehen die aktualisierte Analyse; Ihr Ruf für Integrität wird gestärkt
OUTCOME: Scientific self-correction
THE REVELATION
Die Integrität der Beweissynthese hängt von ständiger Wachsamkeit ab. Wenn eingeschlossene Studien zurückgezogen werden, besteht die ethische Pflicht darin, sie zu aktualisieren und zu korrigieren und nicht zu schweigen.
"When treatments have never met,
Das Netzwerk baut eine Brücke der Beweise.
But the bridge rests on transitivity—
Überprüfen Sie, ob die Populationen vergleichbar sind.
Das Netzwerk baut eine Brücke der Beweise.
But the bridge rests on transitivity—
Überprüfen Sie, ob die Populationen vergleichbar sind.
Haben Sie nicht die KI gesehen, die Krebs vorhergesagt hat?
mit 99 % Genauigkeit im Trainingssatz –
und scheiterte katastrophal
beim Einsatz in der real world?
mit 99 % Genauigkeit im Trainingssatz –
und scheiterte katastrophal
beim Einsatz in der real world?
Der Sepsis-Algorithmus-Fehler
EPIC SEPSIS MODEL, 2021
Epic's sepsis prediction algorithm was deployed in hundreds of hospitals.
Internal validation showed excellent performance.
Doch eine unabhängige Studie von Michigan Medicine fand das Modell missed 67% of sepsis cases and generated excessive false alarms.
Der Algorithmus wurde am validiert dieselbe Bevölkerungsgruppe, an der es trainiert wurde– ein Rezept für Überanpassung und Scheitern.
Internal validation showed excellent performance.
Doch eine unabhängige Studie von Michigan Medicine fand das Modell missed 67% of sepsis cases and generated excessive false alarms.
Der Algorithmus wurde am validiert dieselbe Bevölkerungsgruppe, an der es trainiert wurde– ein Rezept für Überanpassung und Scheitern.
Wong A et al. JAMA Intern Med. 2021;181:1065-1070
AI Validation Decision Tree
Evidenzgrade für KI/ML
AI Prediction Model
↓
Validation Level?
Internal onlyGleiche Datenaufteilung
HIGH RISK
TemporalDifferent time
MODERATE
ExternalDifferent site
BETTER
Impact RCTPatient outcomes
BEST
PROBAST & TRIPOD
PROBAST
Prediction model
Risk of Bias
Risk of Bias
TRIPOD
Reporting
guideline
guideline
TRIPOD-AI
AI-specific
extension
extension
CALIBRATION VS. DISCRIMINATION
AUC/c-statistic: Can the model rank patients? (discrimination)
Calibration: Sind die vorhergesagten Wahrscheinlichkeiten korrekt?
A model can have good AUC but poor calibration—and harm patients.
Calibration: Sind die vorhergesagten Wahrscheinlichkeiten korrekt?
A model can have good AUC but poor calibration—and harm patients.
„Der Algorithmus hat aus den Daten gelernt,
und die Daten waren verzerrt.
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."
und die Daten waren verzerrt.
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."
Die Metaanalyse spricht in Zahlen.
Aber der Patient hört rein Ängste und Hoffnungen.
Wie werden Sie die Lücke schließen?
Aber der Patient hört rein Ängste und Hoffnungen.
Wie werden Sie die Lücke schließen?
Translating Numbers to Meaning
Communication Decision Tree
Meta-Analysis Result
↓
Effect Size Type?
Relative (RR, OR)
Convert to NNTMore intuitive
Absolute (RD)
Use directly"X fewer per 1000"
Continuous (MD)
ContextualizeMinimal important diff
Skripte für Patienten
EXPLAINING A POSITIVE RESULT
„Die Forschung fasste 15 Studien mit 8.000 Patienten zusammen.
Es wurde festgestellt, dass diese Behandlung das Risiko eines [Ergebnisses] um etwa 30 % senkt.
In der Praxis ausgedrückt: Wenn wir 100 Menschen wie Sie behandeln, werden im Vergleich zu keiner Behandlung etwa 5 weniger ein [Ergebnis] erzielen.
We're moderately confident in this—future research might change it slightly.
Welche Fragen haben Sie dazu?“
Es wurde festgestellt, dass diese Behandlung das Risiko eines [Ergebnisses] um etwa 30 % senkt.
In der Praxis ausgedrückt: Wenn wir 100 Menschen wie Sie behandeln, werden im Vergleich zu keiner Behandlung etwa 5 weniger ein [Ergebnis] erzielen.
We're moderately confident in this—future research might change it slightly.
Welche Fragen haben Sie dazu?“
Questions Patients Should Ask
Empowering Patients
1 „Wie viele Studien und Patienten wurden eingeschlossen?“
2 „Wie zuversichtlich sind die Forscher in dieses Ergebnis?“
3 „Was sind die Vorteile UND Nachteile?“
4 „Wurden Menschen wie ich in diese Studien einbezogen?“
5 „Wer hat diese Forschung finanziert?“
6 „Was bedeutet das für meine konkrete Situation?“
Can a spreadsheet error in an academic paper directly shape the economic policy of entire nations?
REAL DATA
In ihrem Papier von Reinhart und Rogoff aus dem Jahr 2010 wurde behauptet, dass Länder mit einer Staatsverschuldung von mehr als 10 % haben 90% of GDP verzeichnete ein dramatisch geringeres Wachstum. Diese Feststellung wurde häufig zur Rechtfertigung der Sparpolitik in ganz Europa angeführt. Im Jahr 2013 entdeckten Herndon, Ash und Pollin einen Tabellenfehler: Mehrere Länder waren versehentlich von den Berechnungen ausgeschlossen worden. Nach der Korrektur verschwand die scharfe Schwelle von 90 %.
Die Auswirkungen der Reinhart-Rogoff-Politik: 2010–2013
Die Ergebnisse Ihrer Metaanalyse haben klare politische Implikationen. Die politischen Entscheidungsträger sind auf eine einfache Botschaft bedacht. Wie schreiben Sie das Policy Brief?
PFAD A: Für Auswirkungen zu stark vereinfachen
Geben Sie einen sauberen Schwellenwert oder eine Schlagzeilennummer an. Vorbehalte und Unsicherheitsbereiche weglassen, um maximalen politischen Einfluss zu erzielen
↓
Die Richtlinie wird auf der Grundlage vereinfachter Erkenntnisse übernommen. Wenn Nuancen auftauchen oder Fehler gefunden werden, werden sowohl die Forschung als auch die daraus resultierende Politik diskreditiert
OUTCOME: Policy built on a fragile foundation
PFAD B: Kommunizieren Sie mit Integrität
Präsentieren Sie die Beweise mit angemessener Unsicherheit; starke von suggestiven Befunden unterscheiden; Bereitstellung umsetzbarer Zusammenfassungen, die Nuancen wahren
↓
Politische Entscheidungsträger verstehen, was die Beweise stützen und wo Unsicherheit bleibt; Entscheidungen werden mit angemessener Vorsicht getroffen
OUTCOME: Durable, evidence-informed policy
THE REVELATION
Policy briefs must communicate uncertainty honestly. Oversimplified findings may gain influence quickly but collapse when scrutinized, damaging trust in research-policy relationships.
"Die Metaanalyse spricht in Zahlen.
Der Patient hört Ängste und Hoffnungen.
Ihre Aufgabe ist es, der Übersetzer zu sein –
getreu gegenüber den Beweisen, mitfühlend gegenüber den Person.“
Der Patient hört Ängste und Hoffnungen.
Ihre Aufgabe ist es, der Übersetzer zu sein –
getreu gegenüber den Beweisen, mitfühlend gegenüber den Person.“
Eine systematische Überprüfung erfasst Beweise zu einem bestimmten Zeitpunkt Zeit.
But science does not stop.
Wie bewahren wir die Beweise auf? alive?
But science does not stop.
Wie bewahren wir die Beweise auf? alive?
Living Systematic Reviews
COVID-19 PANDEMIC, 2020-2023
Während der Pandemie tauchten Beweise schneller auf, als herkömmliche Überprüfungen synthetisieren konnten.
Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.
Das COVID-NMA-Konsortium erstellte lebende Überprüfungen zu Behandlungen, Impfstoffen und Diagnostika und aktualisierte Empfehlungen in real-time als Beweise weiterentwickelt.
Hydroxychloroquine went from "promising" to "ineffective" within months.
Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.
Das COVID-NMA-Konsortium erstellte lebende Überprüfungen zu Behandlungen, Impfstoffen und Diagnostika und aktualisierte Empfehlungen in real-time als Beweise weiterentwickelt.
Hydroxychloroquine went from "promising" to "ineffective" within months.
Defined by Cochrane: continual updates at ≤monthly intervals
When to Use Living Reviews
Living Review Decision Tree
Review Type Decision
↓
Entwickeln sich Beweise schnell weiter?
Yes + High Priority
Living ReviewContinuous updates
No / Stable
Standard ReviewUpdate every 2-5 years
↓
Resource intensiveRequires ongoing funding
Die Zukunft der Evidenzsynthese
Automation
ML-assisted
screening
screening
IPD-MA
Individual patient
data pooling
data pooling
Real-World
EHR-based
evidence
evidence
Adaptive
Platform trials
+ MA
+ MA
"Der Bund der Beweise ist nicht statisch.
Es wächst mit jeder neuen Studie, jeder neuen Frage.
Halten Sie Ihre Bewertungen am Leben.
Halten Sie Ihre Methoden transparent.
Stellen Sie die Wahrheit in den Mittelpunkt Ihres Handelns.“
Es wächst mit jeder neuen Studie, jeder neuen Frage.
Halten Sie Ihre Bewertungen am Leben.
Halten Sie Ihre Methoden transparent.
Stellen Sie die Wahrheit in den Mittelpunkt Ihres Handelns.“
1 / 4