Writing > Les données cachées
==================== MODULE 1 : LES DONNÉES CACHÉES =====================
==================== MODULE 2 : L'ALLIANCE (PRISMA) ===================
==================== MODULE 3 : LE PROTOCOLE =====================
==================== MODULE 4 : LE TITRE ====================
==================== MODULE 5 : LE RÉSUMÉ ====================
====================== MODULE 6 : LA QUESTION (PICO) ====================
=================== MODULE 7 : LA RECHERCHE ====================
==================== MODULE 8 : LA SÉLECTION ====================
===================== MODULE 9 : RISQUE DE BIAIS ====================
==================== MODULE 10 : EXTRACTION DE DONNÉES ====================
=================== MODULE 11 : MESURES D'EFFET ====================
==================== MODULE 12 : LA SYNTHÈSE =====================
================== MODULE 14 : BIAIS DE PUBLICATION =====================
==================== MODULE 15 : LA PARCELLE FORESTIÈRE =====================
================== MODULE 16 : CERTITUDE DES PREUVES ====================
==================== MODULE 17 : LA DISCUSSION =====================
==================== MODULE 19 : LE CONTRÔLE FINAL =====================
==================== MODULE 20 : QUIZ ET RÉFÉRENCES ======================
=============== MODULE 21 : OUTILS LOGICIELS ===========================
==================== MODULE 22 : LECTURE DES MÉTA-ANALYSES ====================
==================== MODULE 23 : MÉTA-ANALYSE DU RÉSEAU ====================
Nodes = Treatments (size = sample)
Edges = Comparaisons directes (largeur = études)
Dashed = Preuves indirectes uniquement
==================== MODULE 24 : AI/ML MODÈLES DE PRÉDICTION ====================
==================== MODULE 25 : COMMUNICATION AVEC LE PATIENT ====================
==================== MODULE 26 : VUES VIVANTES ET FUTUR ====================
N'as-tu pas entendu parler des épreuves cachées,
les données qui ont été enterrées,
les journaux qui disaient seulement la moitié de la vérité?
les données qui ont été enterrées,
les journaux qui disaient seulement la moitié de la vérité?
Le scandale du Tamiflu
COCHRANE COLLABORATION, 2009-2014
Governments stockpiled $9 billion worth of Tamiflu to fight pandemic flu.
Mais lorsque les chercheurs Cochrane ont tenté de vérifier les bénéfices du médicament, ils ont découvert que 60% of trial data had never been published.
Après une bataille de 5 ans, ils ont obtenu les données cachées. La conclusion a changé : Tamiflu shortened symptoms by less than a day et n'a pas évité les complications.
9 milliards de dollars dépensés pour des preuves qui n'ont jamais été entièrement divulguées.
Mais lorsque les chercheurs Cochrane ont tenté de vérifier les bénéfices du médicament, ils ont découvert que 60% of trial data had never been published.
Après une bataille de 5 ans, ils ont obtenu les données cachées. La conclusion a changé : Tamiflu shortened symptoms by less than a day et n'a pas évité les complications.
9 milliards de dollars dépensés pour des preuves qui n'ont jamais été entièrement divulguées.
Jefferson T et al. Cochrane Database Syst Rev. 2014;4:CD008965
Why We Write Meta-Analyses
Le but de la synthèse
Individual Studies
↓
Problem?
Small samplesLow power
Conflicting resultsWhich to believe?
Publication biasMissing negatives
↓
Meta-AnalysisSystematic synthesis
↓
More precise estimate + Bias detection
La campagne de transparence du Tamiflu
2009-2014 | COCHRANE COLLABORATION vs. ROCHE
For years, governments worldwide stockpiled Tamiflu (oseltamivir) at a cost of billions of dollars, basé sur les affirmations du fabricant selon lesquelles il évitait les complications de la grippe et les hospitalisations.
Lorsque les évaluateurs Cochrane ont demandé les données complètes des essais pour vérifier ces affirmations, Roche a refusé pendant 5 ans, citant la « confidentialité ». La société a mené 10 essais de traitement, mais seulement 2 ont été entièrement publiés.
Après une pression incessante, les rapports d’études cliniques ont finalement été publiés en 2014. La situation a radicalement changé : Le Tamiflu a réduit les symptômes de moins d'un jour et n'a montré aucune preuve de prévention des hospitalisations ou de complications graves.
Lorsque les évaluateurs Cochrane ont demandé les données complètes des essais pour vérifier ces affirmations, Roche a refusé pendant 5 ans, citant la « confidentialité ». La société a mené 10 essais de traitement, mais seulement 2 ont été entièrement publiés.
Après une pression incessante, les rapports d’études cliniques ont finalement été publiés en 2014. La situation a radicalement changé : Le Tamiflu a réduit les symptômes de moins d'un jour et n'a montré aucune preuve de prévention des hospitalisations ou de complications graves.
THE LESSON
Une méta-analyse n’est aussi bonne que les données auxquelles elle peut accéder. Des essais cachés peuvent donner l’impression que des traitements inefficaces sont efficaces et coûter des milliards en ressources mal dépensées.
"Et l'entreprise savait,
et les régulateurs savaient,
mais les journaux publiés ne le disaient pas...
et des milliards ont été dépensés pour une demi-vérité. »
et les régulateurs savaient,
mais les journaux publiés ne le disaient pas...
et des milliards ont été dépensés pour une demi-vérité. »
C’est pourquoi nous écrivons des méta-analyses : pour découvrir toute la vérité.
Si vous souhaitez que votre travail soit trusted,
vous devez conclure une alliance avec vos lecteurs.
Cette alliance a un nom :
PRISMA.
vous devez conclure une alliance avec vos lecteurs.
Cette alliance a un nom :
PRISMA.
PRISMA 2020
Éléments de rapport préférés pour les examens systématiques et les méta-analyses
27
Checklist items
2020
Updated version
50K+
Citations
THE COVENANT
PRISMA n'est pas une bureaucratie. C'est un promesse à vos lecteurs
que vous avez fait le travail de manière transparente et complète.
Les sept sections
1
Title
Identify as systematic review, meta-analysis, or both
2
Abstract
Résumé structuré de l’ensemble de l’examen
3
Introduction
Justification et objectifs avec PICO
4
Methods
Protocol, search, selection, data, bias, synthesis
5
Results
Flow diagram, characteristics, risk of bias, synthesis results
6
Discussion
Summary, limitations, interpretation, implications
7
Other
Registration, funding, conflicts of interest
La révolution PRISMA
2009-PRESENT | TRANSFORMING SYSTEMATIC REVIEW REPORTING
Avant PRISMA (2009), les rapports d’examen systématique étaient chaotiques. Certains avis n'ont pas du tout signalé leurs stratégies de recherche. D’autres ont omis les évaluations du risque de biais. Beaucoup n’ont pas expliqué pourquoi les études avaient été exclues. Readers couldn't judge quality—they had to trust blindly.
La liste de contrôle de 27 éléments de PRISMA a tout changé. Cela obligeait les auteurs à documenter chaque étape : la stratégie de recherche complète, les critères de sélection, les méthodes d'extraction et les décisions de synthèse.
Today, plus de 10 000 revues soutiennent PRISMA. Ce qui était autrefois une transparence exceptionnelle est devenu la norme attendue.
La liste de contrôle de 27 éléments de PRISMA a tout changé. Cela obligeait les auteurs à documenter chaque étape : la stratégie de recherche complète, les critères de sélection, les méthodes d'extraction et les décisions de synthèse.
Today, plus de 10 000 revues soutiennent PRISMA. Ce qui était autrefois une transparence exceptionnelle est devenu la norme attendue.
THE LESSON
Une simple liste de contrôle a transformé un domaine entier. Les rapports transparents sont passés d’exception à norme, preuve que les normes comptent.
"PRISMA est l'alliance entre l'auteur et le lecteur :
Je vais tout vous montrer—
how I searched, what I found, what I excluded, why.
Vous pouvez donc juger mon travail et faire confiance – ou remettre en question – mes conclusions. »
Je vais tout vous montrer—
how I searched, what I found, what I excluded, why.
Vous pouvez donc juger mon travail et faire confiance – ou remettre en question – mes conclusions. »
N'avez-vous pas vu le réviseur
qui a changé le résultat après avoir vu les données,
qui a déplacé les poteaux jusqu'aux résultats looked right?
qui a changé le résultat après avoir vu les données,
qui a déplacé les poteaux jusqu'aux résultats looked right?
Les méta-analyses rétractées
MULTIPLE JOURNALS, 2010-2023
Les chercheurs ont découvert que many retracted meta-analyses had no pre-registered protocol.
Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• Ajouter ou supprimer des études pour modifier la conclusion
Le protocole est votre pre-commitment device- cela vous évite de vous tromper.
Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• Ajouter ou supprimer des études pour modifier la conclusion
Le protocole est votre pre-commitment device- cela vous évite de vous tromper.
Defined outcome switching: PROSPERO registration prevents bias
Protocol Registration Decision Tree
Où enregistrer votre protocole
Nouvelle revue systématique
↓
Type of Review?
Health/Medical
PROSPEROprospero.york.ac.uk
Any Field
OSFosf.io/registries
Cochrane
Cochrane LibraryIntegrated protocol
↓
Registration ID in PaperCite in Methods
What the Protocol Must Contain
Essential Protocol Elements
1. Question de recherche (format PICO)
2. Eligibility criteria (inclusion/exclusion)
3. Information sources and search strategy
4. Processus de sélection des études
5. Éléments d'extraction de données
6. Outil d’évaluation du risque de biais
7. Résultats primaires et secondaires
8. Méthodes de synthèse (plan de méta-analyse)
9. Analyses de sous-groupes et de sensibilité
"Écrivez le protocole avant de voir les données.
Lock it in a public registry.
Then follow it—or explain why you deviated.
C'est ainsi que vous prouverez que vous n'avez pas triché. »
Lock it in a public registry.
Then follow it—or explain why you deviated.
C'est ainsi que vous prouverez que vous n'avez pas triché. »
Le titre est la première promesse que vous faites.
Il doit dire au lecteur :
Ce que vous avez étudié, comment vous l’avez étudié et de quel type d’étude il s’agit.
Il doit dire au lecteur :
Ce que vous avez étudié, comment vous l’avez étudié et de quel type d’étude il s’agit.
L'anatomie d'un titre
PRISMA Title Requirements
Title Must Include
↓
PopulationQui a été étudié
InterventionCe qui a été fait
OutcomeCe qui a été mesuré
↓
+ "Revue Systématique" ou "Méta-Analyse"
Good vs. Bad Titles
❌ BAD TITLE
"Une revue du traitement du diabète"
Problems: No population specified, no intervention, no outcome, doesn't say systematic review
Problems: No population specified, no intervention, no outcome, doesn't say systematic review
✓ GOOD TITLE
"Efficacité des inhibiteurs du SGLT2 sur la mortalité cardiovasculaire chez les adultes atteints de diabète de type 2 : une revue systématique et une méta-analyse"
La population, l’intervention, les résultats et le type d’étude sont clairs
La population, l’intervention, les résultats et le type d’étude sont clairs
"Le titre est votre premier mot pour le lecteur.
Rendez-le complet. Rendez-le honnête.
Tell them exactly what they will find within."
Rendez-le complet. Rendez-le honnête.
Tell them exactly what they will find within."
Most readers will only read your abstract.
If the abstract lies, or omits, or misleads—
most readers will never know.
If the abstract lies, or omits, or misleads—
most readers will never know.
Le Problème de rotation
BOUTRON ET AL., 2010
Researchers analyzed 72 RCTs with non-significant primary outcomes.
Ils ont constaté que 40% of abstracts contained "spin"— des rapports axés sur les résultats secondaires, les sous-groupes ou les changements au sein du groupe pour rendre les résultats plus favorables qu'ils ne l'étaient.
Le résumé racontait une histoire différente de celle des données.
Ils ont constaté que 40% of abstracts contained "spin"— des rapports axés sur les résultats secondaires, les sous-groupes ou les changements au sein du groupe pour rendre les résultats plus favorables qu'ils ne l'étaient.
Le résumé racontait une histoire différente de celle des données.
Boutron I et al. JAMA. 2010;303:2058-2064
Structured Abstract Elements
PRISMA Abstract Checklist
□ Contexte et objectifs
□ Eligibility criteria
□ Information sources
□ Risk of bias assessment
□ Synthesis methods
□ Résultats (nombre d'études, nombre de participants, estimation de l'effet avec IC)
□ Limitations
□ Conclusions et implications
□ Registration number
Que se passe-t-il lorsque le résumé raconte une histoire différente de celle de l'article lui-même ?
REAL DATA
Pitkin et al. a structuré des résumés dans six revues majeures et a constaté que 18-68% des résumés contenaient des données incompatibles avec l'article complet. Les lacunes allaient d'erreurs numériques à des conclusions non étayées par les résultats rapportés.
Le résumé trompeur : Pitkin 1999
Votre méta-analyse a trouvé un résultat principal non significatif (RR 0,92, IC à 95 % 0,78-1,09). Comment rédigez-vous le résumé ?
CHEMIN A : Faire tourner le résumé
Emphasize a significant secondary outcome and use language like "trend toward benefit"
↓
Les lecteurs qui ne voient que le résumé forment une impression faussement positive du traitement
OUTCOME: Misleading clinical decisions
PATH B: Report Faithfully
Énoncez le Les résultats primaires non significatifs sont clairement notés et les résultats secondaires sont exploratoires
↓
Les lecteurs obtiennent un résumé précis ; ceux qui ont besoin de détails lisent l'article complet
RÉSULTAT : intégrité des preuves préservée
THE REVELATION
La plupart des lecteurs ne dépassent jamais le résumé. Si le résumé est trompeur, l'honnêteté de l'article complet ne peut pas annuler le résumé. dommage.
"Ne pas essorer. Ne vous cachez pas.
Si le résultat principal était nul, dites-le.
The abstract must be a faithful mirror—
pas un portrait flatteur."
Si le résultat principal était nul, dites-le.
The abstract must be a faithful mirror—
pas un portrait flatteur."
A vague question yields vague answers.
Avant de chercher, avant d'écrire—
vous devez savoir exactement ce que vous cherchez.
Avant de chercher, avant d'écrire—
vous devez savoir exactement ce que vous cherchez.
Le PICO Cadre
Structurer la question de recherche
Research Question
↓
PPopulation
Who?
IIntervention
What treatment?
CComparator
Vs. what?
OOutcome
What measured?
PICO Example
TRANSFORMER UNE QUESTION VAGUE
Vague: "Does exercise help depression?"
PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)
Vous savez maintenant exactement quoi rechercher.
PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)
Vous savez maintenant exactement quoi rechercher.
"Définissez votre question avec précision.
Qui sont les patients ? Quel est le traitement ?
Quel est le comparateur ? Qu'allez-vous mesurer ?
PICO est la carte avant le voyage."
Qui sont les patients ? Quel est le traitement ?
Quel est le comparateur ? Qu'allez-vous mesurer ?
PICO est la carte avant le voyage."
N'avez-vous pas entendu parler du la méta-analyse
that searched only one database,
a manqué la moitié des preuves,
et a tiré le wrong conclusion?
that searched only one database,
a manqué la moitié des preuves,
et a tiré le wrong conclusion?
The Search Strategy Decision Tree
Where to Search
Comprehensive Search
↓
Minimum Databases
MEDLINEPubMed
EmbaseEuropean focus
CENTRALCochrane trials
↓
Plus Additional Sources
Trial registriesClinicalTrials.gov
Grey literatureTheses, reports
Reference listsBackward citation
Documenter la recherche
WHAT TO REPORT
• Full search strategy for at least one database (appendix)
• Date of search pour chaque base de données
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• Contact avec les auteurs pour les données non publiées
• Date of search pour chaque base de données
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• Contact avec les auteurs pour les données non publiées
LE TEST DE REPRODUCTIBILITÉ
Another researcher should be able to répliquez exactement votre recherche
et trouvez le même nombre d'enregistrements.
The Cochrane Search Strategy Discovery
2003 | REVUE DE LA MÉTHODOLOGIE COCHRANE
Cochrane researchers asked a simple question: What would happen if systematic reviewers only searched MEDLINE?
La réponse était alarmante. Ils auraient manqué 30 % des études incluses– y compris certains qui ont complètement modifié les conclusions de la méta-analyse.
One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. Les études manquantes étaient des essais négatifs plus petits, indexés dans des bases de données spécialisées comme EMBASE et PsycINFO.
La réponse était alarmante. Ils auraient manqué 30 % des études incluses– y compris certains qui ont complètement modifié les conclusions de la méta-analyse.
One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. Les études manquantes étaient des essais négatifs plus petits, indexés dans des bases de données spécialisées comme EMBASE et PsycINFO.
THE LESSON
Les recherches dans une seule base de données peuvent systématiquement manquer des essais négatifs. Les études qui ne figurent pas dans MEDLINE peuvent être celles-là mêmes qui modifient votre conclusion.
"Search wide. Search deep.
Document every database, every date, every term.
Les preuves qui vous manquent sont peut-être celles qui comptent le plus. »
Document every database, every date, every term.
Les preuves qui vous manquent sont peut-être celles qui comptent le plus. »
Parmi des milliers de disques, vous devez choisir.
But choose by what rule?
Et qui vérifiera vos choix ?
But choose by what rule?
Et qui vérifiera vos choix ?
Le diagramme de flux PRISMA
PRISMA 2020 Flow Diagram
IDENTIFICATION
n = 3,847
Enregistrements issus de bases de données
↓
Duplicates removed (n = 892)
SCREENING
n = 2,955
Titles/abstracts screened
↓
Excluded (n = 2,680)
ELIGIBILITY
n = 275
Full-text assessed
↓
Exclus avec raisons (n = 247)
INCLUDED
n = 28
Studies in synthesis
Selection Process Decision Tree
Who Selects? How?
Study Selection
↓
Two independent reviewersGold standard
↓
Disagreement?
ConsensusDiscussion
Third reviewerArbiter
One reviewer onlyAcknowledge limitation
REPORT AGREEMENT
Calculer et rapporter inter-rater agreement (kappa statistic).
Low agreement suggests unclear criteria.
Une analyse post-hoc de sous-groupes à partir d’un seul essai peut-elle remodeler un domaine entier pendant une décennie ?
REAL DATA
La Women's Health Initiative (WHI, 2002) a constaté que le THS increased cardiovascular risk overall. But post-hoc subgroup analysis suggested women aged <60 ou dans les 10 ans suivant la ménopause pourraient en bénéficier, tandis que les femmes plus âgées en subiraient les conséquences. Cette « hypothèse du timing » a alimenté des années de débats et d’études plus approfondies.
The HRT Timing Hypothesis: WHI 2002
Votre méta-analyse du THS montre un préjudice global, mais un sous-groupe exploratoire suggère un bénéfice chez les femmes plus jeunes. Comment écrivez-vous cela ?
CHEMIN A : Surévaluer le sous-groupe
Titrez le résultat du sous-groupe d’âge comme s’il s’agissait du résultat principal
↓
Les cliniciens prescrivent un THS en fonction d'un sous-groupe exploratoire de faible puissance ; la découverte peut ne pas se reproduire
OUTCOME: Premature clinical change
PATH B: Report Honestly
Present overall result as primary; label subgroup as exploratory and pre-specified or post-hoc
↓
Readers understand the hypothesis needs confirmation; future trials can be designed to test it
OUTCOME: Responsible hypothesis generation
THE REVELATION
Les analyses de sous-groupes génèrent des hypothèses et non des conclusions. Qualifiez-les toujours comme exploratoires et signalez d’abord le résultat global.
"Every exclusion must have a reason.
Every reason must be documented.
Two pairs of eyes are better than one—
car ce que l'un manque, l'autre peut le rattraper.
Every reason must be documented.
Two pairs of eyes are better than one—
car ce que l'un manque, l'autre peut le rattraper.
N'avez-vous pas vu la méta-analyse
qui mutualisait les bonnes études avec les mauvaises,
et appelé la moyenne truth?
qui mutualisait les bonnes études avec les mauvaises,
et appelé la moyenne truth?
Le danger d’ignorer les préjugés
LE SCANDALE DES ANTIDÉPRESSEURS
Turner et al. (2008) obtained FDA data on 74 antidepressant trials.
In the published literature: 94% des essais étaient positifs.
In the FDA database: seulement 51% étaient positifs.
Les méta-analyses publiées avaient regroupé les données rapportées de manière sélective. La taille de l'effet était inflated by 32%.
In the published literature: 94% des essais étaient positifs.
In the FDA database: seulement 51% étaient positifs.
Les méta-analyses publiées avaient regroupé les données rapportées de manière sélective. La taille de l'effet était inflated by 32%.
Turner EH et al. N Engl J Med. 2008;358:252-260
Outils d’évaluation du risque de biais
Quel outil utiliser ?
Study Design
↓
RCTs
RoB 2Cochrane tool
Non-randomized
ROBINS-IInterventions
DTA studies
QUADAS-2Diagnostic
Observational
NOSNewcastle-Ottawa
RoB 2 Domains
Cochrane Risk of Bias 2.0 for RCTs
D1 Randomization process
D2 Écarts par rapport aux interventions prévues
D3 Données de résultats manquantes
D4 Mesure des résultats
D5 Sélection du résultat rapporté
JUDGMENT OPTIONS
Each domain: Low risk /
Some concerns /
High risk
"Une méta-analyse de études biaisées
yields a biased conclusion—
avec un intervalle de confiance plus étroit.
Vous avez rendu le mensonge plus précis."
yields a biased conclusion—
avec un intervalle de confiance plus étroit.
Vous avez rendu le mensonge plus précis."
De chaque étude, vous devez extraire les chiffres.
Extractez mal et toute votre analyse
is built on sand.
Extractez mal et toute votre analyse
is built on sand.
Formulaire d'extraction de données
Données essentielles Éléments
1 Study identifiers (author, year, country)
2 Conception et mise en place de l'étude
3 Participant characteristics (n, age, sex, severity)
4 Intervention details (dose, duration, delivery)
5 Comparator details
6 Définitions et mesures des résultats
7 Results (means, SDs, events, sample sizes)
8 Follow-up duration and loss to follow-up
9 Funding source and conflicts of interest
Extraction Decision Tree
Gestion des données manquantes
Données non signalées
↓
What to Do?
First
Contact authorsE-mail pour les données
If no response
Calculate/imputeDocument method
If impossible
Exclude from MAInclude in narrative
Extraction des données de la Rosiglitazone Erreur
2007 | NEW ENGLAND JOURNAL OF MEDICINE
Nissen and Wolski's 2007 meta-analysis of rosiglitazone (Avandia) found a 43% increased risk of heart attack. Cette découverte a déclenché des avertissements de la FDA et provoqué l'effondrement des prescriptions dans le monde entier.
But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports. De légères différences dans la façon dont les événements ont été comptés (extraits de différentes sources) ont considérablement modifié les résultats.
La méta-analyse a été influente et largement correcte, mais la controverse a souligné comment small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.
But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports. De légères différences dans la façon dont les événements ont été comptés (extraits de différentes sources) ont considérablement modifié les résultats.
La méta-analyse a été influente et largement correcte, mais la controverse a souligné comment small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.
THE LESSON
Toujours extraire des sources primaires. Documentez chaque choix. Un petit écart dans les chiffres extraits peut modifier les décisions réglementaires et la fortune du marché.
"Extract in duplicate. Check each number.
One digit wrong can change the conclusion.
Le formulaire d'extraction est votre grand livre—
keep it meticulous, keep it true."
One digit wrong can change the conclusion.
Le formulaire d'extraction est votre grand livre—
keep it meticulous, keep it true."
La taille de l'effet est au cœur de votre méta-analyse.
Choisissez la mauvaise mesure,
et votre estimation groupée sera meaningless.
Choisissez la mauvaise mesure,
et votre estimation groupée sera meaningless.
Effect Measure Decision Tree
Choosing the Right Effect Size
Outcome Type
↓
Binary
RR, OR, RDEvents/no events
Continuous
Same scale?
YesMD (mean diff)
NoSMD (Hedge's g)
Time-to-event
HRHazard ratio
Common Effect Measures
RR
Risk Ratio
Multiplicative
Multiplicative
OR
Odds Ratio
Case-control
Case-control
MD
Mean Diff
Same units
Same units
SMD
Std Mean Diff
Different scales
Different scales
THE PRINCIPLE
La mesure de l'effet doit être comparable entre les études.
If studies used different scales, standardize.
Can a trial that transforms global practice still have serious limitations?
REAL DATA
L'essai RECOVERY (2020) a démontré que la dexaméthasone réduisait la mortalité à 28 jours chez les patients hospitalisés atteints de la COVID-19 nécessitant de l'oxygène : RR 0.83, 95% CI 0.75-0.93. Pourtant, l'essai était ouvert (sans insu), mené principalement dans des hôpitaux britanniques, et le groupe témoin a reçu les soins habituels (qui variaient).
L'essai RECOVERY : 2020
Votre méta-analyse inclut RECOVERY comme étude dominante. Comment gérez-vous les limites d'un essai par ailleurs historique ?
PATH A: Minimize Limitations
Minimisez la conception ouverte et la concentration géographique ; se concentrer sur le bénéfice frappant en termes de mortalité
↓
Readers cannot judge generalizability to other settings; potential detection bias is obscured
RÉSULTAT : évaluation incomplète des preuves
PATH B: Honest Limitations
Reconnaître la conception ouverte et les limites géographiques tout en indiquant clairement le bénéfice en termes de mortalité
↓
Les lecteurs comprennent à la fois la force des résultats et les zones d'incertitude qui demeurent
OUTCOME: Trustworthy, balanced reporting
THE REVELATION
Même des essais révolutionnaires ont limites. Les reconnaître ne remet pas en cause les résultats ; il renforce la confiance des lecteurs et guide les recherches futures.
"Choisissez la mesure qui correspond aux données.
Rapports de risque pour les résultats courants, rapports de cotes pour les résultats rares.
Standardize when scales differ.
Une mauvaise mesure met les pommes en commun avec les oranges. »
Rapports de risque pour les résultats courants, rapports de cotes pour les résultats rares.
Standardize when scales differ.
Une mauvaise mesure met les pommes en commun avec les oranges. »
N'as-tu pas vu le complot forestier
where studies pointed in opposite directions,
yet the diamond declared a single truth?
where studies pointed in opposite directions,
yet the diamond declared a single truth?
Fixed vs. Random Effects
Which Model to Use?
Meta-Analysis Model
↓
Hypothèse sur le véritable effet ?
One true effect
Fixed EffectToutes les études estiment le même θ
↓
Rarely appropriateDes études très similaires
Effects vary
Random EffectsDistribution of θᵢ
↓
Usually preferredMore conservative
Quand NE PAS faire de piscine
Do Not Meta-Analyze If...
✗ Les études sont trop hétérogènes (cliniques ou méthodologiques)
✗ Les résultats sont définis différemment
✗ Les populations sont fondamentalement différentes
✗ Risk of bias is too high across studies
✗ Publication bias is severe
THE WISDOM
Sometimes the most honest conclusion is:
"Ces études ne doivent pas être mutualisées."
Que se passe-t-il lorsqu’une critique méthodologique d’une revue Cochrane dégénère en crise organisationnelle ?
REAL DATA
En 2018, Peter Gøtzsche et ses collègues ont publié une critique de la revue Cochrane du vaccin contre le VPH, arguant qu'elle avait exclu des essais clés et utilisé des critères d'inclusion inappropriés. La revue Cochrane avait inclus 26 études avec plus de 73 000 femmes. Le conflit s'est transformé en une crise de gouvernance, culminant avec l'expulsion de Gøtzsche du conseil d'administration de Cochrane.
La controverse Cochrane sur le VPH : 2018
Vous recevez une critique méthodologique de votre synthèse publiée affirmant que vous auriez dû inclure des études supplémentaires. Comment répondez-vous ?
CHEMIN A : Rejeter la critique
Défendre l’approche originale sans s’engager dans les points méthodologiques spécifiques soulevés
↓
La confiance du public s’érode ; la dispute devient personnelle plutôt que scientifique ; la base de données factuelles n'est pas améliorée
OUTCOME: Polarization and lost credibility
PATH B: Engage Transparently
Effectuer des analyses de sensibilité intégrant les études proposées ; publier une réponse transparente indiquant si les conclusions changent
↓
Les preuves sont renforcées ; le discours méthodologique fait progresser le domaine ; la confiance est maintenue
OUTCOME: Science self-corrects publicly
THE REVELATION
La critique méthodologique est la manière dont la science s'améliore. Répondre avec des données, et non avec une attitude défensive, renforce à la fois l'examen et le terrain.
"Ne mutualisez pas pour le plaisir de mutualiser.
Une méta-analyse d’études incompatibles
ce n’est pas une synthèse, c’est une confusion.
Know when to say: these cannot be combined."
Une méta-analyse d’études incompatibles
ce n’est pas une synthèse, c’est une confusion.
Know when to say: these cannot be combined."
Quand les études sont en désaccord,
le désaccord lui-même est data.
Do not hide it. Explain it.
le désaccord lui-même est data.
Do not hide it. Explain it.
Heterogeneity Measures
Q
Cochran's Q
Significance test
Significance test
I²
Inconsistency
% variation
% variation
τ²
Tau-squared
Between-study var
Between-study var
PI
Prediction interval
Future studies
Future studies
Investigating Heterogeneity
When I² > 50%
High Heterogeneity
↓
Investigation Methods
Subgroup analysisPre-specified
Meta-regressionIf ≥10 studies
Sensitivity analysisExclude outliers
↓
Report unexplained heterogeneityLimitation
What if a meta-analysis of small positive trials is overturned by a single mega-trial?
REAL DATA
Au début des années 1990, plusieurs petits essais suggéraient que le magnésium intraveineux réduisait la mortalité après un infarctus aigu du myocarde. Une méta-analyse (Teo et al., 1991) les a regroupés et a trouvé un avantage significatif : OR 0.44, 95% CI 0.27-0.71. Puis ISIS-4 (1995), un méga-essai avec 58,050 patients, n'a trouvé aucun avantage. Les effets des petites études et l’hétérogénéité avaient été ignorés.
La controverse sur le magnésium : 1991-1995
Votre méta-analyse de petits essais montre une forte hétérogénéité (I² supérieur à 50 %) mais l'estimation groupée est significative. Comment présentez-vous cela ?
CHEMIN A : Enterrer l’hétérogénéité
Report the significant pooled estimate prominently; mention I² only in passing
↓
Les cliniciens adoptent le traitement ; un futur grand essai pourrait contredire la méta-analyse, érodant la confiance dans la méthode
OUTCOME: Premature guideline changes
PATH B: Investigate Transparently
Mettre en évidence l'hétérogénéité ; enquêter sur les sources (taille de l’étude, qualité) ; notez que les effets des petites études peuvent gonfler l'estimation
↓
Les lecteurs comprennent l’incertitude ; les recommandations appellent à un grand essai définitif avant de changer de pratique
OUTCOME: Evidence-appropriate caution
THE REVELATION
L’hétérogénéité est un signal d’alarme et non une note de bas de page. Les effets d’une petite étude peuvent produire une estimation groupée faussement rassurante qu’un seul grand essai peut renverser.
"I-squared is not just a number to report.
La question se pose : pourquoi ces études sont-elles en désaccord ?
Investigate. Explain. Or acknowledge ignorance."
La question se pose : pourquoi ces études sont-elles en désaccord ?
Investigate. Explain. Or acknowledge ignorance."
N'avez-vous pas entendu parler du tiroir-classeur,
où vont les études négatives die,
leaving only the positive survivors
to tell a distorted story?
où vont les études négatives die,
leaving only the positive survivors
to tell a distorted story?
Le désastre du Vioxx
MERCK, 2004
Vioxx (rofecoxib) was a blockbuster painkiller earning $2.5 billion/year.
Internal company documents showed Merck knew of cardiovascular risks but données défavorables supprimées and published only favorable analyses.
A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.
Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.
Internal company documents showed Merck knew of cardiovascular risks but données défavorables supprimées and published only favorable analyses.
A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.
Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.
Topol EJ. N Engl J Med. 2004;351:1707-1709
Detecting Publication Bias
Assessment Methods
Publication Bias Assessment
↓
Funnel plotVisual inspection
Egger's testStatistical asymmetry
Couper et remplirImpute missing
↓
Requires ≥10 studiesLow power otherwise
Preventing Bias: The AllTrials Campaign
ALLTRIALS.NET
"All trials registered. All results reported."
• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• Contacter les entreprises pour obtenir des données non publiées
• Citez les numéros d'enregistrement dans votre avis.
• Signalez quels essais enregistrés manquent dans votre analyse
• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• Contacter les entreprises pour obtenir des données non publiées
• Citez les numéros d'enregistrement dans votre avis.
• Signalez quels essais enregistrés manquent dans votre analyse
"Le tiroir-classeur n'est pas vide.
Il détient les études que les entreprises ont cachées,
les résultats que les revues ont rejetés.
Votre travail consiste à ouvrir ce tiroir – ou à dire que vous ne pouvez pas le faire. »
Il détient les études que les entreprises ont cachées,
les résultats que les revues ont rejetés.
Votre travail consiste à ouvrir ce tiroir – ou à dire que vous ne pouvez pas le faire. »
Le tracé forestier est le visage de votre méta-analyse.
Il montre au lecteur everything:
each study, each weight, each confidence interval,
et l'estimation globale finale.
Il montre au lecteur everything:
each study, each weight, each confidence interval,
et l'estimation globale finale.
Lire l'intrigue forestière
Éléments de la parcelle forestière
Forest Plot
↓
Study namesLeft column
SquaresPoint estimates
Lines95% CI
DiamondPooled estimate
↓
Taille du carré = poids de l'étudeLarger = more precise
Forest Plot Checklist
What to Include
□ Identifiants de l'étude (auteur, année)
□ Sample size per arm
□ Estimation de l'effet avec IC à 95 %
□ Weight (% contribution)
□ Line of no effect (RR=1 or MD=0)
□ Estimation groupée avec IC à 95 %
□ Heterogeneity statistics (I², τ², Q)
□ Test for overall effect (Z, p-value)
Les chiffres du Vioxx qui ont tout changé
2004 | L'ESSAI APPROVe ET LE RETRAIT DU MARCHÉ
Pendant des années, le graphique forestier sur la sécurité cardiovasculaire du Vioxx (rofécoxib) a montré une tendance rassurante. Les estimations ponctuelles issues d'essais antérieurs se sont regroupées autour de la ligne d'absence d'effet. Le diamant suggérait que le médicament était sans danger.
Puis vint le procès APPROVe. Lorsque ses données ont été ajoutées à la parcelle forestière, l'image a radicalement changé. Le grand carré d'APPROVe a définitivement attiré le diamant mis en commun vers le mal. Le visuel était indubitable.
Ce terrain forestier ended Vioxx. Merck a volontairement retiré le médicament. Le litige qui a suivi a coûté à l'entreprise $4.85 billion in settlements. Des milliers de patients ont subi une crise cardiaque, tandis que les premiers essais, plus petits, ont montré des résultats ambigus.
Puis vint le procès APPROVe. Lorsque ses données ont été ajoutées à la parcelle forestière, l'image a radicalement changé. Le grand carré d'APPROVe a définitivement attiré le diamant mis en commun vers le mal. Le visuel était indubitable.
Ce terrain forestier ended Vioxx. Merck a volontairement retiré le médicament. Le litige qui a suivi a coûté à l'entreprise $4.85 billion in settlements. Des milliers de patients ont subi une crise cardiaque, tandis que les premiers essais, plus petits, ont montré des résultats ambigus.
THE LESSON
Un essai bien mené et suffisamment puissant peut modifier l’ensemble de l’estimation groupée. Les parcelles forestières racontent comment les preuves s’accumulent – et parfois comment elles inversent la tendance.
Le complot forestier trompeur
Vous concevez une parcelle forestière pour votre méta-analyse. L'échelle des axes et l'ordre des études peuvent modifier l'impression visuelle. Comment procédez-vous ?
VOIE A : Conception axée sur l'impact
Use a compressed axis scale to make effect sizes look larger; order studies to build a visual narrative
↓
Les lecteurs se forment des impressions exagérées sur l’ampleur de l’effet ; l'intrigue devient un outil de plaidoyer plutôt qu'un affichage de données
RÉSULTAT : Déformation visuelle des preuves
VOIE B : Concevoir pour la clarté
Use standard axis scaling; order studies by year or alphabetically; include all standard elements (weights, CIs, I²)
↓
Les lecteurs peuvent formuler leurs propres jugements ; l'intrigue sert de visualisation transparente des données
OUTCOME: Honest visual communication
"The forest plot hides nothing.
Every study visible. Every weight transparent.
Laissez le lecteur voir ce que vous avez vu—
et juger par eux-mêmes. »
Every study visible. Every weight transparent.
Laissez le lecteur voir ce que vous avez vu—
et juger par eux-mêmes. »
Une estimation globale ne suffit pas.
Vous devez également dire au lecteur :
How confident should they be in this result?
Vous devez également dire au lecteur :
How confident should they be in this result?
GRADE Certainty Assessment
Évaluation des preuves
Start: RCTs = High, Obs = Low
↓
Reasons to Downgrade?
Risk of bias-1 or -2
Inconsistency-1 or -2
Indirectness-1 or -2
Imprecision-1 or -2
Pub. bias-1 or -2
GRADE Certainty Levels
⊕⊕⊕⊕
HIGH
Very confident
Very confident
⊕⊕⊕◯
MODERATE
Likely close
Likely close
⊕⊕◯◯
LOW
May differ
May differ
⊕◯◯◯
VERY LOW
Uncertain
Uncertain
What happens when a GRADE assessment of "low certainty" collides with a public health emergency?
REAL DATA
La revue Cochrane de 2023 sur les interventions physiques visant à réduire la propagation des virus respiratoires (Jefferson et al.) a révélé que les preuves en faveur des masques en milieu communautaire étaient low certainty par GRADE, avec de larges intervalles de confiance. L'étude a été largement rapportée comme prouvant que « les masques ne fonctionnent pas », bien que les auteurs aient déclaré que les preuves étaient insuffisantes pour tirer des conclusions définitives dans un sens ou dans l'autre.
La revue Cochrane des masques : 2023
Votre examen systématique sur un sujet politiquement sensible reçoit la note GRADE de « faible certitude ». Comment communiquez-vous cela ?
CHEMIN A : Adoucir la note
Minimiser l’évaluation GRADE pour éviter toute controverse politique ; mettre l'accent sur l'estimation ponctuelle par rapport au niveau de certitude
↓
La revue perd sa crédibilité méthodologique ; GRADE devient considéré comme facultatif plutôt que rigoureux
OUTCOME: Compromised methodology
PATH B: Report Faithfully
Signalez honnêtement la note GRADE ; expliquer clairement ce que « faible certitude » signifie (et ne signifie pas) ; distinguer l'absence de preuve de la preuve d'absence
↓
Le public peut mal interpréter, mais les données scientifiques sont exactes ; les orientations futures de la recherche deviennent claires
OUTCOME: Methodological integrity
THE REVELATION
« Faible certitude » ne signifie pas « aucun effet ». Les notes GRADE doivent être rapportées fidèlement, avec une explication claire de ce qu'elles signifient, en particulier pour les sujets politiquement chargés.
"La taille de l'effet est le quoi.
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."
La discussion est l'endroit où vous interpret.
Ne pas tourner. Il ne faut pas exagérer.
But to explain what your findings mean—
et ce qu'ils font not mean.
Ne pas tourner. Il ne faut pas exagérer.
But to explain what your findings mean—
et ce qu'ils font not mean.
Discussion Structure
1
Summary of Findings
Reformuler les principaux résultats avec une note de certitude
2
Comparaison avec la littérature existante
How do your findings relate to prior reviews?
3
Forces et limites
La revue ET les études incluses
4
Implications pour la pratique
What should clinicians/policymakers do?
5
Implications pour la recherche
Quelles études sont encore nécessaires ?
Common Mistakes in Discussion
What NOT to Do
✗ Des conclusions exagérées au-delà des données
✗ Ignoring limitations
✗ Treating statistical significance as clinical importance
✗ Failing to address heterogeneity
✗ Faire des allégations causales à partir de données d’observation
Et si l’article méthodologique le plus cité jamais publié prévenait que la plupart des résultats de la recherche sont faux ?
REAL DATA
L'article de 2005 de John Ioannidis dans PLoS Medicine, « Pourquoi la plupart des résultats de recherche publiés sont faux », a été cité plus d'une fois. 10,000 times. À l’aide d’une modélisation mathématique, il a fait valoir que la probabilité qu’un résultat de recherche soit vrai dépend de la puissance de l’étude, des biais et du nombre de relations testées. Pour de nombreux modèles de recherche, la probabilité post-étude d’un véritable résultat peut être inférieure à 50 %.
Le réveil de Ioannidis : 2005
Votre méta-analyse donne un résultat statistiquement significatif, mais les études incluses sont petites, hétérogènes et nombre d'entre elles présentent un risque élevé de biais. Comment rédigez-vous la discussion ?
CHEMIN A : Survendre la découverte
Diriger avec l’estimation groupée significative ; minimiser les limitations ; formuler des recommandations de pratiques solides
↓
Cette découverte entre prématurément dans les lignes directrices ; lorsque la réplication échoue, c'est toute la méthode de méta-analyse qui est mise en cause
OUTCOME: Eroded trust in evidence synthesis
CHEMIN B : Calibrer l’interprétation
Discutez du résultat dans le contexte de la qualité, de l’hétérogénéité et de la certitude des études ; faire correspondre la force des recommandations à la force des preuves
↓
Readers understand the degree of confidence warranted; future research priorities become clear
OUTCOME: Proportionate, trustworthy conclusions
THE REVELATION
La discussion doit calibrer l’enthousiasme en fonction de la qualité des preuves. Des affirmations fortes fondées sur des preuves faibles nuisent à la crédibilité de l’ensemble du domaine.
"La discussion n'a pas pour but de faire du plaidoyer.
C'est pour une interprétation honnête.
Dites ce que montrent les preuves.
Admit what it does not show."
C'est pour une interprétation honnête.
Dites ce que montrent les preuves.
Admit what it does not show."
N'avez-vous pas entendu parler du journal Wakefield,
where conflicts of interest were hidden,
où les données ont été fabriquées,
et des millions d'enfants sont allés unvaccinated?
where conflicts of interest were hidden,
où les données ont été fabriquées,
et des millions d'enfants sont allés unvaccinated?
La fraude ROR-Autisme
THE LANCET, 1998-2010
Andrew Wakefield published a study linking MMR vaccine to autism.
Il n'a pas révélé qu'il était paid £435,643 by lawyers seeking to sue vaccine manufacturers.
Il n'a pas révélé qu'il avait filed a patent for a competing single-dose measles vaccine.
L’étude a finalement été retirée. Wakefield a été radié. Mais le mal était fait : vaccination rates plummeted, et les épidémies de rougeole sont revenues.
Il n'a pas révélé qu'il était paid £435,643 by lawyers seeking to sue vaccine manufacturers.
Il n'a pas révélé qu'il avait filed a patent for a competing single-dose measles vaccine.
L’étude a finalement été retirée. Wakefield a été radié. Mais le mal était fait : vaccination rates plummeted, et les épidémies de rougeole sont revenues.
Deer B. BMJ. 2011;342:c5347
Transparency Checklist
What to Declare
□ Protocol registration number
□ Funding sources (all)
□ Rôle du bailleur de fonds dans l'examen
□ Conflicts of interest (all authors)
□ Déclaration de disponibilité des données
□ Écarts par rapport au protocole (avec raisons)
□ Author contributions
L’initiative AllTrials
2013-PRESENT | A GRASSROOTS TRANSPARENCY MOVEMENT
En 2013, Ben Goldacre et ses collègues de la Collaboration Cochrane ont lancé AllTrials après avoir découvert une vérité troublante : approximately half of all clinical trials were never published. Les essais manquants étaient de manière disproportionnée ceux avec des résultats négatifs ou peu pratiques.
La campagne a rassemblé plus de 90 000 signataires individuels et plus de 700 organisations. Il exigeait que tous les essais passés et futurs soient enregistrés, avec des méthodes et des résultats complets rapportés.
L’impact a été transformateur. Le L’UE exige désormais l’enregistrement des essais et la communication des résultats. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.
La campagne a rassemblé plus de 90 000 signataires individuels et plus de 700 organisations. Il exigeait que tous les essais passés et futurs soient enregistrés, avec des méthodes et des résultats complets rapportés.
L’impact a été transformateur. Le L’UE exige désormais l’enregistrement des essais et la communication des résultats. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.
THE LESSON
L’accès exigeant aux données fonctionne. Un mouvement populaire a modifié les réglementations internationales, prouvant ainsi que les défenseurs de la transparence peuvent remodeler l’écosystème des preuves.
La cascade de pré-impression de l’hydroxychloroquine : 2020
Nous sommes au début de l’année 2020. Votre équipe dispose de résultats préliminaires de méta-analyse sur un traitement contre la COVID-19. La prépublication Gautret (non randomisée, 42 patients) est déjà devenue virale. Le scandale Surgisphere va bientôt révéler des données fabriquées dans les grandes revues. Vous précipitez-vous pour préimprimer ou attendez-vous ?
CHEMIN A : Préimpression pour la vitesse
Publiez immédiatement sur medRxiv pour influencer la politique ; ignorer l'examen par les pairs en cas d'urgence
↓
Si les études incluses ont des données fabriquées ou des méthodes défectueuses, votre méta-analyse amplifie les erreurs ; la rétractation nuit à la crédibilité
OUTCOME: Accelerated misinformation
PATH B: Verify, Then Publish
Évaluer rigoureusement la qualité des études ; contacter les auteurs pour obtenir des données brutes ; subir un examen rapide par les pairs avant de publier
↓
Publication plus lente, mais analyse robuste ; les conclusions survivent lorsque des études erronées sont retirées
RÉSULTAT : Preuves durables et dignes de confiance
"La transparence n'est pas une option.
Déclarez votre financement. Déclarez vos conflits.
The reader has a right to know
qui a payé pour ce travail et pourquoi.
Déclarez votre financement. Déclarez vos conflits.
The reader has a right to know
qui a payé pour ce travail et pourquoi.
Avant de soumettre
La liste de contrôle finale
PRISMA 2020 Final Check
Have You...
□ Completed all 27 PRISMA checklist items?
□ Included the PRISMA flow diagram?
□ Provided full search strategy in appendix?
□ Répertorié les études exclues avec raisons ?
□ Risque de biais signalé pour chaque étude ?
□ Provided forest plot(s)?
□ Biais de publication évalué (si ≥ 10 études) ?
□ Certitude graduée des preuves (GRADE) ?
□ Declared all conflicts of interest?
□ Cited protocol registration?
Supplementary Materials
WHAT TO INCLUDE
• Full search strategies pour toutes les bases de données
• Liste des études exclues with reasons
• Formulaires d'extraction de données (vierge et complété)
• Risk of bias details pour chaque étude
• Additional forest plots (subgroups, sensitivity)
• Funnel plot et tests statistiques
• Profil de données probantes GRADE tables
• Liste des études exclues with reasons
• Formulaires d'extraction de données (vierge et complété)
• Risk of bias details pour chaque étude
• Additional forest plots (subgroups, sensitivity)
• Funnel plot et tests statistiques
• Profil de données probantes GRADE tables
Combien de temps un article frauduleux peut-il survivre à l’examen par les pairs, à l’examen éditorial et à la contestation publique ?
REAL DATA
Andrew Wakefield's 1998 Lancet paper linking MMR vaccine to autism took 12 years être entièrement rétracté (2010). Pendant cette période, le journaliste Brian Deer a découvert des conflits financiers, des violations éthiques et des manipulations de données. Plusieurs grandes études (y compris une cohorte danoise de over 650,000 children) found no association, yet the original paper's influence persisted.
La rétractation de Wakefield : 1998-2010
Lors de l'examen par les pairs, un évaluateur soulève de sérieuses préoccupations concernant une étude incluse dans votre méta-analyse, citant des incohérences dans les données. Comment répondez-vous ?
CHEMIN A : Détourner l’inquiétude
Rejetez l'inquiétude de l'examinateur comme étant trop prudente ; conserver l’étude incluse sans autre enquête
↓
Si l’étude est retirée par la suite, votre méta-analyse est contaminée ; la conclusion devra peut-être être retirée
RÉSULTAT : Synthèse des preuves contaminées
PATH B: Investigate Thoroughly
Contactez les auteurs de l'étude pour obtenir des données brutes ; effectuer une analyse de sensibilité en excluant l'étude en question ; divulguer le problème de manière transparente
↓
Votre méta-analyse est robuste à l’inclusion ou à l’exclusion de l’étude suspecte ; l'analyse de sensibilité est documentée
RÉSULTAT : Examen résilient et autocorrectif
THE REVELATION
L'examen par les pairs est votre dernière défense avant la publication. Considérez les préoccupations des évaluateurs comme des opportunités de renforcer votre travail, et non comme des obstacles à surmonter.
"Vous avez rassemblé les preuves.
Vous l'avez bien pesé.
Vous l'avez écrit de manière transparente.
Maintenant, soumettez votre travail—
et que la vérité soit trouvée et retrouvée. »
Vous l'avez bien pesé.
Vous l'avez écrit de manière transparente.
Maintenant, soumettez votre travail—
et que la vérité soit trouvée et retrouvée. »
References
Key Sources
- Page MJ et al. BMJ. 2021;372:n71. [PRISMA 2020]
- Jefferson T et al. Cochrane 2014;4:CD008965. [Tamiflu]
- Turner EH et al. N Engl J Med. 2008;358:252-260. [Antidepressants]
- Boutron I et al. JAMA. 2010;303:2058-2064. [Spin]
- Topol EJ. N Engl J Med. 2004;351:1707-1709. [Vioxx]
- Deer B. BMJ. 2011;342:c5347. [Wakefield]
- Sterne JAC et al. BMJ. 2019;366:l4898. [RoB 2]
- Higgins JPT et al. Cochrane Handbook. 2023.
- Schünemann HJ et al. GRADE Handbook. 2013.
- Ioannidis JPA. PLoS Med. 2005;2:e124. [Why most research is false]
What percentage of antidepressant trials appeared positive in published literature vs. FDA data?
Published 51%, FDA 94%
Published 94%, FDA 51%
Both about 75%
Published 80%, FDA 60%
Quel est l’intérêt d’enregistrer un protocole avant de procéder à une revue systématique ?
To get funding
To claim priority
To prevent outcome switching and data-driven decisions
Pour rendre l'avis publiable
Quand ne faut-il PAS regrouper les études dans une méta-analyse ?
Lorsqu'il y a moins de 10 études
Lorsque les études sont trop hétérogènes sur le plan clinique ou méthodologique
Lorsque l’effet n’est pas statistiquement significatif
Quand les études proviennent de pays différents
✔
Course Complete
« Vous connaissez désormais le pacte de preuve :
Inscrivez-vous avant de rechercher.
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
Poolez judicieusement – ou pas du tout.
Write so that truth may be found,
et retrouvé, par ceux qui suivent.
Inscrivez-vous avant de rechercher.
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
Poolez judicieusement – ou pas du tout.
Write so that truth may be found,
et retrouvé, par ceux qui suivent.
Les méthodes ne sont rien sans les outils pour les exécuter.
Quel logiciel portera votre analyse
from protocol to forest plot?
Quel logiciel portera votre analyse
from protocol to forest plot?
Software Decision Tree
Choisir vos outils
Meta-Analysis Software
↓
Your Context?
Cochrane Review
RevManFree, official
Academic/Flexible
R metaforFree, powerful
Institution License
Stata metaComprehensive
Point-and-Click
CMAUser-friendly
La boîte à outils essentielle
RevMan
Cochrane official
Free download
Free download
R + metafor
Most flexible
Reproducible code
Reproducible code
GRADEpro
Certainty tables
SoF tables
SoF tables
Rayyan
Screening tool
AI-assisted
AI-assisted
REPRODUCIBILITY
Les outils basés sur le code (R, Stata) créent reproducible analyses. Partagez votre code afin que d'autres puissent vérifier votre travail.
R metafor Example
BASIC META-ANALYSIS IN R
library(metafor)
# Calculate effect sizes
dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,
ci=events_ctrl, di=noevents_ctrl, data=mydata)
# Random effects model
res <- rma(yi, vi, data=dat, method="REML")
# Forest plot
forest(res, slab=paste(author, year))
# Calculate effect sizes
dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,
ci=events_ctrl, di=noevents_ctrl, data=mydata)
# Random effects model
res <- rma(yi, vi, data=dat, method="REML")
# Forest plot
forest(res, slab=paste(author, year))
Comment coordonner la rédaction lorsqu'une revue systématique compte des dizaines d'auteurs ?
REAL DATA
L'essai SPRINT (2015) répertorié sur 100 authors de dizaines d'institutions. Le groupe de rédaction comprenait un comité directeur, des enquêteurs sur place et des statisticiens. La coordination des contributions, la gestion du contrôle des versions et la détermination du crédit de paternité nécessitaient des structures formelles. Les critères de l'ICMJE définissent la paternité comme nécessitant une contribution substantielle, une rédaction ou une révision, une approbation finale et une responsabilité.
Team Writing Challenges: Large Collaborative Reviews
Votre équipe d'examen systématique compte 12 membres répartis dans 4 pays. Comment gérez-vous le processus de rédaction ?
PATH A: Informal Coordination
Pass drafts via email; resolve authorship at the end; no writing plan or version control
↓
Duplication of effort; authorship disputes at submission; inconsistent voice and formatting; lost contributions
RÉSULTAT : Retards et conflits
PATH B: Structured Process
Attribuer les chefs de section à l'avance ; utiliser des plateformes partagées avec contrôle de version ; convenir des critères de l'ICMJE et de l'ordre des auteurs dès le début
↓
Responsabilité claire ; sortie cohérente ; des contributions transparentes ; la paternité est décidée avant que les résultats ne soient connus
OUTCOME: Efficient, fair collaboration
THE REVELATION
Convenez des critères de paternité et des responsabilités de rédaction avant le début du travail. Les litiges sont plus difficiles à résoudre une fois les résultats connus.
"L'outil n'effectue pas l'analyse.
L'analyste le fait.
Mais choisissez judicieusement votre outil -
et partagez votre code pour que la vérité soit révélée. vérifié."
L'analyste le fait.
Mais choisissez judicieusement votre outil -
et partagez votre code pour que la vérité soit révélée. vérifié."
Tout le monde n'écrit pas des méta-analyses.
But every clinician, every policymaker, every patient
must know how to read them.
But every clinician, every policymaker, every patient
must know how to read them.
Le HRT Inversion
WOMEN'S HEALTH INITIATIVE, 2002
Pendant des décennies, des études observationnelles ont suggéré que le traitement hormonal substitutif (THS) protégeait les femmes des maladies cardiaques.
Les méta-analyses de ces études ont montré un 35-50% reduction in cardiovascular risk.
Puis l'essai randomisé WHI a révélé la vérité : le THS increased heart attack risk by 29%.
The observational meta-analyses had pooled confounded data— les femmes en meilleure santé ont choisi Le THS, pas l'inverse.
Les méta-analyses de ces études ont montré un 35-50% reduction in cardiovascular risk.
Puis l'essai randomisé WHI a révélé la vérité : le THS increased heart attack risk by 29%.
The observational meta-analyses had pooled confounded data— les femmes en meilleure santé ont choisi Le THS, pas l'inverse.
Rossouw JE et al. JAMA. 2002;288:321-333
How to Read a Forest Plot
Consumer's Guide
Lire l'intrigue forestière
↓
Line of no effectRR=1 or MD=0
Diamond positionLeft=benefit, Right=harm
Diamond widthNarrow=precise
↓
Does diamond cross the line?
NoStatistically significant
YesNot significant
Red Flags When Reading
Warning Signs in Published Meta-Analyses
⚠ No protocol registration cited
⚠ Single database searched
⚠ No risk of bias assessment
⚠ High I² but no investigation
⚠ Asymmetric funnel plot ignored
⚠ Financement de l'industrie, pas d'analyse de sensibilité
⚠ Les conclusions dépassent les preuves
What GRADE Ratings Mean
POUR LES CLINICIENS ET LES PATIENTS
HIGH: We are very confident. Future research unlikely to change.
MODERATE: Probably close to truth. Future research may change estimate.
LOW: Uncertain. Future research likely to change substantially.
VERY LOW: Very uncertain. Any estimate is speculative.
MODERATE: Probably close to truth. Future research may change estimate.
LOW: Uncertain. Future research likely to change substantially.
VERY LOW: Very uncertain. Any estimate is speculative.
"Lisez la forêt, pas seulement le diamant.
Recherchez le protocole. Vérifiez le biais.
Ask: Who funded this? What did they hide?
Le lecteur averti est le gardien de la vérité."
Recherchez le protocole. Vérifiez le biais.
Ask: Who funded this? What did they hide?
Le lecteur averti est le gardien de la vérité."
What if you must compare treatments
qui n'ont jamais été testés en face-à-face ?
C'est le domaine de network meta-analysis.
qui n'ont jamais été testés en face-à-face ?
C'est le domaine de network meta-analysis.
When to Use Network MA
NMA Decision Tree
Multiple Treatments
↓
Direct comparisons available?
All pairs directly compared
Pairwise MAStandard approach
Some indirect only
Network MABorrow strength
↓
Check transitivity assumptionSimilar populations across comparisons
La géométrie du réseau
VISUALISER LE PREUVE
Nodes = Treatments (size = sample)
Edges = Comparaisons directes (largeur = études)
Dashed = Preuves indirectes uniquement
League Tables
LECTURE DES RÉSULTATS NMA
League tables show all pairwise comparisons à partir du réseau.
• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options
• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options
CRITICAL ASSUMPTION
Transitivity: Si A contre B et B vs C sont comparés chez des patients similaires, nous pouvons estimer indirectement A vs C.
What happens to meta-analyses when a prolific author's entire body of work is retracted?
REAL DATA
Joachim Boldt, a German anesthesiologist, had over 220 papers retracted pour la fabrication de données (découvert en 2010-2011). Ses études sur les solutions colloïdales ont été incluses dans plusieurs revues systématiques et méta-analyses. Lorsque les rétractations sont arrivées, chaque méta-analyse contenant son travail a dû être réévaluée. Certaines conclusions ont considérablement changé lorsque ses données fabriquées ont été supprimées.
La cascade de rétraction de Boldt : 2010-2011
Vous découvrez qu'une étude incluse dans votre méta-analyse publiée a été rétractée pour fabrication de données. Que faire ?
PATH A: Hope No One Notices
Ignorer la rétractation ; la méta-analyse est déjà publiée et l'étude rétractée était de petite taille
↓
D'autres citent votre méta-analyse ; les données fabriquées se propagent à travers des citations secondaires ; les décisions en matière de soins aux patients sont basées sur des preuves contaminées
OUTCOME: Cascading harm from inaction
PATH B: Self-Correct Publicly
Publier une correction ou une analyse mise à jour excluant l'étude rétractée ; aviser le journal ; indiquer si les conclusions changent
↓
Le dossier scientifique est corrigé ; les lecteurs voient l'analyse mise à jour ; votre réputation d'intégrité est renforcée
OUTCOME: Scientific self-correction
THE REVELATION
L'intégrité de la synthèse des preuves dépend d'une vigilance constante. Lorsque les études incluses sont retirées, le devoir éthique est de mettre à jour et de corriger, et non de garder le silence.
"When treatments have never met,
le réseau construit un pont de preuves.
But the bridge rests on transitivity—
vérifier que les populations sont comparables."
le réseau construit un pont de preuves.
But the bridge rests on transitivity—
vérifier que les populations sont comparables."
N'avez-vous pas vu l'IA qui a prédit le cancer
avec une précision de 99 % dans l'ensemble d'entraînement –
et a échoué de manière catastrophique
lorsqu'il est déployé dans le real world?
avec une précision de 99 % dans l'ensemble d'entraînement –
et a échoué de manière catastrophique
lorsqu'il est déployé dans le real world?
L'échec de l'algorithme de sepsie
EPIC SEPSIS MODEL, 2021
Epic's sepsis prediction algorithm was deployed in hundreds of hospitals.
Internal validation showed excellent performance.
Mais une étude indépendante de Michigan Medicine a révélé que le modèle missed 67% of sepsis cases and generated excessive false alarms.
L'algorithme avait été validé sur la même population a été formé sur— une recette pour le surapprentissage et l'échec.
Internal validation showed excellent performance.
Mais une étude indépendante de Michigan Medicine a révélé que le modèle missed 67% of sepsis cases and generated excessive false alarms.
L'algorithme avait été validé sur la même population a été formé sur— une recette pour le surapprentissage et l'échec.
Wong A et al. JAMA Intern Med. 2021;181:1065-1070
AI Validation Decision Tree
Niveaux de preuves pour l'IA/ML
AI Prediction Model
↓
Validation Level?
Internal onlyMême répartition des données
HIGH RISK
TemporalDifferent time
MODERATE
ExternalDifferent site
BETTER
Impact RCTPatient outcomes
BEST
PROBAST & TRIPOD
PROBAST
Prediction model
Risk of Bias
Risk of Bias
TRIPOD
Reporting
guideline
guideline
TRIPOD-AI
AI-specific
extension
extension
CALIBRATION VS. DISCRIMINATION
AUC/c-statistic: Can the model rank patients? (discrimination)
Calibration: Les probabilités prédites sont-elles exactes ?
A model can have good AUC but poor calibration—and harm patients.
Calibration: Les probabilités prédites sont-elles exactes ?
A model can have good AUC but poor calibration—and harm patients.
"L'algorithme appris des données,
et les données étaient biaisées.
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."
et les données étaient biaisées.
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."
La méta-analyse parle en chiffres.
Mais le patient entend en peurs et espoirs.
Comment allez-vous combler le fossé ?
Mais le patient entend en peurs et espoirs.
Comment allez-vous combler le fossé ?
Translating Numbers to Meaning
Communication Decision Tree
Meta-Analysis Result
↓
Effect Size Type?
Relative (RR, OR)
Convert to NNTMore intuitive
Absolute (RD)
Use directly"X fewer per 1000"
Continuous (MD)
ContextualizeMinimal important diff
Scripts pour les patients
EXPLAINING A POSITIVE RESULT
"La recherche a regroupé 15 études avec 8 000 patients.
Il a été constaté que ce traitement réduit le risque de [résultat] d'environ 30 %.
En termes pratiques : si nous traitons 100 personnes comme vous, environ 5 personnes de moins auront un [résultat] par rapport à l'absence de traitement.
We're moderately confident in this—future research might change it slightly.
Quelles questions vous posez-vous sur "
Il a été constaté que ce traitement réduit le risque de [résultat] d'environ 30 %.
En termes pratiques : si nous traitons 100 personnes comme vous, environ 5 personnes de moins auront un [résultat] par rapport à l'absence de traitement.
We're moderately confident in this—future research might change it slightly.
Quelles questions vous posez-vous sur "
Questions Patients Should Ask
Empowering Patients
1 "Combien d'études et de patients ont été inclus ?"
2 "Dans quelle mesure les chercheurs sont-ils confiants dans ce résultat ?"
3 "Quels sont les avantages ET les inconvénients ?"
4 "Des personnes comme moi ont-elles été incluses dans ces résultats ? études ?"
5 "Qui a financé cette recherche ?"
6 "Qu'est-ce que cela signifie pour ma situation spécifique ?"
Can a spreadsheet error in an academic paper directly shape the economic policy of entire nations?
REAL DATA
L'article de Reinhart et Rogoff de 2010 affirmait que les pays dont la dette publique dépassait 90% of GDP a connu une croissance considérablement plus faible. Ce constat a été largement cité pour justifier les politiques d’austérité à travers l’Europe. En 2013, Herndon, Ash et Pollin ont découvert une erreur dans la feuille de calcul : plusieurs pays avaient été accidentellement exclus des calculs. Après correction, le seuil strict de 90 % a disparu.
L'impact politique de Reinhart-Rogoff : 2010-2013
Les résultats de votre méta-analyse ont des implications politiques claires. Les décideurs politiques sont avides d’un message simple. Comment rédigez-vous la note politique ?
CHEMIN A : Simplifier à l'excès pour l'impact
Fournissez un seuil ou un numéro de titre clair ; omettre les mises en garde et les plages d'incertitude pour une influence politique maximale
↓
La politique est adoptée sur la base de résultats simplifiés ; lorsque des nuances apparaissent ou que des erreurs sont découvertes, la recherche et la politique qui en résulte sont discréditées
OUTCOME: Policy built on a fragile foundation
VOIE B : Communiquer avec intégrité
Présenter les preuves avec l'incertitude appropriée ; distinguer les résultats forts des résultats suggestifs ; fournir des résumés exploitables qui préservent les nuances
↓
Les décideurs politiques comprennent ce que soutiennent les preuves et où l'incertitude demeure ; les décisions sont prises avec la prudence appropriée
OUTCOME: Durable, evidence-informed policy
THE REVELATION
Policy briefs must communicate uncertainty honestly. Oversimplified findings may gain influence quickly but collapse when scrutinized, damaging trust in research-policy relationships.
"La méta-analyse parle en chiffres.
Le patient entend des peurs et des espoirs.
Votre travail consiste à être le traducteur -
fidèle aux preuves, compatissant envers les personne."
Le patient entend des peurs et des espoirs.
Votre travail consiste à être le traducteur -
fidèle aux preuves, compatissant envers les personne."
Une revue systématique capture des preuves à un moment donné.
But science does not stop.
Comment est-ce que nous conservons les preuves alive?
But science does not stop.
Comment est-ce que nous conservons les preuves alive?
Living Systematic Reviews
COVID-19 PANDEMIC, 2020-2023
Pendant la pandémie, les preuves sont apparues plus rapidement que les revues traditionnelles ne pouvaient les synthétiser.
Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.
Le consortium COVID-NMA a produit des revues vivantes sur les traitements, les vaccins et les diagnostics, mettant à jour les recommandations real-time à mesure que les preuves évoluaient.
Hydroxychloroquine went from "promising" to "ineffective" within months.
Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.
Le consortium COVID-NMA a produit des revues vivantes sur les traitements, les vaccins et les diagnostics, mettant à jour les recommandations real-time à mesure que les preuves évoluaient.
Hydroxychloroquine went from "promising" to "ineffective" within months.
Defined by Cochrane: continual updates at ≤monthly intervals
When to Use Living Reviews
Décision de la revue vivante Arbre
Décision de type d'examen
↓
Les preuves évoluent-elles rapidement ?
Yes + High Priority
Living ReviewContinuous updates
No / Stable
Standard ReviewUpdate every 2-5 years
↓
Resource intensiveRequires ongoing funding
L'avenir de la synthèse des preuves
Automation
ML-assisted
screening
screening
IPD-MA
Individual patient
data pooling
data pooling
Real-World
EHR-based
evidence
evidence
Adaptive
Platform trials
+ MA
+ MA
"L'alliance des preuves n'est pas statique.
Il grandit à chaque nouvelle étudiez chaque nouvelle question.
Gardez vos avis en vie.
Gardez vos méthodes transparentes.
Gardez la vérité au centre de tout ce que vous faites."
Il grandit à chaque nouvelle étudiez chaque nouvelle question.
Gardez vos avis en vie.
Gardez vos méthodes transparentes.
Gardez la vérité au centre de tout ce que vous faites."
1 / 4