Writing > Los datos ocultos
==================== MÓDULO 1: LOS DATOS OCULTOS =====================
==================== MÓDULO 2: EL PACTO (PRISMA) ====================
==================== MÓDULO 3: EL PROTOCOLO =====================
==================== MÓDULO 4: EL TÍTULO ====================
==================== MÓDULO 5: EL RESUMEN =====================
==================== MÓDULO 6: LA PREGUNTA (PICO) ====================
==================== MÓDULO 7: LA BÚSQUEDA ====================
===================== MÓDULO 8: LA SELECCIÓN ====================
==================== MÓDULO 9: RIESGO DE SESGO. ====================
==================== MÓDULO 10: EXTRACCIÓN DE DATOS ====================
===================== MÓDULO 11: MEDIDAS DE EFECTO ====================
==================== MÓDULO 12: LA SÍNTESIS =====================
==================== MÓDULO 14: SESGO DE PUBLICACIÓN ====================
==================== MÓDULO 15: LA PARCELA DEL BOSQUE ====================
==================== MÓDULO 16: CERTEZA DE LA PRUEBA ====================
==================== MÓDULO 17: LA DISCUSIÓN =====================
==================== MÓDULO 19: LA VERIFICACIÓN FINAL =====================
===================== MÓDULO 20: CUESTIONARIO Y REFERENCIAS =====================
==================== MÓDULO 21: HERRAMIENTAS DE SOFTWARE ====================
==================== MÓDULO 22: LECTURA DE META-ANÁLISIS =====================
==================== MÓDULO 23: META-ANÁLISIS DE RED ====================
Nodes = Treatments (size = sample)
Edges = Comparaciones directas (ancho = estudios)
Dashed = Solo evidencia indirecta
===================== MÓDULO 24: AI/ML MODELOS DE PREDICCIÓN ====================
==================== MÓDULO 25: COMUNICACIÓN DEL PACIENTE =====================
==================== MÓDULO 26: REVISIONES VIVAS Y FUTURO =====================
¿No habéis oído hablar de las pruebas que estaban ocultas,
los datos que fueron enterrados,
los periódicos que dijeron solo la mitad de la verdad?
los datos que fueron enterrados,
los periódicos que dijeron solo la mitad de la verdad?
El escándalo del Tamiflu
COCHRANE COLLABORATION, 2009-2014
Governments stockpiled $9 billion worth of Tamiflu to fight pandemic flu.
Pero cuando los investigadores Cochrane intentaron verificar los beneficios del medicamento, encontraron que 60% of trial data had never been published.
Después de una batalla de 5 años, obtuvieron los datos ocultos. La conclusión cambió: Tamiflu shortened symptoms by less than a day y no evitó complicaciones.
Se gastaron 9 mil millones de dólares en pruebas que nunca se revelaron en su totalidad.
Pero cuando los investigadores Cochrane intentaron verificar los beneficios del medicamento, encontraron que 60% of trial data had never been published.
Después de una batalla de 5 años, obtuvieron los datos ocultos. La conclusión cambió: Tamiflu shortened symptoms by less than a day y no evitó complicaciones.
Se gastaron 9 mil millones de dólares en pruebas que nunca se revelaron en su totalidad.
Jefferson T et al. Cochrane Database Syst Rev. 2014;4:CD008965
Why We Write Meta-Analyses
El propósito de la síntesis
Individual Studies
↓
Problem?
Small samplesLow power
Conflicting resultsWhich to believe?
Publication biasMissing negatives
↓
Meta-AnalysisSystematic synthesis
↓
More precise estimate + Bias detection
La campaña de transparencia de Tamiflu
2009-2014 | COCHRANE COLLABORATION vs. ROCHE
For years, governments worldwide stockpiled Tamiflu (oseltamivir) at a cost of billions of dollars, basado en las afirmaciones del fabricante de que previno las complicaciones de la gripe y las hospitalizaciones.
Cuando los revisores Cochrane solicitaron los datos completos del ensayo para verificar estas afirmaciones, Roche se negó durante 5 años, citando "confidencialidad". La empresa había realizado 10 ensayos de tratamiento, pero sólo 2 se publicaron en su totalidad.
Después de una presión incesante, los informes de estudios clínicos finalmente se publicaron en 2014. El panorama cambió drásticamente: Tamiflu acortó los síntomas en menos de un día y no mostró evidencia de prevenir hospitalizaciones o complicaciones graves.
Cuando los revisores Cochrane solicitaron los datos completos del ensayo para verificar estas afirmaciones, Roche se negó durante 5 años, citando "confidencialidad". La empresa había realizado 10 ensayos de tratamiento, pero sólo 2 se publicaron en su totalidad.
Después de una presión incesante, los informes de estudios clínicos finalmente se publicaron en 2014. El panorama cambió drásticamente: Tamiflu acortó los síntomas en menos de un día y no mostró evidencia de prevenir hospitalizaciones o complicaciones graves.
THE LESSON
Un metanálisis es tan bueno como los datos a los que puede acceder. Los ensayos ocultos pueden hacer que tratamientos ineficaces parezcan eficaces y costar miles de millones en recursos malgastados.
"Y la empresa lo sabía,
y los reguladores lo sabían,
pero los artículos publicados no lo decían...
y se gastaron miles de millones en una verdad a medias."
y los reguladores lo sabían,
pero los artículos publicados no lo decían...
y se gastaron miles de millones en una verdad a medias."
Por eso escribimos metanálisis: para encontrar toda la verdad.
Si deseas que tu trabajo sea trusted,
debes hacer un pacto con tus lectores.
Ese pacto tiene un nombre:
PRISMA.
debes hacer un pacto con tus lectores.
Ese pacto tiene un nombre:
PRISMA.
PRISMA 2020
Elementos de informes preferidos para revisiones sistemáticas y metanálisis
27
Checklist items
2020
Updated version
50K+
Citations
THE COVENANT
PRISMA no es burocracia. es un promete a tus lectores
que has realizado el trabajo de forma transparente y completa.
Las siete secciones
1
Title
Identify as systematic review, meta-analysis, or both
2
Abstract
Resumen estructurado de toda la reseña.
3
Introduction
Justificación y objetivos con PICO
4
Methods
Protocol, search, selection, data, bias, synthesis
5
Results
Flow diagram, characteristics, risk of bias, synthesis results
6
Discussion
Summary, limitations, interpretation, implications
7
Other
Registration, funding, conflicts of interest
La revolución PRISMA
2009-PRESENT | TRANSFORMING SYSTEMATIC REVIEW REPORTING
Antes de PRISMA (2009), los informes de revisiones sistemáticas eran caóticos. Algunas reseñas no informaron en absoluto sobre sus estrategias de búsqueda. Otros omitieron las evaluaciones del riesgo de sesgo. Muchos no lograron explicar por qué se excluyeron los estudios. Readers couldn't judge quality—they had to trust blindly.
La lista de verificación de 27 elementos de PRISMA lo cambió todo. Requirió que los autores documentaran cada paso: la estrategia de búsqueda completa, los criterios de selección, los métodos de extracción y las decisiones de síntesis.
Today, más de 10.000 revistas respaldan PRISMA. Lo que alguna vez fue una transparencia excepcional se convirtió en el estándar esperado.
La lista de verificación de 27 elementos de PRISMA lo cambió todo. Requirió que los autores documentaran cada paso: la estrategia de búsqueda completa, los criterios de selección, los métodos de extracción y las decisiones de síntesis.
Today, más de 10.000 revistas respaldan PRISMA. Lo que alguna vez fue una transparencia excepcional se convirtió en el estándar esperado.
THE LESSON
Una simple lista de verificación transformó un campo completo. Los informes transparentes pasaron de ser una excepción a ser una norma: una prueba de que los estándares importan.
"PRISMA es el pacto entre autor y lector:
Te mostraré todo
how I searched, what I found, what I excluded, why.
Así que puedes juzgar mi trabajo y confiar (o cuestionar) mis conclusiones".
Te mostraré todo
how I searched, what I found, what I excluded, why.
Así que puedes juzgar mi trabajo y confiar (o cuestionar) mis conclusiones".
¿No has visto al revisor
quién cambió el resultado después de ver los datos,
quién movió las porterías hasta los resultados looked right?
quién cambió el resultado después de ver los datos,
quién movió las porterías hasta los resultados looked right?
Los metanálisis retractados
MULTIPLE JOURNALS, 2010-2023
Los investigadores encontraron que many retracted meta-analyses had no pre-registered protocol.
Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• Agregar o eliminar estudios para cambiar la conclusión.
El protocolo es tuyo. pre-commitment device— evita que te engañes a ti mismo.
Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• Agregar o eliminar estudios para cambiar la conclusión.
El protocolo es tuyo. pre-commitment device— evita que te engañes a ti mismo.
Defined outcome switching: PROSPERO registration prevents bias
Protocol Registration Decision Tree
Dónde registrar su protocolo
Nueva revisión sistemática
↓
Type of Review?
Health/Medical
PROSPEROprospero.york.ac.uk
Any Field
OSFosf.io/registries
Cochrane
Cochrane LibraryIntegrated protocol
↓
Registration ID in PaperCite in Methods
What the Protocol Must Contain
Essential Protocol Elements
1. Pregunta de investigación (formato PICO)
2. Eligibility criteria (inclusion/exclusion)
3. Information sources and search strategy
4. Proceso de selección de estudios
5. Elementos de extracción de datos
6. Herramienta de evaluación del riesgo de sesgo
7. Resultados primarios y secundarios
8. Métodos de síntesis (plan de metanálisis)
9. Análisis de subgrupos y de sensibilidad.
"Escriba el protocolo antes de ver los datos.
Lock it in a public registry.
Then follow it—or explain why you deviated.
Así es como demuestras que no hiciste trampa".
Lock it in a public registry.
Then follow it—or explain why you deviated.
Así es como demuestras que no hiciste trampa".
El título es la primera promesa que haces.
Debe decirle al lector:
Qué estudiaste, cómo lo estudiaste y qué tipo de estudio es.
Debe decirle al lector:
Qué estudiaste, cómo lo estudiaste y qué tipo de estudio es.
La anatomía de un título
PRISMA Title Requirements
Title Must Include
↓
Populationquien fue estudiado
Interventionque se hizo
Outcomelo que se midió
↓
+ "Revisión Sistemática" o "Metanálisis"
Good vs. Bad Titles
❌ BAD TITLE
"Una revisión del tratamiento de la diabetes"
Problems: No population specified, no intervention, no outcome, doesn't say systematic review
Problems: No population specified, no intervention, no outcome, doesn't say systematic review
✓ GOOD TITLE
"Eficacia de los inhibidores de SGLT2 sobre la mortalidad cardiovascular en adultos con diabetes tipo 2: una revisión sistemática y un metanálisis"
Población, intervención, resultado y tipo de estudio, todo claro
Población, intervención, resultado y tipo de estudio, todo claro
"El título es su primera palabra para el lector.
Hazlo completo. Hazlo honesto.
Tell them exactly what they will find within."
Hazlo completo. Hazlo honesto.
Tell them exactly what they will find within."
Most readers will only read your abstract.
If the abstract lies, or omits, or misleads—
most readers will never know.
If the abstract lies, or omits, or misleads—
most readers will never know.
El problema del giro
BOUTRON ET AL., 2010
Researchers analyzed 72 RCTs with non-significant primary outcomes.
encontraron que 40% of abstracts contained "spin"— informes que se centraron en resultados secundarios, subgrupos o cambios dentro del grupo para que los resultados parecieran más favorables de lo que eran.
El resumen contaba una historia diferente a la de los datos.
encontraron que 40% of abstracts contained "spin"— informes que se centraron en resultados secundarios, subgrupos o cambios dentro del grupo para que los resultados parecieran más favorables de lo que eran.
El resumen contaba una historia diferente a la de los datos.
Boutron I et al. JAMA. 2010;303:2058-2064
Structured Abstract Elements
PRISMA Abstract Checklist
□ Antecedentes y objetivos
□ Eligibility criteria
□ Information sources
□ Risk of bias assessment
□ Synthesis methods
□ Resultados (# estudios, # participantes, estimación del efecto con IC)
□ Limitations
□ Conclusiones e implicaciones
□ Registration number
¿Qué sucede cuando el resumen cuenta una historia diferente a la del artículo mismo?
REAL DATA
Pitkin et al. (1999, BMJ) examinaron resúmenes estructurados en seis revistas importantes y encontraron que 18-68% de los resúmenes contenían datos inconsistentes con el artículo completo. Las deficiencias variaron desde errores numéricos hasta conclusiones no respaldadas por los resultados informados.
El resumen engañoso: Pitkin 1999
Su metanálisis encontró un resultado primario no significativo (RR 0,92; IC del 95 %: 0,78 a 1,09). ¿Cómo se escribe el resumen?
RUTA A: Girar lo abstracto
Emphasize a significant secondary outcome and use language like "trend toward benefit"
↓
Los lectores que sólo ven el resumen se forman una impresión engañosamente positiva del tratamiento.
OUTCOME: Misleading clinical decisions
PATH B: Report Faithfully
Indique claramente el resultado primario no significativo y anote los resultados secundarios como exploratorios.
↓
Los lectores obtienen un resumen preciso; aquellos que necesiten detalles lean el artículo completo
RESULTADO: Se preserva la integridad de la evidencia
THE REVELATION
La mayoría de los lectores nunca pasan del resumen. Si el resumen es engañoso, la honestidad del artículo completo no puede reparar el daño.
"No gires. No te escondas.
Si el resultado primario fue nulo, dígalo.
The abstract must be a faithful mirror—
No es un retrato halagador."
Si el resultado primario fue nulo, dígalo.
The abstract must be a faithful mirror—
No es un retrato halagador."
A vague question yields vague answers.
Antes de buscar, antes de escribir...
debes saber exactamente lo que buscas.
Antes de buscar, antes de escribir...
debes saber exactamente lo que buscas.
El marco PICO
Estructurar la pregunta de investigación
Research Question
↓
PPopulation
Who?
IIntervention
What treatment?
CComparator
Vs. what?
OOutcome
What measured?
PICO Example
TRANSFORMAR UNA PREGUNTA VAGA
Vague: "Does exercise help depression?"
PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)
Ahora sabes exactamente qué buscar.
PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)
Ahora sabes exactamente qué buscar.
"Defina su pregunta con precisión.
¿Quiénes son los pacientes? ¿Cuál es el tratamiento?
¿Qué es el comparador? ¿Qué medirás?
PICO es el mapa antes del viaje."
¿Quiénes son los pacientes? ¿Cuál es el tratamiento?
¿Qué es el comparador? ¿Qué medirás?
PICO es el mapa antes del viaje."
¿No has oído hablar del metanálisis?
that searched only one database,
se perdió la mitad de la evidencia,
y dibujó el wrong conclusion?
that searched only one database,
se perdió la mitad de la evidencia,
y dibujó el wrong conclusion?
The Search Strategy Decision Tree
Where to Search
Comprehensive Search
↓
Minimum Databases
MEDLINEPubMed
EmbaseEuropean focus
CENTRALCochrane trials
↓
Plus Additional Sources
Trial registriesClinicalTrials.gov
Grey literatureTheses, reports
Reference listsBackward citation
Documentar la búsqueda
WHAT TO REPORT
• Full search strategy for at least one database (appendix)
• Date of search para cada base de datos
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• Contacto con los autores para datos no publicados
• Date of search para cada base de datos
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• Contacto con los autores para datos no publicados
LA PRUEBA DE REPRODUCIBILIDAD
Another researcher should be able to replica tu búsqueda exactamente
y encontrar el mismo número de registros.
The Cochrane Search Strategy Discovery
2003 | REVISIÓN DE LA METODOLOGÍA COCHRANE
Cochrane researchers asked a simple question: What would happen if systematic reviewers only searched MEDLINE?
La respuesta fue alarmante. Habrían perdido el 30 % de los estudios incluidos, incluidos algunos que cambiaron por completo las conclusiones del metanálisis.
One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. Los estudios que faltaban eran ensayos negativos más pequeños indexados en bases de datos especializadas como EMBASE y PsycINFO.
La respuesta fue alarmante. Habrían perdido el 30 % de los estudios incluidos, incluidos algunos que cambiaron por completo las conclusiones del metanálisis.
One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. Los estudios que faltaban eran ensayos negativos más pequeños indexados en bases de datos especializadas como EMBASE y PsycINFO.
THE LESSON
Las búsquedas en bases de datos únicas pueden pasar por alto sistemáticamente ensayos negativos. Los estudios que no están en MEDLINE pueden ser los mismos estudios que cambian su conclusión.
"Search wide. Search deep.
Document every database, every date, every term.
La evidencia que se pierde puede ser la evidencia que más importa."
Document every database, every date, every term.
La evidencia que se pierde puede ser la evidencia que más importa."
De miles de registros, debes elegir.
But choose by what rule?
¿Y quién verificará tus elecciones?
But choose by what rule?
¿Y quién verificará tus elecciones?
El diagrama de flujo PRISMA
PRISMA 2020 Flow Diagram
IDENTIFICATION
n = 3,847
Registros de bases de datos
↓
Duplicates removed (n = 892)
SCREENING
n = 2,955
Titles/abstracts screened
↓
Excluded (n = 2,680)
ELIGIBILITY
n = 275
Full-text assessed
↓
Excluidos por motivos (n = 247)
INCLUDED
n = 28
Studies in synthesis
Selection Process Decision Tree
Who Selects? How?
Study Selection
↓
Two independent reviewersGold standard
↓
Disagreement?
ConsensusDiscussion
Third reviewerArbiter
One reviewer onlyAcknowledge limitation
REPORT AGREEMENT
Calcular e informar inter-rater agreement (kappa statistic).
Low agreement suggests unclear criteria.
¿Puede un análisis de subgrupo post-hoc de un solo ensayo remodelar un campo completo durante una década?
REAL DATA
La Iniciativa de Salud de la Mujer (WHI, 2002) encontró que la TRH increased cardiovascular risk overall. But post-hoc subgroup analysis suggested women aged <60 o dentro de los 10 años posteriores a la menopausia podría beneficiarse, mientras que las mujeres mayores resultaron perjudicadas. Esta "hipótesis del momento" alimentó años de debate y estudios adicionales.
The HRT Timing Hypothesis: WHI 2002
Su metanálisis de la TRH muestra daños en general, pero un subgrupo exploratorio sugiere beneficios en mujeres más jóvenes. ¿Esto?
RUTA A: Exagerar el subgrupo
Encabeza el resultado del subgrupo de edad como si fuera el hallazgo principal
↓
Los médicos recetan TRH basándose en un subgrupo exploratorio con poca potencia, el hallazgo puede no replicarse
OUTCOME: Premature clinical change
PATH B: Report Honestly
Present overall result as primary; label subgroup as exploratory and pre-specified or post-hoc
↓
Readers understand the hypothesis needs confirmation; future trials can be designed to test it
OUTCOME: Responsible hypothesis generation
THE REVELATION
Análisis de subgrupos; genere hipótesis, no conclusiones. Siempre etiquételas como exploratorias e informe el resultado general primero.
"Every exclusion must have a reason.
Every reason must be documented.
Two pairs of eyes are better than one—
por lo que uno pasa por alto, el otro puede captarlo."
Every reason must be documented.
Two pairs of eyes are better than one—
por lo que uno pasa por alto, el otro puede captarlo."
¿No has visto el metanálisis
que reunió buenos estudios con malos,
y llamó al promedio truth?
que reunió buenos estudios con malos,
y llamó al promedio truth?
El peligro de ignorar? Sesgo
EL ESCÁNDALO DE LOS ANTIDEPRESIVOS
Turner et al. (2008) obtained FDA data on 74 antidepressant trials.
In the published literature: el 94% de los ensayos fueron positivos.
In the FDA database: solo el 51% fueron positivos.
Los metanálisis publicados habían agrupado datos informados selectivamente. El tamaño del efecto fue inflated by 32%.
In the published literature: el 94% de los ensayos fueron positivos.
In the FDA database: solo el 51% fueron positivos.
Los metanálisis publicados habían agrupado datos informados selectivamente. El tamaño del efecto fue inflated by 32%.
Turner EH et al. N Engl J Med. 2008;358:252-260
Herramientas de evaluación del riesgo de sesgo
¿Qué herramienta utilizar?
Study Design
↓
RCTs
RoB 2Cochrane tool
Non-randomized
ROBINS-IInterventions
DTA studies
QUADAS-2Diagnostic
Observational
NOSNewcastle-Ottawa
RoB 2 Domains
Cochrane Risk of Bias 2.0 for RCTs
D1 Randomization process
D2 Desviaciones de las intervenciones previstas
D3 Datos de resultados faltantes
D4 Medición del resultado
D5 Selección del resultado informado
JUDGMENT OPTIONS
Each domain: Low risk /
Some concerns /
High risk
"A metaanálisis de estudios sesgados
yields a biased conclusion—
con un intervalo de confianza más estrecho.
Has hecho la mentira más precisa."
yields a biased conclusion—
con un intervalo de confianza más estrecho.
Has hecho la mentira más precisa."
De cada estudio, debes extraer los números.
Extrae mal y todo tu análisis
is built on sand.
Extrae mal y todo tu análisis
is built on sand.
Formulario de extracción de datos
Datos esenciales Elementos
1 Study identifiers (author, year, country)
2 Diseño y configuración del estudio
3 Participant characteristics (n, age, sex, severity)
4 Intervention details (dose, duration, delivery)
5 Comparator details
6 Definiciones y medición de resultados
7 Results (means, SDs, events, sample sizes)
8 Follow-up duration and loss to follow-up
9 Funding source and conflicts of interest
Extraction Decision Tree
Manejo de datos faltantes
Datos no informados
↓
What to Do?
First
Contact authorsCorreo electrónico para obtener datos
If no response
Calculate/imputeDocument method
If impossible
Exclude from MAInclude in narrative
Extracción de datos de rosiglitazona Error
2007 | NEW ENGLAND JOURNAL OF MEDICINE
Nissen and Wolski's 2007 meta-analysis of rosiglitazone (Avandia) found a 43% increased risk of heart attack. El hallazgo desencadenó advertencias de la FDA y provocó el colapso de las recetas en todo el mundo.
But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports. Pequeñas diferencias en cómo se contaron los eventos (extraídos de diferentes fuentes) cambiaron significativamente los resultados.
El metanálisis fue influyente y en gran medida correcto, pero la controversia destacó cómo small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.
But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports. Pequeñas diferencias en cómo se contaron los eventos (extraídos de diferentes fuentes) cambiaron significativamente los resultados.
El metanálisis fue influyente y en gran medida correcto, pero la controversia destacó cómo small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.
THE LESSON
Extraiga siempre de fuentes primarias. Documente cada elección. Una pequeña discrepancia en los números extraídos puede cambiar las decisiones regulatorias y la suerte del mercado.
"Extract in duplicate. Check each number.
One digit wrong can change the conclusion.
El formulario de extracción es su libro mayor—
keep it meticulous, keep it true."
One digit wrong can change the conclusion.
El formulario de extracción es su libro mayor—
keep it meticulous, keep it true."
El tamaño del efecto es el corazón de su metanálisis.
Elija la medida incorrecta,
y su estimación agrupada será meaningless.
Elija la medida incorrecta,
y su estimación agrupada será meaningless.
Effect Measure Decision Tree
Choosing the Right Effect Size
Outcome Type
↓
Binary
RR, OR, RDEvents/no events
Continuous
Same scale?
YesMD (mean diff)
NoSMD (Hedge's g)
Time-to-event
HRHazard ratio
Common Effect Measures
RR
Risk Ratio
Multiplicative
Multiplicative
OR
Odds Ratio
Case-control
Case-control
MD
Mean Diff
Same units
Same units
SMD
Std Mean Diff
Different scales
Different scales
THE PRINCIPLE
La medida del efecto debe ser comparable entre estudios.
If studies used different scales, standardize.
Can a trial that transforms global practice still have serious limitations?
REAL DATA
El ensayo RECOVERY (2020) demostró que la dexametasona redujo la mortalidad a 28 días en pacientes hospitalizados con COVID-19 que requerían oxígeno: RR 0.83, 95% CI 0.75-0.93. Sin embargo, el ensayo fue abierto (sin enmascaramiento), se llevó a cabo predominantemente en hospitales del Reino Unido y el grupo de control recibió la atención habitual (que variaba).
El ensayo RECOVERY: 2020
Su metanálisis incluye RECOVERY como el estudio dominante. ¿Cómo se manejan las limitaciones de un ensayo que de otro modo sería histórico?
PATH A: Minimize Limitations
Minimizar el diseño de etiqueta abierta y la concentración geográfica; centrarse en el sorprendente beneficio de mortalidad
↓
Readers cannot judge generalizability to other settings; potential detection bias is obscured
RESULTADO: Evaluación de evidencia incompleta
PATH B: Honest Limitations
Reconocer el diseño de etiqueta abierta y las limitaciones geográficas al tiempo que se indica claramente el beneficio de mortalidad
↓
Los lectores comprenden tanto la solidez del hallazgo como dónde permanece la incertidumbre
OUTCOME: Trustworthy, balanced reporting
THE REVELATION
Incluso innovador Los ensayos tienen limitaciones. Reconocerlos no socava los hallazgos; genera confianza en el lector y orienta investigaciones futuras.
"Elija la medida que se ajuste a los datos.
Razones de riesgo para resultados comunes, razones de probabilidades para resultados poco comunes.
Standardize when scales differ.
La medida equivocada combina manzanas con naranjas".
Razones de riesgo para resultados comunes, razones de probabilidades para resultados poco comunes.
Standardize when scales differ.
La medida equivocada combina manzanas con naranjas".
¿No has visto la parcela forestal?
where studies pointed in opposite directions,
yet the diamond declared a single truth?
where studies pointed in opposite directions,
yet the diamond declared a single truth?
Fixed vs. Random Effects
Which Model to Use?
Meta-Analysis Model
↓
¿Supuesto sobre el efecto verdadero?
One true effect
Fixed EffectTodos los estudios estiman lo mismo θ
↓
Rarely appropriateEstudios muy similares
Effects vary
Random EffectsDistribution of θᵢ
↓
Usually preferredMore conservative
Cuándo NO hacer pool
Do Not Meta-Analyze If...
✗ Los estudios son demasiado heterogéneos (clínicos o metodológicos)
✗ Los resultados se definen de manera diferente
✗ Las poblaciones son fundamentalmente diferentes.
✗ Risk of bias is too high across studies
✗ Publication bias is severe
THE WISDOM
Sometimes the most honest conclusion is:
"Estos estudios no deben agruparse".
¿Qué sucede cuando una crítica metodológica de una revisión Cochrane desemboca en una crisis organizacional?
REAL DATA
En 2018, Peter Gøtzsche y sus colegas publicaron una crítica a la revisión Cochrane de la vacuna contra el VPH, argumentando que había excluido ensayos clave y utilizado criterios de inclusión inadecuados. La revisión Cochrane había incluido 26 estudios con más de 73.000 mujeres. La disputa se convirtió en una crisis de gobernanza que culminó con la expulsión de Gøtzsche del consejo de Cochrane.
La controversia Cochrane sobre el VPH: 2018
Recibe una crítica metodológica de su síntesis publicada argumentando que debería haber incluido estudios adicionales. ¿Cómo respondes?
RUTA A: Descartar la crítica
Defender el enfoque original sin abordar los puntos metodológicos específicos planteados.
↓
La confianza pública se erosiona; la disputa se vuelve más personal que científica; la base de evidencia no mejora
OUTCOME: Polarization and lost credibility
PATH B: Engage Transparently
Realizar análisis de sensibilidad incorporando los estudios sugeridos; publicar una respuesta transparente que muestre si las conclusiones cambian
↓
La evidencia se fortalece; el discurso metodológico hace avanzar el campo; la confianza se mantiene
OUTCOME: Science self-corrects publicly
THE REVELATION
La crítica metodológica es cómo mejora la ciencia. Responder con datos, no a la defensiva, fortalece tanto la revisión como el campo.
"No hagas pool por hacer pool.
Un metaanálisis de estudios incompatibles
No es síntesis, es confusión.
Know when to say: these cannot be combined."
Un metaanálisis de estudios incompatibles
No es síntesis, es confusión.
Know when to say: these cannot be combined."
Cuando los estudios no están de acuerdo,
el desacuerdo en sí es data.
Do not hide it. Explain it.
el desacuerdo en sí es data.
Do not hide it. Explain it.
Heterogeneity Measures
Q
Cochran's Q
Significance test
Significance test
I²
Inconsistency
% variation
% variation
τ²
Tau-squared
Between-study var
Between-study var
PI
Prediction interval
Future studies
Future studies
Investigating Heterogeneity
When I² > 50%
High Heterogeneity
↓
Investigation Methods
Subgroup analysisPre-specified
Meta-regressionIf ≥10 studies
Sensitivity analysisExclude outliers
↓
Report unexplained heterogeneityLimitation
What if a meta-analysis of small positive trials is overturned by a single mega-trial?
REAL DATA
A principios de la década de 1990, varios ensayos pequeños sugirieron que el magnesio intravenoso reducía la mortalidad después de un infarto agudo de miocardio. Un metanálisis (Teo et al., 1991) los combinó y encontró un beneficio significativo: OR 0.44, 95% CI 0.27-0.71. Luego ISIS-4 (1995), un megaensayo con 58,050 patients, no encontró ningún beneficio en absoluto. Se ignoraron los efectos de los estudios pequeños y la heterogeneidad.
La controversia del magnesio: 1991-1995
Su metanálisis de ensayos pequeños muestra una alta heterogeneidad (I² superior al 50%), pero la estimación combinada es significativa. ¿Cómo presentas esto?
RUTA A: Enterrar la heterogeneidad
Report the significant pooled estimate prominently; mention I² only in passing
↓
Los médicos adoptan el tratamiento; un gran ensayo futuro puede contradecir el metanálisis, erosionando la confianza en el método
OUTCOME: Premature guideline changes
PATH B: Investigate Transparently
Destacar la heterogeneidad; investigar fuentes (tamaño del estudio, calidad); tenga en cuenta que los efectos de los estudios pequeños pueden inflar la estimación
↓
Los lectores comprenden la incertidumbre; Las recomendaciones exigen un gran ensayo definitivo antes de cambiar la práctica.
OUTCOME: Evidence-appropriate caution
THE REVELATION
La heterogeneidad es una señal de advertencia, no una nota a pie de página. Los efectos de un estudio pequeño pueden producir una estimación conjunta falsamente tranquilizadora que un solo ensayo grande puede anular.
"I-squared is not just a number to report.
La pregunta es: ¿por qué estos estudios no están de acuerdo?
Investigate. Explain. Or acknowledge ignorance."
La pregunta es: ¿por qué estos estudios no están de acuerdo?
Investigate. Explain. Or acknowledge ignorance."
¿No has oído hablar del cajón de archivos,
donde van los estudios negativos die,
leaving only the positive survivors
to tell a distorted story?
donde van los estudios negativos die,
leaving only the positive survivors
to tell a distorted story?
El desastre de Vioxx
MERCK, 2004
Vioxx (rofecoxib) was a blockbuster painkiller earning $2.5 billion/year.
Internal company documents showed Merck knew of cardiovascular risks but suprimió los datos desfavorables and published only favorable analyses.
A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.
Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.
Internal company documents showed Merck knew of cardiovascular risks but suprimió los datos desfavorables and published only favorable analyses.
A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.
Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.
Topol EJ. N Engl J Med. 2004;351:1707-1709
Detecting Publication Bias
Assessment Methods
Publication Bias Assessment
↓
Funnel plotVisual inspection
Egger's testStatistical asymmetry
Recorta y llenaImpute missing
↓
Requires ≥10 studiesLow power otherwise
Preventing Bias: The AllTrials Campaign
ALLTRIALS.NET
"All trials registered. All results reported."
• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• Contacta con empresas para datos no publicados
• Cite los números de registro en su revisión
• Informe qué ensayos registrados faltan en su análisis
• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• Contacta con empresas para datos no publicados
• Cite los números de registro en su revisión
• Informe qué ensayos registrados faltan en su análisis
"El cajón del archivo no está vacío.
Contiene los estudios que las empresas escondió,
los resultados que las revistas rechazaron.
Tu trabajo es abrir ese cajón, o decir que no pudiste."
Contiene los estudios que las empresas escondió,
los resultados que las revistas rechazaron.
Tu trabajo es abrir ese cajón, o decir que no pudiste."
El diagrama de bosque es la cara de su metanálisis.
Muestra al lector everything:
each study, each weight, each confidence interval,
y la estimación agrupada final.
Muestra al lector everything:
each study, each weight, each confidence interval,
y la estimación agrupada final.
Leyendo el bosque Parcela
Elementos de la Parcela Forestal
Forest Plot
↓
Study namesLeft column
SquaresPoint estimates
Lines95% CI
DiamondPooled estimate
↓
Tamaño del cuadrado = peso del estudioLarger = more precise
Forest Plot Checklist
What to Include
□ Identificadores del estudio (autor, año)
□ Sample size per arm
□ Estimación del efecto con 95% CI
□ Weight (% contribution)
□ Line of no effect (RR=1 or MD=0)
□ Estimación agrupada con 95% CI
□ Heterogeneity statistics (I², τ², Q)
□ Test for overall effect (Z, p-value)
Los números de Vioxx que lo cambiaron todo
2004 | LA PRUEBA DE APROBACIÓN Y LA RETIRADA DEL MERCADO
Durante años, el diagrama de bosque para la seguridad cardiovascular de Vioxx (rofecoxib) mostró un patrón tranquilizador. Las estimaciones puntuales de ensayos anteriores se agruparon alrededor de la línea de ningún efecto. El diamante sugirió que el medicamento era seguro.
Luego vino el ensayo APPROVe. Cuando sus datos se agregaron al diagrama del bosque, la imagen cambió dramáticamente. El gran cuadrado de APPROVe empujó definitivamente el diamante agrupado hacia el daño. La imagen era inconfundible.
Ese terreno forestal ended Vioxx. Merck retiró el medicamento voluntariamente. El litigio posterior le costó a la empresa $4.85 billion in settlements. Miles de pacientes habían sufrido ataques cardíacos, mientras que los ensayos anteriores, más pequeños, mostraron resultados ambiguos.
Luego vino el ensayo APPROVe. Cuando sus datos se agregaron al diagrama del bosque, la imagen cambió dramáticamente. El gran cuadrado de APPROVe empujó definitivamente el diamante agrupado hacia el daño. La imagen era inconfundible.
Ese terreno forestal ended Vioxx. Merck retiró el medicamento voluntariamente. El litigio posterior le costó a la empresa $4.85 billion in settlements. Miles de pacientes habían sufrido ataques cardíacos, mientras que los ensayos anteriores, más pequeños, mostraron resultados ambiguos.
THE LESSON
Un ensayo bien realizado y con el poder estadístico adecuado puede cambiar toda la estimación conjunta. Los diagramas de bosque cuentan la historia de cómo se acumula la evidencia y, a veces, cómo se invierte el curso.
El diagrama de bosque engañoso
Usted está diseñando un diagrama de bosque para su metanálisis. La escala de los ejes y el orden de los estudios pueden cambiar la impresión visual. ¿Cómo proceder?
RUTA A: Diseño para el impacto
Use a compressed axis scale to make effect sizes look larger; order studies to build a visual narrative
↓
Los lectores se forman impresiones exageradas de la magnitud del efecto; la trama se convierte en una herramienta de defensa en lugar de una visualización de datos
RESULTADO: Distorsión visual de la evidencia
RUTA B: Diseño para la claridad
Use standard axis scaling; order studies by year or alphabetically; include all standard elements (weights, CIs, I²)
↓
Los lectores pueden hacer sus propios juicios; la trama sirve como una visualización de datos transparente
OUTCOME: Honest visual communication
"The forest plot hides nothing.
Every study visible. Every weight transparent.
Deje que el lector vea lo que usted vio—
y juzgar por sí mismos."
Every study visible. Every weight transparent.
Deje que el lector vea lo que usted vio—
y juzgar por sí mismos."
Una estimación conjunta no es suficiente.
También debes decirle al lector:
How confident should they be in this result?
También debes decirle al lector:
How confident should they be in this result?
GRADE Certainty Assessment
Calificando la evidencia
Start: RCTs = High, Obs = Low
↓
Reasons to Downgrade?
Risk of bias-1 or -2
Inconsistency-1 or -2
Indirectness-1 or -2
Imprecision-1 or -2
Pub. bias-1 or -2
GRADE Certainty Levels
⊕⊕⊕⊕
HIGH
Very confident
Very confident
⊕⊕⊕◯
MODERATE
Likely close
Likely close
⊕⊕◯◯
LOW
May differ
May differ
⊕◯◯◯
VERY LOW
Uncertain
Uncertain
What happens when a GRADE assessment of "low certainty" collides with a public health emergency?
REAL DATA
La revisión Cochrane de 2023 sobre intervenciones físicas para reducir la propagación de virus respiratorios (Jefferson et al.) encontró que la evidencia para las máscaras en entornos comunitarios era low certainty por GRADO, con amplios intervalos de confianza. Se informó ampliamente que la revisión demostraba que "las máscaras no funcionan", aunque los autores afirmaron que la evidencia era insuficiente para sacar conclusiones firmes en cualquier dirección.
La revisión de la máscara Cochrane: 2023
Su revisión sistemática sobre un tema políticamente delicado recibe una calificación GRADE de "baja certeza". ¿Cómo comunicas esto?
RUTA A: Suavizar la calificación
Minimizar la evaluación GRADE para evitar controversias políticas; enfatizar la estimación puntual sobre el nivel de certeza
↓
La revisión pierde credibilidad metodológica; GRADE se considera opcional en lugar de riguroso
OUTCOME: Compromised methodology
PATH B: Report Faithfully
Informe la calificación GRADE con honestidad; explicar claramente qué significa (y qué no significa) "baja certeza"; distinguir la ausencia de evidencia de la evidencia de ausencia
↓
El público puede malinterpretar, pero el registro científico es exacto; Las direcciones futuras de la investigación se vuelven claras.
OUTCOME: Methodological integrity
THE REVELATION
"Baja certeza" no significa "ningún efecto". Las calificaciones de GRADE deben informarse fielmente, con una explicación clara de lo que significan, especialmente en el caso de temas con carga política.
"El tamaño del efecto es el qué.
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."
La discusión es donde usted interpret.
No dar vueltas. Sin exagerar.
But to explain what your findings mean—
y que hacen not mean.
No dar vueltas. Sin exagerar.
But to explain what your findings mean—
y que hacen not mean.
Discussion Structure
1
Summary of Findings
Replantear los principales resultados con calificación de certeza
2
Comparación con la literatura existente
How do your findings relate to prior reviews?
3
Fortalezas y limitaciones
Tanto de la revisión como de los estudios incluidos.
4
Implicaciones para la práctica
What should clinicians/policymakers do?
5
Implicaciones para la investigación
¿Qué estudios faltan aún?
Common Mistakes in Discussion
What NOT to Do
✗ Exagerar conclusiones más allá de los datos
✗ Ignoring limitations
✗ Treating statistical significance as clinical importance
✗ Failing to address heterogeneity
✗ Hacer afirmaciones causales a partir de datos observacionales
¿Qué pasa si el artículo sobre metodología más citado jamás publicado advierte que la mayoría de los hallazgos de la investigación son falsos?
REAL DATA
El artículo de John Ioannidis de 2005 en PLoS Medicine, "Why Most Published Research Findings Are False", ha sido citado más de 10,000 times. Utilizando modelos matemáticos, argumentó que la probabilidad de que un hallazgo de investigación sea cierto depende del poder del estudio, el sesgo y el número de relaciones probadas. Para muchos diseños de investigación, la probabilidad de un hallazgo verdadero después del estudio puede ser inferior al 50%.
La llamada de atención de Ioannidis: 2005
Su metanálisis tiene un resultado estadísticamente significativo, pero los estudios incluidos son pequeños, heterogéneos y muchos tienen un alto riesgo de sesgo. ¿Cómo se escribe la discusión?
RUTA A: Sobrevender el hallazgo
Liderar con la estimación agrupada significativa; minimizar las limitaciones; hacer recomendaciones prácticas sólidas
↓
El hallazgo entra prematuramente en las directrices; Cuando la replicación falla, se culpa a todo el método de metanálisis.
OUTCOME: Eroded trust in evidence synthesis
RUTA B: Calibrar la interpretación
Discutir el resultado en el contexto de la calidad, heterogeneidad y certeza del estudio; hacer coincidir la fuerza de la recomendación con la fuerza de la evidencia
↓
Readers understand the degree of confidence warranted; future research priorities become clear
OUTCOME: Proportionate, trustworthy conclusions
THE REVELATION
La Discusión debe calibrar el entusiasmo con la calidad de la evidencia. Afirmaciones sólidas basadas en evidencia débil dañan la credibilidad de todo el campo.
"La discusión no es para hacer promoción.
Es para una interpretación honesta.
Di lo que muestra la evidencia.
Admit what it does not show."
Es para una interpretación honesta.
Di lo que muestra la evidencia.
Admit what it does not show."
¿No has oído hablar del periódico de Wakefield?
where conflicts of interest were hidden,
donde se fabricaron los datos,
y millones de niños fueron unvaccinated?
where conflicts of interest were hidden,
donde se fabricaron los datos,
y millones de niños fueron unvaccinated?
El fraude MMR-Autismo
THE LANCET, 1998-2010
Andrew Wakefield published a study linking MMR vaccine to autism.
No reveló que era paid £435,643 by lawyers seeking to sue vaccine manufacturers.
No reveló que había filed a patent for a competing single-dose measles vaccine.
El estudio finalmente fue retractado. Wakefield fue eliminado. Pero el daño ya estaba hecho: vaccination rates plummetedy regresaron los brotes de sarampión.
No reveló que era paid £435,643 by lawyers seeking to sue vaccine manufacturers.
No reveló que había filed a patent for a competing single-dose measles vaccine.
El estudio finalmente fue retractado. Wakefield fue eliminado. Pero el daño ya estaba hecho: vaccination rates plummetedy regresaron los brotes de sarampión.
Deer B. BMJ. 2011;342:c5347
Transparency Checklist
What to Declare
□ Protocol registration number
□ Funding sources (all)
□ Papel del financiador en la revisión
□ Conflicts of interest (all authors)
□ Declaración de disponibilidad de datos
□ Desviaciones del protocolo (con motivos)
□ Author contributions
La iniciativa AllTrials
2013-PRESENT | A GRASSROOTS TRANSPARENCY MOVEMENT
En 2013, Ben Goldacre y sus colegas de la Colaboración Cochrane lanzaron AllTrials después de descubrir una verdad inquietante: approximately half of all clinical trials were never published. Los ensayos faltantes fueron desproporcionadamente aquellos con resultados negativos o inconvenientes.
La campaña se reunió más de 90.000 firmantes individuales y más de 700 organizaciones. Exigió que se registraran todos los ensayos pasados y futuros, con informes completos de los métodos y resultados.
El impacto fue transformador. El La UE exige ahora el registro de los ensayos y la presentación de informes sobre los resultados. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.
La campaña se reunió más de 90.000 firmantes individuales y más de 700 organizaciones. Exigió que se registraran todos los ensayos pasados y futuros, con informes completos de los métodos y resultados.
El impacto fue transformador. El La UE exige ahora el registro de los ensayos y la presentación de informes sobre los resultados. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.
THE LESSON
El acceso a datos exigente funciona. Un movimiento de base cambió las regulaciones internacionales, lo que demuestra que los defensores de la transparencia pueden remodelar el ecosistema de evidencia.
La cascada de preimpresión de hidroxicloroquina: 2020
Estamos a principios de 2020. Su equipo tiene resultados preliminares de metanálisis sobre un tratamiento para COVID-19. La preimpresión de Gautret (no aleatorizada, 42 pacientes) ya se ha vuelto viral. El escándalo de Surgisphere pronto mostrará datos fabricados en las principales revistas. ¿Se apresura a realizar la preimpresión o espera?
RUTA A: Preimpresión para velocidad
Publicar inmediatamente en medRxiv para influir en la política; omitir la revisión por pares por urgencia
↓
Si los estudios incluidos han fabricado datos o métodos defectuosos, su metanálisis amplifica los errores; La retractación daña la credibilidad.
OUTCOME: Accelerated misinformation
PATH B: Verify, Then Publish
Evaluar rigurosamente la calidad de los estudios; contactar a los autores para obtener datos sin procesar; someterse a una rápida revisión por pares antes de publicar
↓
La publicación es más lenta, pero el análisis es sólido; Las conclusiones sobreviven cuando se retractan los estudios defectuosos.
RESULTADO: Evidencia duradera y confiable
"La transparencia no es opcional.
Declare su financiación. Declara tus conflictos.
The reader has a right to know
quién pagó por este trabajo y por qué".
Declare su financiación. Declara tus conflictos.
The reader has a right to know
quién pagó por este trabajo y por qué".
Antes de enviar
La lista de verificación final
PRISMA 2020 Final Check
Have You...
□ Completed all 27 PRISMA checklist items?
□ Included the PRISMA flow diagram?
□ Provided full search strategy in appendix?
□ ¿Estudios excluidos enumerados con sus razones?
□ ¿Riesgo de sesgo informado para cada estudio?
□ Provided forest plot(s)?
□ ¿Sesgo de publicación evaluado (si ≥10 estudios)?
□ ¿Certeza de la evidencia graduada (GRADE)?
□ Declared all conflicts of interest?
□ Cited protocol registration?
Supplementary Materials
WHAT TO INCLUDE
• Full search strategies para todas las bases de datos
• Lista de estudios excluidos with reasons
• Formularios de extracción de datos (en blanco y completado)
• Risk of bias details para cada estudio
• Additional forest plots (subgroups, sensitivity)
• Funnel plot y pruebas estadísticas
• Perfil de evidencia GRADE tables
• Lista de estudios excluidos with reasons
• Formularios de extracción de datos (en blanco y completado)
• Risk of bias details para cada estudio
• Additional forest plots (subgroups, sensitivity)
• Funnel plot y pruebas estadísticas
• Perfil de evidencia GRADE tables
¿Cuánto tiempo puede sobrevivir un artículo fraudulento a la revisión por pares, al escrutinio editorial y al desafío público?
REAL DATA
Andrew Wakefield's 1998 Lancet paper linking MMR vaccine to autism took 12 years para ser completamente retractado (2010). Durante ese tiempo, el periodista Brian Deer descubrió conflictos financieros, violaciones éticas y manipulación de datos. Múltiples estudios de gran tamaño (incluida una cohorte danesa de over 650,000 children) found no association, yet the original paper's influence persisted.
La retractación de Wakefield: 1998-2010
Durante la revisión por pares, un revisor plantea serias preocupaciones sobre un estudio incluido en su metanálisis, citando inconsistencias en los datos. ¿Cómo respondes?
RUTA A: Desviar la preocupación
Descarte la preocupación del crítico por considerarla demasiado cautelosa; mantener el estudio incluido sin realizar más investigaciones
↓
Si posteriormente se retracta el estudio, su metanálisis está contaminado; Es posible que sea necesario retirar la conclusión.
RESULTADO: Síntesis de evidencia contaminada
PATH B: Investigate Thoroughly
Comuníquese con los autores del estudio para obtener datos sin procesar; realizar análisis de sensibilidad excluyendo el estudio cuestionado; revelar la preocupación de forma transparente
↓
Su metanálisis es sólido en cuanto a la inclusión o exclusión del estudio sospechoso; el análisis de sensibilidad está documentado
RESULTADO: Revisión resiliente y autocorregible
THE REVELATION
La revisión por pares es su última defensa antes de la publicación. Interactúe con las inquietudes de los revisores como oportunidades para fortalecer su trabajo, no como obstáculos que superar.
"Has reunido las pruebas.
Lo has pesado bastante.
Lo has escrito de forma transparente.
Ahora envía tu trabajo—
y que la verdad sea encontrada una y otra vez."
Lo has pesado bastante.
Lo has escrito de forma transparente.
Ahora envía tu trabajo—
y que la verdad sea encontrada una y otra vez."
References
Key Sources
- Page MJ et al. BMJ. 2021;372:n71. [PRISMA 2020]
- Jefferson T et al. Cochrane 2014;4:CD008965. [Tamiflu]
- Turner EH et al. N Engl J Med. 2008;358:252-260. [Antidepressants]
- Boutron I et al. JAMA. 2010;303:2058-2064. [Spin]
- Topol EJ. N Engl J Med. 2004;351:1707-1709. [Vioxx]
- Deer B. BMJ. 2011;342:c5347. [Wakefield]
- Sterne JAC et al. BMJ. 2019;366:l4898. [RoB 2]
- Higgins JPT et al. Cochrane Handbook. 2023.
- Schünemann HJ et al. GRADE Handbook. 2013.
- Ioannidis JPA. PLoS Med. 2005;2:e124. [Why most research is false]
What percentage of antidepressant trials appeared positive in published literature vs. FDA data?
Published 51%, FDA 94%
Published 94%, FDA 51%
Both about 75%
Published 80%, FDA 60%
¿Cuál es el propósito de registrar un protocolo antes de realizar una revisión sistemática?
To get funding
To claim priority
To prevent outcome switching and data-driven decisions
Para que la reseña sea publicable
¿Cuándo NO se deben agrupar los estudios en un metanálisis?
Cuando hay menos de 10 estudios
Cuando los estudios son demasiado heterogéneos desde el punto de vista clínico o metodológico
Cuando el efecto no es estadísticamente significativo
Cuando los estudios son de diferentes países
✔
Course Complete
"Ahora conocéis el pacto de evidencia:
Regístrate antes de buscar.
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
Pool sabiamente, o nada en absoluto.
Write so that truth may be found,
y encontrado de nuevo por los que le siguen."
Regístrate antes de buscar.
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
Pool sabiamente, o nada en absoluto.
Write so that truth may be found,
y encontrado de nuevo por los que le siguen."
Los métodos no son nada sin las herramientas para ejecutarlos.
¿Qué software realizará su análisis?
from protocol to forest plot?
¿Qué software realizará su análisis?
from protocol to forest plot?
Software Decision Tree
Elegir tus herramientas
Meta-Analysis Software
↓
Your Context?
Cochrane Review
RevManFree, official
Academic/Flexible
R metaforFree, powerful
Institution License
Stata metaComprehensive
Point-and-Click
CMAUser-friendly
El kit de herramientas esencial
RevMan
Cochrane official
Free download
Free download
R + metafor
Most flexible
Reproducible code
Reproducible code
GRADEpro
Certainty tables
SoF tables
SoF tables
Rayyan
Screening tool
AI-assisted
AI-assisted
REPRODUCIBILITY
Las herramientas basadas en código (R, Stata) crean reproducible analyses. Comparta su código para que otros puedan verificar su trabajo.
R metafor Example
BASIC META-ANALYSIS IN R
library(metafor)
# Calculate effect sizes
dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,
ci=events_ctrl, di=noevents_ctrl, data=mydata)
# Random effects model
res <- rma(yi, vi, data=dat, método="REML")
# Forest plot
forest(res, slab=paste(author, year))
# Calculate effect sizes
dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,
ci=events_ctrl, di=noevents_ctrl, data=mydata)
# Random effects model
res <- rma(yi, vi, data=dat, método="REML")
# Forest plot
forest(res, slab=paste(author, year))
¿Cómo se coordina la redacción cuando una revisión sistemática tiene docenas de autores?
REAL DATA
El ensayo SPRINT (2015) aparece en la lista más de 100 authors de docenas de instituciones. El grupo de redacción incluyó un comité directivo, investigadores del sitio y estadísticos. Coordinar las contribuciones, gestionar el control de versiones y determinar el crédito de autoría requería estructuras formales. Los criterios del ICMJE definen la autoría como aquella que requiere una contribución sustancial, redacción o revisión, aprobación final y responsabilidad.
Team Writing Challenges: Large Collaborative Reviews
Su equipo de revisión sistemática tiene 12 miembros en 4 países. ¿Cómo gestiona el proceso de redacción?
PATH A: Informal Coordination
Pass drafts via email; resolve authorship at the end; no writing plan or version control
↓
Duplication of effort; authorship disputes at submission; inconsistent voice and formatting; lost contributions
RESULTADO: Retrasos y conflictos
PATH B: Structured Process
Asignar clientes potenciales de sección por adelantado; utilizar plataformas compartidas con control de versiones; acordar los criterios del ICMJE y el orden de autoría al inicio
↓
Responsabilidad clara; producción consistente; contribuciones transparentes; la autoría se decide antes de que se conozcan los resultados
OUTCOME: Efficient, fair collaboration
THE REVELATION
Acuerde los criterios de autoría y las responsabilidades de redacción antes de que comience el trabajo. Las disputas son más difíciles de resolver una vez que se conocen los resultados.
"La herramienta no realiza el análisis.
El analista lo hace.
Pero elige tu herramienta sabiamente—
y comparte tu código para que la verdad pueda ser verificado."
El analista lo hace.
Pero elige tu herramienta sabiamente—
y comparte tu código para que la verdad pueda ser verificado."
No todo el mundo escribe meta-análisis.
But every clinician, every policymaker, every patient
must know how to read them.
But every clinician, every policymaker, every patient
must know how to read them.
El Reversión de la TRH
WOMEN'S HEALTH INITIATIVE, 2002
Durante décadas, los estudios observacionales sugirieron que la terapia de reemplazo hormonal (TRH) protegía a las mujeres de las enfermedades cardíacas.
Los metanálisis de estos estudios mostraron un 35-50% reduction in cardiovascular risk.
Luego, el ensayo aleatorio de WHI reveló la verdad: TRH increased heart attack risk by 29%.
The observational meta-analyses had pooled confounded data—mujeres más sanas eligió TRH, no al revés.
Los metanálisis de estos estudios mostraron un 35-50% reduction in cardiovascular risk.
Luego, el ensayo aleatorio de WHI reveló la verdad: TRH increased heart attack risk by 29%.
The observational meta-analyses had pooled confounded data—mujeres más sanas eligió TRH, no al revés.
Rossouw JE et al. JAMA. 2002;288:321-333
How to Read a Forest Plot
Consumer's Guide
Leyendo el bosque Parcela
↓
Line of no effectRR=1 or MD=0
Diamond positionLeft=benefit, Right=harm
Diamond widthNarrow=precise
↓
Does diamond cross the line?
NoStatistically significant
YesNot significant
Red Flags When Reading
Warning Signs in Published Meta-Analyses
⚠ No protocol registration cited
⚠ Single database searched
⚠ No risk of bias assessment
⚠ High I² but no investigation
⚠ Asymmetric funnel plot ignored
⚠ Financiamiento de la industria, sin análisis de sensibilidad
⚠ Las conclusiones superan la evidencia
What GRADE Ratings Mean
PARA CLÍNICOS Y PACIENTES
HIGH: We are very confident. Future research unlikely to change.
MODERATE: Probably close to truth. Future research may change estimate.
LOW: Uncertain. Future research likely to change substantially.
VERY LOW: Very uncertain. Any estimate is speculative.
MODERATE: Probably close to truth. Future research may change estimate.
LOW: Uncertain. Future research likely to change substantially.
VERY LOW: Very uncertain. Any estimate is speculative.
"Lea el bosque, no solo el diamante.
Busque el protocolo. Compruebe el sesgo.
Ask: Who funded this? What did they hide?
El lector informado es el guardián de la verdad."
Busque el protocolo. Compruebe el sesgo.
Ask: Who funded this? What did they hide?
El lector informado es el guardián de la verdad."
What if you must compare treatments
que nunca se probaron cara a cara?
Este es el reino de network meta-analysis.
que nunca se probaron cara a cara?
Este es el reino de network meta-analysis.
When to Use Network MA
NMA Decision Tree
Multiple Treatments
↓
Direct comparisons available?
All pairs directly compared
Pairwise MAStandard approach
Some indirect only
Network MABorrow strength
↓
Check transitivity assumptionSimilar populations across comparisons
La geometría de la red
VISUALIZAR LA EVIDENCIA
Nodes = Treatments (size = sample)
Edges = Comparaciones directas (ancho = estudios)
Dashed = Solo evidencia indirecta
League Tables
LECTURA DE RESULTADOS NMA
League tables show all pairwise comparisons de la red.
• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options
• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options
CRITICAL ASSUMPTION
Transitivity: Si A vs. B y B vs. C se comparan en pacientes similares, podemos estimar A vs. C indirectamente.
What happens to meta-analyses when a prolific author's entire body of work is retracted?
REAL DATA
Joachim Boldt, a German anesthesiologist, had over 220 papers retracted para fabricación de datos (descubierto en 2010-2011). Sus estudios sobre soluciones coloides se han incluido en múltiples revisiones sistemáticas y metanálisis. Cuando llegaron las retractaciones, todos los metanálisis que contenían su trabajo tuvieron que ser reevaluados. Algunas conclusiones cambiaron sustancialmente cuando se eliminaron sus datos inventados.
La cascada de retractación de Boldt: 2010-2011
Descubre que un estudio incluido en su metanálisis publicado ha sido retractado por falsificación de datos. ¿Qué haces?
PATH A: Hope No One Notices
Ignora la retractación; el metaanálisis ya está publicado y el estudio retractado era pequeño
↓
Otros citan su metaanálisis; los datos fabricados se propagan a través de citas secundarias; las decisiones de atención al paciente se basan en evidencia contaminada
OUTCOME: Cascading harm from inaction
PATH B: Self-Correct Publicly
Publicar una corrección o un análisis actualizado excluyendo el estudio retractado; notificar a la revista; indicar si cambian las conclusiones
↓
Se corrige el registro científico; los lectores ven el análisis actualizado; su reputación de integridad mejora
OUTCOME: Scientific self-correction
THE REVELATION
La integridad de la síntesis de evidencia depende de una vigilancia continua. Cuando los estudios incluidos se retractan, el deber ético es actualizar y corregir, no quedarse callado.
"When treatments have never met,
la red construye un puente de evidencia.
But the bridge rests on transitivity—
verificar que las poblaciones son comparables."
la red construye un puente de evidencia.
But the bridge rests on transitivity—
verificar que las poblaciones son comparables."
¿No has visto la IA que predijo el cáncer
con 99% de precisión en el conjunto de entrenamiento—
y falló catastróficamente
cuando implementado en el real world?
con 99% de precisión en el conjunto de entrenamiento—
y falló catastróficamente
cuando implementado en el real world?
El fallo del algoritmo de Sepsis
EPIC SEPSIS MODEL, 2021
Epic's sepsis prediction algorithm was deployed in hundreds of hospitals.
Internal validation showed excellent performance.
Pero un estudio independiente en Michigan Medicine encontró que el modelo missed 67% of sepsis cases and generated excessive false alarms.
El algoritmo había sido validado en la misma población en la que fue entrenado—una receta para sobreajuste y falla.
Internal validation showed excellent performance.
Pero un estudio independiente en Michigan Medicine encontró que el modelo missed 67% of sepsis cases and generated excessive false alarms.
El algoritmo había sido validado en la misma población en la que fue entrenado—una receta para sobreajuste y falla.
Wong A et al. JAMA Intern Med. 2021;181:1065-1070
AI Validation Decision Tree
Niveles de evidencia para AI/ML
AI Prediction Model
↓
Validation Level?
Internal onlyMisma división de datos
HIGH RISK
TemporalDifferent time
MODERATE
ExternalDifferent site
BETTER
Impact RCTPatient outcomes
BEST
PROBAST & TRIPOD
PROBAST
Prediction model
Risk of Bias
Risk of Bias
TRIPOD
Reporting
guideline
guideline
TRIPOD-AI
AI-specific
extension
extension
CALIBRATION VS. DISCRIMINATION
AUC/c-statistic: Can the model rank patients? (discrimination)
Calibration: ¿Son precisas las probabilidades predichas?
A model can have good AUC but poor calibration—and harm patients.
Calibration: ¿Son precisas las probabilidades predichas?
A model can have good AUC but poor calibration—and harm patients.
"El algoritmo aprendido del datos,
y los datos estaban sesgados.
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."
y los datos estaban sesgados.
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."
El metanálisis habla en números.
Pero el paciente escucha en miedos y esperanzas.
¿Cómo cerrará la brecha?
Pero el paciente escucha en miedos y esperanzas.
¿Cómo cerrará la brecha?
Translating Numbers to Meaning
Communication Decision Tree
Meta-Analysis Result
↓
Effect Size Type?
Relative (RR, OR)
Convert to NNTMore intuitive
Absolute (RD)
Use directly"X fewer per 1000"
Continuous (MD)
ContextualizeMinimal important diff
Guiones para pacientes
EXPLAINING A POSITIVE RESULT
"La investigación reunió 15 estudios con 8.000 pacientes.
Se descubrió que este tratamiento reduce el riesgo de [resultado] en aproximadamente un 30%.
En términos prácticos: si tratamos a 100 personas como usted, aproximadamente 5 menos tendrán [resultado] en comparación con ningún tratamiento.
We're moderately confident in this—future research might change it slightly.
¿Qué preguntas tiene sobre esto?"
Se descubrió que este tratamiento reduce el riesgo de [resultado] en aproximadamente un 30%.
En términos prácticos: si tratamos a 100 personas como usted, aproximadamente 5 menos tendrán [resultado] en comparación con ningún tratamiento.
We're moderately confident in this—future research might change it slightly.
¿Qué preguntas tiene sobre esto?"
Questions Patients Should Ask
Empowering Patients
1 "¿Cuántos estudios y pacientes se incluyeron?"
2 "¿Qué confianza tienen los investigadores en este resultado?"
3 "¿Cuáles son los beneficios y daños?"
4 "¿Se incluyeron personas como yo en estos estudios?"
5 "¿Quién financió esta investigación?"
6 "¿Qué significa esto para mi situación específica?"
Can a spreadsheet error in an academic paper directly shape the economic policy of entire nations?
REAL DATA
El artículo de 2010 de Reinhart y Rogoff afirmaba que los países con una deuda pública superior 90% of GDP experimentó un crecimiento dramáticamente menor. Este hallazgo fue ampliamente citado para justificar las políticas de austeridad en toda Europa. En 2013, Herndon, Ash y Pollin descubrieron un error en la hoja de cálculo: varios países habían sido excluidos accidentalmente de los cálculos. Después de la corrección, el marcado umbral del 90% desapareció.
El impacto de la política de Reinhart-Rogoff: 2010-2013
Los resultados de su metanálisis tienen claras implicaciones políticas. Los formuladores de políticas están ansiosos por un mensaje simple. ¿Cómo se escribe el resumen de políticas?
RUTA A: Simplificar demasiado para lograr impacto
Proporcione un umbral claro o un número de título; omitir advertencias y rangos de incertidumbre para una máxima influencia de la política
↓
La política se adopta con base en hallazgos simplificados; cuando surgen matices o se encuentran errores, tanto la investigación como la política resultante quedan desacreditadas
OUTCOME: Policy built on a fragile foundation
RUTA B: Comunicarse con integridad
Presentar la evidencia con la incertidumbre adecuada; distinguir los hallazgos fuertes de los sugerentes; proporcionar resúmenes prácticos que preserven los matices
↓
Los responsables de la formulación de políticas comprenden qué respalda la evidencia y dónde persiste la incertidumbre; las decisiones se toman con la debida precaución
OUTCOME: Durable, evidence-informed policy
THE REVELATION
Policy briefs must communicate uncertainty honestly. Oversimplified findings may gain influence quickly but collapse when scrutinized, damaging trust in research-policy relationships.
"El metanálisis habla en números.
El paciente escucha con miedo y esperanzas.
Su trabajo es ser el traductor—
fiel a la evidencia, compasivo con los persona."
El paciente escucha con miedo y esperanzas.
Su trabajo es ser el traductor—
fiel a la evidencia, compasivo con los persona."
Una revisión sistemática captura evidencia en un momento en tiempo.
But science does not stop.
Cómo mantenemos la evidencia alive?
But science does not stop.
Cómo mantenemos la evidencia alive?
Living Systematic Reviews
COVID-19 PANDEMIC, 2020-2023
Durante la pandemia, la evidencia surgió más rápido de lo que las revisiones tradicionales podían sintetizar.
Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.
El consorcio COVID-NMA produjo revisiones vivas sobre tratamientos, vacunas y diagnósticos, actualizando recomendaciones en real-time como evidencia evolucionado.
Hydroxychloroquine went from "promising" to "ineffective" within months.
Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.
El consorcio COVID-NMA produjo revisiones vivas sobre tratamientos, vacunas y diagnósticos, actualizando recomendaciones en real-time como evidencia evolucionado.
Hydroxychloroquine went from "promising" to "ineffective" within months.
Defined by Cochrane: continual updates at ≤monthly intervals
When to Use Living Reviews
Árbol de decisión de revisión viva
Decisión de tipo de revisión
↓
¿Está evolucionando rápidamente la evidencia?
Yes + High Priority
Living ReviewContinuous updates
No / Stable
Standard ReviewUpdate every 2-5 years
↓
Resource intensiveRequires ongoing funding
El futuro de la síntesis de evidencia
Automation
ML-assisted
screening
screening
IPD-MA
Individual patient
data pooling
data pooling
Real-World
EHR-based
evidence
evidence
Adaptive
Platform trials
+ MA
+ MA
"El pacto de evidencia no es estático.
Crece con cada nuevo estudio, cada nueva pregunta.
Mantenga vivas sus revisiones.
Mantenga sus métodos transparentes.
Mantenga la verdad en el centro de todo lo que haga."
Crece con cada nuevo estudio, cada nueva pregunta.
Mantenga vivas sus revisiones.
Mantenga sus métodos transparentes.
Mantenga la verdad en el centro de todo lo que haga."
1 / 4