Writing > Os dados ocultos
==================== MÓDULO 1: OS DADOS OCULTOS ====================
==================== MÓDULO 2: A ALIANÇA (PRISMA) ====================
==================== MÓDULO 3: O PROTOCOLO ====================
==================== MÓDULO 4: O TÍTULO ====================
==================== MÓDULO 5: O RESUMO ====================
==================== MÓDULO 6: A PERGUNTA (PICO) ====================
==================== MÓDULO 7: A PESQUISA ====================
==================== MÓDULO 8: A SELEÇÃO ====================
==================== MÓDULO 9: RISCO DE VIÉS ====================
==================== MÓDULO 10: EXTRAÇÃO DE DADOS ===================
==================== MÓDULO 11: MEDIDAS DE EFEITO ===================
==================== MÓDULO 12: A SÍNTESE ====================
==================== MÓDULO 14: VIÉS DE PUBLICAÇÃO ====================
==================== MÓDULO 15: O LOTE DA FLORESTA ====================
==================== MÓDULO 16: CERTEZA DE EVIDÊNCIA ====================
==================== MÓDULO 17: A DISCUSSÃO ====================
==================== MÓDULO 19: A VERIFICAÇÃO FINAL ====================
==================== MÓDULO 20: TESTE E REFERÊNCIAS ====================
==================== MÓDULO 21: FERRAMENTAS DE SOFTWARE ====================
=================== MÓDULO 22: LEITURA DE META-ANÁLISES ====================
=================== MÓDULO 23: META-ANÁLISE DE REDE ==================
Nodes = Treatments (size = sample)
Edges = Comparações diretas (largura = estudos)
Dashed = Apenas evidências indiretas
==================== MÓDULO 24: MODELOS DE PREDIÇÃO AI/ML ===================
==================== MÓDULO 25: COMUNICAÇÃO DO PACIENTE ===================
==================== MÓDULO 26: AVALIAÇÕES DE VIDA E FUTURO ====================
Você não ouviu falar das provações que estavam escondidas,
os dados que foram enterrados,
os jornais que contaram apenas metade da verdade?
os dados que foram enterrados,
os jornais que contaram apenas metade da verdade?
O escândalo do Tamiflu
COCHRANE COLLABORATION, 2009-2014
Governments stockpiled $9 billion worth of Tamiflu to fight pandemic flu.
Mas quando os pesquisadores da Cochrane tentaram verificar os benefícios da droga, descobriram que 60% of trial data had never been published.
Após uma batalha de 5 anos, eles obtiveram os dados ocultos. A conclusão mudou: Tamiflu shortened symptoms by less than a day e não evitou complicações.
US$ 9 bilhões gastos em evidências que nunca foram totalmente divulgadas.
Mas quando os pesquisadores da Cochrane tentaram verificar os benefícios da droga, descobriram que 60% of trial data had never been published.
Após uma batalha de 5 anos, eles obtiveram os dados ocultos. A conclusão mudou: Tamiflu shortened symptoms by less than a day e não evitou complicações.
US$ 9 bilhões gastos em evidências que nunca foram totalmente divulgadas.
Jefferson T et al. Cochrane Database Syst Rev. 2014;4:CD008965
Why We Write Meta-Analyses
O Objetivo da Síntese
Individual Studies
↓
Problem?
Small samplesLow power
Conflicting resultsWhich to believe?
Publication biasMissing negatives
↓
Meta-AnalysisSystematic synthesis
↓
More precise estimate + Bias detection
A Campanha de Transparência do Tamiflu
2009-2014 | COCHRANE COLLABORATION vs. ROCHE
For years, governments worldwide stockpiled Tamiflu (oseltamivir) at a cost of billions of dollars, com base nas afirmações do fabricante de que evitou complicações da gripe e hospitalizações.
Quando os revisores da Cochrane solicitaram os dados completos do ensaio para verificar essas afirmações, Roche recusou por 5 anos, citando "confidencialidade". A empresa conduziu 10 ensaios de tratamento, mas apenas 2 foram publicados na íntegra.
Após pressão incansável, os Relatórios de Estudos Clínicos foram finalmente divulgados em 2014. O quadro mudou drasticamente: O Tamiflu encurtou os sintomas em menos de um dia e não mostrou evidências de prevenção de hospitalizações ou complicações graves.
Quando os revisores da Cochrane solicitaram os dados completos do ensaio para verificar essas afirmações, Roche recusou por 5 anos, citando "confidencialidade". A empresa conduziu 10 ensaios de tratamento, mas apenas 2 foram publicados na íntegra.
Após pressão incansável, os Relatórios de Estudos Clínicos foram finalmente divulgados em 2014. O quadro mudou drasticamente: O Tamiflu encurtou os sintomas em menos de um dia e não mostrou evidências de prevenção de hospitalizações ou complicações graves.
THE LESSON
Uma meta-análise é tão boa quanto os dados que ela pode acessar. Hidden trials can make ineffective treatments look effective—and cost billions in misspent resources.
"E a empresa sabia,
e os reguladores sabiam,
mas os artigos publicados não informaram -
e bilhões foram gastos em uma meia verdade."
e os reguladores sabiam,
mas os artigos publicados não informaram -
e bilhões foram gastos em uma meia verdade."
É por isso que escrevemos meta-análises – para encontrar toda a verdade.
Se você deseja que seu trabalho seja trusted,
você deve fazer um pacto com seus leitores.
Essa aliança tem um nome:
PRISMA.
você deve fazer um pacto com seus leitores.
Essa aliança tem um nome:
PRISMA.
PRISMA 2020
Itens de relatório preferidos para revisões sistemáticas e meta-análises
27
Checklist items
2020
Updated version
50K+
Citations
THE COVENANT
PRISMA não é burocracia. É um prometo aos seus leitores
que você fez o trabalho de forma transparente e completa.
As Sete Seções
1
Title
Identify as systematic review, meta-analysis, or both
2
Abstract
Resumo estruturado de toda a revisão
3
Introduction
Justificativa e objetivos com PICO
4
Methods
Protocol, search, selection, data, bias, synthesis
5
Results
Flow diagram, characteristics, risk of bias, synthesis results
6
Discussion
Summary, limitations, interpretation, implications
7
Other
Registration, funding, conflicts of interest
A Revolução PRISMA
2009-PRESENT | TRANSFORMING SYSTEMATIC REVIEW REPORTING
Antes do PRISMA (2009), os relatórios de revisões sistemáticas eram caóticos. Algumas avaliações nem relataram suas estratégias de pesquisa. Outros omitiram avaliações de risco de viés. Muitos não conseguiram explicar por que os estudos foram excluídos. Readers couldn't judge quality—they had to trust blindly.
A lista de verificação de 27 itens do PRISMA mudou tudo. Exigia que os autores documentassem cada etapa: a estratégia de pesquisa completa, critérios de seleção, métodos de extração e decisões de síntese.
Today, mais de 10.000 periódicos endossam PRISMA. O que antes era uma transparência excepcional tornou-se o padrão esperado.
A lista de verificação de 27 itens do PRISMA mudou tudo. Exigia que os autores documentassem cada etapa: a estratégia de pesquisa completa, critérios de seleção, métodos de extração e decisões de síntese.
Today, mais de 10.000 periódicos endossam PRISMA. O que antes era uma transparência excepcional tornou-se o padrão esperado.
THE LESSON
Uma simples lista de verificação transformou um campo inteiro. Os relatórios transparentes passaram de exceção a norma – prova de que os padrões são importantes.
“PRISMA é o pacto entre autor e leitor:
Eu vou te mostrar tudo—
how I searched, what I found, what I excluded, why.
Portanto, você pode julgar meu trabalho e confiar — ou questionar — minhas conclusões."
Eu vou te mostrar tudo—
how I searched, what I found, what I excluded, why.
Portanto, você pode julgar meu trabalho e confiar — ou questionar — minhas conclusões."
Você não viu o revisor
quem mudou o resultado depois de ver os dados,
que moveu as traves até os resultados looked right?
quem mudou o resultado depois de ver os dados,
que moveu as traves até os resultados looked right?
As meta-análises retratadas
MULTIPLE JOURNALS, 2010-2023
Os pesquisadores descobriram que many retracted meta-analyses had no pre-registered protocol.
Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• Adicionar ou remover estudos para alterar a conclusão
O protocolo é seu pre-commitment device- evita que você se engane.
Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• Adicionar ou remover estudos para alterar a conclusão
O protocolo é seu pre-commitment device- evita que você se engane.
Defined outcome switching: PROSPERO registration prevents bias
Protocol Registration Decision Tree
Onde registrar seu protocolo
Nova Revisão Sistemática
↓
Type of Review?
Health/Medical
PROSPEROprospero.york.ac.uk
Any Field
OSFosf.io/registries
Cochrane
Cochrane LibraryIntegrated protocol
↓
Registration ID in PaperCite in Methods
What the Protocol Must Contain
Essential Protocol Elements
1. Pergunta de pesquisa (formato PICO)
2. Eligibility criteria (inclusion/exclusion)
3. Information sources and search strategy
4. Processo de seleção de estudos
5. Itens de extração de dados
6. Ferramenta de avaliação de risco de viés
7. Resultados primários e secundários
8. Métodos de síntese (plano de meta-análise)
9. Análises de subgrupo e sensibilidade
"Escreva o protocolo antes de ver os dados.
Lock it in a public registry.
Then follow it—or explain why you deviated.
É assim que você prova que não trapaceou."
Lock it in a public registry.
Then follow it—or explain why you deviated.
É assim que você prova que não trapaceou."
O título é a primeira promessa que você faz.
Deve dizer ao leitor:
O que você estudou, como estudou e que tipo de estudo é.
Deve dizer ao leitor:
O que você estudou, como estudou e que tipo de estudo é.
A anatomia de um título
PRISMA Title Requirements
Title Must Include
↓
PopulationQuem foi estudado
InterventionO que foi feito
OutcomeO que foi medido
↓
+ “Revisão Sistemática” ou “Meta-Análise”
Good vs. Bad Titles
❌ BAD TITLE
"Uma revisão do tratamento do diabetes"
Problems: No population specified, no intervention, no outcome, doesn't say systematic review
Problems: No population specified, no intervention, no outcome, doesn't say systematic review
✓ GOOD TITLE
"Eficácia dos inibidores de SGLT2 na mortalidade cardiovascular em adultos com diabetes tipo 2: uma revisão sistemática e meta-análise"
População, intervenção, resultado e tipo de estudo, tudo claro
População, intervenção, resultado e tipo de estudo, tudo claro
"O título é a sua primeira palavra para o leitor.
Faça-o completo. Seja honesto.
Tell them exactly what they will find within."
Faça-o completo. Seja honesto.
Tell them exactly what they will find within."
Most readers will only read your abstract.
If the abstract lies, or omits, or misleads—
most readers will never know.
If the abstract lies, or omits, or misleads—
most readers will never know.
O problema da rotação
BOUTRON ET AL., 2010
Researchers analyzed 72 RCTs with non-significant primary outcomes.
Eles descobriram que 40% of abstracts contained "spin"— relatórios focados em resultados secundários, subgrupos ou mudanças dentro do grupo para fazer com que os resultados pareçam mais favoráveis do que eram.
O resumo contou uma história diferente dos dados.
Eles descobriram que 40% of abstracts contained "spin"— relatórios focados em resultados secundários, subgrupos ou mudanças dentro do grupo para fazer com que os resultados pareçam mais favoráveis do que eram.
O resumo contou uma história diferente dos dados.
Boutron I et al. JAMA. 2010;303:2058-2064
Structured Abstract Elements
PRISMA Abstract Checklist
□ Antecedentes e objetivos
□ Eligibility criteria
□ Information sources
□ Risk of bias assessment
□ Synthesis methods
□ Resultados (# estudos, # participantes, estimativa de efeito com IC)
□ Limitations
□ Conclusões e implicações
□ Registration number
O que acontece quando o resumo conta uma história diferente da do próprio artigo?
REAL DATA
Pitkin et al. (1999, BMJ) examinaram resumos estruturados em seis importantes periódicos e descobriram que 18-68% dos resumos continham dados inconsistentes com o artigo completo. As deficiências variaram de erros numéricos a conclusões não apoiadas pelos resultados relatados.
O resumo enganoso: Pitkin 1999
Sua metanálise encontrou um desfecho primário não significativo (RR 0,92, IC 95% 0,78-1,09). Como você escreve o resumo?
CAMINHO A: Gire o Resumo
Emphasize a significant secondary outcome and use language like "trend toward benefit"
↓
Leitores que veem apenas o resumo formam uma impressão enganosamente positiva do tratamento
OUTCOME: Misleading clinical decisions
PATH B: Report Faithfully
Indique claramente o resultado primário não significativo e anote os resultados secundários como exploratórios
↓
Os leitores obtêm um resumo preciso; quem precisa de detalhes leia o artigo completo
RESULTADO: Integridade das evidências preservada
THE REVELATION
A maioria dos leitores nunca passa do resumo. Se o resumo induzir em erro, a honestidade do artigo completo não poderá desfazer o dano.
"Não gire. Não se esconda.
Se o resultado primário foi nulo, diga-o.
The abstract must be a faithful mirror—
não é um retrato lisonjeiro."
Se o resultado primário foi nulo, diga-o.
The abstract must be a faithful mirror—
não é um retrato lisonjeiro."
A vague question yields vague answers.
Antes de pesquisar, antes de escrever—
você deve saber exatamente o que você procura.
Antes de pesquisar, antes de escrever—
você deve saber exatamente o que você procura.
A Estrutura PICO
Estruturando a questão de pesquisa
Research Question
↓
PPopulation
Who?
IIntervention
What treatment?
CComparator
Vs. what?
OOutcome
What measured?
PICO Example
TRANSFORMANDO UMA PERGUNTA VAGA
Vague: "Does exercise help depression?"
PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)
Agora você sabe exatamente o que procurar.
PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)
Agora você sabe exatamente o que procurar.
"Defina sua pergunta com precisão.
Quem são os pacientes? Qual é o tratamento?
Qual é o comparador? O que você vai medir?
PICO é o mapa antes da viagem."
Quem são os pacientes? Qual é o tratamento?
Qual é o comparador? O que você vai medir?
PICO é o mapa antes da viagem."
Você não ouviu falar da meta-análise
that searched only one database,
perdeu metade das evidências,
e desenhou o wrong conclusion?
that searched only one database,
perdeu metade das evidências,
e desenhou o wrong conclusion?
The Search Strategy Decision Tree
Where to Search
Comprehensive Search
↓
Minimum Databases
MEDLINEPubMed
EmbaseEuropean focus
CENTRALCochrane trials
↓
Plus Additional Sources
Trial registriesClinicalTrials.gov
Grey literatureTheses, reports
Reference listsBackward citation
Documentando a pesquisa
WHAT TO REPORT
• Full search strategy for at least one database (appendix)
• Date of search para cada banco de dados
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• Contato com autores para dados não publicados
• Date of search para cada banco de dados
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• Contato com autores para dados não publicados
O TESTE DE REPRODUTIBILIDADE
Another researcher should be able to replicar sua pesquisa exatamente
e encontre o mesmo número de registros.
The Cochrane Search Strategy Discovery
2003 | REVISÃO DA METODOLOGIA COCHRANE
Cochrane researchers asked a simple question: What would happen if systematic reviewers only searched MEDLINE?
A resposta foi alarmante. Eles teriam perdeu 30% dos estudos incluídos—incluindo alguns que mudaram completamente as conclusões da meta-análise.
One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. Os estudos faltantes eram ensaios menores e negativos indexados em bases de dados especializadas como EMBASE e PsycINFO.
A resposta foi alarmante. Eles teriam perdeu 30% dos estudos incluídos—incluindo alguns que mudaram completamente as conclusões da meta-análise.
One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. Os estudos faltantes eram ensaios menores e negativos indexados em bases de dados especializadas como EMBASE e PsycINFO.
THE LESSON
Pesquisas em bancos de dados únicos podem sistematicamente perder ensaios negativos. Os estudos que não estão no MEDLINE podem ser os mesmos estudos que mudam a sua conclusão.
"Search wide. Search deep.
Document every database, every date, every term.
A evidência que você perde pode ser a evidência que mais importa."
Document every database, every date, every term.
A evidência que você perde pode ser a evidência que mais importa."
Entre milhares de registros, você deve escolher.
But choose by what rule?
E quem verificará suas escolhas?
But choose by what rule?
E quem verificará suas escolhas?
O diagrama de fluxo PRISMA
PRISMA 2020 Flow Diagram
IDENTIFICATION
n = 3,847
Registros de bancos de dados
↓
Duplicates removed (n = 892)
SCREENING
n = 2,955
Titles/abstracts screened
↓
Excluded (n = 2,680)
ELIGIBILITY
n = 275
Full-text assessed
↓
Excluído com motivos (n = 247)
INCLUDED
n = 28
Studies in synthesis
Selection Process Decision Tree
Who Selects? How?
Study Selection
↓
Two independent reviewersGold standard
↓
Disagreement?
ConsensusDiscussion
Third reviewerArbiter
One reviewer onlyAcknowledge limitation
REPORT AGREEMENT
Calcular e relatar inter-rater agreement (kappa statistic).
Low agreement suggests unclear criteria.
Uma análise post-hoc de subgrupos de um único ensaio pode remodelar um campo inteiro durante uma década?
REAL DATA
A Iniciativa de Saúde da Mulher (WHI, 2002) descobriu que a TRH increased cardiovascular risk overall. But post-hoc subgroup analysis suggested women aged <60 ou dentro de 10 anos após a menopausa poderiam beneficiar, enquanto as mulheres mais velhas eram prejudicadas. Esta “hipótese temporal” alimentou anos de debate e estudos adicionais.
The HRT Timing Hypothesis: WHI 2002
A sua meta-análise da TRH mostra danos gerais, mas um subgrupo exploratório sugere benefícios em mulheres mais jovens. Como você escreve isso?
CAMINHO A: Exagerar o subgrupo
Intitule o resultado do subgrupo etário como se fosse a descoberta principal
↓
Os médicos prescrevem TRH com base em subgrupos exploratórios e de baixa potência; a descoberta pode não ser replicada
OUTCOME: Premature clinical change
PATH B: Report Honestly
Present overall result as primary; label subgroup as exploratory and pre-specified or post-hoc
↓
Readers understand the hypothesis needs confirmation; future trials can be designed to test it
OUTCOME: Responsible hypothesis generation
THE REVELATION
As análises de subgrupos geram hipóteses, não conclusões. Sempre rotule-os como exploratórios e relate primeiro o resultado geral.
"Every exclusion must have a reason.
Every reason must be documented.
Two pairs of eyes are better than one—
pois o que um perde, o outro pode pegar."
Every reason must be documented.
Two pairs of eyes are better than one—
pois o que um perde, o outro pode pegar."
Você não viu a meta-análise
que reuniu bons estudos com maus,
e chamou a média truth?
que reuniu bons estudos com maus,
e chamou a média truth?
O perigo de ignorar o preconceito
O ESCÂNDALO ANTIDEPRESSIVO
Turner et al. (2008) obtained FDA data on 74 antidepressant trials.
In the published literature: 94% dos ensaios foram positivos.
In the FDA database: apenas 51% foram positivos.
As meta-análises publicadas reuniram dados relatados seletivamente. O tamanho do efeito foi inflated by 32%.
In the published literature: 94% dos ensaios foram positivos.
In the FDA database: apenas 51% foram positivos.
As meta-análises publicadas reuniram dados relatados seletivamente. O tamanho do efeito foi inflated by 32%.
Turner EH et al. N Engl J Med. 2008;358:252-260
Ferramentas de avaliação de risco de preconceito
Qual ferramenta usar?
Study Design
↓
RCTs
RoB 2Cochrane tool
Non-randomized
ROBINS-IInterventions
DTA studies
QUADAS-2Diagnostic
Observational
NOSNewcastle-Ottawa
RoB 2 Domains
Cochrane Risk of Bias 2.0 for RCTs
D1 Randomization process
D2 Desvios das intervenções pretendidas
D3 Dados de resultados ausentes
D4 Medição do resultado
D5 Seleção do resultado relatado
JUDGMENT OPTIONS
Each domain: Low risk /
Some concerns /
High risk
"Uma meta-análise de estudos tendenciosos
yields a biased conclusion—
com um intervalo de confiança mais estreito.
Você tornou a mentira mais precisa."
yields a biased conclusion—
com um intervalo de confiança mais estreito.
Você tornou a mentira mais precisa."
De cada estudo, você deve extrair os números.
Extraia errado e toda a sua análise
is built on sand.
Extraia errado e toda a sua análise
is built on sand.
Formulário de extração de dados
Dados essenciais Itens
1 Study identifiers (author, year, country)
2 Desenho e configuração do estudo
3 Participant characteristics (n, age, sex, severity)
4 Intervention details (dose, duration, delivery)
5 Comparator details
6 Definições e medição de resultados
7 Results (means, SDs, events, sample sizes)
8 Follow-up duration and loss to follow-up
9 Funding source and conflicts of interest
Extraction Decision Tree
Tratamento de dados ausentes
Dados não relatados
↓
What to Do?
First
Contact authorsE-mail para dados
If no response
Calculate/imputeDocument method
If impossible
Exclude from MAInclude in narrative
A extração de dados da rosiglitazona Erro
2007 | NEW ENGLAND JOURNAL OF MEDICINE
Nissen and Wolski's 2007 meta-analysis of rosiglitazone (Avandia) found a 43% increased risk of heart attack. A descoberta desencadeou alertas da FDA e causou o colapso das prescrições em todo o mundo.
But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports. Pequenas diferenças na forma como os eventos foram contados - extraídos de diferentes fontes - alteraram significativamente os resultados.<
A meta-análise foi influente e amplamente correta, mas a controvérsia destacou como small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.
But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports. Pequenas diferenças na forma como os eventos foram contados - extraídos de diferentes fontes - alteraram significativamente os resultados.<
A meta-análise foi influente e amplamente correta, mas a controvérsia destacou como small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.
THE LESSON
Sempre extrair de fontes primárias. Documente cada escolha. Uma pequena discrepância nos números extraídos pode alterar as decisões regulatórias e a sorte do mercado.
"Extract in duplicate. Check each number.
One digit wrong can change the conclusion.
A forma de extração é o seu livro-razão—
keep it meticulous, keep it true."
One digit wrong can change the conclusion.
A forma de extração é o seu livro-razão—
keep it meticulous, keep it true."
O tamanho do efeito é o coração da sua meta-análise.
Escolha a medida errada,
e sua estimativa agrupada será meaningless.
Escolha a medida errada,
e sua estimativa agrupada será meaningless.
Effect Measure Decision Tree
Choosing the Right Effect Size
Outcome Type
↓
Binary
RR, OR, RDEvents/no events
Continuous
Same scale?
YesMD (mean diff)
NoSMD (Hedge's g)
Time-to-event
HRHazard ratio
Common Effect Measures
RR
Risk Ratio
Multiplicative
Multiplicative
OR
Odds Ratio
Case-control
Case-control
MD
Mean Diff
Same units
Same units
SMD
Std Mean Diff
Different scales
Different scales
THE PRINCIPLE
A medida do efeito deve ser comparável entre estudos.
If studies used different scales, standardize.
Can a trial that transforms global practice still have serious limitations?
REAL DATA
O estudo RECOVERY (2020) demonstrou que a dexametasona reduziu a mortalidade em 28 dias em pacientes hospitalizados com COVID-19 que necessitam de oxigênio: RR 0.83, 95% CI 0.75-0.93. No entanto, o ensaio foi aberto (sem cegamento), conduzido predominantemente em hospitais do Reino Unido, e o grupo de controle recebeu cuidados habituais (que variaram).
O ensaio RECOVERY: 2020
Sua meta-análise inclui RECOVERY como o estudo dominante. Como você lida com as limitações de um estudo que seria um marco?
PATH A: Minimize Limitations
Minimize o design aberto e a concentração geográfica; concentre-se no impressionante benefício de mortalidade
↓
Readers cannot judge generalizability to other settings; potential detection bias is obscured
RESULTADO: Avaliação de evidências incompleta
PATH B: Honest Limitations
Reconhecer o design aberto e as limitações geográficas, ao mesmo tempo em que declara claramente o benefício de mortalidade
↓
Os leitores entendem a força da descoberta e onde a incerteza permanece
OUTCOME: Trustworthy, balanced reporting
THE REVELATION
Mesmo ensaios inovadores têm limitações. Reconhecê-los não prejudica as conclusões; ele constrói a confiança do leitor e orienta pesquisas futuras.
"Escolha a medida que se ajusta aos dados.
Taxas de risco para resultados comuns, razões de probabilidade para resultados raros.
Standardize when scales differ.
A medida errada associa maçãs com laranjas."
Taxas de risco para resultados comuns, razões de probabilidade para resultados raros.
Standardize when scales differ.
A medida errada associa maçãs com laranjas."
Você não viu o enredo da floresta
where studies pointed in opposite directions,
yet the diamond declared a single truth?
where studies pointed in opposite directions,
yet the diamond declared a single truth?
Fixed vs. Random Effects
Which Model to Use?
Meta-Analysis Model
↓
Suposição sobre o verdadeiro efeito?
One true effect
Fixed EffectTodos os estudos estimam o mesmo θ
↓
Rarely appropriateEstudos muito semelhantes
Effects vary
Random EffectsDistribution of θᵢ
↓
Usually preferredMore conservative
Quando NÃO fazer pool
Do Not Meta-Analyze If...
✗ Os estudos são muito heterogêneos (clínicos ou metodológicos)
✗ Os resultados são definidos de forma diferente
✗ As populações são fundamentalmente diferentes
✗ Risk of bias is too high across studies
✗ Publication bias is severe
THE WISDOM
Sometimes the most honest conclusion is:
"Esses estudos não devem ser agrupados."
O que acontece quando uma crítica metodológica a uma revisão Cochrane se transforma numa crise organizacional?
REAL DATA
Em 2018, Peter Gøtzsche e colegas publicaram uma crítica à revisão da vacina contra o HPV da Cochrane, argumentando que esta tinha excluído ensaios importantes e utilizado critérios de inclusão inadequados. A revisão Cochrane incluiu 26 estudos com mais de 73.000 mulheres. A disputa tornou-se uma crise de governança, culminando na expulsão de Gøtzsche do conselho da Cochrane.
A controvérsia Cochrane sobre HPV: 2018
Você recebe uma crítica metodológica de sua síntese publicada, argumentando que deveria ter incluído estudos adicionais. Como você responde?
CAMINHO A: Rejeitar a crítica
Defender a abordagem original sem se envolver com os pontos metodológicos específicos levantados
↓
A confiança pública diminui; a disputa torna-se pessoal e não científica; a base de evidências não é melhorada
OUTCOME: Polarization and lost credibility
PATH B: Engage Transparently
Realizar análises de sensibilidade incorporando os estudos sugeridos; publicar uma resposta transparente mostrando se as conclusões mudam
↓
A evidência é reforçada; o discurso metodológico avança o campo; a confiança é mantida
OUTCOME: Science self-corrects publicly
THE REVELATION
A crítica metodológica é como a ciência melhora. Responder com dados, e não com atitude defensiva, fortalece tanto a revisão quanto o campo.
“Não faça pool por pool.
Uma meta-análise de estudos incompatíveis
não é síntese – é confusão.
Know when to say: these cannot be combined."
Uma meta-análise de estudos incompatíveis
não é síntese – é confusão.
Know when to say: these cannot be combined."
Quando os estudos discordam,
o desacordo em si é data.
Do not hide it. Explain it.
o desacordo em si é data.
Do not hide it. Explain it.
Heterogeneity Measures
Q
Cochran's Q
Significance test
Significance test
I²
Inconsistency
% variation
% variation
τ²
Tau-squared
Between-study var
Between-study var
PI
Prediction interval
Future studies
Future studies
Investigating Heterogeneity
When I² > 50%
High Heterogeneity
↓
Investigation Methods
Subgroup analysisPre-specified
Meta-regressionIf ≥10 studies
Sensitivity analysisExclude outliers
↓
Report unexplained heterogeneityLimitation
What if a meta-analysis of small positive trials is overturned by a single mega-trial?
REAL DATA
No início da década de 1990, vários pequenos ensaios sugeriram que o magnésio intravenoso reduzia a mortalidade após infarto agudo do miocárdio. Uma meta-análise (Teo et al., 1991) reuniu estes dados e encontrou um benefício significativo: OR 0.44, 95% CI 0.27-0.71. Depois ISIS-4 (1995), um mega-ensaio com 58,050 patients, não encontrou nenhum benefício. Os efeitos dos pequenos estudos e a heterogeneidade foram ignorados.
A controvérsia do magnésio: 1991-1995
Sua meta-análise de pequenos ensaios mostra alta heterogeneidade (I² acima de 50%), mas a estimativa conjunta é significativa. Como você apresenta isso?
CAMINHO A: Enterrar a Heterogeneidade
Report the significant pooled estimate prominently; mention I² only in passing
↓
Os médicos adotam o tratamento; um futuro grande ensaio pode contradizer a meta-análise, minando a confiança no método
OUTCOME: Premature guideline changes
PATH B: Investigate Transparently
Destacar a heterogeneidade; investigar fontes (tamanho do estudo, qualidade); observe que os efeitos de pequenos estudos podem inflar a estimativa
↓
Os leitores entendem a incerteza; recomendações pedem um grande ensaio definitivo antes de mudar a prática
OUTCOME: Evidence-appropriate caution
THE REVELATION
A heterogeneidade é um sinal de alerta, não uma nota de rodapé. Os efeitos de pequenos estudos podem produzir uma estimativa agrupada falsamente tranquilizadora que um único grande ensaio pode anular.
"I-squared is not just a number to report.
A questão é: por que esses estudos discordam?
Investigate. Explain. Or acknowledge ignorance."
A questão é: por que esses estudos discordam?
Investigate. Explain. Or acknowledge ignorance."
Você nunca ouviu falar da gaveta de arquivo,
para onde vão os estudos negativos die,
leaving only the positive survivors
to tell a distorted story?
para onde vão os estudos negativos die,
leaving only the positive survivors
to tell a distorted story?
O desastre do Vioxx
MERCK, 2004
Vioxx (rofecoxib) was a blockbuster painkiller earning $2.5 billion/year.
Internal company documents showed Merck knew of cardiovascular risks but dados desfavoráveis suprimidos and published only favorable analyses.
A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.
Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.
Internal company documents showed Merck knew of cardiovascular risks but dados desfavoráveis suprimidos and published only favorable analyses.
A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.
Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.
Topol EJ. N Engl J Med. 2004;351:1707-1709
Detecting Publication Bias
Assessment Methods
Publication Bias Assessment
↓
Funnel plotVisual inspection
Egger's testStatistical asymmetry
Aparar e preencherImpute missing
↓
Requires ≥10 studiesLow power otherwise
Preventing Bias: The AllTrials Campaign
ALLTRIALS.NET
"All trials registered. All results reported."
• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• Contate empresas para obter dados não publicados
• Cite os números de registro em sua avaliação
• Relate quais ensaios registrados estão faltando em sua análise
• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• Contate empresas para obter dados não publicados
• Cite os números de registro em sua avaliação
• Relate quais ensaios registrados estão faltando em sua análise
"A gaveta do arquivo não está vazia.
Contém os estudos que as empresas esconderam,
os resultados que os periódicos rejeitaram.
Seu trabalho é abrir essa gaveta – ou dizer que não conseguiu.”
Contém os estudos que as empresas esconderam,
os resultados que os periódicos rejeitaram.
Seu trabalho é abrir essa gaveta – ou dizer que não conseguiu.”
O gráfico florestal é a cara da sua meta-análise.
Mostra ao leitor everything:
each study, each weight, each confidence interval,
e a estimativa final agrupada.
Mostra ao leitor everything:
each study, each weight, each confidence interval,
e a estimativa final agrupada.
Lendo o enredo da floresta
Elementos do Lote Florestal
Forest Plot
↓
Study namesLeft column
SquaresPoint estimates
Lines95% CI
DiamondPooled estimate
↓
Tamanho quadrado = peso do estudoLarger = more precise
Forest Plot Checklist
What to Include
□ Identificadores do estudo (autor, ano)
□ Sample size per arm
□ Estimativa de efeito com IC de 95%
□ Weight (% contribution)
□ Line of no effect (RR=1 or MD=0)
□ Estimativa agrupada com IC de 95%
□ Heterogeneity statistics (I², τ², Q)
□ Test for overall effect (Z, p-value)
Os números do Vioxx que mudaram tudo
2004 | O TESTE DE APROVAÇÃO E RETIRADA DO MERCADO
Durante anos, o gráfico florestal para a segurança cardiovascular do Vioxx (rofecoxib) mostrou um padrão tranquilizador. As estimativas pontuais de ensaios anteriores agruparam-se em torno da linha de nenhum efeito. O diamante sugeria que a droga era segura.
Depois veio o teste APPROVe. Quando seus dados foram adicionados ao gráfico florestal, a imagem mudou drasticamente. O grande quadrado do APPROVe puxou o diamante acumulado definitivamente para o perigo. O visual era inconfundível.
Aquele terreno florestal ended Vioxx. A Merck retirou o medicamento voluntariamente. O litígio subsequente custou à empresa $4.85 billion in settlements. Milhares de pacientes sofreram ataques cardíacos, enquanto os ensaios anteriores, menores, mostraram resultados ambíguos.
Depois veio o teste APPROVe. Quando seus dados foram adicionados ao gráfico florestal, a imagem mudou drasticamente. O grande quadrado do APPROVe puxou o diamante acumulado definitivamente para o perigo. O visual era inconfundível.
Aquele terreno florestal ended Vioxx. A Merck retirou o medicamento voluntariamente. O litígio subsequente custou à empresa $4.85 billion in settlements. Milhares de pacientes sofreram ataques cardíacos, enquanto os ensaios anteriores, menores, mostraram resultados ambíguos.
THE LESSON
Um ensaio bem conduzido e com potência adequada pode alterar toda a estimativa agrupada. Os gráficos florestais contam a história de como as evidências se acumulam – e às vezes, como invertem o curso.
A trama florestal enganosa
Você está projetando um gráfico florestal para sua meta-análise. A escala dos eixos e a ordem dos estudos podem alterar a impressão visual. Como você procede?
CAMINHO A: Design para Impacto
Use a compressed axis scale to make effect sizes look larger; order studies to build a visual narrative
↓
Os leitores têm impressões exageradas da magnitude do efeito; o enredo se torna uma ferramenta de defesa de direitos em vez de uma exibição de dados
RESULTADO: Distorção visual de evidências
CAMINHO B: Design para clareza
Use standard axis scaling; order studies by year or alphabetically; include all standard elements (weights, CIs, I²)
↓
Os leitores podem fazer os seus próprios julgamentos; o gráfico serve como uma visualização de dados transparente
OUTCOME: Honest visual communication
"The forest plot hides nothing.
Every study visible. Every weight transparent.
Deixe o leitor ver o que você viu -
e julgar por si mesmos."
Every study visible. Every weight transparent.
Deixe o leitor ver o que você viu -
e julgar por si mesmos."
Uma estimativa conjunta não é suficiente.
Você também deve dizer ao leitor:
How confident should they be in this result?
Você também deve dizer ao leitor:
How confident should they be in this result?
GRADE Certainty Assessment
Avaliando a evidência
Start: RCTs = High, Obs = Low
↓
Reasons to Downgrade?
Risk of bias-1 or -2
Inconsistency-1 or -2
Indirectness-1 or -2
Imprecision-1 or -2
Pub. bias-1 or -2
GRADE Certainty Levels
⊕⊕⊕⊕
HIGH
Very confident
Very confident
⊕⊕⊕◯
MODERATE
Likely close
Likely close
⊕⊕◯◯
LOW
May differ
May differ
⊕◯◯◯
VERY LOW
Uncertain
Uncertain
What happens when a GRADE assessment of "low certainty" collides with a public health emergency?
REAL DATA
A revisão Cochrane de 2023 sobre intervenções físicas para reduzir a propagação do vírus respiratório (Jefferson et al.) descobriu que a evidência para máscaras em ambientes comunitários era low certainty por GRAU, com amplos intervalos de confiança. A revisão foi amplamente divulgada como uma prova de que “as máscaras não funcionam”, embora os autores tenham afirmado que as evidências eram insuficientes para tirar conclusões firmes em qualquer direção.
A revisão da máscara Cochrane: 2023
Sua revisão sistemática sobre um tema politicamente sensível recebe uma classificação GRADE de “baixa certeza”. Como você comunica isso?
CAMINHO A: suavizar a classificação
Minimizar a avaliação GRADE para evitar controvérsias políticas; enfatizar a estimativa pontual sobre o nível de certeza
↓
A revisão perde credibilidade metodológica; GRADE passa a ser visto como opcional em vez de rigoroso
OUTCOME: Compromised methodology
PATH B: Report Faithfully
Relate a classificação GRADE honestamente; explicar claramente o que significa (e não significa) “baixa certeza”; distinguir ausência de evidência de evidência de ausência
↓
O público pode interpretar mal, mas os registos científicos são precisos; direções de pesquisas futuras tornam-se claras
OUTCOME: Methodological integrity
THE REVELATION
“Baixa certeza” não significa “nenhum efeito”. As classificações GRADE devem ser relatadas fielmente, com explicação clara do que significam, especialmente para tópicos politicamente carregados.
“O tamanho do efeito é o quê.
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."
A discussão é onde você interpret.
Para não girar. Para não exagerar.
But to explain what your findings mean—
e o que eles fazem not mean.
Para não girar. Para não exagerar.
But to explain what your findings mean—
e o que eles fazem not mean.
Discussion Structure
1
Summary of Findings
Reafirmar os principais resultados com classificação de certeza
2
Comparação com a literatura existente
How do your findings relate to prior reviews?
3
Pontos fortes e limitações
Tanto a revisão quanto os estudos incluídos
4
Implicações para a prática
What should clinicians/policymakers do?
5
Implicações para a pesquisa
Que estudos ainda são necessários?
Common Mistakes in Discussion
What NOT to Do
✗ Conclusões exageradas além dos dados
✗ Ignoring limitations
✗ Treating statistical significance as clinical importance
✗ Failing to address heterogeneity
✗ Fazendo afirmações causais a partir de dados observacionais
E se o artigo metodológico mais citado já publicado alertar que a maioria dos resultados da pesquisa são falsos?
REAL DATA
O artigo de John Ioannidis de 2005 na PLoS Medicine, "Por que a maioria dos resultados de pesquisa publicados são falsos", foi citado mais de 10,000 times. Usando modelagem matemática, ele argumentou que a probabilidade de uma descoberta de pesquisa ser verdadeira depende do poder do estudo, do viés e do número de relações testadas. Para muitos projetos de pesquisa, a probabilidade pós-estudo de uma descoberta verdadeira pode ser inferior a 50%.
O chamado de despertar de Ioannidis: 2005
Sua meta-análise tem um resultado estatisticamente significativo, mas os estudos incluídos são pequenos, heterogêneos e muitos apresentam alto risco de viés. Como você escreve a discussão?
CAMINHO A: Superestimar a descoberta
Comece com a estimativa agrupada significativa; minimizar limitações; fazer recomendações práticas fortes
↓
A descoberta entra nas diretrizes prematuramente; quando a replicação falha, todo o método de meta-análise é responsabilizado
OUTCOME: Eroded trust in evidence synthesis
CAMINHO B: Calibrar a Interpretação
Discutir o resultado no contexto da qualidade, heterogeneidade e certeza do estudo; combinar a força da recomendação com a força da evidência
↓
Readers understand the degree of confidence warranted; future research priorities become clear
OUTCOME: Proportionate, trustworthy conclusions
THE REVELATION
A discussão deve calibrar o entusiasmo com a qualidade da evidência. Afirmações fortes provenientes de evidências fracas prejudicam a credibilidade de todo o campo.
“A discussão não é para defesa de direitos.
É para uma interpretação honesta.
Diga o que as evidências mostram.
Admit what it does not show."
É para uma interpretação honesta.
Diga o que as evidências mostram.
Admit what it does not show."
Você não ouviu falar do jornal Wakefield,
where conflicts of interest were hidden,
onde os dados foram fabricados,
e milhões de crianças foram unvaccinated?
where conflicts of interest were hidden,
onde os dados foram fabricados,
e milhões de crianças foram unvaccinated?
A fraude MMR-autismo
THE LANCET, 1998-2010
Andrew Wakefield published a study linking MMR vaccine to autism.
Ele não revelou que estava paid £435,643 by lawyers seeking to sue vaccine manufacturers.
Ele não revelou que tinha filed a patent for a competing single-dose measles vaccine.
O estudo acabou sendo retirado. Wakefield foi eliminado. Mas o estrago estava feito: vaccination rates plummetede os surtos de sarampo retornaram.
Ele não revelou que estava paid £435,643 by lawyers seeking to sue vaccine manufacturers.
Ele não revelou que tinha filed a patent for a competing single-dose measles vaccine.
O estudo acabou sendo retirado. Wakefield foi eliminado. Mas o estrago estava feito: vaccination rates plummetede os surtos de sarampo retornaram.
Deer B. BMJ. 2011;342:c5347
Transparency Checklist
What to Declare
□ Protocol registration number
□ Funding sources (all)
□ Papel do financiador na revisão
□ Conflicts of interest (all authors)
□ Declaração de disponibilidade de dados
□ Desvios do protocolo (com motivos)
□ Author contributions
A Iniciativa AllTrials
2013-PRESENT | A GRASSROOTS TRANSPARENCY MOVEMENT
Em 2013, Ben Goldacre e colegas da Cochrane Collaboration lançaram o AllTrials depois de descobrirem uma verdade perturbadora: approximately half of all clinical trials were never published. Os ensaios faltantes foram desproporcionalmente aqueles com resultados negativos ou inconvenientes.
A campanha reuniu mais de 90.000 signatários individuais e mais de 700 organizações. Exigia que todos os ensaios passados e futuros fossem registados, com métodos e resultados completos relatados.
O impacto foi transformador. O A UE agora exige registo de ensaios e relatórios de resultados. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.
A campanha reuniu mais de 90.000 signatários individuais e mais de 700 organizações. Exigia que todos os ensaios passados e futuros fossem registados, com métodos e resultados completos relatados.
O impacto foi transformador. O A UE agora exige registo de ensaios e relatórios de resultados. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.
THE LESSON
Exigir acesso a dados funciona. Um movimento popular mudou as regulamentações internacionais – provando que os defensores da transparência podem remodelar o ecossistema de evidências.
A cascata de pré-impressão da hidroxicloroquina: 2020
Estamos no início de 2020. Sua equipe tem resultados preliminares de meta-análise sobre um tratamento para COVID-19. A pré-impressão de Gautret (não randomizado, 42 pacientes) já se tornou viral. O escândalo Surgisphere em breve mostrará dados fabricados nas principais revistas. Você corre para pré-imprimir ou espera?
CAMINHO A: Pré-impressão para velocidade
Publique imediatamente no medRxiv para influenciar a política; pular revisão por pares por urgência
↓
Se os estudos incluídos fabricaram dados ou métodos falhos, sua meta-análise amplifica os erros; retratação prejudica credibilidade
OUTCOME: Accelerated misinformation
PATH B: Verify, Then Publish
Avaliar rigorosamente a qualidade do estudo; entre em contato com os autores para obter dados brutos; passar por uma rápida revisão por pares antes de postar
↓
A publicação é mais lenta, mas a análise é robusta; conclusões sobrevivem quando estudos falhos são retratados
RESULTADO: Evidências duráveis e confiáveis
“A transparência não é opcional.
Declare seu financiamento. Declare seus conflitos.
The reader has a right to know
quem pagou por este trabalho - e por quê."
Declare seu financiamento. Declare seus conflitos.
The reader has a right to know
quem pagou por este trabalho - e por quê."
Antes de enviar
A lista de verificação final
PRISMA 2020 Final Check
Have You...
□ Completed all 27 PRISMA checklist items?
□ Included the PRISMA flow diagram?
□ Provided full search strategy in appendix?
□ Estudos excluídos listados com motivos?
□ Risco de viés relatado para cada estudo?
□ Provided forest plot(s)?
□ Viés de publicação avaliado (se ≥10 estudos)?
□ Certeza de evidência graduada (GRADE)?
□ Declared all conflicts of interest?
□ Cited protocol registration?
Supplementary Materials
WHAT TO INCLUDE
• Full search strategies para todos os bancos de dados
• Lista de estudos excluídos with reasons
• Formulários de extração de dados (em branco e preenchido)
• Risk of bias details para cada estudo
• Additional forest plots (subgroups, sensitivity)
• Funnel plot e testes estatísticos
• Perfil de evidência GRADE tables
• Lista de estudos excluídos with reasons
• Formulários de extração de dados (em branco e preenchido)
• Risk of bias details para cada estudo
• Additional forest plots (subgroups, sensitivity)
• Funnel plot e testes estatísticos
• Perfil de evidência GRADE tables
Quanto tempo pode um artigo fraudulento sobreviver à revisão por pares, ao escrutínio editorial e ao desafio público?
REAL DATA
Andrew Wakefield's 1998 Lancet paper linking MMR vaccine to autism took 12 years ser totalmente retraído (2010). Durante esse período, o jornalista Brian Deer descobriu conflitos financeiros, violações éticas e manipulação de dados. Vários grandes estudos (incluindo uma coorte dinamarquesa de over 650,000 children) found no association, yet the original paper's influence persisted.
A retração de Wakefield: 1998-2010
Durante a revisão por pares, um revisor levanta sérias preocupações sobre um estudo incluído na sua meta-análise, citando inconsistências de dados. Como você responde?
CAMINHO A: Desviar a preocupação
Rejeite a preocupação do revisor como excessivamente cautelosa; manter o estudo incluído sem investigação adicional
↓
Se o estudo for posteriormente retratado, sua meta-análise estará contaminada; a conclusão pode precisar ser retirada
RESULTADO: Síntese de evidências contaminadas
PATH B: Investigate Thoroughly
Contate os autores do estudo para obter dados brutos; executar análise de sensibilidade excluindo o estudo questionado; divulgue a preocupação de forma transparente
↓
A sua meta-análise é robusta para a inclusão ou exclusão do estudo suspeito; a análise de sensibilidade está documentada
RESULTADO: Revisão resiliente e autocorretiva
THE REVELATION
A revisão por pares é sua última defesa antes da publicação. Envolva-se com as preocupações dos revisores como oportunidades para fortalecer seu trabalho, e não como obstáculos a serem superados.
"Você reuniu as evidências.
Você pesou bastante.
Você escreveu isso de forma transparente.
Agora envie seu trabalho—
e deixe a verdade ser encontrada e encontrada novamente."
Você pesou bastante.
Você escreveu isso de forma transparente.
Agora envie seu trabalho—
e deixe a verdade ser encontrada e encontrada novamente."
References
Key Sources
- Page MJ et al. BMJ. 2021;372:n71. [PRISMA 2020]
- Jefferson T et al. Cochrane 2014;4:CD008965. [Tamiflu]
- Turner EH et al. N Engl J Med. 2008;358:252-260. [Antidepressants]
- Boutron I et al. JAMA. 2010;303:2058-2064. [Spin]
- Topol EJ. N Engl J Med. 2004;351:1707-1709. [Vioxx]
- Deer B. BMJ. 2011;342:c5347. [Wakefield]
- Sterne JAC et al. BMJ. 2019;366:l4898. [RoB 2]
- Higgins JPT et al. Cochrane Handbook. 2023.
- Schünemann HJ et al. GRADE Handbook. 2013.
- Ioannidis JPA. PLoS Med. 2005;2:e124. [Why most research is false]
What percentage of antidepressant trials appeared positive in published literature vs. FDA data?
Published 51%, FDA 94%
Published 94%, FDA 51%
Both about 75%
Published 80%, FDA 60%
Qual a finalidade de registrar um protocolo antes de realizar uma revisão sistemática?
To get funding
To claim priority
To prevent outcome switching and data-driven decisions
Para tornar a revisão publicável
Quando você NÃO deve agrupar estudos em uma meta-análise?
Quando há menos de 10 estudos
Quando os estudos são muito heterogêneos clínica ou metodologicamente
Quando o efeito não é estatisticamente significativo
Quando os estudos são de países diferentes
✔
Course Complete
"Agora você conhece o pacto de evidência:
Registre-se antes de pesquisar.
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
Piscina com sabedoria - ou não.
Write so that truth may be found,
e encontrado novamente, por aqueles que seguem."
Registre-se antes de pesquisar.
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
Piscina com sabedoria - ou não.
Write so that truth may be found,
e encontrado novamente, por aqueles que seguem."
Os métodos não são nada sem as ferramentas para executá-los.
Qual software realizará sua análise
from protocol to forest plot?
Qual software realizará sua análise
from protocol to forest plot?
Software Decision Tree
Escolhendo suas ferramentas
Meta-Analysis Software
↓
Your Context?
Cochrane Review
RevManFree, official
Academic/Flexible
R metaforFree, powerful
Institution License
Stata metaComprehensive
Point-and-Click
CMAUser-friendly
O kit de ferramentas essencial
RevMan
Cochrane official
Free download
Free download
R + metafor
Most flexible
Reproducible code
Reproducible code
GRADEpro
Certainty tables
SoF tables
SoF tables
Rayyan
Screening tool
AI-assisted
AI-assisted
REPRODUCIBILITY
Ferramentas baseadas em código (R, Stata) criam reproducible analyses. Compartilhe seu código para que outros possam verificar seu trabalho.
R metafor Example
BASIC META-ANALYSIS IN R
library(metafor)
# Calculate effect sizes
dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,
ci=events_ctrl, di=noevents_ctrl, data=mydata)
# Random effects model
res <- rma(yi, vi, data=dat, método="REML")
# Forest plot
forest(res, slab=paste(author, year))
# Calculate effect sizes
dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,
ci=events_ctrl, di=noevents_ctrl, data=mydata)
# Random effects model
res <- rma(yi, vi, data=dat, método="REML")
# Forest plot
forest(res, slab=paste(author, year))
Como você coordena a escrita quando uma revisão sistemática tem dezenas de autores?
REAL DATA
O ensaio SPRINT (2015) listou mais 100 authors de dezenas de instituições. O grupo de redação incluiu um comitê diretor, investigadores do local e estatísticos. Coordenar as contribuições, gerenciar o controle de versão e determinar o crédito de autoria exigia estruturas formais. Os critérios do ICMJE definem autoria como exigindo contribuição substancial, redação ou revisão, aprovação final e responsabilidade.
Team Writing Challenges: Large Collaborative Reviews
Sua equipe de revisão sistemática tem 12 membros em 4 países. Como você gerencia o processo de escrita?
PATH A: Informal Coordination
Pass drafts via email; resolve authorship at the end; no writing plan or version control
↓
Duplication of effort; authorship disputes at submission; inconsistent voice and formatting; lost contributions
RESULTADO: Atrasos e conflitos
PATH B: Structured Process
Atribuir leads de seção antecipadamente; utilizar plataformas compartilhadas com controle de versão; concordar com os critérios do ICMJE e a ordem de autoria no início
↓
Responsabilidade clara; saída consistente; contribuições transparentes; autoria decidida antes que os resultados sejam conhecidos
OUTCOME: Efficient, fair collaboration
THE REVELATION
Acorde sobre os critérios de autoria e as responsabilidades de redação antes do início do trabalho. As disputas são mais difíceis de resolver depois que os resultados são conhecidos.
"A ferramenta não faz a análise.
O analista faz.
Mas escolha sua ferramenta com sabedoria—
e compartilhe seu código para que a verdade possa ser revelada verificado."
O analista faz.
Mas escolha sua ferramenta com sabedoria—
e compartilhe seu código para que a verdade possa ser revelada verificado."
Nem todo mundo escreve meta-análises.
But every clinician, every policymaker, every patient
must know how to read them.
But every clinician, every policymaker, every patient
must know how to read them.
O Reversão da TRH
WOMEN'S HEALTH INITIATIVE, 2002
Durante décadas, estudos observacionais sugeriram que a terapia de reposição hormonal (TRH) protegia as mulheres de doenças cardíacas.
Meta-análises desses estudos mostraram uma 35-50% reduction in cardiovascular risk.
Então o ensaio randomizado WHI revelou a verdade: TRH increased heart attack risk by 29%.
The observational meta-analyses had pooled confounded data— mulheres mais saudáveis escolheram HRT, não o contrário.
Meta-análises desses estudos mostraram uma 35-50% reduction in cardiovascular risk.
Então o ensaio randomizado WHI revelou a verdade: TRH increased heart attack risk by 29%.
The observational meta-analyses had pooled confounded data— mulheres mais saudáveis escolheram HRT, não o contrário.
Rossouw JE et al. JAMA. 2002;288:321-333
How to Read a Forest Plot
Consumer's Guide
Lendo o enredo da floresta
↓
Line of no effectRR=1 or MD=0
Diamond positionLeft=benefit, Right=harm
Diamond widthNarrow=precise
↓
Does diamond cross the line?
NoStatistically significant
YesNot significant
Red Flags When Reading
Warning Signs in Published Meta-Analyses
⚠ No protocol registration cited
⚠ Single database searched
⚠ No risk of bias assessment
⚠ High I² but no investigation
⚠ Asymmetric funnel plot ignored
⚠ Financiamento da indústria, sem análise de sensibilidade
⚠ As conclusões excedem as evidências
What GRADE Ratings Mean
PARA MÉDICOS E PACIENTES
HIGH: We are very confident. Future research unlikely to change.
MODERATE: Probably close to truth. Future research may change estimate.
LOW: Uncertain. Future research likely to change substantially.
VERY LOW: Very uncertain. Any estimate is speculative.
MODERATE: Probably close to truth. Future research may change estimate.
LOW: Uncertain. Future research likely to change substantially.
VERY LOW: Very uncertain. Any estimate is speculative.
"Leia a floresta, não apenas a diamante.
Procure o protocolo. Verifique o viés.
Ask: Who funded this? What did they hide?
O leitor informado é o guardião da verdade."
Procure o protocolo. Verifique o viés.
Ask: Who funded this? What did they hide?
O leitor informado é o guardião da verdade."
What if you must compare treatments
que nunca foram testados frente a frente?
Este é o reino de network meta-analysis.
que nunca foram testados frente a frente?
Este é o reino de network meta-analysis.
When to Use Network MA
NMA Decision Tree
Multiple Treatments
↓
Direct comparisons available?
All pairs directly compared
Pairwise MAStandard approach
Some indirect only
Network MABorrow strength
↓
Check transitivity assumptionSimilar populations across comparisons
A Geometria da Rede
VISUALIZANDO A EVIDÊNCIA
Nodes = Treatments (size = sample)
Edges = Comparações diretas (largura = estudos)
Dashed = Apenas evidências indiretas
League Tables
LEITURA DOS RESULTADOS NMA
League tables show all pairwise comparisons da rede.
• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options
• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options
CRITICAL ASSUMPTION
Transitivity: Se A vs. e B vs. C são comparados em pacientes semelhantes, podemos estimar A vs. C indiretamente.
What happens to meta-analyses when a prolific author's entire body of work is retracted?
REAL DATA
Joachim Boldt, a German anesthesiologist, had over 220 papers retracted para fabricação de dados (descoberto em 2010-2011). Seus estudos sobre soluções coloidais foram incluídos em diversas revisões sistemáticas e meta-análises. Quando vieram as retratações, toda meta-análise contendo seu trabalho teve que ser reavaliada. Algumas conclusões mudaram substancialmente quando seus dados fabricados foram removidos.
A Cascata de Retração Boldt: 2010-2011
Você descobre que um estudo incluído em sua meta-análise publicada foi retirado para produção de dados. O que você faz?
PATH A: Hope No One Notices
Ignore a retração; a meta-análise já está publicada e o estudo retratado era pequeno
↓
Outros citam sua meta-análise; os dados fabricados se propagam através de citações secundárias; as decisões de atendimento ao paciente são baseadas em evidências contaminadas
OUTCOME: Cascading harm from inaction
PATH B: Self-Correct Publicly
Publicar uma correção ou análise atualizada excluindo o estudo retratado; notificar a revista; informar se as conclusões mudam
↓
O registro científico está corrigido; os leitores veem a análise atualizada; sua reputação de integridade é aprimorada
OUTCOME: Scientific self-correction
THE REVELATION
A integridade da síntese de evidências depende de vigilância contínua. Quando os estudos incluídos são retratados, o dever ético é atualizar e corrigir, não permanecer em silêncio.
"When treatments have never met,
a rede constrói uma ponte de evidências.
But the bridge rests on transitivity—
verificar se as populações são comparáveis."
a rede constrói uma ponte de evidências.
But the bridge rests on transitivity—
verificar se as populações são comparáveis."
Você não viu a IA que previu o câncer
com 99% de precisão no conjunto de treinamento—
e falhou catastroficamente
quando implantado no real world?
com 99% de precisão no conjunto de treinamento—
e falhou catastroficamente
quando implantado no real world?
A falha do algoritmo de sepse
EPIC SEPSIS MODEL, 2021
Epic's sepsis prediction algorithm was deployed in hundreds of hospitals.
Internal validation showed excellent performance.
Mas um estudo independente na Michigan Medicine encontrou o modelo missed 67% of sepsis cases and generated excessive false alarms.
O algoritmo foi validado na mesma população foi treinado em— uma receita para overfitting e falha.
Internal validation showed excellent performance.
Mas um estudo independente na Michigan Medicine encontrou o modelo missed 67% of sepsis cases and generated excessive false alarms.
O algoritmo foi validado na mesma população foi treinado em— uma receita para overfitting e falha.
Wong A et al. JAMA Intern Med. 2021;181:1065-1070
AI Validation Decision Tree
Níveis de evidência para AI/ML
AI Prediction Model
↓
Validation Level?
Internal onlyMesma divisão de dados
HIGH RISK
TemporalDifferent time
MODERATE
ExternalDifferent site
BETTER
Impact RCTPatient outcomes
BEST
PROBAST & TRIPOD
PROBAST
Prediction model
Risk of Bias
Risk of Bias
TRIPOD
Reporting
guideline
guideline
TRIPOD-AI
AI-specific
extension
extension
CALIBRATION VS. DISCRIMINATION
AUC/c-statistic: Can the model rank patients? (discrimination)
Calibration: São probabilidades previstas preciso?
A model can have good AUC but poor calibration—and harm patients.
Calibration: São probabilidades previstas preciso?
A model can have good AUC but poor calibration—and harm patients.
"O algoritmo aprendeu com os dados,
e os dados foram tendenciosos.<
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."
e os dados foram tendenciosos.<
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."
A meta-análise fala em números.
Mas o paciente ouve medos e esperanças.
Como você irá superar o lacuna?
Mas o paciente ouve medos e esperanças.
Como você irá superar o lacuna?
Translating Numbers to Meaning
Communication Decision Tree
Meta-Analysis Result
↓
Effect Size Type?
Relative (RR, OR)
Convert to NNTMore intuitive
Absolute (RD)
Use directly"X fewer per 1000"
Continuous (MD)
ContextualizeMinimal important diff
Scripts para pacientes
EXPLAINING A POSITIVE RESULT
"A pesquisa reuniu 15 estudos com 8.000 pacientes.
Descobriu que este tratamento reduz o risco de [resultado] em cerca de 30%.
Em termos práticos: se tratarmos 100 pessoas como você, cerca de 5 a menos terão [resultado] em comparação com nenhum tratamento.
We're moderately confident in this—future research might change it slightly.
Que perguntas você tem sobre isso?"
Descobriu que este tratamento reduz o risco de [resultado] em cerca de 30%.
Em termos práticos: se tratarmos 100 pessoas como você, cerca de 5 a menos terão [resultado] em comparação com nenhum tratamento.
We're moderately confident in this—future research might change it slightly.
Que perguntas você tem sobre isso?"
Questions Patients Should Ask
Empowering Patients
1 "Quantos estudos e pacientes foram incluídos?"
2 "Quão confiantes estão os pesquisadores neste resultado?"
3 "Quais são os benefícios E prejudica?"
4 "Pessoas como eu foram incluídas nesses estudos?"
5 "Quem financiou esta pesquisa?"
6 "O que isso significa para minha situação específica?"
Can a spreadsheet error in an academic paper directly shape the economic policy of entire nations?
REAL DATA
O artigo de Reinhart e Rogoff de 2010 afirmou que países com dívida pública superior 90% of GDP experimentaram um crescimento dramaticamente menor. Esta conclusão foi amplamente citada para justificar políticas de austeridade em toda a Europa. Em 2013, Herndon, Ash e Pollin descobriram um erro na planilha: vários países foram acidentalmente excluídos dos cálculos. Após a correção, o limite acentuado de 90% desapareceu.
O impacto político de Reinhart-Rogoff: 2010-2013
Os resultados da sua meta-análise têm implicações políticas claras. Os decisores políticos estão ansiosos por uma mensagem simples. Como você redige o resumo da política?
CAMINHO A: Simplifique demais para obter impacto
Forneça um limite claro ou número de título; omitir advertências e faixas de incerteza para máxima influência política
↓
A política é adotada com base em conclusões simplificadas; quando surgem nuances ou erros são encontrados, tanto a pesquisa quanto a política resultante são desacreditadas
OUTCOME: Policy built on a fragile foundation
CAMINHO B: Comunicar com Integridade
Apresentar as evidências com a incerteza apropriada; distinguir achados fortes de sugestivos; fornecer resumos práticos que preservem as nuances
↓
Os formuladores de políticas entendem o que as evidências apoiam e onde permanece a incerteza; as decisões são tomadas com o devido cuidado
OUTCOME: Durable, evidence-informed policy
THE REVELATION
Policy briefs must communicate uncertainty honestly. Oversimplified findings may gain influence quickly but collapse when scrutinized, damaging trust in research-policy relationships.
"A meta-análise fala em números.
O paciente ouve medos e esperanças.
Seu trabalho é ser o tradutor—
fiel às evidências, compassivo com o pessoa."
O paciente ouve medos e esperanças.
Seu trabalho é ser o tradutor—
fiel às evidências, compassivo com o pessoa."
Uma revisão sistemática captura evidências em um momento em tempo.
But science does not stop.
Como mantemos as evidências alive?
But science does not stop.
Como mantemos as evidências alive?
Living Systematic Reviews
COVID-19 PANDEMIC, 2020-2023
Durante a pandemia, as evidências surgiram mais rápido do que as revisões tradicionais poderiam sintetizar.
Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.
O consórcio COVID-NMA produziu análises vivas sobre tratamentos, vacinas e diagnósticos, atualizando recomendações em real-time como evidência evoluiu.
Hydroxychloroquine went from "promising" to "ineffective" within months.
Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.
O consórcio COVID-NMA produziu análises vivas sobre tratamentos, vacinas e diagnósticos, atualizando recomendações em real-time como evidência evoluiu.
Hydroxychloroquine went from "promising" to "ineffective" within months.
Defined by Cochrane: continual updates at ≤monthly intervals
When to Use Living Reviews
Árvore de decisão de revisão viva
Decisão do tipo de revisão
↓
As evidências estão evoluindo rapidamente?
Yes + High Priority
Living ReviewContinuous updates
No / Stable
Standard ReviewUpdate every 2-5 years
↓
Resource intensiveRequires ongoing funding
O futuro da síntese de evidências
Automation
ML-assisted
screening
screening
IPD-MA
Individual patient
data pooling
data pooling
Real-World
EHR-based
evidence
evidence
Adaptive
Platform trials
+ MA
+ MA
"O pacto de evidências não é estático.
Ele cresce a cada novo estudo, a cada nova pergunta.
Mantenha suas avaliações vivas.
Mantenha seus métodos transparentes.
Mantenha a verdade no centro de tudo o que você faz."
Ele cresce a cada novo estudo, a cada nova pergunta.
Mantenha suas avaliações vivas.
Mantenha seus métodos transparentes.
Mantenha a verdade no centro de tudo o que você faz."
1 / 4