Como definir a qualidade de uma metanálise?

A CPI (Comissão Parlamentar de Inquérito) da Covid tem sido um dos assuntos mais quentes das últimas semanas no cenário político brasileiro. Diversas pessoas estão sendo ouvidas e interrogadas por um grupo de senadores que buscam entender o que levou o Brasil ao trágico número de quase 500 mil mortos em consequência da pandemia desde março de 2020.

Durante as sessões, muito se fala sobre metanálise, principalmente para defender o uso do chamado “tratamento precoce”, uma técnica utilizada em trabalhos acadêmicos prontos com o objetivo de unir vários resultados sobre um mesmo assunto.

Alguns estudos metanalíticos estão sendo utilizados para dizer que a ciência comprova a eficiência de alguns remédios para os estágios iniciais da Covid-19. Isso está correto? Confira no artigo a seguir e fique por dentro da discussão!

O que é metanálise?
“Uma análise estatística de grandes coleções de resultados de estudos individuais com o propósito de integrar os achados destes estudos”. Essa é a definição proposta por Gene Glass, em 1976, sendo a primeira vez que a palavra “metanálise” apareceu em uma publicação científica.

A ideia é utilizar resultados de diferentes estudos científicos sobre o mesmo assunto, uma revisão sistemática da literatura, para combinar dados e enriquecer o conhecimento acerca daquele determinado objeto de pesquisa.

Por que não é certo utilizar metanálise para defender tratamento precoce?
O problema que vários cientistas renomados apontam não é exatamente na metanálise, afinal, ela é apenas um processo de análise de vários dados. A questão central são os estudos escolhidos para essa revisão sistemática da literatura.

Para começar, uma publicação científica não é sinônimo de qualidade. Como em todas as áreas, existem produções boas e ruins, que dependem de uma série de fatores. Aliás, existe uma hierarquia de evidências científicas. Veja a seguir:

Revisão sistemática; metanálise
Ensaios clínicos randomizados e controlados
Estudos de coorte
Estudos de caso-controle
Estudos transversais;
Ensaios in vitro; experimentos em animais; série de casos
Opinião de especialistas

Essa é uma hierarquia simples (existem pirâmides com mais “andares”), mas que serve para entender o assunto.

Se por um lado uma metanálise está no topo da pirâmide de evidências científicas, se os estudos que ela utiliza para chegar aos seus dados não são da mesma qualidade, podemos chegar a conclusões equivocadas.

Exemplo de metanálise ruim
Vamos imaginar estudos feitos em 10 penitenciárias diferentes no Brasil. Em todas elas, observa-se que 100% dos detentos utilizam chinelos ao invés de tênis. Em uma metanálise, podemos concluir que o uso de chinelos torna o indivíduo um criminoso.

Esse exemplo é bem exagerado, mas mostra como a metanálise por si só não diz nada. Se os dados não forem claros e a metodologia não for robusta, fica muito fácil manipular os resultados para chegar à conclusão que se deseja.

E é isso o que especialistas vêm apontando para os estudos que são utilizados para defender o tratamento precoce. Além de vários terem sido publicados em revistas pouco respeitadas, quase todos têm metodologia e evidências bem fracas, resultando em uma metanálise ruim.

Como definir a qualidade de uma metanálise?
Para pessoas fora da área das ciências é uma tarefa bem complicada. É preciso conhecer processos metodológicos, qualidade das revistas e publicações científicas e muitos outros fatores que exigem experiência na área. Portanto, o melhor a se fazer é ouvir especialistas que realmente são cientistas.

Sobre o tratamento precoce, eles são unânimes em dizer que nenhum medicamento conhecido tem eficácia comprovada nos estágios iniciais da infecção por coronavírus (algo bem comum em vírus, aliás). Isso pode até mudar no futuro com novos resultados, mas, por enquanto, não é possível afirmar nada diferente disso.

Imagem de Michal Jarmoluk por Pixabay