El extraordinario y progresivo incremento en el número de publicaciones científicas ha planteado desde hace ya algún tiempo la necesidad de realizar revisiones de la literatura médica en un intento de sintetizar los resultados alcanzados en relación a un tema determinado. A esto se añade el hecho de que los estudios individuales dependen de sus características particulares, y pocas veces dan respuestas definitivas a cuestiones clínicas, obteniéndose en ocasiones resultados contradictorios. Pese a todo ello, los conceptos de revisión sistemática y metaanálisis son todavía relativamente recientes, y vienen a formalizar, a mediados de los años 70, el concepto de revisión narrativa, según el cual hasta entonces para revisar la evidencia en torno a un tema de interés se seleccionaba un número determinado de artículos, limitándose habitualmente a contar el número de estudios con resultados positivos y negativos (por ejemplo, aquellos con resultados a favor o en contra de la efectividad de un determinado tratamiento), y con una valoración a lo sumo subjetiva de las características metodológicas o la calidad científica atribuible a cada uno de los trabajos incluidos. En contraposición a la revisión narrativa clásica, la revisión sistemática viene a dotar de un mayor rigor tanto al proceso de selección de los trabajos como a la posterior integración y análisis de los resultados.

Puesto que no todas las revisiones sistemáticas de la bibliografía han de incluir necesariamente un metaanálisis, en la actualidad se recomienda utilizar ambos términos para acuñar distintas realidades. Así, se suele hablar de revisión sistemática para referirse al proceso de identificar sistemáticamente y evaluar varios estudios del mismo tipo y con un objetivo común, mientras que por metaanálisis nos referiremos habitualmente al conjunto de técnicas estadísticas mediante las cuales se combinan los resultados de estos estudios para obtener parámetros de medida globales.

En atención primaria, al igual que en otras especialidades, las técnicas del metaanálisis pueden contribuir a buscar siempre la mejor evidencia disponible y tomar decisiones sobre el cuidado de los pacientes. Como ejemplo, podemos tomar una investigación reciente, en la cual se realizó una revisión sistemática de 15 ensayos clínicos sobre la comparación de la terapia clásica antihipertensiva (diuréticos o Beta-bloqueantes) y los nuevos fármacos (IECAS, ARA II, Calcioantagonistas o alfa-bloqueantes) para la reducción de la morbimortalidad cardiovascular. La búsqueda bibliográfica para la selección de los trabajos se extendió a publicaciones electrónicas y consultas de audiciones públicas, cumpliendo las investigaciones seleccionadas criterios de inclusión/exclusión claramente especificados por los autores de la revisión (aleatorización, seguimiento mínimo de 2 años, tamaño muestral>100, etc). El beneficio de un grupo tratamiento frente a otro se analizó mediante odds ratios (OR), que fueron calculados para cada uno de los estudios originales, y posteriormente combinados mediante metaanálisis para producir un valor OR global, concluyéndose una similar protección cardiovascular de ambas terapias.

En lo que sigue, nos centraremos fundamentalmente en la exposición de las fases de las que consta el proceso de la revisión sistemática, así como de sus posibles limitaciones para, en posteriores trabajos, centrarse en las técnicas estadísticas habitualmente utilizadas en la integración de resultados durante la etapa del metaanálisis.

Antes de exponer las distintas fases que ha de incluir toda revisión sistemática, es importante destacar las limitaciones metodológicas inherentes a este tipo de estudios, a fin de valorar convenientemente la importancia de cada una de las etapas que se señalarán a continuación. Uno de los principales sesgos que afectan a este tipo de revisiones es el conocido como sesgo de publicación. Viene derivado del hecho de que muchos trabajos científicos, en su mayoría con resultados “negativos” (aquellos que no hallan diferencias significativas o con resultados en contra de la hipótesis de estudio o de lo habitualmente establecido) nunca llegan a publicarse, tardan más en hacerlo o son menos citados en otras publicaciones. Todo ello condiciona los resultados de una búsqueda bibliográfica y puede dar lugar a resultados sesgados en un metaanálisis. Otros hechos que contribuyen a este tipo de sesgos es la publicación duplicada de estudios o el ignorar los trabajos publicados en un idioma distinto al inglés.

Junto con el sesgo de publicación, el sesgo de selección es una de las principales críticas del metaanálisis. Es importante definir con claridad los criterios de inclusión y exclusión de los estudios en la revisión, y que estos sean lo más objetivos posible. El propio autor del metaanálisis puede sesgar los resultados, ya que su criterio para incluir o excluir un estudio del análisis puede venir influenciado por los resultados del mismo.

Otros aspectos que pueden comprometer la validez de los resultados de un metaanálisis son la calidad de los estudios originales incluidos, la variabilidad entre estudios o los errores en la fase de análisis. Las conclusiones del metaanálisis dependerán en gran medida de la calidad de los estudios originales, de modo que al combinar resultados de investigaciones sesgadas o metodológicamente deficientes también se incurrirá en un sesgo a la hora de obtener un estimador global del efecto. A su vez, la heterogeneidad entre los diferentes estudios que se combinan puede afectar de una manera muy importante los resultados del metaanálisis. Suelen ser investigaciones realizadas en distintos contextos, con pacientes de características no necesariamente similares o incluso con resultados muy diferentes, lo que implica que no siempre será aconsejable realizar un metaanálisis. Deberán investigarse las posibles fuentes de heterogeneidad, su influencia en los resultados y la posibilidad de realizar un análisis por subgrupos.

Finalmente, los resultados pueden verse comprometidos por el empleo de técnicas de análisis erróneas o una definición incorrecta de las medidas que se desean combinar. Los valores de significación, que no informan del sentido ni de la magnitud de la asociación, o los estadísticos de contraste, que tienen en cuenta el sentido del efecto pero no su magnitud, no deberían considerarse como medidas de entrada al metaanálisis.

La revisión sistemática se ha convertido así en un diseño de investigación en sí misma en el que las unidades de estudio, en lugar de pacientes o unidades administrativas, son los trabajos originales que se revisan. Como en cualquier estudio de investigación, su realización requiere seguir un protocolo que debe incluir los siguientes pasos :

1. Establecimiento de la pregunta que se desea responder y razones para ello: Como en cualquier proceso de investigación, debe establecerse de forma lo más clara y concisa posible la pregunta de investigación que se intenta responder.
2. Cuantificación de los efectos: Los investigadores deberán concretar qué medidas se van a utilizar para medir el efecto de interés, en función del tipo de respuesta a estudiar y el diseño de los estudios revisados. Así, por ejemplo, si la respuesta es binaria (enfermedad/no enfermedad, muerte/supervivencia,…) las medidas de efecto utilizadas suelen ser la diferencia de proporciones, el riesgo relativo o la odds ratio. Por el contrario, si la respuesta es un parámetro numérico (por ejemplo, la determinación de un parámetro analítico) el efecto suele medirse mediante la diferencia estandarizada de medias en los grupos de interés. Debe tenerse en cuenta que en los estudios experimentales, con grupos aleatorizados, el propio diseño controla la confusión y los efectos pueden medirse con resultados “crudos” como los descritos. Por el contrario, en metaanálisis realizados a partir de evidencia observacional, el control del sesgo en el análisis deberá hacerse mediante técnicas de regresión multivariante, siendo los resultados de estos modelos los que deben combinarse en la etapa del metaanálisis para obtener una medida global de interés.
   Finalmente, es también aconsejable que en el momento de planificación de la investigación se fije la diferencia mínima en la variable respuesta que será considerada de relevancia clínica.
3. Localización de los estudios de investigación: Se debe realizar una búsqueda exhaustiva, objetiva y reproducible de los trabajos originales sobre el tema, que además de bases de datos electrónicas incluya búsquedas detalladas en las revistas relacionadas y búsquedas manuales de la llamada “literatura gris” (referencias bibliográficas, tesis doctorales, comunicaciones a congresos, informes de instituciones públicas o privadas, trabajos no publicados o publicados en revistas no indexadas, etc). La exhaustividad y el rigor de la búsqueda bibliográfica determinará en gran medida la calidad y validez final del metaanálisis.
4. Criterios de inclusión/exclusión de los estudios: Los investigadores deben establecer cuáles de los trabajos recuperados serán incluidos finalmente en el metaanálisis, elaborando una lista de criterios de inclusión y exclusión que deberá ser lo más objetiva posible. Para evitar el denominado sesgo de selección, es importante aplicar dichos criterios rigurosamente a cada estudio, siendo recomendable que esta evaluación sea realizada de forma ciega e independiente por varios evaluadores.
   Entre los criterios de selección utilizados con mayor frecuencia en el metaanálisis están: el tipo de diseño de los trabajos, el tamaño muestral estudiado, la exhaustividad de la información que presentan o la comparabilidad en la definición de los factores de exposición, de las intervenciones y de las respuestas estudiadas. Aunque algunos autores sugieren utilizar la calidad metodológica de los trabajos como un criterio de inclusión, es más aconsejable considerarlo como una variable más a tener en cuenta en la interpretación de los resultados del metaanálisis mediante un análisis de sensibilidad.
5. Búsqueda de información y datos relevantes de cada estudio: En cada uno de los artículos originales que se revisan, se debe buscar información de interés referente a las características de los estudios (diseño, criterios de inclusión/exclusión o de selección de casos y controles, periodo de selección, periodo de seguimiento, aleatorización, tipo de intervención, etc.), a las características de la población de estudio, a su calidad metodológica (incluyendo los métodos de análisis estadístico utilizados) y a sus resultados, con especial énfasis a la descripción de las variables del efecto de interés. Como en cualquier otro proyecto de investigación, es aconsejable elaborar un formulario con los datos que deben consignarse para cada trabajo y que la recogida de datos sea realizada por más de un investigador, a fin de evaluar la consistencia de los resultados y consensuar posibles discrepancias.
6. Evaluación de la calidad de los estudios incluidos: Junto con la estrategia de búsqueda de información, la calidad metodológica de los artículos revisados es otro elemento clave a la hora de determinar la validez del metaanálisis.
   Existen publicadas diversas escalas de valoración de la calidad de los estudios, que si bien valoran generalmente los mismos aspectos (diseño del estudio, control de sesgos, tamaño muestral, seguimiento, aleatorización, enmascaramiento, etc.), pueden llegar a resultados discrepantes. En cualquier caso, una vez valorada la calidad metodológica de cada trabajo, algunos autores proponen utilizar las puntuaciones asignadas como pesos en el metaanálisis, mientras que otros defienden la utilización en su lugar de un análisis de sensibilidad.
7. Análisis de la heterogeneidad de los estudios: La evaluación del grado de heterogeneidad de los estudios puede llevarse a cabo mediante distintas pruebas estadísticas, entre las que destaca la prueba Q propuesta por Der Simonian y Laird. No obstante, estos tests presentan una potencia muy baja, dado que además en la mayoría de los casos los metaanálisis incluyen un número relativamente pequeño de estudios, aumentando así la posibilidad de cometer un error de Tipo II. Por todo ello, el análisis de la heterogeneidad suele llevarse a cabo mediante métodos gráficos como el gráfico de L’Abbé o el gráfico de Galbraith que permiten inspeccionar visualmente la falta de homogeneidad entre los estudios recopilados.
   En caso de que exista heterogeneidad entre los estudios incluidos en la revisión, los investigadores pueden optar simplemente por no realizar el metaanálisis, por obtener una medida agregada del efecto de interés indicando una medida de la variabilidad entre estudios o bien por realizar un análisis por subgrupos homogéneos de ser posible identificar la causa de la heterogeneidad.
8. Combinación de resultados: Como ya adelantábamos antes, el método elegido para combinar los resultados de los diferentes estudios en una medida global del efecto vendrá determinado fundamentalmente por el tipo de respuesta a estudiar (binaria o continua) y, también, por los resultados derivados del análisis de heterogeneidad. 
   En la mayoría de los casos, el estimador del efecto combinado se calcula como una media ponderada de los estimadores de cada estudio, donde los pesos se asignan en base a la precisión de cada trabajo, generalmente el inverso de la varianza de la estimación correspondiente. De esta forma, los estudios con mayor variabilidad (por ejemplo, aquellos con un tamaño muestral más reducido), tienen una contribución menor en el estimador global.
   La heterogeneidad entre estudios puede ser tenida en cuenta en estos cálculos utilizando el llamado modelo de efectos aleatorios, o no ser incluida mediante el uso del modelo de efectos fijos. La principal diferencia es que con este último se considera que no existe heterogeneidad entre estudios, mientras que con el modelo de efectos aleatorios se consideran dos posibles fuentes de variabilidad, la variabilidad intra-estudio y la variabilidad entre-estudios, que se incorporan al estimador combinado a través de los pesos correspondientes. No obstante, debe tenerse en cuenta que cuando existe una gran heterogeneidad entre estudios el metaanálisis, aún bajo la suposición de efectos aleatorios, no es apropiado y lo que procede es identificar las fuentes de variabilidad y realizar un análisis por subgrupos.
   Finalmente, los resultados obtenidos suelen representarse típicamente en una gráfica que muestra las estimaciones del efecto individuales de cada estudio, además del valor global obtenido al combinar todos los resultados y su correspondiente intervalo de confianza.
9. Identificación del sesgo de publicación: Como en cualquier otro estudio, en un metaanálisis deberá valorarse la existencia de posibles sesgos entre los que el sesgo de publicación es uno de los más importantes. Entre los métodos disponibles para valorar el sesgo de publicación el gráfico en embudo o funnel plot es quizá el más utilizado, en el que se representa el tamaño muestral de cada trabajo frente al tamaño del efecto detectado. Este tipo de gráficos, puesto que pueden dar lugar a interpretaciones poco objetivas, suelen complementarse con técnicas estadísticas como la prueba de Begg o de Egger.
10. Análisis de sensibilidad: El análisis de sensibilidad permite estudiar la influencia individual de cada estudio al resultado del metaanálisis y, por lo tanto, determinar si los resultados pueden verse sesgados por estudios con escasa calidad metodológica, trabajos no publicados o que no cumplan estrictamente los criterios de selección, etc. Consistiría en replicar el metaanálisis quitando en cada paso uno de los estudios incluidos, para ver si se obtienen  o no resultados similares de forma global.

El proceso de realización de una revisión sistemática no es pues un proceso fácil pero, en este sentido, no difiere del proceso de elaboración de cualquier otro tipo de investigación científica. Una buena revisión sistemática constituye una herramienta excelente para encontrar la mejor evidencia disponible sobre un tema de interés, si bien una lectura crítica y objetiva de estos trabajos es indispensable para poder valorar en su medida su calidad metodológica y realizar una correcta interpretación de sus conclusiones.

• Glass GV. Primary, secondary, and meta-analysis of research. Educational Researcher 1976; 5: 3-8.
• Teagarden JR. Meta-analysis: whither narrative review? Pharmacotherapy 1989; 9: 274-284.  [Medline]
• Staessen JA, Wang JG, Thies L. Cardiovascular prevention and blood pressure reduction: a quantitative overview updated until 1 March 2003. J Hypertens 2003; 21: 1055-1076. [Medline]
• Guallar E, Banegas JR, Martín-Moreno JM, Del Río A. Metaanálisis: su importancia en la toma de decisiones clínicas en cardiología. Rev Esp Cardiol 1994; 47: 509-517. [Medline]
• Molinero Casares LM. Metaanálisis: claves para interpretar una herramienta de investigación controvertida. Hipertensión 2001; 18(5): 232-240.
• Ruano-Raviña A, Figueiras A, Barros-Dios JM. El metaanálisis a debate. Med Clin (Barc) 2002; 119(11): 435-439. [Medline]
• Egger M, Smith GD. Meta-analysis bias in location and selection of studies. BMJ 1998; 316: 61-66. [Medline] [Texto completo]
• Guallar E, Banegas JR, Martín-Moreno JM, Del Río A. Metaanálisis: su importancia en la toma de decisiones clínicas en cardiología. Rev Esp Cardiol 1994; 47: 509-517. [Medline]
• Altman DG. Statistics in medical journals: some recent trends. Stat Med 2000; 19. 3275-89. [Medline]
• Petitti D. Meta-analysis, decision analysis, and cost-effectiveness analysis. Methods for quantitative synthesis in medicine. Nueva York: Oxford University Press; 1994.
• Greenland S. Quantitative methods in the review of epidemiologic literature. Epidemiol Rev 1987; 9: 1-30.
• Friedenreich CM. Methods for pooled analysis of epidemiologic studies. Epidemiology 1993; 4: 295-302. [Medline]
• Abraira V. Revisiones sistemáticas y metaanálisis. Semergen 2003; 29(4): 183-185.
• DerSimonian R, Laird N. Meta-analysis in clinical trials. Control Clin Trials 1986; 7: 177-188. [Medline]
• L’Abbé K, Detsky A, O’Rourke K. Meta-analysis in clinical research. Ann Intern Med 1987; 107: 224-233. [Medline]
• Galbraith R. A note on graphical presentation of estimated odds ratios from several clinical trials. Stat Med 1988; 7: 889-894. [Medline]
• Egger M, Smith GD, Phillips AN. Meta-analysis: Principles and procedures. BMJ 1997; 315: 1533-1537. [Medline] [Texto completo]
• Egger M, Smith GD, Schneider M, Minder C. Bias in meta-analysis detect by a simple, graphical www. BMJ 1997; 315: 629-634. [Medline] [Texto completo]
• Begg CB, Mazumsdar M. Operating characteristics of a rank correlation test for publication bias. Biometrics 1994; 50: 1088-1101. [Medline]

Sonia Pértega Díaz(1), Salvador Pita Fernández (2)
(1) Unidad de Epidemiología Clínica y Bioestadística. Complexo Hospitalario Universitario de A Coruña (España).
(2) Médico de Familia. Centro de Salud de Cambre (A Coruña).
CAD ATEN PRIMARIA 2005; 12(2): 109-112.