Ya disponible en JMIR: Validación de The Umbrella Collaboration®️ como herramienta semiautomática para síntesis terciaria
Tras años de desarrollo, trabajo metodológico y validación empírica, The Umbrella Collaboration®️ (TU) ha sido publicada en la revista científica JMIR Formative Research. Este hito marca un antes y un después en el campo de la síntesis terciaria de evidencia.
¿Qué es The Umbrella Collaboration?
Se trata de la primera herramienta semiautomática capaz de realizar todo el proceso de síntesis terciaria, desde la creación del proyecto y la formulación de la pregunta de investigación, hasta la actualización automática cada 24 horas, pasando por la búsqueda sistemática de revisiones (RS/MA), la extracción y agregación de los resultados de interés, su análisis automatizado y la exposición visual e intuitiva de los hallazgos en una plataforma virtual de acceso público.
Pero más allá de su diseño innovador, el artículo publicado ofrece una validación formal frente a la metodología tradicional, comparando ambos enfoques en 8 Umbrella reviews del área de la geriatría.
Resultados destacados del estudio.
Identificación de resultados de interés (RdI):
The Umbrella Collaboration replicó 73 de los 86 resultados de interés (OoIs) identificados por las umbrella reviews tradicionales (URT), lo que equivale a una tasa de replicación del 85%, y además aportó 337 resultados adicionales, lo que representa un incremento de 4,77 veces en la capacidad de identificación de resultados relevantes.
Concordancia en la clasificación del tamaño del efecto:
• Se observó concordancia plena en 24 de los 48 casos (50%).
• La concordancia consistente (plena + una categoría de desviación) se alcanzó en 45 de los 48 casos (94%).
• La fuerza de asociación fue moderada (Cramér’s V = 0,339).
Concordancia en otras propiedades clave de los resultados:
• La dirección del efecto coincidió en el 89,7% de los casos.
• La significación estadística coincidió en el 82,1% de los resultados comparables.
Certidumbre de los resultados:
• TU emplea un sistema de análisis de sentimiento aplicado al texto de los estudios incluidos para evaluar la certeza de cada resultado. Al compararlo con el sistema GRADE, se obtuvo una correlación positiva (Spearman ρ = 0,419; p = 0,004), considerada aceptable para una herramienta automatizada.
Tiempo de ejecución:
• Frente a los 6 a 12 meses que puede requerir una umbrella review tradicional, cada proyecto con TU se completa en unas 5 horas, con posibilidad de actualización diaria y automática.
Una innovación sin precedentes.
Este es el primer estudio que valida una herramienta semiautomática para síntesis terciaria de evidencia frente al procedimiento clásico. Hasta ahora, las comparaciones entre herramientas automatizadas y metodología tradicional se habían limitado al ámbito de la síntesis secundaria (RS/MA). TU da un paso más y lo hace en la cúspide de la pirámide de la evidencia.
¿Y ahora qué?
El siguiente paso será abrir al público tanto el acceso a los resultados como la posibilidad de crear nuevos proyectos mediante esta metodología y su interfaz asistida por inteligencia artificial. Con ello, aspiramos a democratizar el acceso a la evidencia de alto nivel y facilitar la toma de decisiones basada en ciencia actualizada, visual y comprensible.
Ref:
Carrillo B, Rubinos-Cuadrado M, Parellada J, Palacios A, Carrillo-Rubinos B, Canillas F, Baztán Cortés JJ, Gómez-Pavón J. Validation of The Umbrella Collaboration for Tertiary Evidence Synthesis in Geriatrics: Mixed Methods Study. JMIR Form Res. 2025 Jul 8;9:e75215. doi: 10.2196/75215. PMID: 40627806.
Fuente
Dr. Beltran Carrillo
