Cada semana, cada equipo envía no solo un pronóstico de puntos que predice un resultado de un solo número (digamos, que en una semana habrá 500 muertes). También presentan predicciones probabilísticas que cuantifican la incertidumbre al estimar la probabilidad del número de casos o muertes en intervalos, o rangos, que se vuelven cada vez más estrechos, apuntando a un pronóstico central. Por ejemplo, un modelo podría predecir que hay un 90 por ciento de probabilidad de ver de 100 a 500 muertes, un 50 por ciento de probabilidad de ver de 300 a 400 y un 10 por ciento de probabilidad de ver de 350 a 360.
“Es como un ojo de buey, cada vez más concentrado”, dice Reich.
Funk agrega: “Cuanto más nítido defina el objetivo, menos probabilidades tendrá de golpearlo”. Es un buen equilibrio, ya que un pronóstico arbitrariamente amplio será correcto y también inútil. “Debe ser lo más preciso posible”, dice Funk, “y al mismo tiempo dar la respuesta correcta”.
Al cotejar y evaluar todos los modelos individuales, el conjunto intenta optimizar su información y mitigar sus deficiencias. El resultado es una predicción probabilística, un promedio estadístico o un “pronóstico mediano”. Es un consenso, esencialmente, con una expresión de incertidumbre más finamente calibrada y, por lo tanto, más realista. Todos los diversos elementos de incertidumbre se promedian en el lavado.
El estudio del laboratorio de Reich, que se enfocó en las muertes proyectadas y evaluó alrededor de 200,000 pronósticos desde mediados de mayo hasta fines de diciembre de 2020 (pronto se agregará un análisis actualizado con predicciones para cuatro meses más), encontró que el rendimiento de los modelos individuales fue altamente variable. Una semana, un modelo podría ser exacto, la próxima semana podría estar muy lejos. Pero, como escribieron los autores, “Al combinar los pronósticos de todos los equipos, el conjunto mostró la mejor precisión probabilística general”.
Y estos ejercicios conjuntos sirven no solo para mejorar las predicciones, sino también para la confianza de las personas en los modelos, dice Ashleigh Tuite, epidemióloga de la Escuela de Salud Pública Dalla Lana de la Universidad de Toronto. “Una de las lecciones del modelado de conjuntos es que ninguno de los modelos es perfecto”, dice Tuite. “E incluso el conjunto a veces se perderá algo importante. Los modelos en general tienen dificultades para pronosticar puntos de inflexión: picos o si las cosas comienzan a acelerarse o desacelerarse repentinamente “.
“Los modelos no son oráculos”.
Alessandro Vespignani
El uso de modelos de conjuntos no es exclusivo de la pandemia. De hecho, consumimos pronósticos de conjuntos probabilísticos todos los días cuando buscamos en Google el clima y tomamos nota de que hay un 90 por ciento de probabilidad de precipitación. Es el estándar de oro para las predicciones meteorológicas y climáticas.
“Ha sido una verdadera historia de éxito y el camino a seguir durante aproximadamente tres décadas”, dice Tilmann Gneiting, estadístico computacional en el Instituto de Estudios Teóricos de Heidelberg y el Instituto de Tecnología de Karlsruhe en Alemania. Antes de los conjuntos, la previsión meteorológica utilizaba un único modelo numérico, que producía, en forma bruta, una previsión meteorológica determinista que era “ridículamente confiada y tremendamente poco fiable”, dice Gneiting (los meteorólogos, conscientes de este problema, sometieron los resultados sin procesar a análisis estadístico posterior
Gneiting señala, sin embargo, que la analogía entre las enfermedades infecciosas y el pronóstico del tiempo tiene sus limitaciones. Por un lado, la probabilidad de precipitación no cambia en respuesta al comportamiento humano (lloverá, con paraguas o sin paraguas) mientras que la trayectoria de la pandemia responde a nuestras medidas preventivas.
La previsión durante una pandemia es un sistema sujeto a un ciclo de retroalimentación. “Los modelos no son oráculos”, dice Alessandro Vespignani, epidemiólogo computacional de la Northeastern University y colaborador de centros de conjunto, que estudia redes complejas y la propagación de enfermedades infecciosas con un enfoque en los sistemas “tecnosociales” que impulsan los mecanismos de retroalimentación. “Cualquier modelo proporciona una respuesta que está condicionada a ciertos supuestos”.
Cuando las personas procesan la predicción de un modelo, los cambios de comportamiento posteriores alteran las suposiciones, cambian la dinámica de la enfermedad y hacen que el pronóstico sea inexacto. De esta manera, el modelado puede ser una “profecía autodestructiva”.
Y hay otros factores que podrían agravar la incertidumbre: estacionalidad, variantes, disponibilidad o aceptación de vacunas; y cambios de política como la rápida decisión de los CDC de desenmascarar. “Todo esto equivale a enormes incógnitas que, si realmente quisieras capturar la incertidumbre del futuro, realmente limitarían lo que podrías decir”, dice Justin Lessler, epidemiólogo de la Escuela de Salud Pública Johns Hopkins Bloomberg y colaborador de el Centro de Pronósticos COVID-19.
El estudio de conjunto de los pronósticos de muerte observó que la precisión decae y la incertidumbre aumenta, a medida que los modelos hacen predicciones más hacia el futuro: hubo aproximadamente dos veces el error al mirar cuatro semanas hacia adelante en comparación con una semana (cuatro semanas se considera el límite para períodos significativos a corto plazo). pronósticos; en el horizonte de tiempo de 20 semanas hubo aproximadamente cinco veces el error).
“Es justo debatir cuándo las cosas funcionaron y cuándo no”.
Johannes Bracher
Pero evaluar la calidad de los modelos —con todo tipo de verrugas— es un objetivo secundario importante de los centros de pronóstico. Y es bastante fácil de hacer, ya que las predicciones a corto plazo se confrontan rápidamente con la realidad de los números contados día a día, como una medida de su éxito.
La mayoría de los investigadores tienen cuidado de diferenciar entre este tipo de “modelo de pronóstico”, con el objetivo de hacer predicciones explícitas y verificables sobre el futuro, lo cual solo es posible a corto plazo; versus un “modelo de escenario”, explorando hipotéticos de “qué pasaría si”, posibles tramas que podrían desarrollarse en el futuro a mediano o largo plazo (dado que los modelos de escenario no están destinados a ser predicciones, no deben evaluarse retrospectivamente contra la realidad).
Durante la pandemia, a menudo se ha centrado la atención crítica en modelos con predicciones que eran espectacularmente erróneas. “Si bien las proyecciones hipotéticas a más largo plazo son difíciles de evaluar, no deberíamos evitar comparar las predicciones a corto plazo con la realidad”, dice Johannes Bracher, bioestadístico del Instituto de Estudios Teóricos de Heidelberg y del Instituto de Tecnología de Karlsruhe. quien coordina un Hub alemán y polacoy asesora al hub europeo. “Es justo debatir cuándo las cosas funcionaron y cuándo no”, dice. Pero un debate informado requiere reconocer y considerar los límites y las intenciones de los modelos (a veces, los críticos más feroces fueron aquellos que confundieron los modelos de escenarios con los modelos de pronóstico).
“La gran pregunta es, ¿podemos mejorar?”
Nicolás Reich
De manera similar, cuando las predicciones en una situación dada resultan particularmente intratables, los modeladores deberían decirlo. “Si hemos aprendido una cosa, es que los casos son extremadamente difíciles de modelar incluso a corto plazo”, dice Bracher. “Las muertes son un indicador más rezagado y son más fáciles de predecir”.
En abril, algunos de los modelos europeos fueron demasiado pesimistas y no detectaron una disminución repentina de los casos. Se produjo un debate público sobre la precisión y confiabilidad de los modelos pandémicos. En Twitter, Bracher preguntó: “¿Es sorprendente que los modelos (no pocas veces) estén equivocados? Después de una pandemia de un año, diría: no “. Esto hace que sea aún más importante, dice, que los modelos indiquen su nivel de certeza o incertidumbre, que tomen una postura realista sobre cuán impredecibles son los casos y sobre el curso futuro. “Los modeladores necesitan comunicar la incertidumbre, pero no debería verse como un fracaso”, dice Bracher.
Confiar en unos modelos más que en otros
Como dice un aforismo estadístico frecuentemente citado, “Todos los modelos son incorrectos, pero algunos son útiles”. Pero como señala Bracher, “si aplica el enfoque del modelo de conjunto, en cierto sentido está diciendo que todos los modelos son útiles, que cada modelo tiene algo que aportar”, aunque algunos modelos pueden ser más informativos o confiables que otros.
Al observar esta fluctuación, Reich y otros intentaron “entrenar” el modelo de conjunto, es decir, como explica Reich, “construir algoritmos que le enseñen al conjunto a” confiar “en algunos modelos más que en otros y aprender qué combinación precisa de modelos funciona en armonía. . ” El equipo de Bracher ahora contribuye con un mini-conjunto, construido solo a partir de los modelos que han funcionado consistentemente bien en el pasado, amplificando la señal más clara.
“La gran pregunta es, ¿podemos mejorar?” Dice Reich. “El método original es tan simple. Parece que tiene que haber una forma de mejorar simplemente tomando un promedio simple de todos estos modelos “. Sin embargo, hasta ahora está resultando más difícil de lo esperado: las pequeñas mejoras parecen factibles, pero las mejoras dramáticas pueden ser casi imposibles.
Una herramienta complementaria para mejorar nuestra perspectiva general sobre la pandemia más allá de vislumbres semanales es mirar más allá en el horizonte temporal, de cuatro a seis meses, con esos “modelos de escenarios”. El pasado mes de diciembre, motivados por el repunte de casos y la inminente disponibilidad de la vacuna, Lessler y colaboradores lanzaron el Centro de modelado de escenarios COVID-19, en consulta con el CDC.
.