Los científicos utilizan IA para convertir una foto de 134 años en un modelo 3D del relieve del templo perdido
Un equipo de informáticos realizó recientemente reconstrucciones en 3D de paneles en relieve perdidos en un sitio declarado Patrimonio de la Humanidad por la UNESCO utilizando inteligencia artificial.
Los investigadores desarrollaron una red neuronal que puede tomar una única fotografía bidimensional de un objeto tridimensional y producir una reconstrucción digital en tres dimensiones. De hecho, desarrollaron un estereoscopio para el siglo XXI. El equipo presentó su prueba de concepto en la 32ª edición de la conferencia ACM Multimedia el mes pasado.
Para su investigación, los científicos utilizaron imágenes de relieves del templo de Borobudur en Indonesia, declarado Patrimonio de la Humanidad por la UNESCO. El templo está cubierto por 2.672 bajorrelieves, lo que lo convierte en la colección de relieves budistas más grande del mundo. A finales del siglo XIX, se reinstaló el marco de los pies del templo, ocultando 156 de los relieves detrás de muros de piedra, y hoy permanecen enterrados. Pero antes de enterrarlos, se tomaron fotografías en escala de grises de cada panel. La red neuronal del equipo reciente logró reconstruir uno de esos relieves ahora ocultos utilizando una antigua fotografía en blanco y negro de hace 134 años.
Se habían hecho intentos anteriores, pero estas reconstrucciones anteriores no pudieron replicar los detalles más finos de los relieves. Esos detalles se perdieron debido a la compresión de los valores de profundidad; en otras palabras, estos relieves tridimensionales tienen detalles de las tallas más cercanas al espectador y más alejadas del espectador, y los intentos de reconstrucción anteriores aplanaron los detalles en estas diferentes profundidades. El equipo se refirió a las características perdidas como “bordes suaves” y desarrolló un mapa de esos bordes basado en los cambios de curvatura calculados en el espacio 3D.
En el nuevo artículo, el equipo postuló que el mapa de bordes tal como existía estaba reduciendo la precisión del modelo, no transmitía adecuadamente los cambios en la curvatura 3D y la forma en que se incorporó a la red limitó su impacto en la estimación de la profundidad en los objetos físicos.
“Aunque logramos una precisión de reconstrucción del 95%, todavía faltaban detalles más finos, como rostros humanos y decoraciones”, dijo Satoshi Tanaka, investigador de la Universidad Ritsumeikan en Japón y coautor del estudio, en un comunicado de la universidad. “Esto se debía a la alta compresión de los valores de profundidad en las imágenes de relieve 2D, lo que dificultaba extraer variaciones de profundidad a lo largo de los bordes. Nuestro nuevo método aborda esto mejorando la estimación de la profundidad, particularmente a lo largo de bordes blandos, utilizando un novedoso enfoque de detección de bordes”.
Las imágenes de arriba representan los mejores resultados experimentales del equipo (fila inferior) para un mapa de borde suave (izquierda) y un mapa semántico (derecha) del relieve de la muestra, en comparación con los datos reales del terreno (fila superior). El mapa de bordes es simplemente eso: rastrea los puntos donde las curvas en el relieve le dan profundidad, lo que confundió a los modelos anteriores.
El mapa semántico, que recuerda vagamente a Blue Green Red de Ellsworth Kelly, muestra cómo la base de conocimientos del modelo asocia conceptos relacionados. En esta imagen, el modelo distingue los elementos del primer plano (azul), las figuras humanas (rojo) y el fondo. Los investigadores también incluyeron cómo se compara su modelo con otros modelos de última generación en relación con las imágenes reales del terreno.
La IA recibe algunas críticas, pero en las ciencias está demostrando ser notablemente hábil para resolver problemas de reconocimiento de imágenes y preservación del patrimonio cultural. En septiembre, un equipo diferente utilizó una red neuronal para identificar detalles nunca antes vistos en paneles pintados por Rafael, y un equipo diferente utilizó una red neuronal convolucional para casi duplicar el número de líneas de Nazca conocidas (geoglifos famosos en Perú).
El modelo es capaz de comprensión multimodal, lo que significa que puede absorber múltiples canales de datos para dar sentido a su objeto objetivo. En este caso, el detector de bordes suaves utilizado para medir las curvas en el relieve no sólo ve ligeros cambios en el brillo para percibir la profundidad, sino también las curvas en las propias tallas. El uso de ambos canales de información permitió al nuevo modelo recrear una reconstrucción del relieve más nítida y detallada que los intentos anteriores.
“Nuestra tecnología tiene un enorme potencial para preservar y compartir el patrimonio cultural”, dijo Tanaka. “Abre nuevas oportunidades no sólo para los arqueólogos sino también para experiencias virtuales inmersivas a través de la realidad virtual y tecnologías de metaverso, preservando el patrimonio global para las generaciones futuras”.
Es necesario preservar el patrimonio cultural. Pero parte del patrimonio cultural está particularmente en riesgo, y si bien estas reconstrucciones generadas por IA no pueden reemplazar al McCoy real, tienen sus usos. Las redes neuronales como la que se describe en el artículo reciente podrían resucitar un patrimonio perdido que sólo existe en imágenes (por ejemplo, los Budas de Bamiyán, estatuas monumentales voladas por los talibanes en 2001), aunque sólo sea en un entorno de realidad virtual o aumentada.
Los modelos también podrían usarse para preservar el patrimonio cultural al borde de la destrucción, como los grabados aborígenes centenarios en los árboles boab en el desierto de Tanami en Australia.
El patrimonio cultural define quiénes somos a través de las comunidades y culturas que nos precedieron. Si estos modelos de IA ayudan a los historiadores del arte y a los conservacionistas a salvar solo una parte de la historia, lo han hecho bien. Por supuesto, los modelos de IA también requieren una enorme cantidad de energía, lo que puede contribuir a la pérdida del patrimonio cultural de manera tangencial. Pero incluso si las formas en que se alimenta la IA siguen siendo problemáticas, usar la tecnología para buenas causas está en el lado correcto de la historia, especialmente cuando se trata de artefactos.