Desarrollan una inteligencia artificial para mirar e interpretar obras de arte

España.

El Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC-CNS) y el Museo Nacional del Prado han presentado el proyecto FrAI Angelico, que muestra cómo la inteligencia artificial (IA) puede ayudar a acercar el patrimonio cultural a la ciudadanía. Los sistemas de aprendizaje automático permiten reconocer el contenido de las pinturas y su contexto histórico e iconográfico, de manera que sea posible obtener una descripción detallada de cada cuadro sin intervención humana.

El Museo Nacional del Prado ha desarrollado en los últimos años distintos proyectos en el marco de la IA. En 2019 implementó una lectura aumentada sobre los textos descriptivos de las fichas de obras publicadas en la web a través de un motor de Comprensión del Lenguaje Natural (NLU) que permite reconocer las entidades y conceptos tratados en las mismas para facilitar una lectura contextualizada al usuario.

Ahora, con el apoyo del Barcelona Supercomputing Center, dará un paso más en la aplicación de la IA para el estudio y difusión de sus colecciones e implementará un sistema que facilitará el reconocimiento de objetos sobre las imágenes de las propias obras.

“Con el NLU ayudamos a nuestros usuarios a una mejor comprensión de los textos explicativos de las obras gracias a la lectura aumentada de los mismos”, explica Javier Pantoja, jefe del Área de Desarrollo Digital del Museo Nacional del Prado. “En este proyecto, nuestra intención es, entre otras, apoyar el trabajo de documentalistas y especialistas en el reconocimiento y descripción de objetos, figuras y tema de las obras”.

La IA es una herramienta poderosa que puede ser de gran utilidad para los profesionales del patrimonio cultural por su capacidad para analizar grandes cantidades de datos. Investigadores del BSC han desarrollado un modelo de IA de detección de objetos al que han entrenado con descripciones de miles de cuadros para que sea capaz de analizar de manera precisa el contenido de las pinturas, hasta el punto de detectar detalles u objetos que pueden pasar desapercibidos al ojo humano.

FrAI Angelico es un prototipo basado en la tecnología de un proyecto similar anterior, financiado por la Unión Europea, que se denominó Saint George on a Bike, coordinado por el BSC en colaboración con European Foundation.

En la primera fase, se analizarán 25 obras, pero el objetivo es establecer una colaboración más estable que permita realizar un análisis global de todo el fondo del Museo del Prado, considerado como la institución cultural más importante del país con más de 35.000 obras de arte, de las cuales 8.000 pertenecen a la colección de pinturas, una de las más destacadas de Europa, con obras de artistas como Velázquez, Goya, El Greco, Rubens, Tiziano o Rafael, entre otros.

Teléfonos móviles en cuadrados del siglo XVI

Los sistemas de reconocimiento de objetos se entrenan con imágenes que muestran los distintos elementos que nos rodean. Una vez entrenados, estos modelos de IA pueden detectar nuevas formas e interpretarlas en su contexto temporal.

Este ha sido uno de los principales retos del proyecto, ya que hasta ahora los sistemas entrenados en un contexto determinado cometían errores de interpretación en entornos diferentes, lo que los llevaba a identificar teléfonos móviles o bates de béisbol en pinturas de los siglos XVI o XVII.

De igual manera, los nuevos modelos son también capaces de detectar objetos que son habituales en representaciones pictóricas del pasado, como una calavera, una corona de espinas, ángeles o demonios.

El siguiente reto es enseñar a estos sistemas de IA a interpretar conceptos abstractos en la pintura clásica europea, como que dos cuerpos desnudos más un ángel probablemente representan a Adán y Eva o una paloma acompañada de un ángel y una persona al Espíritu Santo.

“Con el proyecto FrAI Angelico buscamos también provocar una reflexión sobre el potencial de la IA para reconocer el pasado, la cultura o los símbolos”, asegura Joaquim Moré, investigador del del BSC.

“Comparar el análisis de los nuevos modelos entrenados en el BSC con los resultados de otros sistemas actuales de reconocimiento de objetos es un ejercicio que nos invita a pensar sobre cómo miramos el pasado con los ojos del presente y aviva la fascinación que produce la contemplación de un cuadro y el descubrimiento de lo que no es aparente”, añade.

Obras más accesibles para personas con discapacidad visual

La posibilidad de que los sistemas de IA sean capaces de detectar los objetos que aparecen en los cuadros ayudará al Museo del Prado y a otras instituciones del sector del patrimonio cultural a describir y clasificar sus obras de arte de forma automática, lo que facilitará la interpretación del significado de las pinturas.

Los resultados de FrAI Angelico se podrán utilizar para estudiar las relaciones temáticas entre miles de elementos de diferentes obras simultáneamente, desarrollar la documentación iconográfica sobre las obras del Museo y apoyar la clasificación de las obras por temas y objetos representados.

Todo ello siempre con el objetivo final de incrementar el interés de la ciudadanía en el arte y el patrimonio cultural. También, como ejemplo, esto es especialmente útil para personas con discapacidad visual, que se podrán beneficiar de un formato más accesible de las obras pictóricas gracias a descripciones más detalladas de las imágenes.

“Gracias a esta iniciativa se podrán analizar las pinturas, detectar objetos que el visitante posiblemente no haya percibido, inferir temas, descubrir relaciones entre sus elementos o interpretar su simbolismo con el fin de crear iniciativas culturales y de difusión como exposiciones virtuales con pinturas relacionadas de cualquier parte del mundo”, señala María Cristina Marinescu, investigadora del BSC.