Consejos de IA para etiquetar la organización de la biblioteca de fotos

Esta historia apareció originalmente en Fotografía Popular.

Tecnologías de la fotografía computacional objetivo de automatizar tareas que consumen mucho tiempo o son poco inspiradores: ajustar la iluminación en una escenareemplazando un cielo plano, seleccionando cientos de fotos similares. Pero para muchos fotógrafos, asignar palabras clave y escribir descripciones de texto hace que esas acciones parezcan emocionantes.

Cuando miramos una foto, se supone que la imagen habla por sí misma. Y, sin embargo, no puede de muchas maneras. Trabajamos con bibliotecas de miles de imágenes digitales, por lo que no hay garantía de que una foto en particular salga a la superficie cuando estamos escaneando pantallas llenas de miniaturas. Pero la IA puede ayudar.

Palabras clave, términos, descriptores, frases, expresiones

No puedo exagerar las ventajas de aplicar palabras clave a las imágenes. ¿Cuántas veces te has encontrado revisando tus fotos, tratando de recordar cuándo se tomaron las que quieres? ¿Con qué frecuencia los ha pasado por alto o se ha dado cuenta de que están almacenados en otra ubicación? Si esas imágenes contenían palabras clave, las tomas a menudo se podían encontrar en solo un par de minutos o menos.

El desafío es etiquetar las fotos desde el principio.

Me parece que la gente cae en los extremos del espectro de palabras clave. Por un lado está un enfoque hiperdescriptivo, donde la idea es aplicar tantos términos como sea posible para describir el contenido de una imagen. Estos pueden ramificarse en jerarquías y subcategorías y conceptos relacionados y todo tipo de miscelánea fascinante pero arcana.

En el otro lado es donde sospecho que reside la mayoría de la gente: las palabras clave son una pérdida de tiempo y esfuerzo. ¡Los fotógrafos quieren editar, no categorizar!

Aquí es donde las tecnologías de IA están ayudando. Muchas aplicaciones usan la detección de imágenes para determinar el contenido de las fotos y usan esos datos cuando realiza una búsqueda.

Por ejemplo, en Fotos de Apple, escribir “girasol” muestra imágenes en mi biblioteca que contienen girasoles (e, inexplicablemente, una instantánea de tater tots). En cada uno de estos casos, no he asignado una palabra clave específica a las imágenes.

Del mismo modo, el escritorio de Lightroom (la aplicación más nueva, no Lightroom Classic) aprovecha adobe sensei tecnología para sugerir resultados cuando escribo “girasol” en el campo de búsqueda. Aunque a algunas de mis imágenes se les asignan palabras clave (en la parte superior de la lista de resultados), también sugirió “Puesta de sol de girasol” como término.

Eso es útil, pero la implementación también es bastante opaca. Lightroom y Photos acceden a sus propios datos internos en lugar de crear palabras clave que pueda ver.

¿Qué pasa si no usas ninguna de esas aplicaciones? ¿Quizás su biblioteca está en Lightroom Classic o existe en jerarquías de carpetas que ha creado en el disco?

Creación de palabras clave con Excire Foto

Tomé dos herramientas de Excitar para un giro rápido para ver lo que harían. Excire Foto es una aplicación independiente que realiza el reconocimiento de imágenes en fotos y genera exactamente el tipo de metadatos de los que estoy hablando. Buscar Excir 2 hace lo mismo, como un complemento de Lightroom Classic.

Cargué 895 imágenes en Exire Foto, que escaneó y etiquetó en solo un par de minutos. Hizo un gran trabajo al crear palabras clave para describir las imágenes; con las personas, por ejemplo, diferencia entre adultos y niños. Puede agregar o eliminar palabras clave y luego volver a guardarlas en la imagen o en archivos sidecar para imágenes RAW.

Entonces, si la idea de agregar palabras clave le da ganas de ponerse de pie y hacer casi cualquier otra cosa, ahora puede obtener algunos de los beneficios de la creación de palabras clave sin hacer el trabajo duro.

Generando ‘texto alternativo’ para imágenes

El texto no es solo para aplicar palabras clave y buscar fotos. Muchas personas ciegas o con problemas de visión todavía encuentran imágenes en línea y confían en la tecnología de lectores de pantalla para leer el contenido en voz alta. Por eso es importante, al compartir imágenes, incluir texto alternativo que describa su contenido siempre que sea posible.

Por ejemplo, cuando agrega una imagen a Instagram o Facebook, puede agregar texto alternativo, aunque no siempre es obvio cómo. En Instagram, una vez que haya seleccionado una foto y tenga la opción de escribir un título, desplácese hacia abajo hasta “Configuración avanzada”, tóquelo y luego, en “Accesibilidad”, toque “Escribir texto alternativo”.

Los resultados pueden ser impredecibles. Facebook describe el texto alternativo de la foto de la hoja de arriba como “Puede ser un primer plano de la naturaleza”, lo cual es técnicamente preciso pero no demasiado útil.

Cuando hay elementos más específicos en el marco, la IA lo hace un poco mejor. En la imagen a continuación, una selfie indulgente con un dron, a Facebook se le ocurrió “Puede ser una imagen de 2 personas, personas de pie y en la carretera”.

Otro ejemplo es el trabajo que está realizando Microsoft para utilizar el aprendizaje automático para crear subtítulos de texto. En un artículo del año pasado, los investigadores presentaron un proceso llamado VIVO (Preentrenamiento de Vocabulario Visual) para generar subtítulos con más especificidad.

Entonces, si bien hay progreso, también hay mucho espacio para mejorar.

Sí, automatiza esto por favor.

Los fotógrafos se angustian cuando se enfrentan a la idea de que la IA podría reemplazarlos de alguna manera, pero la creación de palabras clave y la escritura de subtítulos y texto alternativo no parecen aplicarse de la misma manera. Esta es un área en la que estoy feliz de dejar que las máquinas carguen con parte del trabajo, siempre y cuando, por supuesto, los resultados sean precisos.