Es difícil saber qué sucede dentro de las cámaras de los teléfonos inteligentes. Cada vez que presiona el botón para tomar una foto, se inicia toda una cadena de eventos computarizada al estilo Rube Goldberg con el objetivo de capturar la mayor cantidad de información de imagen que sea humanamente posible. De esa manera, los potentes procesadores pueden agruparlo todo en un único recuerdo apreciado o en un hilarante golpe de tortuga mordiendo el dedo de su amigo.
Esta semana, Apple presentó su nueva tecnología de cámara Deep Fusion para el iPhone 11 como parte de la actualización del software iOS 13.2. Para el usuario promedio, las fotos tomadas bajo ciertas condiciones ahora se verán más detalladas y un poco menos ruidosas. No hay ningún indicador en la aplicación como el que hay con el modo Cámara, por lo que ni siquiera sabrá que está funcionando. Pero, esas mejoras algo granulares requirieron de una seria ingeniería y mucha potencia de procesamiento.
¿Qué es Deep Fusion?
Cuando tiene abierta la aplicación de cámara del iPhone, está tomando fotos antes de presionar el obturador. Mantiene un búfer continuo de imágenes, y una vez que presiona ese botón o toca la pantalla, captura un total de nueve fotos. Ocho de ellos ocurrieron antes de presionar el botón. Cuatro de los cuadros son cortos para hacerlos lo más nítidos posible al evitar el movimiento de la cámara o el desenfoque de movimiento de los objetos en la foto. Los otros cuatro del búfer son exposiciones estándar para capturar color y detalles. El noveno cuadro es una exposición prolongada para aportar más luz y proporcionar una imagen más clara para que el procesador pueda extraerla.
Deep Fusion y las tecnologías Smart HDR funcionan básicamente igual en este momento. Desde aquí, sin embargo, Deep Fusion toma la más nítida de las cuatro exposiciones cortas y básicamente abandona el resto. Luego fusiona esas cuatro exposiciones estándar con la exposición prolongada para obtener el color y los reflejos que pertenecen a la foto terminada.
Todo este proceso ocurre aparentemente instantáneamente y existe para darle al chip biónico A13 toda la materia prima que necesita para convertirlos en algo que parece la vida real. Esa confianza en el último procesador de Apple es la razón por la cual solo los usuarios de iPhone 11 obtienen el modo Deep Fusion, al menos por ahora.
Deep Fusion utiliza su motor neuronal para analizar los píxeles individuales de una escena, así como su relación entre sí en el cuadro. Puede elegir dónde probar y preservar los resaltados y dónde agregar contraste para que los detalles se vean más pronunciados.
En mi opinión, el efecto de nitidez es, con mucho, la diferencia más notable entre Deep Fusion y las fotos Smart HDR. Cuando los retocadores de gama alta trabajan para suavizar la piel en una foto, utilizan una técnica llamada separación de frecuencia, que les permite separar los detalles finos y los bordes de la imagen de los co lores y tonos y manipularlos de forma independiente. Por lo tanto, si desea eliminar manchas o áreas problemáticas en una imagen de una cara, puede hacerlo sin perder la textura o el color natural de la piel.
Deep Fusion hace algo similar. Extrae los detalles y los bordes nítidos de una de las imágenes cortas, mientras extrae detalles de color y luz de una combinación de las exposiciones estándar y largas. Esto permite que el motor neuronal modifique las cosas individualmente. Por lo tanto, si toma una foto de una persona con una barba parada frente a un cielo azul, puede obtener detalles extra nítidos y tonos de cielo más oscuros de la imagen corta, y el brillo y el color de la cara de las exposiciones más largas. que alegran las cosas.
¿Qué buscar?
Es posible que haya escuchado a personas en línea referirse a Deep Fusion como "modo de suéter". Ese apodo surgió de las fotos de muestra originales de Deep Fusion de Apple, que representaban a personas que usaban suéteres. Esas prendas de lana realmente hacen demostraciones de Deep Fusion bastante perfectas porque tienen mucha textura fina y patrones apiñados en espacios pequeños. Deep Fusion sobresale al extraer esos pequeños detalles
Considere la imagen de la parte inferior de la hoja de la planta de una casa anteriormente en el artículo. Las estructuras intrincadas resaltan mucho más obviamente con la cámara del iPhone 11 Pro que con la del iPhone XS Max.
En términos de color y contraste, las imágenes de Deep Fusion se ven menos planas que las fotos de XS Max. Siempre he encontrado que el Apple Smart HDR es un poco entusiasta cuando se trata de aplanar sombras y luces, por lo que Deep Fusion es una mejora allí.
El rendimiento de afilado, sin embargo, es curioso. Tiene sentido total para escenas de naturaleza complicadas. Los detalles adicionales hacen un buen trabajo en paisajes u otras escenas complejas. A veces se ve un poco afilado a mis ojos, pero también formé mis gustos en una película de 35 mm, que es una bestia totalmente diferente, y no tan crujiente.
Al tomar una foto de una persona, sin embargo, el efecto de Deep Fusion parece más fuera de lugar. La mayoría de las aplicaciones comunes de filtros faciales suelen aplicar técnicas de suavizado de la piel, a veces de forma hilarante, lo que hace que las personas se vean como globos sensuales de Play-Doh. Sin embargo, Deep Fusion va para otro lado, y en realidad parece acentuar la textura en las caras. Claramente, Apple está teniendo en cuenta las caras como parte de su procesamiento de IA, pero cualquier imperfección de la piel percibida solo se vuelve un poco más imperfecta con el afilado adicional.
El efecto también enfatiza realmente la textura del cabello. A veces eso es ventajoso para el sujeto, pero en mi caso, por ejemplo, el énfasis adicional hace que mi barba se vea aún más como algo que encontrarías en un viejo mago canoso. Es igualmente poco halagador para el cabello en la parte superior de mi cabeza de una manera que me hace sentir genial al publicar una selfie de cerca en este artículo muy público.
Por supuesto, Apple está utilizando IA para gestionar la mayor parte de este proceso y las futuras actualizaciones de software podrían modificar su rendimiento para cambiar drásticamente el aspecto general.
A diferencia del modo nocturno, no hay ningún indicador en la aplicación que te muestre cuando utilizas Deep Fusion. Realmente no importaría de todos modos, ya que es el modo de cámara predeterminado en la mayoría de las situaciones de iluminación. No funciona con la cámara ultra gran angular y, cuando estás en una escena con demasiada luz, volverá al modo Smart HDR. Cuando la luz se atenúa lo suficiente, entonces el modo nocturno se hace cargo.
En general, Deep Fusion es una mejora en lo que respecta al rendimiento general de la cámara. Sin embargo, si así es como la gente va a tomar fotos en el futuro, probablemente debería comenzar a humectar y acondicionar mi barba.