¿Difusión estable en tu bolsillo? “Draw Things” lleva imágenes de IA al iPhone

El miércoles, un desarrollador con sede en San Francisco llamado Liu Liu lanzó Dibujar cosas: generación de IA, una aplicación gratuita disponible en App Store que permite a los propietarios de iPhone ejecutar el popular generador de imágenes Stable Diffusion AI. Escriba una descripción y la aplicación generará una imagen en varios minutos. Es un paso notable para llevar la síntesis de imágenes a un público más amplio, con la privacidad adicional de ejecutarlo en su propio hardware.

Presentado en agosto, Stable Diffusion (SD) es un modelo generador de imágenes de IA que crea imágenes novedosas a partir de descripciones de texto (llamadas “indicaciones”). Por lo general, las personas ejecutan SD a través del comercial estudio de ensueño

servicio, en una máquina remota en la nube con tiempo de cómputo alquilado, o localmente en una PC utilizando una implementación personalizada de código abierto. Cuando se ejecuta localmente, SD requiere una GPU bastante robusta para generar imágenes rápidamente, pero algunos desarrolladores optimizado el modelo para ejecutarse en GPU más antiguas con menos VRAM (si no le importa esperar más para ver los resultados).

En la misma línea, Liu Liu ha logrado optimizar Stable Diffusion para ejecutarse en el iPhone, un proceso un tanto difícil que el d esarrollador descrito en una entrada de blog

. “El principal desafío es ejecutar la aplicación en dispositivos iPhone con 6 GiB de RAM”, escribe Liu Liu. “6GiB suena mucho, pero iOS comenzará a matar su aplicación si usa más de 2.8GiB en un dispositivo de 6GiB y más de 2GiB en un dispositivo de 4GiB”.

Al ejecutar Draw Things por primera vez, la aplicación descarga varios archivos necesarios, incluido el modelo Stable Diffusion 1.4, en su iPhone. Para usarlo, escriba un mensaje en la parte superior de la pantalla, luego toque “Generar”. Entre la generación de imágenes, toque el número en la parte superior central de la pantalla para aleatorizar la semilla, que es un número que guía parcialmente la generación de la imagen.

En nuestro iPhone 11 Pro, generar una imagen de 384×384 tomó un poco más de dos minutos. Es más rápido en un iPhone 14 Pro, según Liu Liu, generando una imagen en aproximadamente un minuto. De cualquier manera, SD es computacionalmente intensivo. Después de sucesivas generaciones, nuestro iPhone se volvió notablemente cálido al tacto.

Vale la pena señalar que con Stable Diffusion, las imágenes de 384 × 384 a menudo generan resultados relativamente pobres y con pocos detalles porque los creadores de SD entrenaron el modelo con imágenes de 512 × 512. Cuando intentamos generar una imagen de 512 × 512 en nuestro iPhone 11 Pro, recibimos una advertencia y continuamos de todos modos, pero la aplicación se bloqueó y la pantalla quedó en negro.

Además de las tareas regulares de generación de imágenes, Draw Things también admite la pintura interna, lo que le permite reemplazar una parte de una imagen con imágenes generadas por IA y cargar modelos de síntesis de imágenes adicionales, como el no autorizado “Difusión Disney Moderna” modelo (que genera personajes con aspecto de Disney) y el animado “Difusión de Waifu” (probamos, y es posible generar material NSFW usando la aplicación, así que ten cuidado). La inclusión de esas capacidades significa que Draw Things podría no permanecer en la App Store por mucho tiempo si se vuelve popular, ya que el contenido genera puede violar los términos de servicio de Apple.

Sea cual sea su destino, Draw Things se siente como una importante prueba de concepto, que muestra que Stable Diffusion puede ejecutarse localmente en el iPhone, aunque sea lentamente. Si la aplicación se mantiene, tal vez con algunos filtros o modificaciones, Liu Liu describe el espacio para posibles optimizaciones futuras que podrían acelerar las cosas: “Probablemente dejé un 50% de rendimiento todavía sobre la mesa”.

Esta no es la primera vez que Stable Diffusion se ejecuta en un iPhone. En septiembre, el desarrollador Matt Waller corrió Stable Diffusion localmente en su iPhone XS, pero no proporcionó una aplicación de App Store que permitiera a otros replicar la hazaña. Es probable que veamos más síntesis de imágenes de IA local en los teléfonos inteligentes a medida que los dispositivos continúan aumentando su potencia computacional.

Ir a debate…