Manzana
El miércoles, Apple liberado optimizaciones que permiten que el generador de imágenes Stable Diffusion AI se ejecute en Apple Silicon usando Aprendizaje automático básico, el marco propietario de Apple para modelos de aprendizaje automático. Las optimizaciones permitirán a los desarrolladores de aplicaciones utilizar el hardware de Apple Neural Engine para ejecutar Stable Diffusion aproximadamente el doble de rápido que los métodos anteriores basados en Mac.
Stable Diffusion (SD), que se lanzó en agosto, es un mo delo de síntesis de imágenes de IA de código abierto que genera imágenes novedosas utilizando la entrada de texto. Por ejemplo, escribir “astronauta en un dragón” en SD normalmente creará una imagen de exactamente eso.
Al lanzar las nuevas optimizaciones SD, disponibles como scripts de conversión en GitHub—Apple quiere desbloquear todo el potencial de la síntesis de imágenes en sus dispositivos, que notas en la página de anuncios de Apple Research. “Con el creciente número de aplicaciones de Stable Diffusion, garantizar que los desarrolladores puedan aprovechar esta tecnología de manera efectiva es importante para crear aplicaciones que los creativos de todo el mundo puedan usar”.
Apple también menciona la privacidad y evitar los costos de computación en la nube como ventajas de ejecutar un modelo de generación de IA localmente en un dispositivo Mac o Apple.
“La privacidad del usuario final está protegida porque cualquier dato que el usuario proporcionó como entrada al modelo permanece en el dispositivo del usuario”, dice Apple. “En segundo lugar, después de la descarga inicial, los usuarios no requieren una conexión a Internet para usar el modelo. Finalmente, la implementación local de este modelo permite a los desarrolladores reducir o eliminar los costos relacionados con el servidor”.
Actualmente, Stable Diffusion genera imágenes más rápido en las GPU de gama alta de Nvidia cuando ejecutar localmente en una PC con Windows o Linux. Por ejemplo, generar una imagen de 512×512 en 50 pasos en una RTX 3060 lleva unos 8,7 segundos en nuestra máquina.
En comparación, el método convencional de ejecutar Stable Diffusion en un Apple Silicon Mac es mucho más lento, tarda unos 69,8 segundos en generar una imagen de 512 × 512 en 50 pasos usando Abeja de difusión en nuestras pruebas en un M1 Mac Mini.
Según Apple puntos de referencia en GitHub, las nuevas optimizaciones Core ML SD de Apple pueden generar una imagen de 512 × 512 de 50 pasos en un chip M1 en 35 segundos. Un M2 hace la tarea en 23 segundos, y el chip de silicio más poderoso de Apple, el M1 Ultra, puede lograr el mismo resultado en solo nueve segundos. Esa es una mejora espectacular, que reduce el tiempo de generación casi a la mitad en el caso del M1.
de manzana Lanzamiento de GitHub es un paquete de Python que convierte modelos Stable Diffusion de PyTorch a Core ML e incluye un paquete Swift para la implementación de modelos. Las optimizaciones funcionan para Stable Diffusion 1.4, 1.5 y el recién lanzado 2.0.
Por el momento, la experiencia de configurar Stable Diffusion con Core ML localmente en una Mac está dirigida a desarrolladores y requiere algunas habilidades básicas de línea de comandos, pero Hugging Face publicó un guía detallada para configurar las optimizaciones Core ML de Apple para aquellos que quieren experimentar.
Para aquellos con menos inclinaciones técnicas, la aplicación mencionada anteriormente llamada Abeja de difusión facilita la ejecución de Stable Diffusion en Apple Silicon, pero aún no integra las nuevas optimizaciones de Apple. Además, puede ejecutar Stable Diffusion en un iPhone o iPad usando la aplicación Draw Things.