El lunes, Cerebras Systems presentó su supercomputadora Andromeda AI de 13,5 millones de núcleos para aprendizaje profundo, informes Reuters. Según Cerebras, Andromeda ofrece más de 1 exaflop (1 quintillón de operaciones por segundo) de potencia computacional de IA con una precisión media de 16 bits.
La Andrómeda es en sí misma un grupo de 16 Cerebros C-2 computadoras conectadas entre sí. Cada CS-2 contiene una Chip de motor de escala de oblea
Cerebras construyó Andromeda en un centro de datos en Santa Clara, California, por $35 millones. Está ajustado para aplicaciones como modelos de lenguaje grandes y ya se ha utilizado para trabajos académicos y comerciales. “Andromeda ofrece un escalado casi perfecto a través de un paralelismo de datos simple en modelos de lenguaje grande de clase GPT, incluidos GPT-3, GPT-J y GPT-NeoX”. escribe
La frase “escalado casi perfecto” significa que a medida que Cerebras agrega más unidades de computadora CS-2 a Andromeda, el tiempo de entrenamiento en las redes neuronales se reduce en una “proporción casi perfecta”, según Cerebras. Por lo general, para escalar un modelo de aprendizaje profundo agregando más poder de cómputo usando sistemas basados en GPU, uno podría ver Rendimientos decrecientes
El trabajo imposible de GPU fue demostrado por uno de los primeros usuarios de Andromeda, que logró un escalado casi perfecto en GPT-J a 2500 millones y 25000 millones de parámetros con longitudes de secuencia largas: MSL de 10240. Los usuarios intentaron hacer el mismo trabajo en Polaris, un clúster de 2000 Nvidia A100, y las GPU no pudieron hacer el trabajo debido a las limitaciones de la memoria de la GPU y el ancho de banda de la memoria”.
Aún está por verse si esas afirmaciones resisten el escrutinio externo, pero en una era en la que las empresas a menudo entrenan modelos de aprendizaje profundo en grupos cada vez más grandes de GPU Nvidia, Cerebras parece estar ofreciendo un enfoque alternativo.
¿Cómo se compara Andrómeda con otras supercomputadoras? Actualmente, el más rápido del mundo, Frontera, reside en Oak Ridge National Labs y puede funcionar a 1.103 exaflops con doble precisión de 64 bits. Esa computadora costó $ 600 millones para construir.
El acceso a Andrómeda ya está disponible para que lo utilicen varios usuarios de forma remota. Ya está siendo utilizado por el asistente de redacción comercial. jaspeI and Argonne National Laboratory, y la Universidad de Cambridge para la investigación.