¿Hambre de IA? La nueva supercomputadora contiene 16 chips del tamaño de un plato de comida

Cerebras Andromeda, una supercomputadora de inteligencia artificial de 13,5 millones de núcleos
Agrandar / Cerebras Andromeda, una supercomputadora de inteligencia artificial de 13,5 millones de núcleos.

El lunes, Cerebras Systems presentó su supercomputadora Andromeda AI de 13,5 millones de núcleos para aprendizaje profundo, informes Reuters. Según Cerebras, Andromeda ofrece más de 1 exaflop (1 quintillón de operaciones por segundo) de potencia computacional de IA con una precisión media de 16 bits.

La Andrómeda es en sí misma un grupo de 16 Cerebros C-2 computadoras conectadas entre sí. Cada CS-2 contiene una Chip de motor de escala de oblea

(a menudo llamado “WSE-2”), que actualmente es el chip de silicio más grande jamás fabricado, de unas 8,5 pulgadas cuadradas y repleto de 2,6 billones de transistores organizados en 850.000 núcleos.

Cerebras construyó Andromeda en un centro de datos en Santa Clara, California, por $35 millones. Está ajustado para aplicaciones como modelos de lenguaje grandes y ya se ha utilizado para trabajos académicos y comerciales. “Andromeda ofrece un escalado casi perfecto a través de un paralelismo de datos simple en modelos de lenguaje grande de clase GPT, incluidos GPT-3, GPT-J y GPT-NeoX”. escribe

Cerebras en un comunicado de prensa.

El chip Cerebras WSL2 mide aproximadamente 8,5 pulgadas cuadradas y contiene 2,6 billones de transistores.
Agrandar / El chip Cerebras WSL2 mide aproximadamente 8,5 pulgadas cuadradas y contiene 2,6 billones de transistores.

Cerebras

La frase “escalado casi perfecto” significa que a medida que Cerebras agrega más unidades de computadora CS-2 a Andromeda, el tiempo de entrenamiento en las redes neuronales se reduce en una “proporción casi perfecta”, según Cerebras. Por lo general, para escalar un modelo de aprendizaje profundo agregando más poder de cómputo usando sistemas basados ​​en GPU, uno podría ver Rendimientos decrecientes

a medida que aumentan los costos de hardware. Además, Cerebras afirma que su supercomputadora puede realizar tareas que los sistemas basados ​​en GPU no pueden:

El trabajo imposible de GPU fue demostrado por uno de los primeros usuarios de Andromeda, que logró un escalado casi perfecto en GPT-J a 2500 millones y 25000 millones de parámetros con longitudes de secuencia largas: MSL de 10240. Los usuarios intentaron hacer el mismo trabajo en Polaris, un clúster de 2000 Nvidia A100, y las GPU no pudieron hacer el trabajo debido a las limitaciones de la memoria de la GPU y el ancho de banda de la memoria”.

Aún está por verse si esas afirmaciones resisten el escrutinio externo, pero en una era en la que las empresas a menudo entrenan modelos de aprendizaje profundo en grupos cada vez más grandes de GPU Nvidia, Cerebras parece estar ofreciendo un enfoque alternativo.

¿Cómo se compara Andrómeda con otras supercomputadoras? Actualmente, el más rápido del mundo, Frontera, reside en Oak Ridge National Labs y puede funcionar a 1.103 exaflops con doble precisión de 64 bits. Esa computadora costó $ 600 millones para construir.

El acceso a Andrómeda ya está disponible para que lo utilicen varios usuarios de forma remota. Ya está siendo utilizado por el asistente de redacción comercial. jaspeI and Argonne National Laboratory, y la Universidad de Cambridge para la investigación.

Leave a Reply

Your email address will not be published. Required fields are marked *