El martes, Intel reveló un nuevo chip acelerador de IA llamado Gaudi 3 en su evento Vision 2024 en Phoenix. Con un sólido rendimiento al ejecutar modelos de lenguajes grandes (como los que impulsan ChatGPT), la compañía ha posicionado a Gaudi 3 como una alternativa a la H100 de Nvidia, una popular GPU para centros de datos que ha sido sujeto a escasezaunque aparentemente eso es aliviando un poco.
En comparación con el chip H100 de Nvidia, Intel proyecta un tiempo de entrenamiento un 50 por ciento más rápido en Gaudi 3 tanto para GPT-3 175B LLM de OpenAI como para la versión de 7 mil millones de parámetros de Meta’s Llama 2. En términos de inferencia (ejecutar el modelo entrenado para obtener resultados) , Intel afirma que su nuevo chip AI ofrece un rendimiento un 50 por ciento más rápido que el H100 para Llama 2 y Halcón 180B
Intel apunta al H100 debido a su alta cuota de mercado, pero el chip no es el chip acelerador de IA más poderoso de Nvidia en proceso. Desde entonces, los anuncios del H200 y el Blackwell B200 han superado al H100 en el papel, pero ninguno de esos chips ha salido todavía (el H200 es esperado en el segundo trimestre de 2024, básicamente cualquier día de estos).
Mientras tanto, los problemas de suministro de H100 antes mencionados han sido un gran dolor de cabeza para las empresas de tecnología y los investigadores de IA que tienen que luchar por el acceso a cualquier chip que pueda entrenar modelos de IA. Esto ha llevado a varias empresas tecnológicas como Microsoft, Metay OpenAI (se rumorea) buscarán sus propios diseños de chips aceleradores de IA, aunque ese silicio personalizado suele ser fabricado por Intel o TSMC. Google tiene su propia línea de unidades de procesamiento de tensores (TPU
Teniendo en cuenta esos problemas, el Gaudi 3 de Intel puede ser una alternativa potencialmente atractiva al H100 si Intel puede alcanzar un precio ideal (que Intel no ha proporcionado, pero un H100 cuesta entre 30.000 y 40.000 dólares) y mantener una producción adecuada. AMD también fabrica una gama competitiva de chips de IA, como el Serie AMD Instinct MI300que se venden por alrededor $10,000–$15,000.
Actuación de Gaudí 3
Intel dice que el nuevo chip se basa en la arquitectura de su predecesor. Gaudí 2
El gigante fabricante de chips afirma que Gaudi 3 ofrece el doble de rendimiento informático de IA que Gaudi 2 utilizando una infraestructura de punto flotante de 8 bits, que se ha vuelto crucial para entrenar modelos de transformadores. El chip también ofrece una potencia cuatro veces mayor para los cálculos que utilizan el formato BFloat de 16 números. Gaudí 3 también cuenta con 128 GB del modelo más económico memoria HBMe2 capacidad (que puede contribuir a la competitividad de precios) y cuenta con 3,7 TB de ancho de banda de memoria.
Dado que se sabe que los centros de datos son hambrientos de poder, Intel enfatiza la eficiencia energética de Gaudi 3, afirmando una eficiencia energética de inferencia un 40 por ciento mayor en los parámetros Llama 7B y 70B, y en los modelos de parámetros Falcon 180B en comparación con el H100 de Nvidia. Eitan Medina, director de operaciones de Habana Labs de Intel, atribuye esta ventaja a los motores matemáticos de matriz grande de Gaudí, que, según él, requieren un ancho de banda de memoria significativamente menor en comparación con otras arquitecturas.
Gaudí contra Blackwell
El mes pasado, cubrimos el llamativo lanzamiento de la arquitectura Blackwell de Nvidia, incluida la GPU B200, que según Nvidia será el chip de inteligencia artificial más poderoso del mundo. Parece natural, entonces, comparar lo que sabemos sobre el chip de IA de mayor rendimiento de Nvidia con lo mejor que Intel puede producir actualmente.
Para empezar, Gaudí 3 se está fabricando utilizando TSMC. proceso N5 tecnología, según Espectro IEEE, reduciendo la brecha entre Intel y Nvidia en términos de tecnología de fabricación de semiconductores. El próximo chip Nvidia Blackwell utilizará un proceso N4P personalizadoque supuestamente ofrece modestas mejoras de rendimiento y eficiencia con respecto al N5.
El uso de memoria HBM2e por parte de Gaudi 3 (como mencionamos anteriormente) es notable en comparación con el HBM3 o HBM3e más caro utilizado en chips de la competencia, ofreciendo un equilibrio entre rendimiento y rentabilidad. Esta elección parece enfatizar la estrategia de Intel de competir no sólo en rendimiento sino también en precio.
En cuanto a las comparaciones de rendimiento en bruto entre Gaudi 3 y el B200, eso no se puede saber hasta que los chips hayan sido lanzados y evaluados por un tercero.
A medida que se intensifica la carrera para alimentar la sed de la industria tecnológica por la computación de IA, IEEE Spectrum notas que la próxima generación del chip Gaudí de Intel, cuyo nombre en código Costas del halcón, sigue siendo un punto de interés. También queda por ver si Intel seguirá confiando en la tecnología de TSMC o aprovechará su propio negocio de fundición y sus próximos tecnología de transistores de nanohojas para obtener una ventaja competitiva en el mercado de aceleradores de IA.