Zane: Sí, creo que en los últimos tres o cuatro años ha habido una serie de iniciativas. Intel también ha desempeñado un papel importante en esto al reimaginar cómo se diseñan los servidores en componentes modulares. Y realmente la modularidad para servidores es exactamente lo que parece. Dividimos diferentes subsistemas del servidor en algunos bloques de construcción estándar, definimos algunas interfaces entre esos bloques de construcción estándar para que puedan trabajar juntos. Y eso tiene una serie de ventajas. Número uno, desde el punto de vista de la sostenibilidad, reduce el carbono incorporado en esos componentes de hardware. Algunos de estos componentes de hardware son bastante complejos y su fabricación consume mucha energía. Así que imaginemos que una placa de circuito de 30 capas, por ejemplo, es una pieza de hardware que consume bastante carbono. No quiero todo el sistema, aunque sólo una pequeña parte necesite ese tipo de complejidad. Puedo pagar el precio de la complejidad donde la necesito.
Y al ser inteligentes a la hora de dividir el diseño en diferentes piezas, reducimos esa huella de carbono incorporada. También se hace posible la reutilización de piezas. Entonces, cuando actualizamos un sistema, tal vez con un nuevo enfoque de telemetría o una nueva tecnología de seguridad, solo hay que reemplazar una pequeña placa de circuito en lugar de reemplazar todo el sistema. O tal vez salga un nuevo microprocesador y el módulo del procesador se pueda reemplazar sin invertir en nuevas fuentes de alimentación, nuevos chasis, todo nuevo. Y para que la circularidad y la reutilización se conviertan en una importante oportunidad. Y así, el aspecto del carbono incorporado, que representa aproximadamente el 10% de la huella de carbono en estos centros de datos, se puede mejorar significativamente. Y otro beneficio de la modularidad, además de la sostenibilidad, es que simplemente reduce la inversión en I+D. Entonces, si voy a desarrollar cien tipos diferentes de servidores, si puedo construir esos servidores basados en los mismos componentes básicos pero configurados de manera diferente, tendré que invertir menos dinero, menos tiempo. Y ese es también un verdadero impulsor del avance hacia la modularidad.
Laurel: Entonces, ¿cuáles son algunas de esas técnicas y tecnologías, como la refrigeración líquida y la computación de densidad ultraalta, que las grandes empresas pueden utilizar para calcular de manera más eficiente? ¿Y cuáles son sus efectos sobre el consumo de agua, el uso de energía y el rendimiento general, como usted también describió anteriormente?
Zane: Sí, creo que esas son dos oportunidades muy importantes. Y veámoslos uno por uno. En el mundo emergente de la IA, creo que la refrigeración líquida es probablemente una de las oportunidades más importantes y al alcance de la mano. Entonces, en un centro de datos enfriado por aire, una enorme cantidad de energía se destina a ventiladores, enfriadores y sistemas de enfriamiento por evaporación. Y esa es realmente una parte importante. Entonces, si traslada un centro de datos a una solución totalmente refrigerada por líquido, esta es una oportunidad de alrededor del 30% del consumo de energía, lo cual es una cifra sorprendente. Creo que la gente suele sorprenderse de cuánta energía se quema. Y si entra a un centro de datos, casi necesita protección para los oídos porque hay mucho ruido y cuanto más se calientan los componentes, mayores son las velocidades del ventilador y más energía se quema en el lado de enfriamiento y la refrigeración líquida requiere mucho tiempo. eso fuera de la mesa.
Lo que compensa esto es la refrigeración líquida es un poco complejo. No todo el mundo es capaz de utilizarlo plenamente. Hay más costos iniciales, pero en realidad ahorra dinero a largo plazo. Por lo tanto, el costo total de propiedad con refrigeración líquida es muy favorable, y estamos diseñando nuevos centros de datos desde cero. La refrigeración líquida es una oportunidad realmente interesante y creo que cuanto más rápido podamos pasar a la refrigeración líquida, más energía podremos ahorrar. Pero el mundo exterior es complicado. Hay muchas situaciones diferentes, muchas infraestructuras diferentes sobre las cuales diseñar. Así que no deberíamos trivializar lo difícil que es esto para una empresa individual. Uno de los otros beneficios de la refrigeración líquida es que nos liberamos del negocio de evaporar agua para enfriar. Muchos centros de datos de América del Norte se encuentran en regiones áridas y utilizan grandes cantidades de agua para el enfriamiento por evaporación.
Esto es bueno desde el punto de vista del consumo de energía, pero el consumo de agua puede ser realmente extraordinario. He visto cifras que se acercan al billón de galones de agua por año sólo en los centros de datos de América del Norte. Y luego, en climas húmedos como el sudeste asiático o el este de China, por ejemplo, esa capacidad de enfriamiento por evaporación no es tan efectiva y se quema mucha más energía. Entonces, si realmente desea llegar a cifras de eficiencia energética realmente agresivas, simplemente no puede hacerlo con el enfriamiento por evaporación en esos climas húmedos. Y entonces, esas geografías son una especie de punta de lanza para pasar a la refrigeración líquida.
La otra oportunidad que mencionó fue la densidad y la tendencia durante décadas es aumentar cada vez más la densidad de la informática. Eso es efectivamente lo que la Ley de Moore nos ha estado impulsando hacia adelante. Y creo que es importante darse cuenta de que eso aún no ha terminado. Por mucho que pensemos en bastidores de GPU y aceleradores, aún podemos mejorar significativamente el consumo de energía con servidores tradicionales de densidad cada vez mayor, lo que nos permitirá empaquetar lo que podría haber sido una fila completa de bastidores en un solo bastidor de computación en el futuro. . Y esos son ahorros sustanciales. Y en Intel, anunciamos que tenemos un procesador próximo que tiene 288 núcleos de CPU y 288 núcleos en un solo paquete que nos permite construir bastidores con hasta 11,000 núcleos de CPU. Entonces, el ahorro de energía es sustancial, no sólo porque esos chips son muy, muy eficientes, sino porque la cantidad de equipos de red y elementos auxiliares alrededor de esos sistemas es mucho menor porque se usan esos recursos de manera más eficiente con esos sistemas de muy alta densidad. componentes. Entonces, continuar, si tal vez incluso acelerar nuestro camino hacia este tipo de computación de densidad ultraalta nos ayudará a lograr los ahorros de energía que necesitamos, tal vez para acomodar algunos de esos modelos más grandes que están por venir.
Laurel: Sí, eso definitivamente tiene sentido. Y esta es una buena transición a esta otra parte, que es cómo los centros de datos y el hardware, así como el software, pueden colaborar para crear una tecnología con mayor eficiencia energética sin comprometer la función. Entonces, ¿cómo pueden las empresas invertir en hardware más eficiente desde el punto de vista energético, como software compatible con el hardware y, como mencionaba anteriormente, modelos de lenguajes grandes o LLM con infraestructura más pequeña y reducida, pero aun así aprovechar los beneficios de la IA?
Zane: Creo que hay muchas oportunidades, y tal vez la más emocionante que veo ahora es que, aunque estamos bastante sorprendidos y asombrados por lo que estos modelos realmente grandes son capaces de hacer, a pesar de que requieren decenas de megavatios de súper poder de cómputo, en realidad puedes obtener muchos de esos beneficios con modelos mucho más pequeños, siempre y cuando estés contento con operarlos dentro de algún dominio de conocimiento específico. Por eso a menudo nos referimos a ellos como modelos expertos. Tomemos, por ejemplo, un modelo de código abierto como el Llama 2 que produjo Meta. Entonces hay como una versión de 7 mil millones de parámetros de ese modelo. También hay, creo, versiones de 13 y 70 mil millones de parámetros de ese modelo en comparación con un GPT-4, tal vez algo así como un modelo de un billón de elementos. Es mucho, mucho, mucho más pequeño, pero cuando ajustas ese modelo con datos a un caso de uso específico, si eres una empresa, probablemente estés trabajando en algo bastante limitado y específico que estás tratando de hacer. .