Resumen de Ars en San José: infraestructura, sostenibilidad, inteligencia artificial, cócteles

La semana pasada, el editor en jefe de Ars Technica, Ken Fisher, y yo hicimos un viaje hacia el oeste hasta la soleada San José para iniciar un evento titulado “Más allá de los rumores: un futuro de infraestructura con GenAI y lo que viene después”, organizado en asociación con IBM. Fue increíble poder subir al escenario y hablar ante una sala llena de lectores de Ars interesados, y a todos los que pudieron venir, ¡gracias por estar allí! (Para todos los que no pudieron venir, está bien; haremos otro evento el próximo mes en DC. Tendré más información al respecto al final de este artículo).

El evento de San José tuvo lugar en el Museo de Historia de la Computaciónque, en lo que respecta a los lugares, fue absolutamente apropiado y de marca, y Ars quisiera extender su agradecimiento a la gente de CHM por ser tan amable y complaciente con nuestra reunión de geeks.

“Nuestra lista de oradores y temas de hoy refleja la complejidad y la rápida evolución del panorama tecnológico en el que todos operamos”, señaló Fisher en sus comentarios de apertura del programa. “Discutiremos no sólo la promesa de la IA generativa, sino también los desafíos que trae en términos de demandas de infraestructura, vulnerabilidades de seguridad e impactos ambientales”.

los paneles

Para el punto de Ken, nuestro primer panel fue sobre el impacto ambiental de los centros de datos en constante expansión (y, a menudo al mismo tiempo, los servicios de inteligencia artificial que brindan). hablamos con Jeff Bolaacadémico residente del Centro Steyer-Taylor de Política y Finanzas Energéticas de la Universidad de Stanford; Joanna Wongarquitecto de soluciones para IA y almacenamiento en IBM; y el propio editor científico senior de Ars, el Dr. John Timmer.

Uno de los puntos principales del panel que no había asimilado del todo antes, pero que tenía mucho sentido después de que me lo explicaran, fue el argumento de Jeff Ball de que “no todo el poder se crea de la misma manera”, es decir, cuando se analizan los recursos de la nube como una forma de Para trasladar los costos ambientales a un tercero, la ubicación física real de esos recursos de la nube puede tener un efecto tremendo en la huella de carbono. El costo de utilizar un centro de datos en Islandia y un centro de datos en China puede ser más o menos similar, pero existe una gran posibilidad de que el centro de datos en China utilice energía de carbón, mientras que el centro de datos islandés probablemente utilice energía geotérmica.

Joanna Wong de IBM también señaló que la infraestructura a menudo está plagada de puntos de falla desconocidos, es decir, problemas que no son lo suficientemente críticos como para causar fallas, pero que aun así consumen computación extra (y por lo tanto energía). Wong dijo que siempre debemos estar atentos a estos puntos de falla. Si bien podemos preocuparnos por los costos energéticos de las nuevas tecnologías, debemos ser conscientes de que probablemente ya estemos desperdiciando recursos y perjudicando el rendimiento al no comprender nuestros puntos de falla, o incluso nuestros cuellos de botella.

Luego pasamos al terreno en constante evolución de las vulnerabilidades de seguridad y el código generado por IA (o al menos auditado por IA). Para este, me acompañó Esteban Goldschmidtarquitecto de seguridad de plataforma global de Box; Patricio Goulddirector de la Cartera Cyber ​​& Telecom de la Unidad de Innovación de Defensa del Departamento de Defensa; y Ram Parasuramandirector ejecutivo de Datos y Resiliencia de IBM.

Este ha sido un tema polémico antes, y tan recientemente como en nuestra conferencia virtual Ars Frontiers en 2023, los expertos en seguridad han expresado su inquietud ante la idea del código generado por IA, dado el hábito de la mayoría de los LLM de confabular cosas salvajemente en un abrir y cerrar de ojos. Pero según nuestros panelistas, el papel más apropiado para la IA generativa en la codificación probablemente será aumentar la codificación humana en lugar de reemplazarla: la IA ayudará a detectar errores tipográficos que inducen vulnerabilidades en el código, empujará la escoba metafórica detrás de un codificador humano y limpiará. errores. Todavía estamos muy lejos de confiar plenamente en el código generado por IA en producción (a menos que esté loco o sea descuidado), pero ¿código examinado por IA? Ese futuro está aquí. Parasuraman lo expresó mejor: “La cuestión de cómo confiar en los resultados de la IA nunca desaparecerá. Lo que cambiará son las formas en que verificamos y monitoreamos esos resultados”.

Finalmente, nuestro panel de cierre versó sobre “jugar el juego a largo plazo de la infraestructura”, es decir, planificar la propia infraestructura para anticipar problemas imprevistos. conmigo estaba Con bola Ashwindirector de información de Freshworks; Karun Channadirector de Producto AI en Roblox; y Pete Brayejecutivo de Producto Global en IBM. Es difícil responder a la pregunta “¿Cómo se anticipan problemas imprevistos?”, pero con los panelistas que abarcaban desde la nube nativa hasta la híbrida con una gran presencia en el centro de datos local, lo intentaron.

Quizás no sea sorprendente que la respuesta sea una combinación de recopilación inteligente de requisitos, resiliencia y flexibilidad. Conocer firmemente sus requisitos es el primer paso inevitable; Si su planificación de requisitos va bien, entonces la construcción de una infraestructura resiliente surge de ello. Si su infraestructura es resistente y, lo más importante, si tiene algo de dinero operativo de emergencia en reserva, debe tener flexibilidad en su infraestructura para responder a picos inesperados de demanda (o al menos la capacidad de invertir temporalmente algo de dinero en la carga hasta que el problema desaparece). No es ciencia espacial, y diablos, incluso en empresas que son Al hacer ciencia espacial, una buena planificación de requisitos siempre gana.