OpenAI disolvió su equipo dedicado a prevenir la IA no autorizada
OpenAI ha disuelto su “equipo de superalineación” encargado de evitar los posibles riesgos existenciales de la inteligencia artificial menos de un año después. primero anunciando su creación. La noticia de la disolución fue confirmada por primera vez hoy por cableado y otros medios, junto con un largo hilo publicado en X
“Me uní porque pensé que OpenAI sería el mejor lugar del mundo para realizar esta investigación”, Leike escribió en X hoy. “Sin embargo, he estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura”.
OpenAI formó su proyecto de superalineación en julio de 2023. En un publicación de blog adjunta, la compañía afirmó que la IA superinteligente “será la tecnología más impactante que la humanidad haya inventado jamás y podría ayudarnos a resolver muchos de los problemas más importantes del mundo. Pero el vasto poder de la superinteligencia también podría ser muy peligroso y podría conducir a la pérdida de poder de la humanidad o incluso a su extinción”.
Ayer fue mi último día como jefe de alineación, líder de superalineación y ejecutivo. @OpenAI
.– Jan Leike (@janleike) 17 de mayo de 2024
“La gestión de estos riesgos requerirá, entre otras cosas, nuevas instituciones para la gobernanza y la solución del problema de la alineación de la superinteligencia”, continuó la compañía, al tiempo que anunció a Leike y al científico jefe y cofundador de OpenAI, Ilya Sutskever, como codirectores del equipo de superalineación. Sutskever también desde entonces partió de OpenAI supuestamente por preocupaciones similares, mientras que los miembros restantes del grupo supuestamente han sido absorbidos por otros grupos de investigación.
Los principales ejecutivos y desarrolladores de la compañía, incluido el director ejecutivo Sam Altman, han advertido repetidamente sobre la supuesta amenaza de una “IA no autorizada” que podría eludir las salvaguardias humanas si se diseña incorrectamente. Mientras tanto, OpenAI, junto con empresas como Google y Meta, promociona regularmente sus últimos avances en productos de IA, algunos de los cuales ahora pueden producir medios casi fotorrealistas y audio convincentemente humano. A principios de esta semana, OpenAI anunció el lanzamiento de GPT-4o
[Related: Sam Altman: Age of AI will require an ‘energy breakthrough’]
Aunque los detalles exactos detrás de la partida de Leike y el cierre del equipo de superalineación aún no están claros, las recientes luchas internas de poder insinúan marcadas diferencias de opinión sobre cómo hacer avanzar la industria de una manera segura y equitativa. Algunos críticos sostienen que la industria de la IA se está acercando rápidamente a una era de rendimientos decrecienteslo que llevó a los líderes tecnológicos a moderar las expectativas del producto y cambiar los postes de la portería. Otros, como Leike, parecen convencidos de que la IA pronto podría representar una amenaza grave para la humanidad y de que empresas como OpenAI no se lo están tomando lo suficientemente en serio.
Pero, como señalan muchos críticos, la IA generativa está lejos de ser consciente de sí misma y mucho menos capaz de “volverse rebelde”. Sin embargo, independientemente de los chatbots sensibles, la tecnología existente ya está afectando temas como la desinformación, la propiedad de contenidos y los derechos laborales humanos. Y a medida que las empresas continúan impulsando los incipientes sistemas de inteligencia artificial en las búsquedas web, las redes sociales y las publicaciones de noticias, la sociedad debe lidiar con las consecuencias.