La Casa Blanca desafía a los piratas informáticos a romper los mejores modelos de IA en DEF CON 31

Una imagen generada por IA de la Casa Blanca frente a un fondo cibernético.
Agrandar / Una imagen generada por IA de la Casa Blanca frente a un fondo cibernético.

a mitad de camino

El jueves, la Casa Blanca Anunciado una sorprendente colaboración entre los principales desarrolladores de IA, incluidos OpenAI, Google, Antrhopic, Hugging Face, Microsoft, Nvidia y Stability AI, para participar en una evaluación pública de sus sistemas de IA generativa en DEF CON 31, una convención de hackers que tendrá lugar en Las Vegas en agosto. El evento será organizado por Aldea AIuna comunidad de hackers de IA.

Desde el año pasado, los modelos de lenguaje extenso (LLM) como ChatGPT se han convertido en una forma popular de acelerar las tareas de escritura y comunicación, pero los funcionarios reconocen que también conllevan riesgos inherentes. Temas como confabulaciones, fugas y prejuicios plantean desafíos para los profesionales de la seguridad y el público. es por eso que el Oficina de Ciencia, Tecnología y Política de la Casa Blanca

respalda llevar estos nuevos modelos generativos de IA a sus límites.

“Este ejercicio independiente proporcionará información crítica a los investigadores y al público sobre los impactos de estos modelos y permitirá a las empresas y desarrolladores de IA tomar medidas para solucionar los problemas que se encuentran en esos modelos”. dice una declaración

de la Casa Blanca, que dice que el evento se alinea con la Declaración de Derechos de IA de la administración Biden y el Instituto Nacional de Estándares y Tecnología Marco de gestión de riesgos de IA.

en un paralelo anuncio escrito por AI Village, los organizadores Sven Cattell, Rumman Chowdhury y Austin Carson llaman al próximo evento “el ejercicio de equipo rojo más grande jamás realizado por cualquier grupo de modelos de IA”. Miles de personas participarán en la evaluación pública del modelo de IA, que utilizará una plataforma de evaluación desarrollada por Scale AI.

El “equipo rojo” es un proceso mediante el cual los expertos en seguridad intentan encontrar vulnerabilidades o fallas en los sistemas de una organización para mejorar la seguridad y la resiliencia en general.

Según Cattell, el fundador de AI Village, “los diversos problemas con estos modelos no se resolverán hasta que más personas sepan cómo trabajar en equipo y evaluarlos”. Al realizar el ejercicio de formación de equipos rojos más grande para cualquier grupo de modelos de IA, AI Village y DEF CON tienen como objetivo hacer crecer la comunidad de investigadores equipados para manejar las vulnerabilidades en los sistemas de IA.

Los LLM han demostrado ser sorprendentemente difíciles de bloquear, en parte debido a una técnica llamada “inyección rápida”, sobre la que publicamos una historia en septiembre. El investigador de IA Simon Willison ha escrito en detalle sobre los peligros de la inyección rápida, una técnica que puede hacer descarrilar un modelo de lenguaje para que realice acciones no previstas por su creador.

Durante el evento DEF CON, los participantes tendrán acceso cronometrado a múltiples LLM a través de computadoras portátiles proporcionadas por los organizadores. Un sistema de puntos estilo capturar la bandera fomentará la prueba de una amplia gama de daños potenciales. Al final, la persona con más puntos ganará una GPU Nvidia de gama alta.

“Publicaremos lo que aprendamos de este evento para ayudar a otros que quieran probar lo mismo”, escribe AI Village. “Cuanta más gente sepa cómo trabajar mejor con estos modelos y sus limitaciones, mejor”.

DEF CON 31 tendrá lugar del 10 al 13 de agosto de 2023 en el Caesar’s Forum de Las Vegas.

Leave a Reply

Your email address will not be published. Required fields are marked *