La IA entrenada en IA produce basura sin sentido
Los modelos de lenguaje de gran tamaño como los que ofrecen OpenAI y Google requieren grandes cantidades de datos de entrenamiento para funcionar. Las últimas versiones de estos modelos ya han recorrido gran parte de Internet, lo que ha llevado a algunos a temer que no queden suficientes datos nuevos para entrenar futuras iteraciones. Algunas voces destacadas de la industria, como el director ejecutivo de Meta, Mark Zuckerberg, han propuso una solución a ese dilema de datos:simplemente entrenar nuevos sistemas de IA con resultados de IA antiguos.
Pero una nueva investigación sugiere que la canibalización de los resultados de modelos anteriores daría lugar rápidamente a cadenas de balbuceos de IA y podría acabar provocando lo que se denomina “colapso del modelo”. En un ejemplo, los investigadores alimentaron a una IA con un párrafo benigno sobre la arquitectura de una iglesia, pero este se degradó rápidamente con el paso de las generaciones. El modelo final, el más “avanzado”, simplemente repetía la frase “conejos de cola negra” continuamente.
Un estudio publicado en Naturaleza Esta semana, pusieron a prueba ese escenario de IA entrenada con IA. Los investigadores crearon su propio modelo de lenguaje, al que inicialmente alimentaron con texto original generado por humanos. Luego crearon nueve generaciones más de modelos, cada uno entrenado con el texto generado por el modelo anterior. El resultado final en la generación final fue un galimatías de sonido surrealista que no tenía e sencialmente nada que ver con el texto original. Con el tiempo y las generaciones sucesivas, los investigadores dicen que su modelo “se envenena con su propia proyección de la realidad”.
Los modelos de IA olvidan el significado cuanto más se entrenan a sí mismos
Los investigadores se refieren a este extraño caso de IA que parece implosionar sobre sí misma como “colapso del modelo”, un proceso degenerativo que puede presentarse en formas tempranas y tardías. En el lado temprano de las cosas, el colapso comienza a ocurrir cuando los modelos de IA que se alejan varias generaciones de los datos de entrenamiento originales aparentemente olvidan los valores atípicos o rarezas en el texto original. Esto tiene el efecto de hacer que los resultados más probables sean cada vez más comunes. Eso sería un problema en el mundo real, porque podría resultar en una reducción de las opiniones o expresiones minoritarias. Un modelo de aprendizaje a largo plazo que muestre signos de colapso temprano podría presentar una versión de la realidad que carece de diversidad y sufre de una uniformidad abrumadora.
Las cosas se ponen más raras en las últimas etapas del colapso. En esas últimas generaciones, los modelos entrenados con modelos están tan alejados de los datos de entrenamiento originales que empiezan a olvidar aspectos clave del entrenamiento inicial y pierden el hilo por completo. Es en esta etapa cuando los modelos empiezan a generar un galimatías sin sentido. Cuando esto sucede, los investigadores dicen que la autocanibalización “indiscriminada” del modelo de sus propios resultados previos “provoca defectos irreversibles en el modelo resultante”.
Los investigadores afirman que este efecto en cascada y el colapso final del modelo son inevitables para los modelos grandes entrenados con sus propios datos. Es importante señalar que esta investigación se centró específicamente en los modelos de lenguaje y no analiza lo que podría suceder si los modelos multimodales, como los generadores de imágenes y videos, se entrenaran con sus propios datos. Esta investigación también se centra en lo que debería suceder en un modelo entrenado con sus propios datos. propio datos. No está claro exactamente qué sucedería si un modelo, digamos de Meta, se entrenara con los resultados generados por OpenAI.
Preservar el texto humano original podría evitar el colapso
La posibilidad de un colapso del modelo del mundo real no es una hipótesis impensable. En este momento, innumerables sitios web Están en funcionamiento y presentan artículos y publicaciones de blog. Generado enteramente por LLMEn la carrera por construir nuevos modelos lo más rápido posible, no es impensable que gran parte de esa basura generada por IA pueda terminar filtrándose en los conjuntos de entrenamiento.
Una posible solución a esa inclusión involuntaria de contenido generado por IA en los conjuntos de entrenamiento sería fomentar un estándar de marca de agua en todas las plataformas que marque claramente la autenticidad del contenido y si fue producido o no por una máquina. Google, Adobe y las grandes empresas tecnológicas están tratando de hacer exactamente eso con una insignia especial de “credencial de contenido” que están tratando de estandarizar como parte de la Coalición para la Procedencia y Autenticidad del Contenido (C2PA).
Pero eso sólo se aplicaría a las imágenes. El texto generado por IA también es mucho más difícil de marcar con una marca de agua. o incluso identificar con precisión Utilizando el software de detección disponible. Un enfoque más realista puede requerir que los desarrolladores de IA examinen minuciosamente el material en busca de indicios de manipulación de la IA y, potencialmente, paguen a fuentes humanas de confianza para acceder al entrenamiento con sus datos de alta calidad. Sin esas salvaguardas de los datos de entrenamiento humanos, Internet corre el riesgo de ser absorbido por una ola de vómitos de IA. Nadie quiere eso.