Por qué los detectores de IA creen que la Constitución de EE. UU. fue escrita por IA

Si alimenta el documento legal más importante de Estados Unidos, el Constitución de los EEUU— en una herramienta diseñada para detectar texto escrito por modelos de IA como ChatGPT, le dirá que el documento fue casi seguro escrito por IA. Pero a menos que James Madison fuera un viajero en el tiempo, ese no puede ser el caso. ¿Por qué las herramientas de detección de escritura de IA dan falsos positivos? Hablamos con varios expertos, y con el creador del detector de escritura de IA GPTZero, para averiguarlo.

Entre las noticias de profesores demasiado entusiastas suspender toda una clase debido a la sospecha del uso de la herramienta de escritura de IA y los niños falsamente acusado de usar ChatGPT, la IA generativa tiene la educación en un estado de nerviosismo. Algunos piensan que representa un crisis existencial. Los maestros que confían en los métodos educativos desarrollados durante el siglo pasado han estado luchando por encontrar formas de mantener el statu quo: la tradición de confiar en el ensayo como una herramienta para medir el dominio de un tema por parte del estudiante.

Por muy tentador que sea confiar en las herramientas de IA para detectar la escritura generada por IA, la evidencia hasta ahora ha demostrado que son no fiable. Debido a los falsos positivos, los detectores de escritura de IA como GPTZero, CeroGPTy OpenAI Clasificador de texto no puedo ser confiable para detectar texto compuesto por modelos de lenguaje grande (LLM) como ChatGPT.

Si alimenta a GPTZero con una sección de la Constitución de los EE. UU., dice que el texto “probablemente esté escrito en su totalidad por AI”. En varias ocasiones durante los últimos seis meses, se han obtenido capturas de pantalla de otros detectores de IA que muestran resultados similares. fue viral

en las redes sociales, inspirando confusión y muchos chistes sobre que los padres fundadores eran robots. Resulta que sucede lo mismo con las selecciones de La Biblia, que también aparecen como generadas por IA.

Para explicar por qué estas herramientas cometen errores tan obvios (y, por lo demás, a menudo arrojan falsos positivos), primero debemos entender cómo funcionan.

Comprender los conceptos detrás de la detección de IA

Diferentes detectores de escritura de IA usan métodos de detección ligeramente diferentes pero con una premisa similar: hay un modelo de IA que ha sido entrenado en una gran cantidad de texto (que consta de millones de ejemplos de escritura) y un conjunto de reglas conjeturadas que determinan si la escritura es correcta. es más probable que sea generado por humanos o por IA.

Por ejemplo, en el corazón de GPTZero hay una red neuronal entrenada en “un corpus grande y diverso de texto escrito por humanos y generado por IA, con un enfoque en la prosa en inglés”, según el servicio. Preguntas más frecuentes. A continuación, el sistema utiliza propiedades como “perplejidad” y “ráfaga” para evaluar el texto y realizar su clasificación.

En el aprendizaje automático, la perplejidad es una medida de cuánto se desvía un fragmento de texto de lo que ha aprendido un modelo de IA durante su entrenamiento. Como dijo a Ars la Dra. Margaret Mitchell, de la empresa de IA Hugging Face, “la perplejidad es una función de ‘¿qué tan sorprendente es este lenguaje basado en lo que he visto?'”.

Entonces, el pensamiento detrás de medir la perplejidad es que cuando escriben texto, los modelos de IA como ChatGPT buscarán naturalmente lo que mejor conocen, que proviene de sus datos de entrenamiento. Cuanto más cerca esté la salida de los datos de entrenamiento, menor será la calificación de perplejidad. Los humanos son escritores mucho más caóticos, o al menos esa es la teoría, pero los humanos también pueden escribir con poca perplejidad, especialmente cuando imitan un estilo formal usado en derecho o ciertos tipos de escritura académica. Además, muchas de las frases que usamos son sorprendentemente comunes.

Digamos que estamos adivinando la siguiente palabra en la frase “Me gustaría una taza de _____”. La mayoría de la gente llenaría el espacio en blanco con “agua”, “café” o “té”. Un modelo de lenguaje entrenado en una gran cantidad de texto en inglés haría lo mismo porque esas frases aparecen con frecuencia en la escritura en inglés. La perplejidad de cualquiera de esos tres resultados sería bastante baja porque la predicción es bastante cierta.