Debido a que los modelos de lenguaje grandes funcionan al predecir la siguiente palabra en una oración, es más probable que usen palabras comunes como “el”, “eso” o “es” en lugar de palabras raras y torcidas. Este es exactamente el tipo de texto que los sistemas de detección automatizados son buenos para recoger, Ippolito y un equipo de investigadores de Google. encontrado en una investigación que publicaron en 2019.
Pero el estudio de Ippolito también mostró algo interesante: los participantes humanos tendían a pensar que este tipo de texto “limpio” se veía mejor y contenía menos errores y, por lo tanto, debía haber sido escrito por una persona.
En realidad, el texto escrito por humanos está plagado de errores tipográficos y es increíblemente variable, incorporando diferentes estilos y jerga, mientras que “los modelos de lenguaje muy, muy rara vez cometen errores tipográficos. Son mucho mejores para generar textos perfectos”, dice Ippolito.
“Un error tipográfico en el texto es en realidad un buen indicador de que fue escrito por humanos”, agrega.
Los modelos de lenguaje grande también se pueden usar para detectar texto generado por IA. Una de las formas más exitosas de hacer esto es volver a entr enar el modelo en algunos textos escritos por humanos y otros creados por máquinas, para que aprenda a diferenciar entre los dos, dice Muhammad Abdul-Mageed, quien es el presidente de investigación de Canadá en ciencias naturales. -procesamiento del lenguaje y aprendizaje automático en la Universidad de British Columbia y ha detección estudiada
Mientras tanto, Scott Aaronson, científico informático de la Universidad de Texas en comisión de servicios como investigador en OpenAI durante un año, ha estado desarrollo de marcas de agua para fragmentos de texto más largos generados por modelos como GPT-3, “una señal secreta que de otro modo sería imperceptible en sus elecciones de palabras, que puede usar para demostrar más tarde que sí, esto vino de GPT”, escribe en su blog.
Un portavoz de OpenAI confirmó que la compañía está trabajando en las marcas de agua y dijo que sus políticas establecen que los usuarios deben indicar claramente el texto generado por la IA “de una manera que nadie pueda pasar por alto o malinterpretar razonablemente”.
Pero estas correcciones técnicas vienen con grandes advertencias. La mayoría de ellos no tienen ninguna posibilidad frente a la última generación de modelos de lenguaje de IA, ya que se basan en GPT-2 u otros modelos anteriores. Muchas de estas herramientas de detección funcionan mejor cuando hay mucho texto disponible; serán menos eficientes en algunos casos de uso concretos, como chatbots o asistentes de correo electrónico, que se basan en conversaciones más cortas y brindan menos datos para analizar. Y el uso de grandes modelos de lenguaje para la detección también requiere computadoras potentes y acceso al propio modelo de IA, que las empresas de tecnología no permiten, dice Abdul-Mageed.