Shakked Noy y Whitney Zhang reclutaron a 453 especialistas en marketing, analistas de datos y profesionales con educación universitaria y lograron que cada uno de ellos completara dos tipos de tareas que normalmente realizarían como parte de sus trabajos, como escribir comunicados de prensa, informes breves o análisis. planes A la mitad se les dio la opción de usar ChatGPT para ayudarlos a completar la segunda de las dos tareas.
Luego, un grupo de otros profesionales verificó la calidad de los resultados, calificando la escritura en una escala del 1 al 7, siendo 7 el mejor. Cada trabajo fue evaluado por tres personas de las mismas profesiones, contratadas a través de la plataforma de investigación Prolific.
Los escritores que optaron por usar ChatGPT tardaron un 40 % m enos en completar sus tareas y produjeron un trabajo que los evaluadores calificaron un 18 % más en calidad que el de los participantes que no lo usaron. Los escritores que ya eran hábiles para escribir pudieron reducir la cantidad de tiempo que dedicaron a su trabajo, mientras que aquellos que fueron evaluados como escritores más débiles produjeron un trabajo de mayor calidad una vez que obtuvieron acceso al chatbot.
“ChatGPT es muy bueno para producir este tipo de contenido escrito, por lo que usarlo para automatizar partes del proceso de escritura parece ahorrar mucho tiempo”, dice Noy, autor principal de la investigación.
“Una cosa que está clara es que esto es muy útil para el trabajo de cuello blanco: mucha gente lo usará y tendrá un efecto bastante grande en cómo se estructura el trabajo de cuello blanco”, agrega.
Sin embargo, el resultado de ChatGPT y otros modelos generativos de IA está lejos de ser confiable. ChatGPT es muy bueno para presentar información falsa como objetivamente correcta, lo que significa que aunque los trabajadores pueden aprovecharla para ayudarlos a producir más trabajo, también corren el riesgo de introducir errores.
Dependiendo de la naturaleza del trabajo de una persona, ese tipo de imprecisiones podrían tener serias implicaciones. El abogado Steven Schwartz fue multado con $ 5,000 por un juez el mes pasado por usar ChatGPT para producir un informe legal que contenía opiniones judiciales falsas y citaciones legales.
“Los avances tecnológicos son comunes y no hay nada intrínsecamente inapropiado en el uso de una herramienta confiable de inteligencia artificial para obtener asistencia”, escribió el juez Kevin Castel. “Pero las reglas existentes imponen un papel de vigilancia a los abogados para garantizar la precisión de sus presentaciones”.
La investigación sugiere cómo la IA podría ser útil en el lugar de trabajo al actuar como una especie de asistente virtual, dice Riku Arakawa, investigador de la Universidad Carnegie Mellon que estudia el uso de modelos de lenguaje extenso por parte de los trabajadores y no participó en la investigación.
“Creo que este es un resultado realmente interesante que demuestra cómo la cooperación humano-IA funciona realmente bien en este tipo de tareas. Cuando un humano aprovecha la IA para refinar su producción, puede producir un mejor contenido”, agrega.