Ars Technica
El viernes, Tamaño co-fundador Rob Morris Anunciado en Twitter que su compañía realizó un experimento para proporcionar asesoramiento de salud mental escrito por IA a 4000 personas sin informarles primero, El borde informa. Los críticos tienen llamó el experimento profundamente poco ético porque Koko no obtuvo consentimiento informado de personas que buscan asesoramiento.
Koko es una plataforma de salud mental sin fines de lucro que conecta a adolescentes y adultos que necesitan ayuda de salud mental con voluntarios a través de aplicaciones de mensajería como Telegram y Discord.
En Discord, los usuarios inician sesión en el servidor de Koko Cares y envían mensajes directos a un bot de Koko que hace varias preguntas de opción múltiple (p. ej., “¿Cuál es el pensamiento más oscuro que tienes sobre esto?”). Luego comparte las inquietudes de una persona, escritas como unas pocas oraciones de texto, de forma anónima con otra persona en el servidor que puede responder de forma anónima con un mensaje corto propio.
Brindamos apoyo de salud mental a unas 4000 personas, usando GPT-3. Esto es lo que pasó 👇
— Rob Morris (@RobertRMorris) 6 de enero de 2023
Durante el experimento de IA, que se aplicó a unos 30.000 mensajes, de acuerdo a a Morris: los voluntarios que brindaban asistencia a otros tenían la opción de usar una respuesta generada automáticamente por el modelo de lenguaje grande GPT-3 de OpenAI en lugar de escribir uno ellos mismos (GPT-3 es la tecnología detrás del recientemente popular chatbot ChatGPT).
Tamaño
En su hilo de tuits, Morris dice que las personas calificaron altamente las respuestas elaboradas por IA hasta que supieron que fueron escritas por IA, lo que sugiere una falta clave de consentimiento informado durante al menos una fase del experimento:
Los mensajes compuestos por IA (y supervisados por humanos) fueron calificados significativamente más altos que los escritos por humanos solos (p < .001). Los tiempos de respuesta se redujeron en un 50 %, a menos de un minuto. Y, sin embargo... sacamos esto de nuestra plataforma bastante rápido. ¿Por qué? Una vez que la gente supo que los mensajes fueron co-creados por una máquina, no funcionó. La empatía simulada se siente extraña, vacía.
En la introducción al servidor, los administradores escriben: “Koko te conecta con personas reales que realmente te entienden. No terapeutas, no consejeros, solo personas como tú”.
Poco después de publicar el hilo de Twitter, Morris recibió muchas respuestas criticando el experimento como poco ético, citando preocupaciones sobre el falta de consentimiento informado y preguntando si un Junta de Revisión Institucional (IRB) aprobó el experimento. En los Estados Unidos, es ilegal para realizar investigaciones en sujetos humanos sin un consentimiento informado legalmente efectivo, a menos que un IRB determine que se puede renunciar al consentimiento.
En una respuesta tuiteada, Morris dicho que el experimento “estaría exento” de los requisitos de consentimiento informado porque no planeaba publicar los resultados, lo que inspiró un desfile de respuestas horrorizadas.
Hablando como exmiembro y presidente del IRB, ha realizado una investigación con sujetos humanos en una población vulnerable sin la aprobación o exención del IRB (usted no puede decidir). Tal vez el proceso MGH IRB es tan lento porque se ocupa de cosas como esta. Consejo no solicitado: abogado arriba
—Daniel Shoskes (@dshoskes) 7 de enero de 2023
La idea de utilizar la IA como terapeuta está lejos de ser nuevo, pero la diferencia entre el experimento de Koko y los enfoques típicos de la terapia de IA es que los pacientes generalmente saben que no están hablando con un ser humano real. (Curiosamente, uno de los primeros chatbots, ELIZAsimuló una sesión de psicoterapia.)
En el caso de Koko, la plataforma proporcionó un enfoque híbrido en el que un intermediario humano podía obtener una vista previa del mensaje antes de enviarlo, en lugar de un formato de chat directo. Aun así, sin consentimiento informado, los críticos argumentar que Koko violó las reglas éticas diseñadas para proteger a las personas vulnerables de prácticas de investigación dañinas o abusivas.
El lunes, Morris compartió una publicación reaccionando a la controversia que explica el camino a seguir de Koko con GPT-3 y la IA en general, escribiendo: “Recibo críticas, inquietudes y preguntas sobre este trabajo con empatía y apertura. Compartimos el interés de asegurarnos de que se maneje cualquier uso de la IA. con delicadeza, con una profunda preocupación por la privacidad, la transparencia y la mitigación de riesgos. Nuestro consejo asesor clínico se está reuniendo para discutir las pautas para el trabajo futuro, específicamente con respecto a la aprobación del IRB”.