Arjun Narayan, exjefe de seguridad de Google, habla sobre las noticias escritas por IA

En unos pocos meses, la idea de artículos periodísticos convincentes escritos íntegramente por computadoras ha pasado de ser un absurdo percibido a una realidad que es ya confunde a algunos lectores. Ahora, escritores, editores y Responsables políticos se esfuerzan por desarrollar estándares para mantener la confianza en un mundo donde el texto generado por IA aparecerá cada vez más disperso en las noticias.

Las principales publicaciones tecnológicas como CNET ya han sido atrapados con la mano en el tarro de galletas de IA generativa y he tenido que emitir correcciones a artículos escritos por chatbots al estilo ChatGPT, que son propensos a errores fácticos. Otras instituciones principales, como Insider, están explorando el uso de IA en artículos de noticias con notablemente más moderación, al menos por ahora. En el extremo más distópico del espectro, la baja calidad las granjas de contenido ya están usando chatbots para producir noticias, algunos de los cuales contienen falsedades fácticas potencialmente peligrosas. Estos esfuerzos son, sin duda, toscos, pero eso podría cambiar rápidamente a medida que la tecnología madure.

Los problemas relacionados con la transparencia y la responsabilidad de la IA se encuentran entre los desafíos más difíciles que ocupan la mente de Arjun Narayan, Jefe de Confianza y Seguridad de SmartNews, una aplicación de descubrimiento de noticias disponible en más de 150 países que utiliza un algoritmo de recomendación personalizado con un objetivo declarado de “entregar la información de calidad del mundo a las personas que la necesitan”. Antes de SmartNews, Narayan trabajó como líder de confianza y seguridad en ByteDance y Google. De alguna manera, los desafíos aparentemente repentinos que plantean los generadores de noticias de IA en la actualidad son el resultado de una acumulación gradual de algoritmos de recomendación y otros productos de IA que Narayan ha ayudado a supervisar durante más de veinte años. Narayan habló con Gizmodo sobre la complejidad del momento actual, cómo las organizaciones de noticias deben abordar el contenido de IA de manera que pueda generar y nutrir la confianza de los lectores, y qué esperar en el incierto futuro cercano de la IA generativa.

Esta entrevista ha sido editada por su extensión y claridad.

¿Cuáles cree que son algunos de los mayores desafíos imprevistos que plantea la IA generativa desde una perspectiva de confianza y seguridad?

Hay un par de riesgos. El primero se trata de asegurarse de que los sistemas de IA se entrenen correctamente y se entrenen con la verdad básica correcta. Es más difícil para nosotros trabajar hacia atrás y tratar de entender por qué ciertas decisiones salieron como lo hicieron. Es extremadamente importante calibrar y curar cuidadosamente cualquier punto de datos que ingrese para entrenar el sistema de IA.

Cuando una IA toma una decisión, puedes atribuirle algo de lógica, pero en la mayoría de los casos es una especie de caja negra. Es importante reconocer que la IA puede idear cosas e inventar cosas que no son ciertas o que ni siquiera existen. El término de la industria es “alucinación”. Lo correcto es decir, “oye, no tengo suficientes datos, no sé”.

Luego están las implicaciones para la sociedad. A medida que la IA generativa se implemente en más sectores industriales, habrá interrupciones. Tenemos que preguntarnos si tenemos el orden social y económico adecuado para hacer frente a ese tipo de disrupción tecnológica. ¿Qué pasa con las personas que son desplazadas y no tienen trabajo? Lo que podrían ser otros 30 o 40 años antes de que las cosas se generalicen ahora son cinco o diez años. Eso no les da a los gobiernos ni a los reguladores mucho tiempo para prepararse para esto. O para que los formuladores de políticas tengan barandas en su lugar. Estas son cosas que los gobiernos y la sociedad civil deben analizar.

¿Cuáles son algunos de los peligros o desafíos que ve con los esfuerzos recientes de las organizaciones de noticias para generar contenido utilizando IA?

Es importante comprender que puede ser difícil detectar qué historias están escritas completamente por IA y cuáles no. Esa distinción se está desvaneciendo. Si entreno un modelo de IA para aprender cómo escribe Mack su editorial, tal vez el próximo que genere la IA sea muy del estilo de Mack. No creo que estemos allí todavía, pero muy bien podría ser el futuro. Entonces hay una pregunta sobre la ética periodística. ¿Es eso justo? ¿Quién tiene ese copyright, quién posee esa IP?

Necesitamos tener algún tipo de primeros principios. Personalmente, creo que no hay nada de malo en que AI genere un artículo, pero es importante ser transparente para el usuario de que este contenido fue generado por AI. Es importante para nosotros indicar, ya sea en una línea de autor o en una divulgación, que el contenido fue generado total o parcialmente por IA. Siempre y cuando cumpla con su estándar de calidad o estándar editorial, ¿por qué no?

Otro primer principio: hay muchas ocasiones en que la IA alucina o cuando el contenido que sale puede tener inexactitudes objetivas. Creo que es importante que los medios y las publicaciones, o incluso los agregadores de noticias, entiendan que se necesita un equipo editorial o un equipo de estándares o como quieras llamarlo que esté revisando todo lo que sale de ese sistema de IA. Verifique su precisión, verifique sus inclinaciones políticas. Todavía necesita supervisión humana. Necesita verificación y curación de estándares y valores editoriales. Mientras se cumplan estos primeros principios, creo que tenemos un camino a seguir.

Sin embargo, ¿qué haces cuando una IA genera una historia e inyecta alguna opinión o análisis? ¿Cómo discerniría un lector de dónde proviene esa opinión si no puede rastrear la información de un conjunto de datos?

Por lo general, si usted es el autor humano y una IA está escribiendo la historia, el humano todavía se considera el autor. Piense en ello como una línea de montaje. Entonces, hay una línea de ensamblaje de Toyota donde los robots están ensamblando un automóvil. Si el producto final tiene una bolsa de aire defectuosa o tiene un volante defectuoso, Toyota aún se hace cargo de eso, independientemente del hecho de que un robot haya fabricado esa bolsa de aire. Cuando se trata del resultado final, es la publicación de noticias la responsable. Estás poniendo tu nombre en él. Entonces, cuando se trata de autoría o inclinación política, cualquiera que sea la opinión que le dé el modelo de IA, todavía lo está sellando.

Todavía estamos temprano aquí, pero ya hay informes de granjas de contenido utilizando modelos de IA
, a menudo de manera muy perezosa, para producir contenido de baja calidad o incluso engañoso para generar ingresos publicitarios. Incluso si algunas publicaciones acuerdan ser transparentes, ¿existe el riesgo de que acciones como estas puedan reducir inevitablemente la confianza en las noticias en general?

A medida que avanza la IA, hay ciertas formas en las que quizás podamos detectar si algo fue escrito por la IA o no, pero aún es muy incipiente. No es muy preciso y no es muy eficaz. Aquí es donde la industria de la confianza y la seguridad debe ponerse al día sobre cómo detectamos los medios sintéticos frente a los medios no sintéticos. Para videos, hay algunas formas de detectar falsificaciones profundas, pero los grados de precisión difieren. Creo que la tecnología de detección probablemente se pondrá al día a medida que avance la IA, pero esta es un área que requiere más inversión y más exploración.

¿Cree que la aceleración de la IA podría alentar a las empresas de redes sociales a confiar aún más en la IA para la moderación de contenido? ¿Siempre habrá un rol para el moderador de contenido humano en el futuro?

Para cada problema, como el discurso de odio, la desinformación o el acoso, generalmente tenemos modelos que trabajan mano a mano con moderadores humanos. Hay un alto grado de precisión para algunas de las áreas temáticas más maduras; discurso de odio en el texto, por ejemplo. En buena medida, la IA es capaz de detectarlo a medida que se publica o cuando alguien lo escribe.

Sin embargo, ese grado de precisión no es el mismo para todas las áreas problemáticas. Por lo tanto, es posible que tengamos un modelo bastante maduro para el discurso de odio, ya que existe desde hace 100 años, pero tal vez para la información errónea sobre la salud o la información errónea sobre el covid, es posible que se necesite más capacitación en IA. Por ahora, puedo decir con seguridad que aún necesitaremos mucho contexto humano. Los modelos no están allí todavía. Todavía habrá humanos en el circuito y seguirá siendo un continuo de aprendizaje humano-máquina en el espacio de confianza y seguridad. La tecnología siempre está tratando de ponerse al día con los actores de amenazas.

¿Qué opina de las principales empresas de tecnología que han despedido a una parte importante de sus equipos de confianza y seguridad en los últimos meses con la justificación de que eran prescindibles?

me preocupa No solo confianza y seguridad, sino también equipos de ética de IA. Siento que las empresas de tecnología son círculos concéntricos. La ingeniería es el círculo más interno, mientras que el reclutamiento de recursos humanos, la ética de la IA, la confianza y la seguridad son todos los círculos externos y se dejan llevar. A medida que desinvertimos, ¿estamos esperando que la mierda llegue al ventilador? ¿Sería entonces demasiado tarde para reinvertir o corregir el rumbo?

Estoy feliz de que se demuestre que estoy equivocado, pero en general estoy preocupado. Necesitamos más personas que estén pensando en estos pasos y que le den el espacio de cabeza dedicado para mitigar los riesgos. De lo contrario, la sociedad tal como la conocemos, el mundo libre tal como lo conocemos, correrá un riesgo considerable. Sinceramente, creo que debe haber más inversión en confianza y seguridad.

Geoffrey Hinton, a quien algunos han llamado el Padrino de la IADesde entonces, salió y dijo públicamente que lamenta su trabajo en IA y temía que nos acercáramos rápidamente a un período en el que es difícil discernir qué es verdad en Internet. ¿Qué opinas de sus comentarios?

Él [Hinton] es una leyenda en este espacio. Si alguien, sabría lo que está diciendo. Pero lo que está diciendo suena a verdad.

¿Cuáles son algunos de los casos de uso más prometedores de la tecnología que le entusiasman?

Perdí a mi papá recientemente por el Parkinson. Luchó con él durante 13 años. Cuando observo el Parkinson y el Alzheimer, muchas de estas enfermedades no son nuevas, pero no hay suficiente investigación e inversión en ellas. Imagínese si tuviera IA haciendo esa investigación en lugar de un investigador humano o si la IA pudiera ayudar a avanzar en algunos de nuestros pensamientos. ¿No sería eso fantástico? Siento que ahí es donde la tecnología puede marcar una gran diferencia para mejorar nuestras vidas.

Hace unos años hubo una declaración universal de que no clonaremos órganos humanos aunque la tecnología esté ahí. Hay una razón para eso. Si esa tecnología se presentara, plantearía todo tipo de preocupaciones éticas. Tendrías países del tercer mundo cosechados para obtener órganos humanos. Por lo tanto, creo que es extremadamente importante que los formuladores de políticas piensen en cómo se puede usar esta tecnología, qué sectores deberían implementarla y qué sectores deberían estar fuera del alcance. No corresponde a las empresas privadas decidir. Aquí es donde los gobiernos deberían pensar.

En el balance de optimista o pesimista, ¿cómo se siente acerca del panorama actual de la IA?

Soy una persona del vaso medio lleno. Me siento optimista, pero déjame decirte esto. Tengo una hija de siete años y a menudo me pregunto qué tipo de trabajos hará. En 20 años, los trabajos, tal como los conocemos hoy, cambiarán fundamentalmente. Estamos entrando en un territorio desconocido. También estoy emocionado y cautelosamente optimista.

¿Quiere saber más sobre la IA, los chatbots y el futuro del aprendizaje automático? Consulte nuestra cobertura completa de inteligencia artificialo explore nuestras guías para Los mejores generadores de arte de IA gratuitos y Todo lo que sabemos sobre ChatGPT de OpenAI.

Leave a Reply

Your email address will not be published. Required fields are marked *