La moderación (ya sea automatizada o humana) puede funcionar potencialmente para lo que llamamos daños “agudos”: aquellos causados directamente por piezas individuales de contenido. Pero necesitamos este nuevo enfoque porque también hay una serie de problemas “estructurales”. problemas—problemas como la discriminación, las reducciones en la salud mental y la disminución de la confianza cívica— que se manifiestan de manera amplia en todo el producto en lugar de en cualquier parte individual del contenido. Un ejemplo famoso de este tipo de problema estructural es el experimento de “contagio emocional” de Facebook de 2012, que mostró que el afecto de los usuarios (su estado de ánimo medido por su comportamiento en la plataforma) cambiaba considerablemente según la versión del producto a la que estaban expuestos.
En el retroceso que se produjo después de que los resultados se hicieran públicos, Facebook (ahora Meta) puso fin a este tipo de experimentación deliberada. Pero el hecho de que dejaran de medir tales efectos no significa que las decisiones de productos no continúen teniéndolos.
Los problemas estructurales son resultados directos de la elección de productos. Los gerentes de productos de empresas de tecnología como Facebook, YouTube y TikTok tienen incentivos para enfocarse abrumadoramente en maximizar el tiempo y la participación en las plataformas. Y la experimentación todavía está muy viva allí: casi todos los cambios de productos se implementan en pequeñas audiencias de prueba a través de ensayos controlados aleatorios. Para evaluar el progreso, las empresas implementar rigurosos procesos de gestión para fomentar sus misiones centrales (conocidos como Objetivos y Resultados Clave u OKR), incluso usando estos resultados
Con atención y enfoque, esta misma estructura de desarrollo de productos podría convertirse en la cuestión de los daños sociales. Considere el testimonio ante el Congreso de Frances Haugen el año pasado, junto con revelaciones de los medios sobre el supuesto impacto de Facebook en la salud mental de los adolescentes. Facebook respondió a las críticas explicando que había estudiado si los adolescentes sintió que el producto tuvo un efecto negativo en su salud mental y si esa percepción hizo que usaran menos el producto, y no si el producto Realmente
No será fácil incorporar evaluaciones del daño sistémico. Tendríamos que resolver lo que realmente podemos medir de manera rigurosa y sistemática, lo que requeriríamos de las empresas y qué problemas priorizar en dichas evaluaciones.
Las empresas podrían implementar protocolos por sí mismas, pero sus intereses financieros con demasiada frecuencia van en contra de limitaciones significativas en el desarrollo y crecimiento de productos. Esa realidad es un caso estándar para la regulación que opera en nombre del público. Ya sea a través de un nuevo mandato legal de la Comisión Federal de Comercio o pautas de mitigación de daños de una nueva agencia gubernamental, el trabajo del regulador sería trabajar con los equipos de desarrollo de productos de las empresas de tecnología para diseñar protocolos implementables medibles durante el curso del desarrollo de productos para evaluar señales significativas de daño.
Ese enfoque puede parecer engorroso, pero agregar este tipo de protocolos debería ser sencillo para las empresas más grandes (las únicas a las que se les debe aplicar la regulación), porque ya han incorporado ensayos controlados aleatorios en su proceso de desarrollo para medir su eficacia. La parte más lenta y compleja sería definir los estándares; la ejecución real de las pruebas no requeriría participación reguladora en absoluto. Solo requeriría hacer preguntas de diagnóstico junto con preguntas relacionadas con el crecimiento normal y luego hacer que los datos sean accesibles para revisores externos. Nuestro próximo artículo en el Conferencia ACM 2022 sobre equidad y acceso en algoritmos, mecanismos y optimización explicará este procedimiento con más detalle y describirá cómo podría establecerse de manera efectiva.
Cuando los productos que llegan a decenas de millones se prueban para determinar su capacidad para impulsar el compromiso, las empresas deberían asegurarse de que esos productos, al menos en conjunto, también cumplan con el principio de “no empeorar el problema”. Con el tiempo, se podrían establecer estándares más agresivos para revertir los efectos existentes de productos ya aprobados.