La paridad se encuentra entre una creciente cosecha de nuevas empresas que prometen a las organizaciones formas de desarrollar, monitorear y corregir sus modelos de IA. Ofrecen una gama de productos y servicios desde herramientas de mitigación de sesgos hasta plataformas de explicabilidad. Inicialmente, la mayoría de sus clientes provenían de industrias fuertemente reguladas como las finanzas y la atención médica. Pero el aumento de la investigación y la atención de los medios sobre cuestiones de prejuicio, privacidad y transparencia han cambiado el enfoque de la conversación. Los nuevos clientes a menudo simplemente están preocupados por ser responsables, mientras que otros quieren “prepararse para el futuro” en anticipación a la regulación.
“Muchas empresas realmente se están enfrentando a esto por primera vez”, dice Chowdhury. “Casi todos están pidiendo ayuda”.
Del riesgo al impacto
Cuando trabaja con nuevos clientes, Chowdhury evita usar el término “responsabilidad”. La palabra es demasiado blanda y mal definida; deja demasiado espacio para la falta de comunicación. En cambio, comienza con una jerga corporativa más familiar: la idea de riesgo. Muchas empresas tienen brazos de riesgo y cumplimiento, y han establecido procesos para la mitigación de riesgos.
La mitigación del riesgo de IA no es diferente. Una empresa debe comenzar por considerar las diferentes cosas que le preocupan. Estos pueden incluir riesgo legal, la posibilidad de violar la ley; riesgo organizacional, la posibilidad de perder empleados; o riesgo reputacional, la posibilidad de sufrir un desastre de relaciones públicas. A partir de ahí, puede trabajar hacia atrás para decidir cómo auditar sus sistemas de IA. Una compañía financiera, que opera bajo las leyes de préstamos justos en los EE. UU., Querría verificar sus modelos de préstamos en busca de sesgos para mitigar el riesgo legal. Una empresa de telesalud, cuyos sistemas se entrenan con datos médicos confidenciales, podría realizar auditorías de privacidad para mitigar el riesgo de reputación.
PARIDAD
La paridad ayuda a organizar este proceso. La plataforma primero le pide a una empresa que elabore una evaluación de impacto interna, en esencia, un conjunto de preguntas de encuesta abiertas sobre cómo operan su negocio y sus sistemas de inteligencia artificial. Puede optar por escribir preguntas personalizadas o seleccionarlas de la biblioteca de Parity, que tiene más de 1,000 indicaciones adaptadas de las pautas de ética de IA y la legislación relevante de todo el mundo. Una vez que se crea la evaluación, se alienta a los empleados de toda la empresa a completarla según su función laboral y conocimientos. Luego, la plataforma ejecuta sus respuestas de texto libre a través de un modelo de procesamiento de lenguaje natural y las traduce teniendo en cuenta las áreas clave de riesgo de la empresa. En otras palabras, la paridad sirve como el nuevo intermediario para que los científicos de datos y los abogados estén en la misma página.
A continuación, la plataforma recomienda un conjunto correspondiente de acciones de mitigación de riesgos. Estos podrían incluir la creación de un tablero para monitorear continuamente la precisión de un modelo o la implementación de nuevos procedimientos de documentación para rastrear cómo se entrenó y afinó un modelo en cada etapa de su desarrollo. También ofrece una colección de marcos y herramientas de código abierto que pueden ayudar, como IBM IA Fairness 360 para monitoreo de sesgos o Tarjetas modelo de Google para documentación.
Chowdhury espera que si las empresas pueden reducir el tiempo que lleva auditar sus modelos, se volverán más disciplinadas al hacerlo con regularidad y frecuencia. Con el tiempo, espera, esto también podría abrirlos a pensar más allá de la mitigación de riesgos. “Mi objetivo furtivo es que más empresas piensen en el impacto y no solo en el riesgo”, dice. “El riesgo es el idioma que la gente entiende hoy en día, y es un idioma muy valioso, pero el riesgo suele ser reactivo y receptivo. El impacto es más proactivo y, de hecho, esa es la mejor manera de enmarcar lo que deberíamos hacer “.
Un ecosistema de responsabilidad
Mientras que Parity se centra en la gestión de riesgos, otra startup, Violinista, se centra en la explicabilidad. El CEO Krishna Gade comenzó a pensar en la necesidad de una mayor transparencia en la forma en que los modelos de inteligencia artificial toman decisiones mientras se desempeña como gerente de ingeniería del equipo de News Feed de Facebook. Después de las elecciones presidenciales de 2016, la compañía hizo un gran esfuerzo interno para comprender mejor cómo sus algoritmos clasificaban el contenido. El equipo de Gade desarrolló una herramienta interna que luego se convirtió en la base del “¿Por qué estoy viendo esto?” característica.