Broussard también se recuperó recientemente de cáncer de mama, y después de leer la letra pequeña de sus registros médicos electrónicos, se dio cuenta de que una IA había jugado un papel en su diagnóstico, algo que es cada vez más común. Ese descubrimiento la llevó a realizar su propio experimento para aprender más sobre qué tan buena era la IA en el diagnóstico del cáncer.
Nos sentamos a hablar sobre lo que descubrió, así como sobre los problemas con el uso de la tecnología por parte de la policía, los límites de la “justicia de la IA” y las soluciones que ve para algunos de los desafíos que plantea la IA. La conversación ha sido editada para mayor claridad y duración.
Me llamó la atención una historia personal que comparte en el libro sobre la IA como parte de su propio diagnóstico de cáncer. ¿Puedes contarles a nuestros lectores qué hiciste y qué aprendiste de esa experiencia?
Al comienzo de la pandemia, me diagnosticaron cáncer de mama. No solo estaba atrapado dentro porque el mundo estaba cerrado; También estaba atrapado adentro porque tuve una cirugía mayor. Mientras revisaba mi historial un día, noté que uno de mis escaneos decía: Este escaneo fue leído por una IA. Pensé, ¿Por qué una IA leyó mi mamografía? Nadie me había mencionado esto. Solo estaba en una parte oscura de mi historial médico electrónico. Sentí mucha curiosidad por el estado del arte en la detección del cáncer basada en IA, así que ideé un experimento para ver si podía replicar mis resultados. Tomé mis propias mamografías y las pasé por una IA de código abierto para ver si detectaba mi cáncer. Lo que descubrí fue que tenía muchos conceptos erróneos sobre cómo funciona la IA en el diagnóstico del cáncer, que exploro en el libro.
[Once Broussard got the code working, AI did ultimately predict that her own mammogram showed cancer. Her surgeon, however, said the use of the technology was entirely unnecessary for her diagnosis, since human doctors already had a clear and precise reading of her images.]
Una de las cosas de las que me di cuenta, como paciente de cáncer, fue que los médicos, las enfermeras y los trabajadores de la salud que me apoyaron en mi diagnóstico y recuperación fueron increíbles y cruciales. No quiero una especie de futuro computacional estéril en el que vayas y te hagas la mamografía y luego un pequeño cuadro rojo diga Esto es probablemente cáncer
A veces escuchas que una vez que el sesgo de la IA está lo suficientemente “arreglado”, la tecnología puede ser mucho más ubicua. Usted escribe que este argumento es problemático. ¿Por qué?
Uno de los grandes problemas que tengo con este argumento es la idea de que, de alguna manera, la IA alcanzará su máximo potencial y ese es el objetivo por el que todos deberían luchar. La IA es solo matemática. No creo que todo en el mundo deba regirse por las matemáticas. Las computadoras son realmente buenas para resolver problemas matemáticos. Pero no son muy buenos para resolver problemas sociales, sin embargo, se están aplicando a problemas sociales. Este tipo de final imaginario de Oh, solo vamos a usar IA para todo no es un futuro en el que yo cofirme.
También escribes sobre reconocimiento facial. Recientemente escuché un argumento de que el movimiento para prohibir el reconocimiento facial (especialmente en la vigilancia) desalienta los esfuerzos para hacer que la tecnología sea más justa o más precisa. ¿Qué piensas sobre eso?
Definitivamente caigo en el campo de las personas que no apoyan el uso del reconocimiento facial en la vigilancia. Entiendo que es desalentador para las personas que realmente quieren usarlo, pero una de las cosas que hice mientras investigaba para el libro fue una inmersión profunda en la historia de la tecnología en la policía, y lo que encontré no fue alentador.
comencé con el excelente libro software negro por [NYU professor of Media, Culture, and Communication] Charlton McIlwain, y escribe sobre IBM queriendo vender muchas de sus nuevas computadoras al mismo tiempo que teníamos la llamada Guerra contra la Pobreza en la década de 1960. Teníamos personas que realmente querían vender máquinas buscando un problema al que aplicarlas, pero no entendían el problema social. Avance rápido hasta hoy: todavía vivimos con las desastrosas consecuencias de las decisiones que se tomaron en ese entonces.