Claude AI procesará datos gubernamentales secretos a través del nuevo acuerdo con Palantir
Un campo minado ético
Desde que sus fundadores fundaron Anthropic en 2021, la empresa ha comercializado como uno que adopta un enfoque centrado en la ética y la seguridad para el desarrollo de la IA. La empresa se diferencia de competidores como OpenAI al adoptar lo que llama prácticas de desarrollo responsable y restricciones éticas autoimpuestas a sus modelos, como su sistema de “IA constitucional”.
Como futurismo señala
Logotipo de “IA constitucional” de Anthropic.
Crédito: Antrópico / Benj Edwards
Logotipo de “IA constitucional” de Anthropic.
Crédito: Antrópico / Benj Edwards
Aparte de las implicaciones de trabajar con agencias de defensa y de inteligencia, el acuerdo conecta a Anthropic con Palantir, un empresa controvertida cual ganado recientemente un contrato de 480 millones de dólares para desarrollar un sistema de identificación de objetivos impulsado por IA llamado Maven Smart System para el ejército de EE. UU. El proyecto Maven tiene provocó críticas dentro del sector tecnológico sobre las aplicaciones militares de la tecnología de IA.
Vale la pena señalar que los términos de servicio de Anthropic hacer esquema reglas y limitaciones específicas para uso gubernamental. Estos términos permiten actividades como el análisis de inteligencia extranjera y la identificación de campañas de influencia encubiertas, al tiempo que prohíben usos como la desinformación, el desarrollo de armas, la censura y la vigilancia nacional. Las agencias gubernamentales que mantienen una comunicación regular con Anthropic sobre su uso de Claude pueden recibir permisos más amplios para usar los modelos de IA.
Incluso si Claude nunca se utiliza para apuntar a un ser humano o como parte de un sistema de armas, quedan otros problemas. Si bien sus modelos Claude gozan de gran prestigio en la comunidad de IA, (como todos los LLM) tienen la tendencia a confabular, generando potencialmente información incorrecta de una manera que es difícil de detectar.
Ese es un enorme problema potencial que podría afectar la eficacia de Claude con datos secretos del gobierno, y ese hecho, junto con las otras asociaciones, tiene preocupado a Victor Tangermann de Futurism. Como él dice: “Es una asociación desconcertante que establece los crecientes vínculos de la industria de la IA con el complejo militar-industrial de EE. UU., una tendencia preocupante que debería hacer saltar todo tipo de alarmas dadas las muchas fallas inherentes de la tecnología, y más aún cuando se vive en podría estar en juego”.