Los riesgos de la inteligencia artificial en el diseño de armas

Durante décadas, el ejército ha utilizado armas autónomas como minas, torpedos y misiles guiados por calor que operan basándose en una simple retroalimentación reactiva sin control humano. Sin embargo, la inteligencia artificial (IA) ha entrado ahora en el ámbito del diseño de armas.

De acuerdo a Kanaka Rajanprofesora asociada de neurobiología en el Instituto Blavatnik de la Facultad de Medicina de Harvard, y su equipo, las armas autónomas impulsadas por IA representan una nueva era en la guerra y plantean una amenaza concreta al progreso científico y la investigación básica.

Rajan dijo que se están desarrollando y desplegando activamente armas impulsadas por inteligencia artificial, que a menudo involucran drones o robots. Ella espera que con el tiempo se vuelvan más capaces, sofisticados y ampliamente utilizados debido a la facilidad con la que dicha tecnología prolifera.

Mientras eso sucede, le preocupa cómo las armas impulsadas por IA pueden conducir a inestabilidad geopolítica y cómo su desarrollo podría afectar la investigación no militar de IA en el mundo académico y la industria.

Rajan, junto con becarios de investigación del HMS en neurobiología Riley Simmons-Edler y Ryan Badman y estudiante de doctorado del MIT Shayne Longpredescriben sus preocupaciones centrales (y el camino a seguir) en un documento de posición publicado y presentado en la Conferencia Internacional sobre Aprendizaje Automático de 2024.

En una conversación con Noticias de medicina de HarvardRajan, quien también es miembro fundador de la facultad de la Instituto Kempner para el Estudio de la Inteligencia Natural y Artificial en la Universidad de Harvard, explicó por qué ella y su equipo decidieron profundizar en el tema de la tecnología militar impulsada por IA, cuáles ven como los mayores riesgos y qué creen que debería suceder a continuación.

Noticias de medicina de Harvard: Eres un neurocientífico computacional que estudia la IA en el contexto de los cerebros humanos y animales. ¿Cómo terminaste pensando en las armas autónomas impulsadas por IA?

Kanaka Rajan: Comenzamos a considerar este tema como reacción a una serie de predicciones apocalípticas sobre la inteligencia artificial general que circularán en la primavera de 2023. Nos preguntamos, si esas predicciones son realmente desproporcionadas, entonces, ¿cuáles son? ¿Cuáles son los riesgos reales para la sociedad humana? Analizamos cómo el ejército utiliza la IA y vimos que la investigación y el desarrollo militares están impulsando fuertemente la construcción de sistemas de armas autónomas impulsadas por IA con implicaciones globales.

Nos dimos cuenta de que la comunidad académica de investigación en IA no estaría aislada de las consecuencias del desarrollo generalizado de estas armas. Los militares a menudo carecen de experiencia suficiente para desarrollar e implementar tecnología de IA sin asesoramiento externo, por lo que deben recurrir al conocimiento de expertos académicos y de la industria en IA. Esto plantea importantes cuestiones éticas y prácticas para los investigadores y administradores de las instituciones académicas, similares a las que surgen en torno a cualquier gran corporación que financie la investigación académica.

Noticias HM: ¿Cuáles cree que son los mayores riesgos a medida que la IA y el aprendizaje automático se incorporan a las armas?

Raján: Hay una serie de riesgos involucrados en el desarrollo de armas impulsadas por IA, pero los tres más importantes que vemos son: primero, cómo estas armas pueden facilitar que los países se involucren en conflictos; en segundo lugar, cómo la investigación científica no militar sobre IA puede ser censurada o cooptada para apoyar el desarrollo de estas armas; y tercero, cómo los militares pueden utilizar tecnología autónoma impulsada por IA para reducir o desviar la responsabilidad humana en la toma de decisiones.

En primer lugar, un gran elemento disuasorio que impide que las naciones inicien guerras es la muerte de soldados, un costo humano para sus ciudadanos que puede generar consecuencias internas para los líderes. Gran parte del desarrollo actual de armas impulsadas por IA tiene como objetivo sacar a los soldados humanos del peligro, lo que en sí mismo es algo humano. Sin embargo, si pocos soldados mueren en una guerra ofensiva, se debilita la asociación entre los actos de guerra y el costo humano, y resulta políticamente más fácil iniciar guerras, lo que, a su vez, puede conducir a más muerte y destrucción en general. Por lo tanto, podrían surgir rápidamente importantes problemas geopolíticos a medida que las carreras armamentistas impulsadas por la IA se amplíen y dicha tecnología prolifere aún más.

En cuanto al segundo punto, podemos mirar la historia de campos académicos como la física nuclear y los cohetes. A medida que estos campos adquirieron importancia crítica para la defensa durante la Guerra Fría, los investigadores experimentaron restricciones de viaje, censura de publicaciones y la necesidad de autorización de seguridad para realizar el trabajo básico. A medida que la tecnología autónoma impulsada por la IA se vuelve central para la planificación de la defensa nacional en todo el mundo, podríamos ver restricciones similares impuestas a la investigación no militar de la IA, lo que impediría en gran medida la investigación básica de la IA, las aplicaciones civiles valiosas en la atención médica y la investigación científica, y la colaboración internacional. Consideramos que esto es una preocupación urgente dada la velocidad a la que está creciendo la investigación en IA y la investigación y el desarrollo de armas impulsadas por IA están ganando terreno.

Finalmente, si las armas impulsadas por IA se vuelven fundamentales para la defensa nacional, es posible que veamos grandes intentos de cooptar los esfuerzos de los investigadores de IA en la academia y la industria para trabajar en estas armas o desarrollar más proyectos de “doble uso”. Si cada vez más conocimientos sobre IA comienzan a quedar encerrados detrás de autorizaciones de seguridad, intelectualmente atrofiará nuestro campo. Algunos científicos informáticos ya están pidiendo restricciones tan drásticas, pero su argumento descarta el hecho de que las nuevas tecnologías armamentísticas siempre tienden a proliferar una vez que se han iniciado.

Noticias HM: ¿Por qué crees que quienes piensan en las amenazas que plantea la IA han pasado relativamente por alto el diseño de armas?

Raján: Una razón es que se trata de un panorama nuevo y que cambia rápidamente: desde 2023, varias potencias importantes han comenzado a adoptar rápida y públicamente armas impulsadas por IA. Además, los sistemas de armas individuales impulsados ​​por IA pueden parecer menos amenazantes de forma aislada, lo que facilita pasar por alto problemas, que cuando se consideran como un conjunto más amplio de sistemas y capacidades.

Otro desafío es que las empresas de tecnología son opacas sobre el grado de autonomía y supervisión humana de sus sistemas de armas. Para algunos, la supervisión humana podría significar presionar un botón de «ir a matar» después de que una unidad de armas de IA toma una larga cadena de decisiones de caja negra, sin que el humano comprenda o pueda detectar errores en la lógica del sistema. Para otros, podría significar que un humano tiene más control práctico y está verificando el proceso de toma de decisiones de la máquina.

Desafortunadamente, a medida que estos sistemas se vuelven más complejos y poderosos, y los tiempos de reacción en la guerra deben ser más rápidos, es más probable que el resultado de la caja negra se convierta en la norma. Además, ver «un ser humano en el circuito» en las armas autónomas impulsadas por IA puede hacer que los investigadores piensen que el sistema es ético según los estándares militares, cuando en realidad no involucra significativamente a los humanos en la toma de decisiones.

Noticias HM: ¿Cuáles son las preguntas de investigación más urgentes que deben responderse?

Raján: Si bien aún queda mucho trabajo por hacer para construir armas impulsadas por IA, la mayoría de los algoritmos centrales ya han sido propuestos o son el foco de importantes investigaciones académicas e industriales motivadas por aplicaciones no militares (por ejemplo, vehículos autónomos). Teniendo esto en cuenta, debemos considerar nuestra responsabilidad como científicos e investigadores a la hora de guiar éticamente la aplicación de estas tecnologías y cómo afrontar los efectos del interés militar en nuestra investigación.

Si los ejércitos de todo el mundo pretenden reemplazar una parte sustancial del campo de batalla y las funciones de apoyo con unidades impulsadas por IA, necesitarán el apoyo de expertos académicos y de la industria. Esto plantea interrogantes sobre qué papel deberían desempeñar las universidades en la revolución militar de la IA, qué fronteras no deberían traspasarse y qué órganos centralizados de supervisión y vigilancia deberían crearse para controlar el uso de la IA en las armas.

En términos de proteger la investigación no militar, es posible que debamos pensar qué desarrollos de IA pueden clasificarse como de código cerrado o de código abierto, cómo establecer acuerdos de uso y cómo las colaboraciones internacionales se verán afectadas por la creciente militarización de la informática.

Noticias HM: ¿Cómo podemos avanzar de una manera que permita la investigación creativa de la IA y al mismo tiempo protejamos contra su uso con fines armamentísticos?

Raján: Los académicos han tenido y seguirán teniendo colaboraciones importantes y productivas con el gobierno y las principales empresas involucradas en tecnología, medicina e información, así como con el ejército. Sin embargo, históricamente los académicos también han tenido colaboraciones vergonzosas y dañinas con las industrias del azúcar, los combustibles fósiles y el tabaco. Las universidades modernas tienen requisitos institucionales de capacitación, supervisión y transparencia para ayudar a los investigadores a comprender los riesgos y sesgos éticos de la financiación industrial y evitar producir ciencia éticamente dudosa.

Hasta donde sabemos, actualmente no existe tal capacitación y supervisión para la financiación militar. Los problemas que planteamos son complejos y no pueden resolverse con una sola política, pero creemos que un buen primer paso es que las universidades creen seminarios de debate, reglamentos internos y procesos de supervisión para las agencias militares, de defensa y de seguridad nacional. proyectos financiados que son similares a los que ya existen para proyectos financiados por la industria.

Noticias HM: ¿Cuál crees que es un resultado realista?

rajan: Algunos miembros de la comunidad han pedido una prohibición total de la IA militar. Si bien estamos de acuerdo en que esto sería moralmente ideal, reconocemos que no es realista: la IA es demasiado útil para fines militares como para lograr el consenso internacional necesario para establecer o hacer cumplir dicha prohibición.

En cambio, creemos que los países deberían centrar sus esfuerzos en desarrollar armas impulsadas por IA que aumenten, en lugar de reemplazar, a los soldados humanos. Al priorizar la supervisión humana de estas armas, es de esperar que podamos prevenir los peores riesgos.

También queremos enfatizar que las armas de IA no son un monolito y deben ser examinadas por su capacidad. Es importante para nosotros prohibir y regular las clases más atroces de armas de IA lo antes posible y que nuestras comunidades e instituciones establezcan límites que no se deben cruzar.

Fuente: HMS