Resumen

El debate sobre las armas autónomas ha continuado intensificándose desde que el tema llegó a la escena internacional hace cuatro años.[1] Abogados, especialistas en ética, personal militar, defensores de los derechos humanos, científicos y diplomáticos han discutido, en diversos lugares, sobre la legalidad y la conveniencia de las armas que seleccionarían y atacarían objetivos sin un control humano significativo sobre los ataques individuales. Persisten puntos de vista divergentes a medida que la tecnología militar avanza hacia una autonomía cada vez mayor, pero existen crecientes expresiones de preocupación sobre cómo estas armas podrían revolucionar la guerra como la conocemos. Este reporte busca informar y avanzar en este debate en profundidad sobre los peligros de las armas totalmente autónomas y defendiendo la prohibición preventiva.

En diciembre de 2016, los estados parte de la Convención sobre Armas Convencionales (CCW, por sus siglas en inglés) se reunirán en Ginebra para la Quinta Conferencia de Revisión del Tratado y decidirán las medidas futuras para abordar los “sistemas de armas autónomas letales” (LAWS, por sus siglas en inglés), el término para estas armas. Impulsados a actuar por los esfuerzos de la Campaña para Detener a los Robots Asesinos, los Estados de la CCW han celebrado tres reuniones informales de expertos en LAWS desde 2014. En la Conferencia de Revisión, los Estados parte deberían acordar establecer un Grupo de Expertos Gubernamentales. La formación de este cuerpo formal obligaría a los Estados a ir más allá de la conversación y crear la expectativa de un resultado. Ese resultado debería ser una prohibición legalmente vinculante de armas autónomas.

Para generar apoyo para una prohibición, este informe responde a los críticos que han defendido la tecnología en desarrollo y han desafiado la petición de una prohibición preventiva. El informe identifica 16 de las opiniones clave de los críticos y proporciona una refutación detallada de cada una. Se basa en una amplia investigación de los argumentos de todos los puntos de vista. En particular, examina publicaciones académicas, declaraciones diplomáticas, encuestas públicas, informes de las Naciones Unidas y el derecho internacional.

El informe actualiza un documento de mayo de 2014, titulado Advancing the Debate on Killer Robots, y lo amplía para abordar los nuevos problemas que han surgido en los últimos dos años.[2] En el proceso, el informe resalta las principales amenazas planteadas por armas totalmente autónomas y explica las ventajas y la viabilidad de una prohibición.

El primer capítulo de este informe explica los peligros legales y no legales que representan las armas autónomas. Las armas enfrentarían obstáculos importantes para cumplir con las leyes internacionales humanitarias y de derechos humanos y crearían un vacío en la rendición de cuentas. Además, la perspectiva de armas que podrían tomar decisiones de vida o muerte genera indignación moral, e incluso las ventajas militares esperadas de las armas podrían crear riesgos injustificables.

El segundo capítulo aboga por una prohibición preventiva del desarrollo, la producción y el uso de armas totalmente autónomas. De las muchas alternativas propuestas, solo una prohibición absoluta podría abordar efectivamente todas las inquietudes expuestas en el primer capítulo. La prohibición debe adoptarse lo antes posible, antes de que esta tecnología revolucionaria y peligrosa ingrese en arsenales militares. El precedente de las negociaciones e instrumentos de desarme anteriores muestra que la prohibición es alcanzable y sería efectiva.

 

 

Recomendaciones

A la luz de los peligros que representan las armas completamente autónomas y la incapacidad para enfrentarlos, excepto por una prohibición, Human Rights Watch y la Clínica Internacional de Derechos Humanos (IHRC) de la Escuela de Derecho de Harvard piden a los Estados que:

• Adopten un instrumento internacional legalmente vinculante que prohíba el desarrollo, la producción y el uso de armas totalmente autónomas;
• Adopten leyes o políticas nacionales que establezcan prohibiciones sobre el desarrollo, la producción y el uso de armas totalmente autónomas; y
• Continúen las discusiones formales bajo los auspicios de la CCW, comenzando con la formación de un Grupo de Expertos Gubernamentales, para discutir los parámetros de un posible protocolo con el objetivo final de adoptar una prohibición.

 

 

I. El peligro de las armas completamente autonómas

Las armas totalmente autónomas plantean una gran cantidad de preocupaciones. Sería difícil que cumplieran con el derecho internacional y con su capacidad para actuar de manera autónoma interferiría con la responsabilidad legal. Estas armas también cruzarían un umbral moral, y sus riesgos humanitarios y de seguridad superarían los posibles beneficios militares. Los críticos que descartan estas preocupaciones dependen de los argumentos especulativos sobre el futuro de la tecnología y la falsa presunción de que los desarrollos tecnológicos pueden abordar todos los peligros planteados por estas armas.

Peligros legales

Conflicto Nro. 1: Las armas completamente autónomas podrían eventualmente cumplir con el derecho internacional humanitario, en particular, con los principios básicos de distinción y proporcionalidad.

Refutación: la dificultad de programar rasgos humanos como la razón y el juicio en máquinas significa que las armas completamente autónomas probablemente no podrían cumplir de manera confiable con el derecho internacional humanitario.

Análisis: Algunos críticos sostienen que las armas completamente autónomas podrían cumplir con los principios básicos de distinción y proporcionalidad en algún momento en el futuro. Argumentan que los defensores de una prohibición a menudo “no toman en cuenta los posibles desarrollos en la tecnología de sistemas de armas autónomos”.[3] Según los críticos, no solo la tecnología militar “ha avanzado mucho más que simplemente poder detectar a un individuo u objeto", sino las mejoras en inteligencia artificial probablemente también continuarán”.[4] Por lo tanto, aunque reconocen la existencia de “problemas pendientes” y “problemas desalentadores”,[5] los críticos están conformes con la creencia de que las soluciones son “teóricamente alcanzables”.[6] Aun suponiendo que tales armas podrían algún día cumplir con los requisitos de distinción del derecho internacional humanitario y la proporcionalidad, es imprudente.

Dificultades con distinción

Las armas completamente autónomas enfrentarían grandes dificultades, si no insuperables, para distinguir de manera confiable entre objetivos legales e ilegales como lo exige el derecho internacional humanitario.[7] Si bien es probable que se avance en el desarrollo de capacidades sensoriales y de procesamiento, distinguir a un combatiente activo de un civil o un soldado herido o que se ha entregado requiere más que esas capacidades. También depende de la capacidad cualitativa para medir la intención humana, que implica interpretar el significado de pistas sutiles, como el tono de voz, las expresiones faciales o el lenguaje corporal, en un contexto específico. Los seres humanos poseen la capacidad única de identificarse con otros seres humanos y, por lo tanto, están equipados para comprender los matices de la conducta imprevista en formas en que las máquinas, que deben programarse de antemano, simplemente no pueden. Replicar el juicio humano en las determinaciones de distinción, particularmente en los campos de batalla contemporáneos donde los combatientes a menudo buscan ocultar sus identidades, es un problema difícil, y no es creíble asumir que se encontrará una solución.

Obstáculos para determinar la proporcionalidad

Los obstáculos para que las armas completamente autónomas cumplan con el principio de distinción se combinarían con la proporcionalidad, lo que requiere el delicado equilibrio de dos factores: el daño civil previsto y la ventaja militar prevista. Las determinaciones de proporcionalidad tienen lugar no solo al desarrollar un plan de batalla general, sino también durante las operaciones militares reales, cuando deben tomarse decisiones sobre el curso o el cese de cualquier ataque en particular. Un crítico concluye que “no hay duda de que los sistemas de armas completamente autónomos podrían programarse ... para determinar la probabilidad de daño para los civiles en el área objetivo”.[8] Aunque reconoce que "es poco probable que en el futuro cercano ... las "máquinas “sean programables para realizar evaluaciones sólidas de la posible ventaja militar de un ataque”, sostiene que “los algoritmos de ventaja militar podrían en teoría ser programados en sistemas de armas autónomos”.[9]

Hay varias razones para dudar de cada una de estas conclusiones. Como ya se discutió, es altamente cuestionable si un arma completamente autónoma podría alguna vez distinguir de manera confiable los objetivos legítimos de los ilegítimos. Al evaluar la proporcionalidad, lo que se cuestiona no solo es la legitimidad del objetivo, sino también el daño civil esperado: un cálculo que requiere determinar el estado y el impacto del ataque en todas las entidades y objetos que lo rodean.

Cuando se trata de predecir una ventaja militar anticipada, incluso los críticos admiten que “hacerlo será un desafío [para una máquina] porque las determinaciones de la ventaja militar siempre son contextuales”.[10] La ventaja militar debe determinarse “caso por caso”, y un programador no podría explicar por adelantado el número infinito de contingencias imprevisibles que podrían surgir en una implementación.[11]

Incluso si los elementos de la ventaja militar y el daño civil esperado pudieran cuantificarse adecuadamente con un arma totalmente autónoma, sería poco probable que pudieran equilibrarlos cualitativamente. El estándar generalmente aceptado para evaluar la proporcionalidad es si un “comandante militar razonable” hubiera lanzado un ataque en particular. Al evaluar la proporcionalidad de un ataque con un arma completamente autónoma,[12] la pregunta apropiada sería si el sistema de armas hizo una determinación de ataque razonable en el momento de su ataque.

Si bien algunos críticos se centran en la acción del comandante humano antes del ataque,[13] la proporcionalidad de cualquier ataque en particular depende de las condiciones en el momento del ataque, y no en el momento del diseño o despliegue de un arma. Un comandante que pesa proporcionalidad en la etapa de despliegue tendría que confiar en las predicciones del programador y del fabricante de cómo se desempeñaría un arma completamente autónoma en un ataque futuro. No importa cuánto cuidado se tome, es poco probable que un programador o un fabricante anticipen con precisión la reacción de una máquina a las condiciones cambiantes e imprevisibles en cada escenario. La decisión de desplegar un arma totalmente autónoma no es equivalente a la decisión de atacar, y en el momento de tomar la decisión de atacar, tal arma no solo estaría fuera del control de un ser humano que ejerce su propio juicio, pero también incapaz de ejercer el genuino juicio humano en sí mismo (ver Conflicto Nro. 12).

Sería difícil crear máquinas que cumplan con el estándar de comandante militar razonable y se espere que actúen “razonablemente” cuando se toman decisiones para atacar en circunstancias imprevistas o cambiantes. Según la Enciclopedia Max Planck de Derecho Internacional, “[el] concepto de razonabilidad exhibe un vínculo importante con la razón humana”, y “generalmente se percibe como una puerta abierta a varias consideraciones éticas o morales, en lugar de legales”.[14] Dos críticos del tratado de prohibición propuesto señalan que “la proporcionalidad (...) es en parte una cuestión técnica para diseñar sistemas capaces de medir el daño civil previsto, pero también es en parte una cuestión ética de asignar pesos a las variables en juego”.[15] Muchas personas se opondrían a la idea de que las máquinas podrían o deberían estar haciendo determinaciones éticas o morales (ver Conflicto Nro. 6). Sin embargo, esto es precisamente lo que exige la norma de comandante militar razonable. Además, lo razonable elude la “definición objetiva” y depende de la situación.[16]

Los análisis de proporcionalidad permiten un “margen de juicio bastante amplio”,[17] pero el tipo de juicio requerido para decidir cómo evaluar el daño civil y la ventaja militar en situaciones no anticipadas sería difícil de replicar en las máquinas. Como explicó Christoph Heyns, el entonces Relator Especial de la ONU sobre ejecuciones extrajudiciales, sumarias o arbitrarias, en su informe de 2013, evaluar la proporcionalidad requiere un “juicio humano distintivo”.[18] Según el Comité Internacional de la Cruz Roja (CICR), los juicios sobre si un ataque en particular es proporcional “deben ser, ante todo, una cuestión de sentido común y buena fe”, características que muchos estarían de acuerdo que las máquinas no pueden poseer, por muy detallada que sea su programación.[19]

Si bien las capacidades de la tecnología futura son inciertas, parece altamente improbable que alguna vez se pueda replicar toda la gama de características inherentemente humanas necesarias para cumplir con las reglas de distinción y proporcionalidad. La adherencia al derecho internacional humanitario requiere la aplicación cualitativa del juicio a lo que un científico describe como una “combinación casi indefinida de contingencias”.[20] Algunos expertos “cuestionan si la inteligencia artificial, que parece estar a pocos años, funcionará lo suficientemente bien”.[21]

Conflicto Nro. 2: El uso de armas completamente autónomas se podría limitar a situaciones específicas en las que las armas podrían cumplir con el derecho internacional humanitario.

Refutación: los casos hipotéticos de construcción estrecha en los cuales se podrían usar legalmente armas completamente autónomas no legitiman las armas porque probablemente se usarían más ampliamente.

Análisis: algunos críticos, descartando las preocupaciones legales sobre armas completamente autónomas, sostienen que su uso podría restringirse a situaciones específicas en las que podrían cumplir con los requisitos del derecho internacional humanitario. Estos críticos resaltan la utilidad militar y el bajo riesgo para los civiles de usar las armas en desiertos para ataques a objetivos militares aislados,[22] submarinos en operaciones con submarinos robóticos,[23] en el espacio aéreo para interceptar cohetes,[24] y para ataques contra “lanzadores de misiles móviles con punta nuclear, donde millones de vidas estén en juego”.[25] Estos críticos subestiman la amenaza a los civiles una vez que las armas totalmente autónomas ingresan en arsenales militares.

Casi siempre se puede describir una situación hipotética en la que se podría decir que el uso de un arma ampliamente condenada cumple con las reglas generales del derecho internacional humanitario. Antes de la adopción de la Convención sobre Municiones en Racimo, los partidarios de las municiones en racimo a menudo sostenían que las armas podían lanzarse legalmente solo contra un objetivo militar en un desierto por lo demás despoblado. Sin embargo, una vez que se producen y almacenan las armas, su uso rara vez se limita a escenarios tan limitados. El uso generalizado de municiones en racimo en áreas pobladas, como en Irak en 2003 y el Líbano en 2006, ejemplifica la realidad de este problema.[26] Tales posibilidades teóricas, por lo tanto, no legitiman las armas, incluso las completamente autónomas, que presentan riesgos humanitarios significativos cuando se utilizan en situaciones menos excepcionales.

Conflicto Nro. 3: Las preocupaciones de que nadie pueda ser responsabilizado por los ataques con armas completamente autónomas tienen una importancia limitada o podrían abordarse adecuadamente a través de la ley vigente.

Refutación: obstáculos legales y prácticos insuperables evitarían responsabilizar a cualquier persona por daños ilegales causados por armas completamente autónomas.

Análisis: algunos críticos argumentan que la cuestión de la responsabilidad por las acciones de armas completamente autónomas no debería ser parte del debate sobre armas completamente autónomas. Sería un error “sacrificar las ganancias del mundo real que consisten en una reducción del daño en el campo de batalla a través de los sistemas de máquinas (...) simplemente para satisfacer un principio a priori de que siempre debe haber un ser humano que rinda cuentas”.[27] Otros críticos argumentan que el “mero hecho de que un humano no pueda tener el control de un compromiso en particular no significa que ningún humano sea responsable de las acciones del sistema de armas autónomas”.[28] La rendición de cuentas es más de lo que dos críticos llamaron un “principio a priori”, y los mecanismos existentes por los cuales la responsabilidad legal no es adecuada o inadecuada para hacer frente a los daños ilegales que probablemente causen las armas completamente autónomas. Estas armas tienen el potencial de cometer actos ilegales por los cuales nadie podría ser responsabilizado.[29]

La rendición de cuentas sirve para múltiples propósitos morales, sociales y políticos y es una obligación legal. Desde una perspectiva política, disuade futuras violaciones, promueve el respeto a la ley y proporciona vías de reparación para las víctimas. La reparación puede abarcar la justicia retributiva, que proporciona a las víctimas la satisfacción de que alguien sea castigado por el daño que sufrió, y la justicia compensatoria para restaurar a las víctimas a la condición en que se encontraban antes de que el daño fuera infligido.[30] El derecho internacional humanitario y el derecho internacional de los derechos humanos requieren la rendición de cuentas por violaciones legales. El derecho internacional humanitario establece el deber de procesar los actos criminales cometidos durante los conflictos armados.[31] El derecho internacional de los derechos humanos establece el derecho a una reparación por cualquier abuso de los derechos humanos (ver conflicto Nro. 5). El valor de la responsabilidad ha sido ampliamente reconocido, incluso por académicos y Estados.[32] Desafortunadamente, las acciones de armas completamente autónomas probablemente caerían en un vacío de responsabilidad.

Las armas completamente autónomas no pueden ser consideradas responsables de sus propios actos ilegales. Cualquier crimen consiste en dos elementos: un acto y un estado mental. Un arma completamente autónoma podría cometer un acto criminal (como un acto listado como un elemento de un crimen de guerra), pero carecería del estado mental (a menudo con la intención) de hacer que estos delitos de acciones ilícitas sean procesables. Además, un arma no caería dentro de la jurisdicción de la persona natural de los tribunales internacionales.[33] Incluso si dicha jurisdicción fuera expandida, las armas completamente autónomas no podrían ser castigadas porque serían máquinas que no podrían experimentar o comprender el significado del sufrimiento.[34] La simple alteración del software de un robot “condenado”, incapaz de internalizar la culpa moral, probablemente dejaría a las víctimas que buscan retribución insatisfechas.[35]

En la mayoría de los casos, los humanos también escaparían a la responsabilidad por los actos ilegales de las armas completamente autónomas. A los seres humanos no se les podría asignar la responsabilidad directa por las acciones ilegales de un arma completamente autónoma porque estas, por definición, tendrían la capacidad de actuar de manera autónoma y, por lo tanto, podrían lanzar de forma independiente e imprevisible un ataque indiscriminado contra civiles o hors de combat. En tales situaciones, el comandante no sería directamente responsable de las acciones específicas del robot ya que este no las ordenó. De manera similar, un programador o fabricante no podría ser considerado directamente criminalmente responsable si él o ella no pretendía específicamente, o ni siquiera podía prever, la comisión del robot de actos ilícitos. Estas personas podrían ser directamente responsables de las acciones de un robot solo si implementaban el robot con la intención de cometer un delito, como matar voluntariamente a civiles, o si diseñaban el robot específicamente para cometer actos criminales.

Existirían obstáculos significativos para encontrar al comandante indirectamente responsable de las armas completamente autónomas bajo la doctrina de la responsabilidad de mando. Esta doctrina responsabiliza a los superiores si supieran o deberían haber conocido el acto delictivo de un subordinado y no lo impidieron ni lo castigaron. La naturaleza autónoma de estos robots los haría legalmente análogos a los soldados humanos de alguna manera, y así podría desencadenar la doctrina. La teoría de la responsabilidad de mando, sin embargo, establece un alto nivel para la responsabilidad. La responsabilidad del comando trata con la prevención de un delito, no un accidente o un defecto de diseño, y los robots no tendrían el estado mental para hacer que sus actos ilegales sean criminales.

Independientemente de si el acto representó un crimen, dado que estas armas serían diseñadas para operar de manera independiente, un comandante no siempre tendría razón suficiente o conocimiento tecnológico para anticipar que el robot cometería un acto ilícito específico. Incluso si supiera de un posible acto ilegal, el comandante a menudo sería incapaz de impedirlo, por ejemplo, si las comunicaciones se rompieran y el robot actuara demasiado rápido para ser detenido o la reprogramación fuera demasiado difícil para cualquier persona, excepto para los especialistas. Además, como se señaló anteriormente, castigar a un robot no es posible. Al final, las armas completamente autónomas no encajarían bien en el esquema de responsabilidad penal diseñado para los humanos, y su uso crearía el riesgo de actos ilegales y daños civiles importantes por los cuales nadie podría ser considerado criminalmente responsable.

Una opción alternativa sería tratar de responsabilizar civilmente al programador o al fabricante de los actos imprevistos de un arma completamente autónoma. La responsabilidad civil puede ser una herramienta útil para proporcionar compensación, cierta disuasión y un sentido de justicia para los perjudicados, incluso si carece de la condena social asociada con la responsabilidad penal. Sin embargo, existen importantes obstáculos prácticos y legales para responsabilizar civilmente al programador o al fabricante de un arma completamente autónoma.

En la práctica, a la mayoría de las víctimas les resultaría difícil demandar a un programador o fabricante porque sus demandas serían costosas, consumirían mucho tiempo y dependerían de la asistencia de expertos que pudieran abordar los complejos problemas legales y técnicos implicados por el uso de armas completamente autónomas.

Las barreras legales para la responsabilidad civil pueden ser incluso más imponentes que las prácticas. La doctrina de la inmunidad soberana protege a los gobiernos de las demandas relacionadas con la adquisición o el uso de armas, especialmente en situaciones de combate en el extranjero.[36] Por ejemplo, el gobierno de los Estados Unidos es presuntamente inmune a las demandas civiles.[37] Los fabricantes contratados por el ejército estadounidense son a su vez inmunes a la demanda cuando diseñan un arma de acuerdo con las especificaciones del gobierno y sin engañar deliberadamente al ejército. Estos fabricantes también son inmunes a las reclamaciones civiles relacionadas con actos cometidos durante la guerra. Incluso sin estas reglas, a un demandante le resultaría desafiante establecer en la ley que un arma totalmente autónoma era defectuosa para los fines de una demanda por responsabilidad civil por productos defectuosos.[38]

Un esquema de compensación sin culpa no resolvería el vacío de responsabilidad. Tal esquema requeriría solo una prueba de daño, no una prueba de defecto.[39] Las víctimas serían así compensadas por el daño que experimentaron con un arma completamente autónoma sin tener que superar los obstáculos probatorios relacionados con la prueba de un defecto. Sin embargo, es difícil imaginar que muchos gobiernos estén dispuestos a poner en práctica tal régimen legal. Incluso si lo hicieran, compensar a las víctimas por el daño es diferente de asignar responsabilidad legal, lo que establece la culpa moral, proporciona disuasión y retribución, y reconoce a las víctimas como personas que han sido agredidas. La rendición de cuentas en este sentido pleno no puede ser servida solo por compensación.[40]

Conflicto Nro. 4: La cláusula Martens no restringiría el uso de armas completamente autónomas.

Refutación: debido a que la ley existente no aborda específicamente los problemas únicos que plantean las armas totalmente autónomas, la Cláusula Martens exige que los "principios de humanidad" y los "dictados de la conciencia pública" se tengan en cuenta en un análisis de su legalidad. Las preocupaciones bajo estos dos estándares pesan a favor de la prohibición de este tipo de tecnología.

Análisis: algunos críticos descartan el valor de la Cláusula Martens para determinar la legalidad de las armas completamente autónomas. Como aparece en el Protocolo Adicional I de los Convenios de Ginebra, la Cláusula Martens exige que:

En los casos no cubiertos por este Protocolo o por otros acuerdos internacionales, los civiles y los combatientes permanecen bajo la protección y autoridad de los principios del derecho internacional derivados de las costumbres establecidas, los principios de la humanidad y los dictados de la conciencia pública.[41]

Los críticos argumentan que la Cláusula Martens “no actúa como un principio general que debe ser considerado en todos los casos”, sino que es, simplemente, “un mecanismo a prueba de fallas destinado a abordar las lagunas en la ley”.[42] Afirman que debido a las lagunas en la ley son raras, la probabilidad de que un arma completamente autónoma viole la Cláusula Martens, pero no el tratado y el derecho consuetudinario aplicable es, por lo tanto, "excepcionalmente baja”.[43] Sin embargo, la falta de una ley específica sobre armas completamente autónomas significa que se aplicaría la Cláusula Martens y que las armas plantearían serias preocupaciones en virtud de la disposición.

La pregunta clave para determinar la relevancia de la Cláusula Martens para las armas completamente autónomas es hasta qué punto esas armas serían “cubiertas” por la ley de tratados existente. Como lo explicó el Tribunal Militar de los Estados Unidos en Núremberg, la Cláusula Martens hace que “los usos establecidos entre las naciones civilizadas, las leyes de la humanidad y los dictámenes de la conciencia pública en el criterio legal se apliquen siempre y cuando las disposiciones específicas de [la ley existente] no cubran los casos específicos que ocurren en la guerra”.[44] La Corte Internacional de Justicia afirmó que la “cláusula de existencia y aplicabilidad continua de la cláusula no debe ponerse en duda” y que “ha demostrado ser un medio eficaz para abordar la rápida evolución de la tecnología militar”.[45] Las armas completamente autónomas son formas de tecnología que evolucionan rápidamente, en el mejor de los casos, generalmente cubiertas por la ley vigente.[46]

El lenguaje sencillo de la cláusula Martens eleva los “principios de la humanidad” y los “dictados de la conciencia pública” a estándares legales independientes contra los cuales se deben evaluar las nuevas formas de tecnología militar.[47] Sobre esta base, cualquier arma que entre en conflicto con cualquiera de estas normas es, por lo tanto, posiblemente ilegal. Sin embargo, como mínimo, los dictados de la conciencia pública y los principios de la humanidad pueden “servir como guía fundamental en la interpretación de las normas internacionales consuetudinarias o del tratado”.[48] Según esta visión de la Cláusula Martens, “en caso de duda, las reglas internacionales, en particular las reglas que pertenecen al derecho humanitario, deben interpretarse de modo que estén en consonancia con las normas generales de la humanidad y las demandas de la conciencia pública”.[49] Dadas las dudas significativas sobre la capacidad de las armas completamente autónomas para cumplir con los requisitos de la ley (ver Conflicto Nro. 1), las normas de la Cláusula Martens deben, al menos, ser tomadas en cuenta al evaluar la legalidad de las armas.

Las armas completamente autónomas plantean serias preocupaciones bajo los principios de la humanidad y los dictados de la conciencia pública. El CICR ha descrito los principios de la humanidad que requieren compasión y la capacidad de proteger.[50] Como se discute más adelante en el Conflicto Nro. 7, las armas completamente autónomas carecerían de emociones humanas, incluida la compasión. Los desafíos que enfrentarían las armas para cumplir con el derecho internacional humanitario sugieren que no podrían proteger adecuadamente a los civiles. La opinión pública puede desempeñar un papel en la revelación y configuración de la conciencia pública, y muchas personas consideran que la posibilidad de delegar decisiones de vida o muerte a máquinas es sorprendente e inaceptable. Por ejemplo, una encuesta internacional de 2015 sobre 1.002 individuos de 54 países diferentes encontró que el 56 por ciento de los encuestados se oponía al desarrollo y uso de estas armas.[51] La primera razón dada para rechazar su desarrollo y uso, citada por el 34 por ciento de todos los encuestados, fue que “los seres humanos siempre deben ser los que toman decisiones de vida/muerte”.[52] Una encuesta nacional de estadounidenses realizada en 2013 encontró que el 68 por ciento de los encuestados tenía una opinión sobre el tema se opuso al movimiento hacia estas armas (48 por ciento fuertemente).[53] Curiosamente, el personal militar en servicio activo se encontraba entre los objetores más fuertes: el 73 por ciento expresó su oposición a las armas completamente autónomas. Este tipo de reacciones sugieren que las armas completamente autónomas infringirían la Cláusula Martens.

Las preocupaciones sobre el cumplimiento de los principios de la Cláusula Martens por parte de las armas han justificado nuevos tratados de armas en el pasado. Por ejemplo, la Cláusula Martens tuvo una gran influencia en las discusiones y debates que precedieron al desarrollo del Protocolo IV CCW sobre Láseres Cegadores, que prohibió de manera preventiva la transferencia y el uso de armas láser cuyo propósito exclusivo o parcial fuera causar ceguera permanente.[54] La Cláusula Martens fue invocada no solo por la sociedad civil en sus informes sobre el tema, sino también por expertos que participaron en una serie de reuniones del CICR sobre el tema.[55] En gran parte acordaron que “[los láseres cegadores] irían en contra de los requisitos de las costumbres establecidas, la humanidad y la conciencia pública”.[56] El horror compartido ante la perspectiva de armas cegadoras en última instancia ayudó a inclinar la balanza hacia una prohibición, incluso sin el consenso de que tales armas eran ilegales bajo los principios fundamentales del derecho internacional humanitario.[57] El Protocolo sobre armas láser cegadoras establece un precedente internacional para la prohibición preventiva de armas basadas, al menos en parte, en la Cláusula Martens.[58] Invocar la cláusula en el contexto de armas completamente autónomas sería igualmente apropiado.

Conflicto Nro. 5: El derecho internacional humanitario es el único cuerpo legal relevante bajo el cual evaluar las armas completamente autónomas porque serían instrumentos de conflicto armado.

Refutación: una evaluación de armas completamente autónomas debe considerar su capacidad para cumplir con todos los cuerpos de derecho internacional, incluido el derecho internacional de los derechos humanos, ya que las armas se pueden usar fuera de las situaciones de conflicto armado. Las armas completamente autónomas podrían violar el derecho a la vida, el derecho a un recurso y el principio de dignidad, cada uno de los cuales está garantizado por el derecho internacional de los derechos humanos.

Análisis: las discusiones sobre armas completamente autónomas se han centrado en gran medida en su uso en conflictos armados y su legalidad en virtud del derecho internacional humanitario (ver Conflicto Nro. 1). La mayor parte del debate diplomático sobre las armas ha tenido lugar en el foro de derecho internacional humanitario de la CCW. Si bien los Estados se han referido a las implicaciones para los derechos humanos de las armas completamente autónomas en las reuniones de la CCW y en el Consejo de Derechos Humanos, el uso probable de las armas fuera del campo de batalla a menudo se ha ignorado.[59] La ley de derechos humanos, que se aplica durante la paz y la guerra, sería relevante para todas las circunstancias en las que se podrían usar armas completamente autónomas, y por lo tanto debería recibir mayor atención.[60]

Una vez desarrolladas, las armas completamente autónomas podrían adaptarse a una variedad de contextos sin conflicto que se podrían agrupar bajo el título de aplicación de la ley. Los agentes de la policía local podrían potencialmente usar tales armas en la lucha contra el crimen, la gestión de protestas públicas, el control de disturbios y otros esfuerzos para mantener la ley y el orden. Los Estados también podrían utilizar las armas en los esfuerzos de lucha contra el terrorismo que no estén a la altura de un conflicto armado como lo define el derecho internacional humanitario. El uso de armas completamente autónomas en un contexto de aplicación de la ley desencadenaría la aplicación del derecho internacional de los derechos humanos.

Las armas completamente autónomas tendrían el potencial de contravenir el derecho a la vida, que está codificado en el Artículo 6 del Pacto Internacional de Derechos Civiles y Políticos (PIDCP): “Todo ser humano tiene el derecho inherente a la vida. Este derecho estará protegido por la ley”.[61] El Comité de Derechos Humanos, órgano del tratado del Pacto Internacional de Derechos Civiles y Políticos, lo describe como “el derecho supremo” porque es un requisito previo para todos los demás derechos.[62] No es derogable incluso en emergencias públicas que amenazan la existencia de una nación. El derecho a la vida prohíbe el asesinato arbitrario. El PIDCP declara: “Nadie podrá ser privado de la vida arbitrariamente”.[63]

El derecho a la vida limita la aplicación de la fuerza en situaciones de aplicación de la ley, incluidas aquellas en las que se podrían desplegar armas completamente autónomas.[64] En su Comentario General Nro. 6, el Comité de Derechos Humanos destaca el deber de los Estados de prevenir asesinatos arbitrarios por parte de sus fuerzas de seguridad.[65] Matar solo es lícito si cumple con tres requisitos acumulativos sobre cuándo y cuánta fuerza se puede usar: debe ser necesario para proteger la vida humana, constituir un último recurso y aplicarse de manera proporcional a la amenaza. Las armas completamente autónomas se enfrentarían a desafíos importantes para cumplir con los criterios que limitan la fuerza legal porque los criterios requieren evaluaciones cualitativas de situaciones específicas. Estos robots no pueden ser programados por adelantado para evaluar cada situación porque hay infinitos escenarios posibles, una gran cantidad de los cuales no se pueden anticipar. Según muchos roboticistas, también es muy improbable que en un futuro previsible los robots puedan desarrollarse para tener ciertas cualidades humanas, como el juicio y la capacidad de identificarse con los humanos, que faciliten el cumplimiento de los tres criterios.[66] La interpretación errónea de un arma completamente autónoma y de la conveniencia de usar la fuerza podría desencadenar un asesinato arbitrario en violación del derecho a la vida.

Como derecho no derogable, el derecho a la vida continúa aplicándose durante el conflicto armado.[67] En tiempos de guerra, los asesinatos arbitrarios se refieren a asesinatos ilegales según el derecho internacional humanitario. En su comentario sobre el PIDCP, Manfred Nowak, ex Relator Especial de la ONU sobre la tortura, define los asesinatos arbitrarios en los conflictos armados como “aquellos que contradicen las leyes humanitarias de la guerra”.[68] Como se ha demostrado en el Conflicto Nro. 1, existen serias dudas sobre si las armas completamente autónomas podrían alguna vez cumplir con las reglas de distinción y proporcionalidad. Las armas completamente autónomas tendrían el potencial de matar arbitrariamente y, por lo tanto, violar el derecho que subyace a todos los demás, el derecho a la vida.

El uso de armas completamente autónomas también amenaza con contravenir el derecho a un recurso. La Declaración Universal de los Derechos Humanos (DUDH) establece el derecho y el Artículo 2 (3) del PIDCP exige a los estados parte que “garanticen que cualquier persona cuyos derechos o libertades (...) sean violados, tendrá un remedio efectivo”.[69] El derecho a una reparación requiere que los estados garanticen la responsabilidad individual. Incluye el deber de procesar a individuos por violaciones graves de las leyes de derechos humanos y castigar a los culpables.[70] El derecho internacional exige la rendición de cuentas para disuadir futuros actos ilegales y castigar los pasados, lo que a su vez reconoce el sufrimiento de las víctimas. Sin embargo, es poco probable que sea posible una rendición de cuentas significativa por las acciones de un arma completamente autónoma (ver Conflicto Nro. 3).

Las armas completamente autónomas también podrían violar el principio de dignidad, que se reconoce en las palabras iniciales de la DUDH.[71] Como máquinas inanimadas, las armas completamente autónomas no pueden comprender verdaderamente ni el valor de la vida individual ni el significado de su pérdida ,y por lo tanto, no se debe permitir que tomen decisiones de vida o muerte (ver Conflicto Nro.° 6).

Peligros no legales

Conflicto Nro. 6: Las preocupaciones morales sobre las armas completamente autónomas son irrelevantes o podrían ser superadas.

Refutación: una variedad de actores han planteado objeciones morales fuertes y persuasivas a las armas completamente autónomas, en particular relacionadas con la falta de juicio y empatía de las armas, la amenaza a la dignidad y la ausencia de agencia moral.

Análisis: algunos críticos rechazan las preguntas sobre la moralidad de las armas completamente autónomas por irrelevantes. Dicen que la idoneidad de las armas completamente autónomas es un asunto legal y técnico, y no moral. Un crítico escribe que “la cuestión clave sigue siendo si un sistema de armas en particular puede ser operado o no de acuerdo con las reglas y obligaciones del DIH, no con la presencia o ausencia de un agente moral humano”.[72] Al menos otro crítico argumenta que la moralidad no sería un problema porque los robots podrían programarse para actuar éticamente y, por lo tanto, podrían constituir agentes morales.[73] Sin embargo, las preocupaciones sobre la moralidad de las armas completamente autónomas son fundamentales y de gran alcance.

Una variedad de actores han expresado fuertes preocupaciones morales y éticas sobre el uso de armas totalmente autónomas. La indignación moral expresada por los estados, los Relatores Rspeciales de la ONU, los galardonados con el Premio Nobel de la paz, los líderes religiosos y el público muestra que la cuestión de si alguna vez deben usarse armas completamente autónomas va más allá de la ley. Varios Estados han argumentado que existe el deber moral de mantener el control humano.[74] Un documento de 2015 de la Santa Sede, que presentó la discusión más profunda sobre las objeciones éticas a las armas totalmente autónomas, explicó: “Es fundamentalmente inmoral utilizar un arma cuyo comportamiento no podemos controlar por completo”.[75] El año anterior, Chile declaró que el control humano significativo sobre las armas es un “imperativo ético” más que un problema tecnológico.[76] Según el Relator Especial de la ONU sobre las Ejecuciones Extrajudiciales Christof Heyns, si las armas completamente autónomas son moralmente inaceptables “es una consideración primordial” y “ninguna otra consideración puede justificar el despliegue de [armas completamente autónomas], sin importar el nivel de competencia técnica en el cual ellas operan”.[77] Heyns y Maina Kiai, Relatores Especiales sobre los Derechos a la Libertad de Reunión Pacífica y de Asociación, han pedido la prohibición de estas armas.[78] Los galardonados con el Premio Nobel de la Paz han enfatizado la necesidad de delinear “los peligros morales y legales de crear robots de combate y pedir un discurso público antes de que sea demasiado tarde”.[79] La Premio Nobel Jody Williams, quien es miembro de la Campaña para detener a los robots de combates se preguntó: “¿A dónde va la humanidad si algunas personas piensan que está bien ceder el poder de la vida y la muerte de los humanos a una máquina?”[80] Una declaración interreligiosa de los líderes religiosos que pedía una prohibición destacaba las preocupaciones morales y éticas, afirmando que “la guerra robótica es una afrenta a la dignidad humana y al carácter sagrado de la vida”.[81] Las encuestas de investigación realizadas en los Estados Unidos e internacionalmente han demostrado que estas preocupaciones morales se comparten entre las poblaciones de todo el mundo.[82]

Para aquellos preocupados por los problemas morales planteados por armas completamente autónomas, ninguna mejora tecnológica puede resolver el problema fundamental de delegar una decisión de vida o muerte a una máquina. Los argumentos basados en la moralidad se han centrado en tres temas centrales: la falta de las cualidades humanas necesarias para tomar una decisión moral, la amenaza a la dignidad humana y la ausencia de agencia moral.

Cualquier asesinato orquestado por una máquina es posiblemente intrínsecamente incorrecto ya que las máquinas son incapaces de ejercer el juicio humano y la compasión. Debido al alto valor de la vida humana, la decisión de tomar una vida deliberadamente es extremadamente grave. Como los humanos están dotados de razón e intelecto, están calificados de manera única para tomar la decisión moral de aplicar la fuerza en cualquier situación particular. Los seres humanos poseen un “juicio prudencial”, la capacidad de aplicar principios generales a situaciones particulares, interpretando y dando un “espíritu” a las leyes en lugar de aplicar un algoritmo a ciegas.[83] Ningún robot, por mucha información que pueda procesar, posee un juicio prudencial de la misma manera que los humanos. Además, mientras que los humanos de alguna manera internalizan el costo de cualquier vida que decidan tomar, las máquinas no lo hacen.[84] “Las decisiones sobre la vida y la muerte en los conflictos armados pueden requerir compasión e intuición”, que los humanos, no los robots, poseen.[85] Esto permite que la empatía humana actúe como un control de la matanza, pero solo cuando los humanos toman las decisiones relevantes.

Las armas totalmente autónomas también son moralmente problemáticas porque amenazan el principio de la dignidad humana. Las palabras de apertura de la Declaración Universal de los Derechos Humanos afirman que “el reconocimiento de la dignidad inherente y de los derechos iguales e inalienables de todos los miembros de la familia humana es la base de la libertad, la justicia y la paz en el mundo”[86] (para otros argumentos sobre derechos humanos, vea el Conflicto Nro. 5). Al atribuir una dignidad inherente a todos los seres humanos, la DUDH implica que todos merecen un respeto que merece respeto.[87] Las armas completamente autónomas, como máquinas inanimadas, no podían comprender ni el valor de la vida individual ni el significado de su pérdida. Permitirles que tomen determinaciones para quitarle la vida entraría en conflicto con el principio de dignidad. De hecho, como señala un autor, “el valor de la vida humana puede disminuir si las máquinas están en condiciones de tomar decisiones esencialmente independientes sobre quién debería morir en un conflicto armado”.[88] Luego, el Relator Especial sobre Ejecuciones Extrajudiciales Christof Heyns, en su informe de 2013 ante el Consejo de Derechos Humanos, declaró: “[l]a delegación de este proceso deshumaniza aún más el conflicto armado y excluye un momento de deliberación en aquellos casos en que sea posible. Las máquinas carecen de moralidad y mortalidad, y como resultado no deberían tener poderes de vida o muerte sobre los humanos”.[89]

Las armas completamente autónomas plantean más preocupaciones bajo el paraguas de la agencia moral. De acuerdo con un robotista, la agencia moral no es un problema: tales máquinas podrían programarse para funcionar sobre la base de algoritmos “éticos” que transformarían un robot autónomo en una “máquina moral” y de esta manera en un “agente moral autónomo”.[90] Un “gobernador ético” automatizaría la toma de decisiones morales en las etapas de selección y disparo.[91] Sin embargo, este argumento no es convincente por dos razones. Primero, es extremadamente improbable que tal protocolo se diseñe alguna vez.[92] Segundo, y más fundamentalmente, “el problema de la agencia moral no se resuelve al otorgar a los sistemas de armas autónomas un juicio moral artificial, incluso si tal capacidad fuera tecnológicamente posible”.[93] Los “agentes completamente éticos” están dotados de “conciencia, intencionalidad y libre albedrío”.[94] Las armas totalmente autónomas, por el contrario, actuarían de acuerdo con algoritmos y, por lo tanto, no serían agentes morales. Los agentes completamente éticos “pueden ser considerados responsables de sus acciones, en el sentido moral, pueden ser culpables, precisamente porque sus decisiones dependen en cierto sentido de ellos”. Las armas totalmente autónomas, por otro lado, serían incapaces de asumir la responsabilidad moral por sus acciones y, por lo tanto, no podría alcanzar el umbral de la agencia moral que se requiere para la toma de la vida humana.

Las armas completamente autónomas, por el contrario, actuarían de acuerdo con algoritmos y, por lo tanto, no serían agentes morales. Los agentes completamente éticos “pueden ser considerados responsables de sus acciones, en el sentido moral, pueden ser culpables, precisamente porque sus decisiones dependen en cierto sentido de ellos”.[95] Las armas completamente autónomas, por otro lado, serían incapaces de asumir la responsabilidad moral por sus acciones y, por lo tanto, no podría alcanzar el umbral de agencia moral que se requiere para la toma de vida humana.[96]

Las mejoras tecnológicas no pudieron superar tales objeciones morales a las armas completamente autónomas. Como escribió un experto, “La autoridad para decidir iniciar el uso de la fuerza letal (...) debe seguir siendo responsabilidad de un humano con el deber de tomar una decisión informada antes de tomar vidas humanas”.[97]

Conflicto Nro. 7: Las armas completamente autónomas no serían influenciadas negativamente por las emociones humanas.

Refutación: las armas completamente autónomas carecerían de emociones, incluida la compasión y la resistencia a matar, que pueden proteger a civiles y soldados.

Análisis: los críticos argumentan que la falta de emociones humanas en las armas completamente autónomas podría tener beneficios militares y humanitarios. Las armas serían inmunes a factores como el miedo, la ira, el dolor y el hambre, que pueden enturbiar el juicio, distraer a los humanos de sus misiones militares o provocar ataques a civiles.[98] Si bien tales observaciones tienen algún mérito, el papel en la guerra de otras emociones humanas puede, de hecho, aumentar la protección humanitaria en los conflictos armados.

Los seres humanos poseen empatía y compasión y, en general, son reacios a tomar la vida de otro ser humano. Un guardabosques del Ejército de los EE. UU. retirado que ha investigado exhaustivamente los asesinatos durante la guerra ha descubierto que “existe en el hombre una intensa resistencia a matar a sus semejantes. Una resistencia tan fuerte que, en muchas circunstancias, los soldados en el campo de batalla morirán antes de que puedan superarla”.[99] Otro autor escribe:

“Una de las mayores restricciones para la crueldad en la guerra siempre ha sido la inhibición natural de los humanos para no matar o lastimar a otros seres humanos. La inhibición natural es, de hecho, tan fuerte que la mayoría de la gente preferiría morir antes que matar a alguien”.^[100]

Los estudios sobre la conducta de los soldados en conflictos pasados proporcionan evidencia para apoyar estas conclusiones.^[101] Las emociones humanas son, por lo tanto, un inhibidor importante para matar personas ilegalmente o innecesariamente.

Los estudios se han centrado principalmente en la renuencia de las tropas a matar combatientes enemigos, pero es razonable suponer que los soldados se sienten aún más reacios a matar a los transeúntes del conflicto armado, incluidos los civiles o hors de combat, como los soldados rendidos o heridos. Las armas completamente autónomas, a diferencia de los humanos, carecerían de tales inhibiciones emocionales y morales, que ayudan a proteger a las personas que no son objetivos legales en un conflicto armado. Un experto escribe: “Quitar la inhibición de matar mediante el uso de robots podría debilitar la restricción psicológica y ética más poderosa en la guerra. La guerra sería inhumanamente eficiente y ya no se vería limitada por el impulso natural de los soldados a no matar”.[102]

Debido a su falta de emociones o conciencia, las armas completamente autónomas podrían ser las herramientas perfectas para los líderes que buscan oprimir a su propio pueblo o atacar a civiles en países enemigos. Incluso las tropas más endurecidas pueden eventualmente atacar a su líder si se les ordena disparar contra su propia gente o cometer crímenes de guerra. Un líder abusivo que puede recurrir a armas completamente autónomas estaría libre del temor de que las fuerzas armadas se resistieran a ser desplegadas contra ciertos objetivos.

Por todas las razones descritas anteriormente, las emociones deben ser vistas como centrales para la contención en conflictos armados en lugar de influencias irracionales y obstáculos para la razón.

Conflicto Nro. 8: Las ventajas militares se perderían con una prohibición preventiva de armas completamente autónomas.

Refutación: muchos beneficios potenciales de las armas completamente autónomas se podrían lograr utilizando sistemas alternativos o crearían riesgos injustificables.

Análisis: los críticos argumentan que una prohibición preventiva de armas completamente autónomas significaría renunciar a las ventajas militares promocionadas de la tecnología. Según estos críticos, las armas completamente autónomas podrían tener muchos beneficios. Estas armas completamente autónomas podrían operar con mayor precisión que otros sistemas.[103] También podrían reemplazar a los soldados en el campo y así proteger sus vidas.[104] Además, las armas completamente autónomas podrían procesar datos y operar a una velocidad mayor que las controladas por humanos en las etapas de selección y/o ataque.[105] También podrían operar sin una línea de comunicación después del despliegue.[106] Finalmente, podrían desplegarse a una escala mayor y a un costo menor que los sistemas de armas que requieren control humano.[107] Estas características, sin embargo, no son exclusivas de las armas completamente autónomas y presentan sus propios riesgos.

Otras armas proporcionan algunos de los mismos beneficios que las armas completamente autónomas. Por ejemplo, las armas semiautónomas también tienen el potencial de precisión. Pueden rastrear objetivos con tecnología comparable a la del futuro en armas completamente autónomas. De hecho, los sistemas de armas semiautónomos existentes ya han incorporado características autónomas diseñadas para aumentar la precisión de los ataques.[108] Sin embargo, a diferencia de sus contrapartes completamente autónomas, estos sistemas mantienen a un humano al tanto de las decisiones para disparar.

Además, aunque las armas completamente autónomas podrían reducir las bajas militares al reemplazar a las tropas humanas en el campo de batalla, las armas semiautónomas ya lo hacen. El uso de armas semiautónomas implica el control humano sobre el uso de la fuerza, pero no requiere una presencia humana en el suelo para que los operadores puedan mantenerse seguros en una ubicación remota. Las armas semiautónomas, en particular los drones armados, han planteado muchas preocupaciones que deben abordarse, pero sus problemas se relacionan más con la forma en que se utilizan que con la naturaleza de su tecnología. Las armas completamente autónomas, por el contrario, presentan los peligros sin importar cómo se usan, porque los humanos ya no toman decisiones de disparo.

En muchas situaciones que requieren velocidad, como la defensa antimisiles, los sistemas automáticos podrían eliminar las amenazas de manera tan efectiva y predecible como los sistemas completamente autónomos. Si bien la automatización y la autonomía son fines diferentes del mismo espectro, las armas automáticas operan en un entorno más estructurado y “llevan a cabo una secuencia de operaciones pre-programada”.[109]

Debido a que las armas completamente autónomas tendrían el poder de realizar determinaciones complejas en entornos menos estructurados, su velocidad podría hacer que los conflictos armados se salieran de control rápidamente. Al argumentar que las armas completamente autónomas podrían convertirse en una necesidad para los Estados que buscan mantenerse al día con sus adversarios, dos críticos de la prohibición de las armas completamente autónomas escriben que “el combate definitivo puede (...) ocurrir a un ritmo tan alto que los operadores humanos simplemente sean incapaces de mantenerse al día. De hecho, los sistemas de armas avanzados pueden crear un entorno demasiado complejo para que los humanos lo dirijan”.[110] Independientemente de la velocidad de las armas completamente autónomas, su capacidad para operar sin una línea de comunicación después del despliegue es problemática porque las armas pueden tomar decisiones pobres e independientes sobre el uso de la fuerza en ausencia del potencial de una anulación humana.

Dado que las armas completamente autónomas podrían operar a altas velocidades y sin control humano, sus acciones tampoco serían atenuadas por el entendimiento humano de los riesgos políticos, socioeconómicos, ambientales y humanitarios en el momento en que se involucran. Por lo tanto, tendrían el potencial de desencadenar una serie de consecuencias no deseadas, muchas de las cuales podrían alterar fundamentalmente las relaciones entre los estados o la naturaleza de los conflictos en curso.

Dado que los países no querrían quedarse atrás en tecnología militar potencialmente ventajosa, el desarrollo de estas armas revolucionarias probablemente conduciría a una carrera armamentista. De hecho, algunos oficiales militares de alto rango ya han expresado su preocupación sobre los avances en la tecnología de armas autónomas en otros estados, enfatizando la necesidad de mantener el dominio en las capacidades de inteligencia artificial.[111] Los militares de alta tecnología podrían tener una ventaja en las primeras etapas del desarrollo de estas armas, pero los expertos predicen que a medida que los costos bajen y la tecnología prolifere, las armas se producirán en masa. Una carta abierta firmada por más de 3,000 expertos en inteligencia artificial y robótica afirma:

Si cualquier potencia militar importante avanza con el desarrollo de armas de inteligencia artificial, una carrera armamentística global es virtualmente inevitable y el punto final de esta trayectoria tecnológica es obvio: las armas autónomas se convertirán en los Kalashnikov del mañana. A diferencia de las armas nucleares, no requieren materias primas costosas o difíciles de obtener, por lo que se volverán ubicuas y baratas para que todas las potencias militares importantes las produzcan en masa.[112]

Una carrera de armamentos en tecnología de armas completamente autónomas conllevaría riesgos significativos. El número cada vez mayor de armas completamente autónomas podría aumentar la posibilidad de un conflicto importante. Si las armas completamente autónomas operan colectivamente, como en los enjambres, la falla de un arma podría desencadenar una acción militar masiva seguida de una respuesta en especie.[113] Además, para mantenerse al día con sus enemigos, los estados tendrían incentivos para usar armas completamente autónomas de calidad inferior con características no probadas o desactualizadas, lo que aumentaría el riesgo de errores potencialmente catastróficos. Si bien las armas completamente autónomas pueden crear una ventaja militar inmediata para algunos Estados, deben reconocer que la tecnología durará poco tiempo una vez que la tecnología comience a proliferar. En última instancia, los costos humanos y financieros de desarrollar dicha tecnología dejarían a cada Estado en una situación peor y, por lo tanto, abogan por una prohibición preventiva.

II. Argumentos a favor de una prohibición preventiva de armas completamente autónomas

Los peligros de las armas completamente autónomas exigen que los Estados tomen medidas para prohibir preventivamente su desarrollo, producción y uso. Los críticos proponen confiar en la ley existente, las revisiones de armas, la regulación o los requisitos de control humano, pero una prohibición es la única opción que abordaría todos los problemas de las armas. La comunidad internacional no debe esperar a tomar medidas porque el genio pronto saldrá de la botella. El precedente muestra que una prohibición sería alcanzable y efectiva.

Ventajas de una prohibición

Conflicto Nro. 9: Un nuevo instrumento internacional es innecesario porque el derecho internacional humanitario existente será suficiente.

Refutación: un nuevo tratado ayudaría a aclarar el derecho internacional humanitario existente y abordaría el desarrollo y la producción de armas completamente autónomas además de su uso.

Análisis: los críticos de un nuevo tratado sobre armas completamente autónomas a menudo afirman que “los principios existentes del derecho internacional son suficientes para circunscribir el uso de estas armas”.[114] Argumentan que cualquier uso problemático de armas completamente autónomas ya sería ilegal porque violaría el derecho internacional humanitario actual. Según dos autores: “la pregunta para la comunidad legal sería si los sistemas de armas autónomas cumplen con las normas legales que los Estados han establecido”.[115] Reconociendo que las armas plantean nuevas preocupaciones, otro autor señala que “a medida que surjan los casos y los errores, los abogados y las partes perjudicadas tendrán que navegar creativamente por la red de mecanismos legales [disponible en el derecho internacional]”, pero también concluye que un nuevo instrumento legal sería innecesario.[116] Sin embargo, el derecho internacional humanitario existente no pretendía ni podía abordar adecuadamente las cuestiones planteadas por este tipo de arma revolucionaria. Por lo tanto, debe complementarse con un nuevo tratado que establezca una prohibición.

Un nuevo tratado internacional aclararía las obligaciones de los estados y haría explícitos los requisitos de cumplimiento. Minimizaría las preguntas sobre la legalidad al estandarizar las reglas en todos los países y reducir la necesidad de determinaciones caso por caso. Una mayor claridad legal conduciría a una aplicación más efectiva porque los países comprenderían mejor las reglas. Una convención de prohibición dejaría en claro la ilegalidad de las armas completamente autónomas incluso para países que no realizan revisiones legales de armas nuevas o modificadas (ver Conflicto Nro. 10). Finalmente, muchos Estados que no se unieron al nuevo tratado todavía estarían dispuestos a cumplir con su prohibición debido al estigma asociado con las armas.

Un tratado dedicado a armas completamente autónomas también podría abordar aspectos de la proliferación no cubiertos por el derecho internacional humanitario tradicional, que se centra en el uso de armas en la guerra. En particular, tal instrumento podría prohibir el desarrollo y la producción. La eliminación de estas actividades evitaría la propagación de armas completamente autónomas, incluso a los Estados o actores no estatales, con poco respeto por el derecho internacional humanitario o la capacidad limitada para hacer cumplir el cumplimiento. Además, ayudaría a evitar una carrera de armamentos al detener el desarrollo antes de que fuera demasiado lejos (ver Conflicto Nro. 8).

Finalmente, la nueva ley podría abordar las inquietudes acerca de una brecha de responsabilidad (ver Conflicto Nro. 3). Un tratado que prohibiera las armas completamente autónomas bajo cualquier circunstancia podría requerir que cualquier persona que viole esa regla sea responsable de las acciones del arma.

Si bien el derecho internacional humanitario ya establece límites para las armas problemáticas y su uso, en el pasado, los gobiernos responsables consideraron necesario complementar los marcos legales existentes para las armas que, por su naturaleza, representan amenazas humanitarias importantes. Existen tratados dedicados a tipos específicos de armas para municiones en racimo, minas antipersonales, láseres cegadores, armas químicas y armas biológicas. Las armas completamente autónomas tienen el potencial de generar un nivel humanitario comparable o incluso mayor y, por lo tanto, deberían ser objeto de un derecho internacional complementario similar.

Conflicto Nro. 10: Las revisiones de los nuevos sistemas de armas pueden abordar los peligros de las armas completamente autónomas.

Refutación: las revisiones de los sistemas de armas no son universales, coherentes ni rigurosas, y no abordan las implicaciones de las armas fuera del contexto de un conflicto armado. Una prohibición resolvería estas deficiencias en el caso de armas completamente autónomas.

Análisis: algunos críticos argumentan que la realización de revisiones de los sistemas de armas en armas completamente autónomas regularía suficientemente las armas. Las revisiones de armas evalúan la legalidad del uso futuro de una nueva arma durante sus fases de diseño, desarrollo y adquisición. A veces se denominan “revisiones del Artículo 36” porque son requeridas en virtud del Artículo 36 del Protocolo Adicional I de los Convenios de Ginebra. El artículo dice:

En el estudio, desarrollo, adquisición o adopción de una nueva arma, medio o método de guerra, una Alta Parte Contratante tiene la obligación de determinar si su empleo, en alguna o todas las circunstancias, estaría prohibido por este Protocolo o por cualquier otro Regla de derecho internacional aplicable a la Alta Parte Contratante.[117]

Los críticos han argumentado, incluso durante los debates de la CCW, que no hay necesidad de una prohibición porque cualquier arma completamente autónoma que violara el derecho internacional no aprobaría una revisión de armas y, por lo tanto, no se desarrollaría ni se usaría.[118] Sin embargo, no todos los gobiernos realizan revisiones de armas, algunos siguen diferentes estándares, y las revisiones a menudo tienen un alcance lo suficientemente limitado como para enfrentar todos los peligros planteados por las armas completamente autónomas. Las propuestas para abordar las deficiencias de las revisiones de armas deben considerarse en un foro separado para evitar distraerse de las discusiones sobre armas completamente autónomas.

Actualmente, se sabe que menos de 30 Estados cuentan con procesos de revisión nacionales.[119] No todos los Estados son parte del Protocolo Adicional I y se discute si las revisiones de armas son obligatorias según el derecho internacional consuetudinario.[120] La falta de práctica universal significa que es posible que algunos estados puedan desarrollar o adquirir armas completamente autónomas sin antes revisar la legalidad de las armas.

Incluso si las revisiones de armas fueran llevadas a cabo por todos los Estados, dejar que las decisiones sobre si desarrollar o no armas para los estados individuales puede llevar a resultados inconsistentes. La complejidad de las armas completamente autónomas, que requerirían una revisión de los componentes de hardware y software, exacerbaría tales inconsistencias.[121] Además, no existe un monitoreo internacional obligatorio para garantizar que todos los Estados realicen revisiones y se adhieran a los resultados.[122] También existe una capacidad limitada para el monitoreo externo, incluso por parte de la sociedad civil, debido a la falta general de transparencia en los procesos de revisión de armas.[123] Los Estados no están obligados a publicar sus revisiones y se sabe que ninguno de ellos ha revelado información sobre una revisión que rechazó un arma propuesta.[124]

Sin la presión externa generada por el monitoreo, los Estados tienen pocos incentivos para realizar revisiones rigurosas de armas. Así como no hay casos publicados de rechazo de un arma, tampoco hay ejemplos conocidos de Estados que detienen el desarrollo o la producción de un arma por no haber pasado por una revisión legal.[125] El gasto de realizar el tipo de revisiones complejas necesarias para armas completamente autónomas proporcionaría un mayor desincentivo para realizar pruebas rigurosas.

Independientemente de la efectividad de las revisiones de armas, el objetivo básico, como lo demuestra la referencia del Artículo 36 a la “guerra”, es garantizar el cumplimiento del derecho internacional en el contexto de un conflicto armado. La guía del CICR para la revisión de armas refleja este marco, señalando que “evaluar la legalidad de las nuevas armas contribuye a garantizar que las fuerzas armadas de un Estado sean capaces de llevar a cabo hostilidades de acuerdo con sus obligaciones internacionales”.[126]

Este marco no aborda los derechos humanos y las implicaciones éticas del uso de armas. Las armas completamente autónomas podrían contravenir de forma independiente las leyes de derechos humanos debido a su uso potencial fuera del conflicto armado en situaciones de aplicación de la ley doméstica (ver Conflicto Nro. 5).[127] Debido a que usarían la fuerza sin un control humano significativo, tales armas plantean serias preocupaciones éticas (ver Conflicto Nro. 6). Ninguno de estos riesgos se tomaría en cuenta en una revisión de armas militares.[128]

Reconociendo los problemas con las revisiones de armas existentes, algunos Estados han pedido mejoras.[129] Por ejemplo, en la reunión de expertos de la CCW de 2016 sobre sistemas de armas autónomas letales, los Estados Unidos propusieron que los Estados miembro de la CCW produzcan “un documento de resultados no vinculante desde el punto de vista legal que describa un proceso exhaustivo de revisión de armas”.[130] Sin embargo, este conjunto de mejores prácticas operaría de manera voluntaria y tendría menos autoridad que un instrumento legalmente vinculante.

Si bien el fortalecimiento de las revisiones de armas y el establecimiento de estándares internacionales son objetivos valiosos, las reuniones de la CCW sobre armas completamente autónomas son un foro inadecuado para tales discusiones. La necesidad de mejorar las revisiones no es relevante ni específica ni exclusiva para las armas completamente autónomas.[131] Más bien, las discusiones acerca de las revisiones de armas en el contexto de armas completamente autónomas distraen de los temas de fondo presentados por el desarrollo y uso de estas armas.

Una prohibición internacional vinculante de armas completamente autónomas resolvería las deficiencias de las revisiones de armas en este contexto. Una prohibición también simplificaría y estandarizaría las revisiones de armas al eliminar cualquier duda de que el uso de armas completamente autónomas violaría el derecho internacional.

Conflicto Nro. 11: La regulación abordaría mejor las preocupaciones de armas completamente autónomas que una prohibición.

Refutación: una prohibición absoluta y obligatoria de las armas completamente autónomas reduciría la posibilidad de mal uso de las armas, sería más fácil de hacer cumplir y aumentaría el estigma asociado con las violaciones.

Análisis: ciertos críticos se oponen a una prohibición categórica de las armas completamente autónomas porque prefieren un marco regulatorio que permita el uso de dicha tecnología dentro de ciertos parámetros predefinidos.[132] Dicho marco podría, por ejemplo, limitar el uso de armas completamente autónomas a tipos específicos de ubicaciones o propósitos. Estos críticos sugieren que tal enfoque no sería demasiado inclusivo porque ajustaría con mayor precisión las restricciones al estado evolutivo de la tecnología de armas completamente autónoma. Las regulaciones pueden venir en forma de un instrumento legalmente vinculante o un conjunto de estándares informales desarrollados gradualmente.[133] Sea cual sea su forma, sin embargo, la regulación no sería tan efectiva como una prohibición.

Una prohibición absoluta y legalmente vinculante de armas completamente autónomas proporcionaría varias ventajas distintas sobre las restricciones reglamentarias formales o informales. Maximizaría la protección para los civiles en conflicto porque sería más integral que la regulación. Una prohibición también sería más efectiva, ya que prohibiría la existencia de las armas y sería más fácil de hacer cumplir. Además, una prohibición maximizaría la estigmatización de las armas completamente autónomas, creando una norma ampliamente reconocida e influyendo incluso en aquellas que no se unen al tratado.

Por el contrario, una vez que las armas completamente autónomas surgieran bajo un régimen regulatorio, serían vulnerables al mal uso. Incluso si las regulaciones restringen el uso de armas completamente autónomas a ciertos lugares o propósitos específicos, después de que las armas ingresen a los arsenales nacionales, los países podrían verse tentados a usar las armas de manera inapropiada en el fragor de la batalla o en circunstancias extremas (ver Conflicto Nro. 2). Además, la existencia de armas completamente autónomas dejaría la puerta abierta a su adquisición por parte de regímenes represivos o grupos armados no estatales que podrían ignorar las restricciones o alterar o anular cualquier programación diseñada para regular el comportamiento de las armas. Podrían usar las armas contra su propia gente o civiles en otros países con terribles consecuencias.

El cumplimiento de las regulaciones sobre armas completamente autónomas, como en todas las armas reguladas, también podría ser un desafío y dejar espacio para el error, aumentando el potencial de daño a los civiles. En lugar de saber que cualquier uso de armas completamente autónomas era ilegal, los países, las organizaciones internacionales y las organizaciones no gubernamentales tendrían que monitorear el uso de las armas y determinar en cada caso si el uso cumplía con las regulaciones. Los debates sobre el alcance de las regulaciones y su aplicación probablemente seguirían.

Los desafíos de controlar efectivamente el uso de armas completamente autónomas a través de regulaciones vinculantes se agravarían si los gobiernos adoptaran una opción no vinculante. Aquellos que apoyan las mejores prácticas abogan por “dejar que otros procesos menos formales tomen la iniciativa para permitir que las normas genuinamente compartidas se unan en un área muy difícil”.[134] En la medida en que un enfoque “menos formal” no es vinculante, es muy poco probable que limite a los gobiernos, incluidos aquellos que ya están inclinados a violar la ley, de alguna manera significativa, especialmente bajo las presiones del conflicto armado. Es igualmente poco realista esperar que los gobiernos, como esperan algunos críticos, resistan sus “impulsos hacia el secreto y la reticencia con respecto a las tecnologías militares” y contribuyan a un diálogo normativo sobre el uso apropiado de la tecnología de armas completamente autónomas.[135] Si los países confían en la transparencia y esperan hasta que “las normas se unan” en un “área muy difícil”,[136] es probable que esas armas se desarrollen y desplieguen, en cuyo momento probablemente ya sea demasiado tarde para controlarlas.

Conflicto Nro. 12: Asegurar el control humano durante el diseño y el despliegue de armas autónomas sería suficiente para abordar las preocupaciones que plantean.

Refutación: para evitar los peligros de las armas completamente autónomas, los humanos deben ejercer un control significativo sobre la selección y el compromiso de los objetivos en los ataques individuales. Solo la prohibición de armas completamente autónomas puede garantizar efectivamente un control tan significativo por parte de los humanos.

Análisis: si bien parece haber un acuerdo generalizado de que todas las armas deben operar bajo al menos algún nivel de “control humano”,[137] algunos críticos sostienen que no es necesario que se trate directamente de ataques individuales. Estos críticos argumentan que el control humano en las etapas de diseño y despliegue sería suficiente para anticiparse a las preocupaciones asociadas con las armas completamente autónomas porque las armas operarían de manera previsible.[138] Sin embargo, es poco probable que las armas con un control tan limitado siempre funcionen como se espera y el control humano no es significativo si hay imprevisibilidad.[139] El control humano significativo es esencial para evitar los peligros asociados con las armas completamente autónomas.

Si el control humano sobre las armas se limitara a las etapas de diseño y despliegue, sería casi imposible evitar la imprevisibilidad de las armas. Los programadores no siempre podían estar seguros de cómo actuarían en la práctica las armas avanzadas con códigos complejos. Como señalan algunos estudiosos, “Ningún individuo puede predecir el efecto de un comando dado con absoluta certeza, ya que partes de programas grandes pueden interactuar de formas inesperadas y no probadas”.[140] Además, las acciones de estas armas podrían verse influidas por factores más allá del programador. Las armas pueden depender de procesos o de procesos de aprendizaje dinámico para adaptar la información existente para su uso en nuevos entornos.[141] La imprevisibilidad de las armas controladas por humanos solo en las etapas previas al ataque indicaría que ese control no fue significativo.

La ausencia de un control humano significativo llevaría a por lo menos tres de los peligros fundamentales de las armas completamente autónomas ya descritas en este informe. Primero, debido a que los humanos no pueden preprogramar armas completamente autónomas para responder de manera predecible a situaciones imprevisibles, las armas enfrentarían obstáculos significativos para cumplir con el derecho internacional humanitario o de derechos humanos, lo que requiere la aplicación de un juicio humano (ver Conflicto Nro. 1 y Nro. 5). En segundo lugar, limitar el control humano a las etapas de diseño y despliegue llevaría a un vacío de responsabilidad, ya que los programadores y comandantes no podrían predecir en esas etapas cómo actuarían las armas en el campo y, por lo tanto, escaparían de la responsabilidad en la mayoría de los casos (ver Conflicto Nro. 3). En tercer lugar, las armas completamente autónomas no podrían adherirse a los marcos éticos preprogramados, dada su imprevisibilidad inherente[142] y ceder el control humano sobre las determinaciones para usar la fuerza en situaciones específicas cruzaría un umbral moral (ver Conflicto Nro. 6).[143]

El control humano debe ejercerse sobre los ataques individuales para ser significativo y abordar muchas de las preocupaciones con respecto a los avances tecnológicos en los sistemas de armas. Dicho control promovería el cumplimiento legal al facilitar la aplicación del juicio humano en situaciones específicas e imprevisibles. Permitiría la imposición de responsabilidad legal al crear un vínculo entre un actor humano y el daño causado por un arma. Finalmente, un control humano significativo sobre los ataques individuales también aseguraría que la moralidad podría desempeñar un papel en las decisiones sobre la vida y la muerte de los seres humanos.

Oportunidad y viabilidad de una prohibición

Conflicto Nro. 13: Es prematuro prohibir las armas completamente autónomas debido a la posibilidad de avances tecnológicos.

Refutación: estas armas altamente problemáticas deben prohibirse de forma preventiva para evitar daños humanitarios graves antes de que sea demasiado tarde y para cumplir con el principio de precaución.

Análisis: los críticos sostienen que una prohibición preventiva sobre el desarrollo, la producción y el uso de armas completamente autónomas es prematura. Argumentan que:

La investigación sobre las posibilidades de la toma de decisiones automática por máquina, no solo en armas sino en muchas actividades humanas, tiene solo un par de décadas de antigüedad (...) No debemos descartar de antemano las posibilidades de resultados tecnológicos positivos, incluido el desarrollo de tecnologías de guerra que podrían reducir los riesgos para los civiles al hacer que la focalización sea más precisa y las decisiones de despido más controladas.[144]

Esta posición depende en parte de la fe en que la tecnología podría abordar los desafíos legales planteados por las armas completamente autónomas, lo que, como se explica en el Conflicto Nro. 1, parece poco probable e incierto. Al mismo tiempo, ignora otros peligros asociados con estas armas que no están relacionados con el desarrollo tecnológico, en particular el vacío de responsabilidad, las objeciones morales y el potencial de una carrera de armamentos (ver Conflictos Nro. 3, 6 y 8).

Teniendo en cuenta la gran cantidad de preocupaciones sobre las armas completamente autónomas, deben prohibirse de manera preventiva antes de que sea demasiado tarde para cambiar de rumbo. Es difícil detener la tecnología una vez que se han realizado inversiones a gran escala. La tentación de usar tecnología ya desarrollada e incorporada en arsenales militares sería grande y muchos países serían reacios a renunciar a ella, especialmente si sus competidores la poseyeran.

Además, si se permitiera el desarrollo continuo, los militares podrían desplegar armas completamente autónomas en circunstancias complejas con las que la inteligencia artificial aún no podía hacer frente. Solo después de que las armas enfrentaran a situaciones imprevistas que no estuvieran programadas para abordar, la tecnología podría modificarse para resolver esos problemas. Durante ese período, es probable que el arma maneje mal tales situaciones y cause un gran daño a los civiles e incluso a las fuerzas amigas.

La prevalencia de preocupaciones humanitarias y la incertidumbre con respecto a la tecnología hacen que sea apropiado invocar el principio de precaución, un principio del derecho internacional. La Declaración de Río de 1992 dice: “Cuando existan amenazas de daños graves o irreversibles, la falta de certeza científica no se utilizará como una razón para posponer medidas rentables para prevenir la degradación ambiental”.[145] Si bien la Declaración de Río aplica el principio de precaución a la protección del medio ambiente, el principio puede adaptarse a otras situaciones.

Las armas completamente autónomas implican los tres elementos esenciales del principio de precaución: la amenaza de daño grave o irreversible, la incertidumbre científica y la disponibilidad de medidas rentables para prevenir el daño. El desarrollo, la producción y el uso de armas completamente autónomas representan una amenaza para los civiles que sería grave e irreversible, ya que la tecnología revolucionaría el conflicto armado y sería difícil de eliminar una vez que se haya desarrollado y empleado. La incertidumbre científica caracteriza el debate sobre estas armas. Los defensores argumentan que no hay pruebas de que una solución tecnológica no pueda resolver el problema, pero existe una falta igual de pruebas de que una solución tecnológica funcionaría. Finalmente, si bien las negociaciones y la implementación del tratado conllevan costos, estos gastos son pequeños en comparación con el daño significativo que podrían prevenir.

Existe un precedente para una prohibición preventiva de una clase de armas. Como se discutió en el Conflicto Nro. 4, en 1995 los estados parte de la CCW adoptaron una prohibición de los láseres cegadores antes de que las armas comenzaran a desplegarse.[146] Durante las negociaciones, los países expresaron muchas de las mismas preocupaciones con respecto a los láseres cegadores que con las armas completamente autónomas y esas negociaciones llevaron a un nuevo instrumento exitoso: el Protocolo IV de la CCW. Los Estados deberían basarse en ese modelo y acordar una prohibición similar de las armas completamente autónomas. Si bien existen diferencias entre los dos tipos de armas, la naturaleza revolucionaria de las armas completamente autónomas fortalece, en lugar de socavar, el caso de una prohibición preventiva.[147]

Conflicto Nro. 14: Se necesita una definición de armas completamente autónomas antes de poder abordar las preocupaciones que plantean.

Refutación: ya se ha alcanzado en gran medida un entendimiento común de las armas completamente autónomas (también conocidas como sistemas de armas autónomas letales) y las negociaciones de desarme históricamente han acordado la definición legal y detallada de un tratado después de resolver otras cuestiones sustantivas.

Análisis: algunos críticos argumentan que las discusiones no pueden avanzar hacia negociaciones de tratados sin una definición detallada de armas completamente autónomas, también conocidas como sistemas letales de armas autónomas (LAWS, por sus siglas en inglés) por los Estados de la CCW.[148] Por ejemplo, un Estado ha señalado que “no parecía haber acuerdo en cuanto a la definición exacta de LEYES (...) En este sentido, muchos estados (...) no apoyaron el llamado realizado por algunos estados para una prohibición preventiva de LAWS”.[149] Otro ha argumentado que “prohibir tales sistemas antes de un acuerdo amplio sobre una definición no sería pragmático”.[150] Sin embargo, un entendimiento común debería ser suficiente para avanzar en las deliberaciones.

La mayoría de los países cuyas declaraciones sobre el tema están disponibles públicamente parecen estar de acuerdo con los elementos básicos de lo que constituye un arma completamente autónoma. Primero, dicen que las armas completamente autónomas, aunque se desarrollan rápidamente, siguen siendo una tecnología emergente que aún no existe.[151] En segundo lugar, coinciden en que las armas completamente autónomas serían, como su nombre indica, tecnología armada o letal.[152]

Tercero, la mayoría de los estados que han abordado el tema describen las armas completamente autónomas que operan sin control humano. La terminología empleada ha variado, desde “control humano significativo”[153] a “niveles apropiados de juicio humano”[154] a “participación humana”,[155] pero parece haber un acuerdo casi universal de que las armas completamente autónomas carecen de control humano. Finalmente, si bien aún persiste cierto debate sobre dónde está ausente el control humano, el acuerdo se está formando en torno a la idea de que las armas completamente autónomas carecen del control humano sobre las funciones críticas de combate, en particular, sobre la selección y el compromiso de los objetivos.[156]

Históricamente, en las negociaciones del tratado de desarme, los entendimientos comunes se convierten en definiciones legales detalladas solo al final del proceso. Para el Tratado de Prohibición de Minas,[157] la Convención sobre Municiones en Racimo[158] y el Protocolo IV de CCW sobre Armas Láser Cegadoras, los objetivos, el alcance y las obligaciones del tratado que se está negociando se determinaron antes de las definiciones finales. El borrador del texto inicial del Tratado de Prohibición de Minas se distribuyó con la definición de minas antipersonal del Protocolo Enmendado II de la CCW.[159] Esa definición fue solo un punto de partida que se revisó en borradores posteriores del texto y aún se estaba debatiendo en la conferencia final de negociación del tratado.[160] De manera similar, la historia de negociación de la Convención sobre Municiones en Racimo comenzó con una declaración en la cual los estados en una conferencia internacional se comprometieron a adoptar una prohibición sobre “municiones en racimo que causan daños inaceptables a los civiles”.[161] Mientras que los estados discutieron la definición de municiones en racimo en las reuniones diplomáticas que siguieron, no se decidieron por la definición de municiones en racimo que se adoptarán hasta las negociaciones finales.[162] Los documentos de trabajo y los proyectos de protocolo de las reuniones del Grupo de Expertos Gubernamentales de la CCW sobre láseres cegadores revelan el mismo patrón: el proyecto de definición contenía solo los elementos básicos de la definición final, que se redactaría más adelante en el curso de las negociaciones.[163]

Ya existe suficiente acuerdo internacional sobre los elementos centrales de las armas completamente autónomas para proceder a las negociaciones. Perderse en los detalles de una definición sin determinar primero los objetivos de las negociaciones sería improductivo. Sería más eficiente decidir sobre las prohibiciones o restricciones que se impondrán en la categoría general de armas y luego detallar exactamente a qué armas deben aplicarse esas prohibiciones o restricciones. Por lo tanto, la comunidad internacional debe centrarse en articular los objetivos, el alcance y las obligaciones de un instrumento futuro. La definición legal final de armas completamente autónomas se puede negociar en una etapa posterior.

Conflicto #15: Avances valiosos en tecnología autónoma se verían obstaculizados por una prohibición del desarrollo de armas totalmente autónomas.

Refutación: una prohibición no ahogaría avances valiosos en tecnología autónoma porque no cubriría tecnología completamente autónoma no armada o sistemas de armas semiautónomos.

Análisis: a algunos críticos les preocupa la amplitud de la prohibición del desarrollo. Expresan su preocupación de que representaría una prohibición “incluso en el desarrollo de tecnologías o componentes de automatización que podrían conducir a sistemas de armas letales completamente autónomos”.[164] Estos críticos temen que la prohibición por lo tanto impida la exploración de tecnología autónoma beneficiosa, como los coches autoconducidos.

De hecho, la prohibición se aplicaría solo al desarrollo de armas completamente autónomas, es decir, máquinas que podrían seleccionar y disparar a objetivos sin un control humano significativo. Las actividades de investigación y desarrollo estarían prohibidas si estuvieran dirigidas a una tecnología que pudiera usarse exclusivamente para armas completamente autónomas o que estuviera explícitamente destinada para su uso en tales armas. Una prohibición sobre el desarrollo de armas completamente autónomas no impedirá de ninguna manera el desarrollo de tecnología robótica completamente autónoma no armada, que puede tener muchas aplicaciones positivas, no militares.

La prohibición tampoco abarcaría el desarrollo de armas semiautónomas, como los drones armados a control remoto existentes.

Dada la importancia de mantener las armas completamente autónomas fuera de los arsenales nacionales (ver Conflicto Nro. 13), se debe adoptar una prohibición sobre el desarrollo, incluso si es estrecha. Incluir dicha prohibición en un tratado de prohibición obligaría legalmente a los Estados parte a no contratar específicamente para el desarrollo de armas completamente autónomas o a tomar medidas para convertir otra tecnología autónoma en tales armas. También crearía una norma más fuerte contra las armas completamente autónomas al estigmatizar el desarrollo y el uso y, por lo tanto, podría influir incluso en los estados y grupos armados no estatales que no se han unido al tratado.

Conflicto #16: Una prohibición internacional de armas completamente autónomas no es realista y sería ineficaz.

Refutación: los éxitos anteriores en materia de desarme, el creciente apoyo a una prohibición y el creciente debate internacional sobre el tema sugieren que una prohibición es a la vez realista y la única opción eficaz para abordar las armas completamente autónomas.

Análisis: algunos críticos argumentan que una prohibición absoluta del desarrollo, la producción y el uso de armas completamente autónomas es “poco realista”.[165] Han escrito que “parte de nuestros desacuerdos son sobre las dificultades prácticas que enfrentan las prohibiciones legales internacionales de las tecnologías militares (creemos que tales es probable que los esfuerzos fracasen)”.[166] Otros críticos creen que incluso si tal prohibición pudiera adoptarse, no se implementaría, ya que los estados no se unirían a la prohibición o no la cumplirían.[167] Estos críticos no reconocen los paralelos con los esfuerzos exitosos de desarme que tuvieron beneficios humanitarios y el creciente apoyo para preservar un control humano significativo sobre las decisiones para usar la fuerza letal.

Existe un fuerte precedente para prohibir las armas que plantean serias preocupaciones humanitarias. La comunidad internacional ha adoptado previamente prohibiciones legalmente vinculantes sobre gases tóxicos, armas biológicas, armas químicas, minas terrestres antipersonales y municiones en racimo, así como una prohibición preventiva de los láseres cegadores, que aún estaban en desarrollo. Los opositores a los instrumentos de minas terrestres y municiones en racimo habían dicho con frecuencia que un tratado de prohibición nunca sería posible, pero el éxito de estas prohibiciones ha demostrado que su escepticismo estaba fuera de lugar. El número de estados que se unen a estos tratados y el cumplimiento general ilustra la efectividad de los tratados y la capacidad del desarme humanitario para proteger a los civiles del sufrimiento.

Los esfuerzos para abordar los peligros de las armas completamente autónomas están siguiendo un camino similar al de los instrumentos anteriores de desarme humanitario. Abril de 2013 marcó el lanzamiento de la Campaña para detener a los Robots de Combate, que exige una prohibición absoluta del desarrollo, la producción y el uso de armas completamente autónomas. La campaña se asemeja a las anteriores coaliciones de la sociedad civil, incluida la Campaña Internacional para Prohibir las Minas Terrestres y la Coalición contra las Municiones en Racimo.

El apoyo público a una prohibición ha reforzado la posición de la campaña. Hasta noviembre de 2016, más de 3.000 roboticistas e investigadores de inteligencia artificial habían firmado una carta pública de 2015 que pedía la prohibición de armas completamente autónomas. Según ellos: “Al igual que la mayoría de los químicos y biólogos no tienen interés en construir armas químicas o biológicas, la mayoría de los investigadores de IA no tienen interés en construir armas de IA, y no quieren que otros empañen su campo al hacerlo, creando potencialmente una gran reacción pública violenta contra la IA que restringe sus futuros beneficios sociales”.[168] Las encuestas también han revelado su apoyo a una prohibición. Por ejemplo, una encuesta internacional de 2015 encontró que el 67 por ciento de los encuestados cree que las armas completamente autónomas deberían ser prohibidas internacionalmente (ver Conflicto Nro. 4).[169]

Finalmente, los gobiernos han retomado el debate sobre las armas completamente autónomas. Poco después de que comenzara la presión de la sociedad civil, agregaron el tema a la agenda de la CCW, que fue importante porque el proceso de la CCW produjo previamente una prohibición preventiva de los láseres cegadores y sirvió como incubadora para prohibir las minas terrestres y las municiones en racimo. Desde 2014, los Estados Partes de la CCW han celebrado tres reuniones informales de expertos que han examinado en profundidad los problemas relacionados con los sistemas de armas autónomos letales. En el curso de estas reuniones, muchos estados han reconocido la necesidad de abordar estas armas problemáticas de alguna manera. Catorce estados han expresado su apoyo explícito a una prohibición.[170] Los Estados partes que asistieron a la reunión de expertos de 2016 recomendaron que la Quinta Conferencia de Revisión de la CCW, que se celebrará en diciembre de 2016, considere la posibilidad de establecer un grupo más formal de expertos gubernamentales para avanzar en las discusiones.[171] Ahora depende de la Conferencia de Revisión asegurar que los estados aceleren el paso y den el siguiente paso hacia un instrumento que prohíba el desarrollo, la producción y el uso de armas completamente autónomas.

Lograr una prohibición requerirá sin duda un trabajo significativo y voluntad política. Los precedentes y los acontecimientos recientes sugieren, sin embargo, que una prohibición legalmente vinculante de armas completamente autónomas sería la forma más realista y efectiva de abordar los peligros que estas armas representan.

 

 

Agradecimientos

Bonnie Docherty, investigadora principal de la División de Armas de Human Rights Watch e instructora clínica principal de la Clínica Internacional de Derechos Humanos de la Escuela de Derecho de Harvard (IHRC, por sus siglas en inglés), fue la redactora y editora principal de este informe. Joseph Crupi, Anna Khalfaoui y Lan Mei, estudiantes de IHRC, hicieron importantes contribuciones a la investigación, análisis y redacción del informe. Steve Goose, director de la División de Armas, y Mary Wareham, directora de defensa de la División de Armas, editaron el informe. Dinah PoKempner, consejera general, y Tom Porteous, subdirector del programa, también revisaron el informe.

Este informe fue preparado para su publicación por Jacqulyn Kantack, asociada en la División de Armas, Fitzroy Hepkins, gerente administrativo, y José Martínez, coordinador principal. Russell Christian produjo la caricatura para la portada del informe.