A medida que los generadores de texto automatizados han avanzado rápida y deslumbrantemente de la fantasía a la novedad y a la herramienta genuina, están comenzando a alcanzar la siguiente fase inevitable: arma. El Pentágono y las agencias de inteligencia están planeando abiertamente usar herramientas como ChatGPT para avanzar en su misión, pero la compañía detrás del chatbot megapopular guarda silencio.
OpenAI, el titán de investigación y desarrollo de casi $30 mil millones detrás de ChatGPT, proporciona una lista pública de líneas éticas que no cruzará, negocios que no perseguirá sin importar cuán lucrativo sea, con el argumento de que podría dañar a la humanidad. Entre muchos casos de uso prohibido, OpenAI dice que ha descartado preventivamente aplicaciones militares y otras aplicaciones gubernamentales de «alto riesgo». Al igual que sus rivales, Google y Microsoft, OpenAI está ansioso por declarar sus elevados valores, pero no está dispuesto a discutir seriamente qué significan estos supuestos valores en la práctica, o cómo, o incluso si, se aplicarían.
Los expertos en políticas de IA que hablaron con The Intercept dicen que el silencio de la empresa revela la debilidad inherente de la autorregulación, lo que permite que empresas como OpenAI parezcan tener principios ante un público nervioso por la IA mientras desarrollan una tecnología poderosa, cuya magnitud aún no está clara. «Si hay algo que quitar de lo que está viendo aquí, es la debilidad de dejar que las empresas se vigilen a sí mismas», dijo Sarah Myers West, directora general del Instituto AI Now y exasesora de IA del Federal Trade. Comisión.
La cuestión de si OpenAI permitirá la militarización de su tecnología no es académica. El 8 de marzo, la Alianza de Inteligencia y Seguridad Nacional se reunió en el norte de Virginia para su conferencia anual sobre tecnologías emergentes. La confabulación reunió a asistentes tanto del sector privado como del gobierno, a saber, el Pentágono y las agencias de espionaje vecinas, ansiosos por escuchar cómo el aparato de seguridad de EE. UU. podría unirse a las corporaciones de todo el mundo para adoptar rápidamente técnicas de aprendizaje automático. Durante una sesión de preguntas y respuestas, se le preguntó al director asociado de capacidades de la Agencia Nacional de Inteligencia Geoespacial, Phillip Chudoba, cómo su oficina podría aprovechar la IA. Respondió largamente:
Todos estamos mirando ChatGPT y cómo está madurando como una tecnología útil y aterradora… Nuestra expectativa es que… vamos a evolucionar hacia un lugar donde tengamos una especie de colisión de, ya sabes, GEOINT, IA, ML y AI/ML analítico y algo de ese tipo de ChatGPT que realmente será capaz de predecir cosas en las que un analista humano, ya sabes, tal vez no haya pensado, tal vez debido a la experiencia, a la exposición, etc.
Eliminando la jerga, la visión de Chudoba es clara: usar las capacidades de texto predictivo de ChatGPT (o algo parecido) para ayudar a los analistas humanos a interpretar el mundo. La Agencia Nacional de Inteligencia Geoespacial, o NGA, un equipo relativamente oscuro en comparación con sus hermanos de tres letras, es el principal manejador de inteligencia geoespacial del país, a menudo denominado GEOINT. Esta práctica implica analizar una gran cantidad de información geográfica (mapas, fotos satelitales, datos meteorológicos y similares) para brindar a las agencias militares y de espionaje una imagen precisa de lo que sucede en la Tierra.
«Cualquiera que navegue en un barco estadounidense, vuele un avión estadounidense, tome decisiones de política nacional, pelee en guerras, localice objetivos, responda a desastres naturales o incluso navegue con un teléfono celular, confía en NGA», se jacta la agencia en su sitio. El 14 de abril, informó los hallazgos de los documentos de la NGA que detallan las capacidades de vigilancia de los globos de gran altitud chinos que causaron un incidente internacional a principios de este año.
Usos prohibidos
Pero las ambiciones de GEOINT aumentada por IA de Chudoba se complican por el hecho de que el creador de la tecnología en cuestión aparentemente ya ha prohibido exactamente esta aplicación: tanto las aplicaciones «militares y de guerra» como las de «toma de decisiones gubernamentales de alto riesgo» están explícitamente prohibidas, según la Página de Políticas de uso de OpenAI. «Si descubrimos que su producto o uso no sigue estas políticas, podemos pedirle que realice los cambios necesarios», dice la política. «Las infracciones repetidas o graves pueden resultar en acciones adicionales, incluida la suspensión o cancelación de su cuenta».
Según los estándares de la industria, es un documento notablemente fuerte y claro, uno que parece renunciar al pozo sin fondo de dinero de defensa disponible para contratistas menos escrupulosos, y parece ser una prohibición bastante clara contra exactamente lo que Chudoba está imaginando para la comunidad de inteligencia. Es difícil imaginar cómo una agencia que controla las capacidades de misiles de Corea del Norte y sirvió como un «socio silencioso» en la invasión de Irak, según el Departamento de Defensa, no es la definición misma de toma de decisiones militares de alto riesgo.
Si bien la NGA y otras agencias de inteligencia que buscan unirse a la moda de la IA pueden, en última instancia, buscar contratos con otras empresas, por el momento, pocos competidores de OpenAI tienen los recursos necesarios para construir algo como GPT-4, el gran modelo de lenguaje que sustenta ChatGPT. La verificación del nombre de Chudoba de ChatGPT plantea una pregunta vital: ¿la empresa aceptaría el dinero? Por muy clara que parezca la prohibición de OpenAI de usar ChatGPT para analizar inteligencia extranjera, la compañía se niega a decirlo. El CEO de OpenAI, Sam Altman, refirió The Intercept al portavoz de la compañía, Alex Beck, quien no quiso comentar sobre los comentarios de Chudoba ni responder a ninguna pregunta. Cuando se le preguntó cómo OpenAI haría cumplir su política de uso en este caso, Beck respondió con un enlace a la política en sí y se negó a comentar más.
«Creo que su falta de voluntad para siquiera involucrarse en la cuestión debería ser profundamente preocupante», dijo Myers, del AI Now Institute, a The Intercept. «Creo que ciertamente va en contra de todo lo que le han dicho al público sobre las formas en que están preocupados por estos riesgos, como si realmente estuvieran actuando en interés público. Si cuando entras en detalles, si no están dispuestos a hablar sobre este tipo de daños potenciales, entonces muestra la debilidad de esa postura».
Relaciones públicas
Incluso los principios éticos más claros del sector tecnológico han demostrado ser rutinariamente un ejercicio de relaciones públicas y poco más: Twitter simultáneamente prohíbe el uso de su plataforma para la vigilancia mientras la habilita directamente, y Google vende servicios de IA al Ministerio de Defensa israelí mientras sus «principios de IA» prohíben las aplicaciones «que causen o puedan causar un daño general» y «cuyo propósito contravenga los principios ampliamente aceptados del derecho internacional y los derechos humanos». Las políticas de ética pública de Microsoft señalan un «compromiso con la mitigación del cambio climático», mientras que la empresa ayuda a Exxon Mobil a analizar los datos de los campos petroleros y, de manera similar, profesa un «compromiso con los grupos vulnerables» mientras vende herramientas de vigilancia a la policía estadounidense.
Es un problema que OpenAI no podrá esquivar para siempre: el Pentágono cargado de datos está cada vez más enamorado del aprendizaje automático, por lo que ChatGPT y sus similares son obviamente deseables.
El día antes de que Chudoba hablara sobre IA en Arlington, Kimberly Sablon, directora principal de IA Directora Principal de IA Confiable y Autonomía en el Subsecretariado de Defensa para Investigación e Ingeniería, dijo en una conferencia en Hawái: «Hay muchas cosas buenas allí en términos de cómo podemos utilizar grandes modelos de lenguaje como [ChatGPT] para interrumpir funciones críticas en todo el departamento», informó la revista National Defense el mes pasado.
En febrero, el director de Inteligencia Artificial de la CIA, Lakshmi Raman, dijo ante el Club de Oficiales de Potomac, «Honestamente, hemos visto el entusiasmo en el espacio público alrededor de ChatGPT. Sin duda, es un punto de inflexión en esta tecnología, y definitivamente necesitamos [explorar] formas en las que podamos aprovechar las tecnologías nuevas y futuras».
Steven Aftergood, estudioso del secreto gubernamental y observador de la comunidad de inteligencia desde hace mucho tiempo en la Federación de Científicos Estadounidenses, explicó por qué el plan de Chudoba tiene sentido para la agencia. «NGA está inundada diariamente con información geoespacial mundial que es más de lo que un ejército de analistas humanos podría manejar», dijo a The Intercept. «En la medida en que el proceso inicial de evaluación de datos pueda automatizarse o asignarse a máquinas casi inteligentes, los humanos podrían quedar libres para tratar asuntos de particular urgencia. Pero lo que se sugiere aquí es que la IA podría hacer más que eso y podría identificar problemas que los analistas humanos pasarían por alto». Aftergood dijo que dudaba que el interés en ChatGPT tuviera algo que ver con sus habilidades de chatbot altamente populares, sino con el potencial del modelo de aprendizaje automático subyacente para filtrar conjuntos de datos masivos y sacar inferencias. «Será interesante, y un poco aterrador, ver cómo funciona», agregó.
Una de las razones por las que da miedo es que, si bien las herramientas como ChatGPT pueden imitar casi instantáneamente la escritura de un ser humano, la tecnología subyacente se ha ganado la reputación de tropezar con hechos básicos y generar respuestas aparentemente plausibles pero completamente falsas. Esta tendencia a producir tonterías con confianza y persuasión, un fenómeno de chatbot conocido como «alucinación», podría plantear un problema para los analistas de inteligencia duros. Una cosa es que ChatGPT mienta sobre los mejores lugares para almorzar en Cincinnati y otra cosa es fabricar patrones significativos a partir de imágenes satelitales sobre Irán. Además de eso, las herramientas de generación de texto como ChatGPT generalmente carecen de la capacidad de explicar exactamente cómo y por qué produjeron sus resultados; incluso el analista humano más despistado puede intentar explicar cómo llegaron a su conclusión.
Relacionado
Lucy Suchman, profesora emérita de Antropología y tecnología militarizada en la Universidad de Lancaster, le dijo a The Intercept que alimentar un sistema similar a ChatGPT con información nueva sobre el mundo representa un obstáculo adicional. «Los [modelos de lenguaje grande] actuales como los que impulsan ChatGPT son efectivamente mundos cerrados de datos ya digitalizados; como es bien sabido, los datos recopilados para ChatGPT terminan en 2021», explicó Suchman. «Y sabemos que el reentrenamiento rápido de modelos es un problema sin resolver. Entonces, la pregunta de cómo los LLM incorporarían datos en tiempo real continuamente actualizados, particularmente en las condiciones siempre caóticas y rápidamente cambiantes de la guerra, parece grande. Eso ni siquiera es para entrar en todos los problemas de estereotipos, perfiles y objetivos mal informados que plagan la inteligencia militar actual de la unidad de datos».
La falta de voluntad de OpenAI para descartar a la NGA como futuro cliente tiene, al menos, buen sentido comercial. El trabajo del gobierno, particularmente del sabor de la seguridad nacional, es extremadamente lucrativo para las empresas de tecnología: en 2020, Amazon Web Services, Google, Microsoft, IBM y Oracle obtuvieron un contrato de la CIA supuestamente por valor de decenas de miles de millones de dólares durante su vida útil. Microsoft, que ha invertido 13 mil millones de dólares en OpenAI y está integrando rápidamente las capacidades de aprendizaje automático de la compañía más pequeña en sus propios productos, ha ganado decenas de miles de millones en trabajo de defensa e inteligencia por su cuenta. Microsoft se negó a comentar.
Pero OpenAI sabe que este trabajo es muy controvertido, potencialmente tanto con su personal como con el público en general. OpenAI actualmente disfruta de una reputación mundial por sus deslumbrantes herramientas y juguetes de aprendizaje automático, una imagen pública brillante que podría ensuciarse rápidamente si se asocia con el Pentágono. «Las presentaciones correctas de OpenAI de sí mismo son consistentes con las recientes oleadas de lavado de ética en relación con la IA», señaló Suchman. «Las pautas éticas establecen lo que mis amigos del Reino Unido llaman “rehenes de la fortuna2, o cosas que dices que pueden volver a morderte». Suchman agregó: «Su incapacidad incluso para lidiar con consultas de la prensa como la suya sugiere que no están preparados para ser responsables de su propia política».
Tomado de The Intercept
Foto de portada: OpenAI en la pantalla de una computadora portátil y el logotipo de OpenAI en la pantalla de un teléfono se ven en esta foto ilustrativa tomada en Cracovia, Polonia, el 4 de mayo de 2023. Foto: Jakub Porzycki/NurPhoto a través de Getty Images
