La del 30 de noviembre de 2022 no fue una mañana como cualquiera para la mayor parte de los internautas del mundo. Ese día se lanzó ChatGPT, la herramienta de inteligencia artificial de la empresa OpenAI, cuyos efectos magnificaron la conversación pública sobre la IA y visibilizaron el potencial de esta tecnología para cualquier usuario de internet. De acuerdo a Google Trends (el servicio de Google que muestra los términos de búsqueda más populares) la búsqueda del término “Chat GPT” a nivel mundial en el buscador pasó de 2% en la semana del 27 de noviembre de 2022 a una atención de entre 90-100% en las semanas del 19 de marzo al 17 de junio de 2023. Escribo este texto a finales del mismo año y no ha bajado del 69% desde entonces. Para dimensionar estas cifras, basta compararlo con el desempeño de “Metaverse”, término relanzado por Mark Zuckerberg a fines de octubre de 2021: en el mismo servicio de búsquedas, logró posicionarse con un 93% durante los dos primeros meses, pero cayó al 27% medio año más tarde. En cualquier caso, hay ciclos: en general, estas tecnologías se vuelven famosas en el mundo digital por un tiempo y luego su popularidad cae. Pero algunas de ellas logran instalarse en el imaginario colectivo. Y a veces, en casos extremos, pueden producir un quiebre. 

Si bien la inteligencia artificial tuvo muchos momentos de fama durante la última década —en tanto esta es parte esencial de las recetas de personalización de contenidos y anuncios publicitarios en las distintas plataformas digitales—, la implementación del ChatGPT fue su momento de inflexión, equiparable a la World Wide Web que, en 1994, popularizó internet. ChatGPT se consolidó como el “momento cero” donde usuarios de distintas plataformas digitales comenzaron a interactuar, y a imaginar a la IA, de una nueva forma, más cercana y palpable.

La inteligencia artificial generativa (IAG), aquella que es capaz de crear textos o imágenes con plataformas y productos como ChatGPT, Dall-e o Midjourney, propone continuidades y rupturas con otros giros de la tecnología que han tenido un impacto en la opinión pública de los últimos ocho años. Me refiero a casos como el de Facebook, cuando decidió que sus algoritmos privilegiaran las noticias de amigos y familiares de los usuarios más que las de los medios (2016), a la victoria de la IA denominada AlphaGo en el juego de tablero go contra el surcoreano Lee Sedong (2016), o a las predicciones de las estructuras de las proteínas del programa basado en IA conocido como AlphaFold (2018). En estos ejemplos, la IA resonó en distintos ámbitos públicos, anunciando las transformaciones que esta tecnología traía al campo de la comunicación política, el entretenimiento y la biotecnología. Pero a diferencia de lo que sucedió con estos ejemplos, ChatGPT permitió no sólo amplificar la discusión pública sobre el tema, sino además hablar de la inteligencia artificial como una entidad específica, problemática y profundamente disruptiva, capaz de dar variadas respuestas a las preguntas más banales o sofisticadas de los usuarios en distintos ámbitos y disciplinas.³⁰Al igual que los ejemplos anteriores al ChatGPT 3, estos hitos en torno a la IA son todos sistemas desarrollados por grandes empresas tecnológicas: DeepMind es responsable por AlphaGo; AlphaFold fue adquirida por el grupo Alphabet; Facebook es del grupo Meta; y OpenAI pertenece a un consorcio de empresas y donantes, donde Microsoft es uno de los grandes actores corporativos que la respaldan.  

ChatGPT popularizó la IA general encarnando un chatbot en una plataforma de diseño austero, con un espacio para escribir una pregunta o consigna. Cautivó a los usuarios por su utilidad, pero también despertó los imaginarios tecnoutópicos y distópicos de ciudadanos y gobernantes. Y con razón: estas herramientas tienen retos esenciales, como el potencial real de aumentar la desigualdad económica entre personas, empresas, Estados y regiones, exacerbar las divisiones sociales y políticas, y promover una mayor concentración en la producción de conocimiento y de saberes. Sin embargo, ante este imaginario catastrófico, hay otro opuesto: uno que promete que la IA puede ayudar a promover la innovación y el crecimiento económico, y a resolver muchos otros problemas de distinta índole. Por eso, los problemas éticos del diseño de la IA —como los sesgos o la falta de transparencia y de rendición de cuentas—, y los usos que de ella se hacen dan lugar a una serie de desafíos de carácter sistémico.

En 2016, el físico británico Stephen Hawking escribió que mientras que el impacto a corto plazo de la IA depende de quiénes la controlen, el impacto a largo plazo depende de si se puede o no controlar. A partir de la IA generativa, la balanza se inclina más marcadamente a un control por parte de las grandes empresas tecnológicas, dado que son quienes tienen la capacidad de cómputo, de almacenamiento y de acceso a grandes volúmenes de datos. La posibilidad de que ese control sea ejercido por personas u organismos que no sólo representen intereses de mercado de grandes corporaciones constituye un desafío que, para abordarse, debe necesariamente incluir una visión del futuro de la humanidad y un acuerdo sobre los valores que deben imperar en el desarrollo de la tecnología.

En este capítulo abordaré las dos tensiones que señala Hawking: el actual no control con un énfasis que sobredimensiona la innovación de la IA, y la futura posibilidad de lograr encauzarla. Sobre lo primero —como ya plantean otros capítulos de este libro,  y al igual que toda tecnología— la IA está desarrollada en base a los valores de sus propios diseñadores, sus objetivos económicos, políticos y filosóficos. No existen tecnologías neutras: la decisión sobre su forma, su diseño y sus posibilidades surgen de sus creadores. Su control, por lo tanto, queda también en las mismas manos. La segunda cuestión, es decir, la pregunta sobre el futuro, implica tener una discusión sobre el despliegue de la IA desde una perspectiva humanística y antropocéntrica: esto es, desarrollada y guiada para garantizar la vida en plenitud de las personas en el planeta Tierra, que no sea depredadora del medio ambiente y los demás seres vivos, y que reconozca la fragilidad de la convivencia del ser humano en los ecosistemas del planeta y la crisis del Antropoceno.

Para abordar estas problemáticas relacionadas que navegan el discurso público de los últimos años, propongo incursionar en tres dimensiones donde se plasman los valores y los principios en torno a la IA y el capitalismo contemporáneo. La primera contempla a las personas, y en ella se cruzan tensiones vinculadas a los valores y orientaciones de los responsables del diseño de los sistemas de IA: ¿Qué criterios orientan sus decisiones? ¿Toman en cuenta a la población o geografía afectada por las decisiones de los sistemas? ¿Cómo insertan en el diseño de estos sistemas valores éticos vinculados a la equidad, la no discriminación y la transparencia?

La segunda dimensión implica contemplar las instituciones que utilizan o desarrollan IA. La discusión se encuentra monopolizada por dispositivos y artefactos visibles, como las plataformas digitales, que ponen en juego tensiones éticas basadas tanto en el solucionismo tecnológico

como en el capitalismo, que serán exploradas luego en este capítulo. El capitalismo encuentra una vía de acción en los mercados, y en el caso de los sistemas de IA estos se insertan en bienes informativos basados en la internet libre, pero también en los medios de comunicación e industrias culturales. Estas decisiones que toman las instituciones, orientadas a los mercados y a una visión sobre la tecnología como solución a los problemas, surgen en diversos ámbitos organizacionales, que además de empresas incluyen a organismos de estandarización y organizaciones de la sociedad civil. Por ejemplo, OpenAI era originalmente una fundación (OpenAI Inc.) y en 2019 se creó la empresa OpenAI LLC, con fines de lucro. Entre los organismos de estandarización vinculados con la IA se encuentra el Instituto de Ingenieros Eléctricos y Electrónicos (IEEE, por sus siglas en inglés), que ha lanzado guías que enfatizan la dimensión ética en el diseño de la IA y difunden características técnicas de los sistemas. Dentro de las organizaciones de la sociedad encontramos, por ejemplo, AlgorithmWatch, con sede en Alemania, que fue fundada en 2015 y actúa como perro guardián de los avances de la IA.

La tercera dimensión aborda lo que se conoce en la historia de la tecnología como los procesos sistémicos, que enfatizan los impactos externos y a gran escala de la IA. Analizaré esta tecnología bajo el prisma de los imaginarios sobre el futuro de la humanidad en el Antropoceno, haciendo foco en las disrupciones y, sobre todo, en América Latina. Nuestro continente no es productor de los grandes sistemas de IA, pero sí de insumos fundamentales como son los datos, y se inserta en procesos específicos de la cadena de valor de la IA.

Los sistemas de IA son hechos por personas y, aunque puede resultar una perogrullada, este es un punto de partida fundamental para poder cuestionar el sentido de estos desarrollos tecnológicos. Pero hay quienes apuestan a que en el futuro los sistemas de IA no necesariamente sean desarrollados por personas, y esta posibilidad ya está indicando una preferencia o imaginario que este capítulo propone cuestionar. 

El 22 de marzo de 2023 se publicó una carta convocada por el Future of Life Institute, a la que adhirieron casi de inmediato científicos y empresarios poderosos vinculados con el desarrollo de esta tecnología, como Geoffrey Hinton, Steve Wozniak, Yuval N. Harari y Elon Musk, donde desarrollaron preguntas centrales vinculadas al futuro de esta tecnología:

Los sistemas de inteligencia artificial contemporáneos ya compiten con los humanos en tareas generales, y debemos preguntarnos: ¿Debemos dejar que las máquinas inunden nuestros canales de información con propaganda y falsedades? ¿Debemos automatizar todos los trabajos, incluidos los más gratificantes? ¿Debemos desarrollar mentes no humanas que con el tiempo nos superen en número, inteligencia, obsolescencia y reemplazo? ¿Debemos arriesgarnos a perder el control de nuestra civilización? Estas decisiones no deben delegarse en líderes tecnológicos no elegidos. Los sistemas de IA potentes sólo deben desarrollarse cuando estemos seguros de que sus efectos serán positivos y sus riesgos controlables (Pause Giant AI Experiments, Future of Life, 2023).

Estas preguntas no son sólo esenciales por señalar preocupaciones por el futuro de la humanidad tal como la conocemos, sino también porque abren la posibilidad de cuestionar el sentido de este supuesto progreso. Este Zeitgeist³¹En alemán: espíritu de época, clima cultural e intelectual de una era. es interpelado por las preguntas que manifiesta esta carta, que explicita algunas de las principales tensiones generadas por el despliegue de la IA. Sin embargo, la gran mayoría de los firmantes —de aquellos vinculados al mundo de las empresas de IA— han seguido desarrollando los grandes experimentos que ellos mismos cuestionan. Y es que la innovación tecnológica vinculada con la IA aparece como una fuerza inexorable que los mercados no pueden dejar de explorar. Sin embargo, no todo se agota en las empresas: la inquietud también atraviesa a la comunidad open source, que, aunque no tiene una vocación marcada por los ritmos del mercado, también está buscando innovar, y rápido, en el campo de la IA.

Ante un escenario de cuestionamiento sobre el sentido de este “progreso” de la humanidad con la IA generativa, surgieron otras voces que buscan alternativas para frenar el avance distópico señalado por la carta. Parte de los desafíos de estas perspectivas es darle visibilidad y sustentabilidad a otros modelos y lógicas de diseño de los sistemas de IA. Desde una perspectiva antropocéntrica y con el foco en la dimensión de las personas que desarrollan los sistemas, la promoción explícita, formal y probada de valores éticos que se insertan en el diseño de estas tecnologías, y que se sustentan en principios como la apertura, la responsabilidad y la equidad, constituye un primer punto de partida. 

Veamos algunos ejemplos.

Geoffrey Hinton es uno de los padres de la IA contemporánea: se dedicó a investigar y expandir la aplicación de la IA basada en un diseño de redes neuronales como el cerebro humano. Se jubiló en 2023 de Google, con una salida muy comentada en la prensa internacional. Tiene una visión bastante pesimista —alineada con el postulado de Hawking sobre quién la controlará a largo plazo—, y para mitigar un posible juego de poder de la IA contra los humanos, propone un enfoque tecnológico basado en la computación analógica, tal y como se encuentra en la biología. Al igual que como ocurre con las mentes humanas, los sistemas analógicos no pueden fusionarse tan fácilmente en una especie de inteligencia de colmena. Con este modelo, cada pieza de hardware analógico es diferente, y no tiene forma de aprender de datos en otros equipos ya que no son transferibles. Hinton dice que, de esta forma, la inteligencia artificial puede ser mucho más parecida a la de los humanos.

Timnit Gebru es desarrolladora de IA, antes trabajó en Google, y apuesta por un enfoque que convoca a un colectivo para resistir los embates de lA desarrollada desde el corazón de las grandes empresas tecnológicas, y que muchos consideran que ejerce una dominación análoga a la del colonialismo reciente. Fundó una organización para hacer investigación aplicada de IA llamada DAIR ³²Distributed AI Research Institute (Instituto de Investigación en IA Distribuida), además, es un acrónimo que suena igual que desafiar (dare) en inglés. y propone enfatizar otros aspectos de la agenda tradicional. La filosofía de este instituto es la de desarrollar IA que sean relevantes para el progreso de comunidades en un sentido mucho más holístico, contemplando valores culturales e identitarios. El foco de esta organización está puesto en los grupos más marginados, incluyendo poblaciones africanas, el continente de origen de Gebru. DAIR explora dinámicas intertemporales de trabajo —que buscan equilibrios entre el mundo laboral y personal así como entre equipos en distintas geografías— enfatizando la apropiación de las comunidades de muchos de estos sistemas tecnológicos a partir de la capacitación, la dotación de recursos y el trabajo con datos para el desarrollo de sus propios sistemas. De esta manera se proponen nuevas formas en las que la IA pueda servir a las personas por fuera de la lógica de las elites tecnológicas.

Otro ejemplo de resistencias en torno a las formas de producción de sistemas tecnológicos basados en IA se produjo en el año 2019 con el acuerdo con la Cooperativa Tecnológica Cambá y el Juzgado 10 de la Ciudad Autónoma de Buenos Aires. Esta iniciativa condujo a la generación de un sistema de anonimización de expedientes judiciales mediante el uso de IA. Los valores que guiaron este proyecto estaban centrados en el desarrollo de capacidades específicas por parte de actores locales para evitar la digitalización y el entrenamiento de algoritmos por parte de multinacionales tecnológicas con información que en muchos casos es altamente sensible.

Estos casos ilustran la necesidad de control y de equilibrios esenciales que deben contemplar las personas que se embarcan en estos diseños que incluyen grandes cantidades de datos, complejas infraestructuras de computación y de nube, y por sobre todo, que requieren del talento y sentido de responsabilidad. Todos ellos plantean un enfoque más mesurado sobre la IA y buscan desafiar las profecías autocumplidas de una autonomía descontrolada de estos sistemas.

Desde un enfoque de la IA centrada en el progreso humano, el papel de las instituciones implica reconocer mecanismos formales para proteger a los individuos de los daños, así como para ayudarlos a beneficiarse del potencial de la IA. Esto involucra a las instituciones que se ocupan de los estándares técnicos de los algoritmos, así como también a aquellas que despliegan normas y principios para encauzar su uso.

Las instituciones operan con tiempos mucho más lentos que los de los líderes. En las instituciones hay procesos permanentes de negociación de normas, prácticas y adaptación a los valores éticos y sociales. Mientras que una científica, o un juez, puede tener muy clara la visión y el objetivo de determinado sistema de IA, cuando esto debe escalarse a una organización o institución, emergen las fricciones: ¿debe regularse la IA? En caso afirmativo, ¿cómo? ¿Quiénes son las autoridades más competentes? ¿Tiene Argentina o América Latina un modelo a seguir? ¿Cuánto debe continuarse de lo iniciado por los mecanismos europeos? Pero las preguntas también pueden ser mucho más específicas y corresponder, por ejemplo, a las decisiones de una compañía en la priorización de sus algoritmos para el desarrollo de determinados servicios y productos. Este fue el caso de Facebook, cuando entre 2015 y 2016 priorizó en su algoritmo de modo tal que tuvieran más jerarquía los contenidos de amigos que las noticias externas a la plataforma. Este fue un hito que estudiosos del fenómeno —y grandes medios de prensa como The New York Times o The Guardian— catalogaron como un antes y un después en torno al consumo de noticias en esta plataforma. Facebook dejó de recibir tráfico proveniente de los medios de comunicación en los años siguientes y se instaló como un espacio para el consumo de información de pares o usuarios individuos. Este giro fue mucho más que uno de los múltiples “tuneos” de los algoritmos en plataformas digitales, y se ha destacado como una de las causas centrales en escándalos como el de Cambridge Analytica.³³La consultora británica en comunicación estratégica Cambridge Analytica ha estado involucrada con el uso de datos —incluso muchos prohibidos por los términos de uso declarados por plataformas como Facebook— para desarrollar campañas de comunicación política dirigidas. Fue contratada para los candidatos que apoyaron la campaña a favor del Brexit en Reino Unido, así como por el grupo de asesores de Donald Trump en 2016, pero también ha estado involucrada en elecciones controvertidas en Trinidad y Tobago, Kenia y Argentina, entre otros casos. Fue un evento que signó un cambio de época: entrábamos en la era de la “eficacia” de las campañas de desinformación.

Desde las instituciones públicas, el uso de algoritmos es particularmente sensible. De hecho, es un espacio donde pueden ocurrir los mayores abusos, como pasó con la autoridad impositiva de los Países Bajos. En 2019 se reveló que las autoridades fiscales de ese país habían utilizado un algoritmo de aprendizaje automático para crear perfiles de riesgo, en un esfuerzo por detectar fraudes en las prestaciones de cuidado infantil en un sistema informático que había sido implementado en 2013. Las autoridades penalizaron a varias familias ante la mera sospecha de fraude basada en los indicadores de riesgo del sistema. Estos indicadores de riesgo habían sido desarrollados por la autoridad fiscal y no por autoridades de educación o protección social, y los principales marcadores eran la doble nacionalidad y los bajos ingresos. De pronto, miles de familias, la mayoría con rentas más bajas o pertenecientes a minorías étnicas, se volvieron pobres por deudas exorbitantes con la agencia tributaria. Algunas víctimas se suicidaron y más de mil niños fueron llevados a hogares externos a sus familias. Los efectos de un sistema sin revisión de sesgos, sin controles efectivos por parte de las personas de la autoridad tributaria con las familias involucradas y sin un abordaje integral con otras agencias con competencia sobre la temática, convirtieron este caso en uno de los más citados de mala práctica de usos de sistemas de IA, donde se vulneraron derechos y no se contemplaron principios éticos fundamentales para la implementación de estos sistemas.

Los principios éticos han sido una de las herramientas más desarrolladas por organismos de distinta índole —desde organizaciones de la sociedad civil, empresas como Google, hasta organismos intergubernamentales como la UNESCO o la OCDE— para encauzar el desarrollo de la IA, generar consensos y consolidar una mirada de futuro. Más de 70 documentos sobre principios éticos fueron mapeados en 2020 y analizados en un trabajo coordinado por investigadores de la Universidad de Harvard. La mayoría muestra importantes concordancias, agrupando sus contenidos en temáticas como privacidad, justicia y no discriminación, promoción de valores humanos, responsabilidad profesional, control humano de la tecnología, transparencia y explicabilidad, seguridad y rendición de cuentas. Con el objetivo de generar consenso en torno a principios éticos, tales como la transparencia, la no discriminación y la justicia, muchas declaraciones también invocan  directamente los derechos humanos, como es el caso de la “Recomendación sobre la ética de la inteligencia artificial” de UNESCO (2021). 

A medida que la IA se volvió más visible y accesible a la población, comenzaron a desarrollarse regulaciones más específicas en la materia. En la actualidad estamos viviendo una carrera por la regulación, como señala Nathalie Smuha, de la Universidad de Leuven en Bélgica, una de las coordinadoras de las guías para una IA confiable que desarrolló la Unión Europea en 2019, punto de partida fundamental de la ley europea de IA aprobada finalmente en diciembre de 2023. Veamos un poco más en detalle esta ley, puesto que puede servir de norte que oriente otras legislaciones del mundo.  

Esta ley tiene como objetivo garantizar que los sistemas de IA que sean utilizados en esa región sean seguros, transparentes, trazables y responsables (accountable), no discriminatorios y respetuosos con el medio ambiente. Además, los sistemas de IA deben ser supervisados por personas y no delegar decisiones de alto impacto, para evitar resultados nefastos como el del sistema de la autoridad fiscal de Países Bajos.

El rasgo distintivo de la ley europea de IA con respecto a las discusiones que se dan en otros contextos es que establece obligaciones para proveedores y usuarios en función del nivel de riesgo de la inteligencia artificial involucrada, y aunque muchos sistemas plantean un riesgo mínimo para los usuarios, es necesario evaluarlos. De acuerdo a la clasificación que reciben, se aplican diversos abordajes regulatorios. 

El primer nivel de riesgo es catalogado como inaceptable. Estos son aquellos que constituyen una amenaza social a gran escala y, por ende, están prohibidos. La manipulación cognitiva del comportamiento de personas o grupos vulnerables específicos es uno de estos: por ejemplo, juguetes activados por voz que fomentan comportamientos peligrosos para los niños. Otra práctica prohibida es la clasificación ciudadana de personas en función de su comportamiento, estatus socioeconómico o características personales. Varias de las características que prohíben este uso son para prevenir sistemas distópicos que puedan generarse incluso en sistemas democráticos. Por ejemplo, el sistema de crédito social del gobierno de China —si bien aún no está íntegramente desarrollado— tiene un claro objetivo de disciplinar a la población. Este sistema de crédito social busca no sólo conocer y cruzar información vinculada a la capacidad de pago de las personas, sino también modificar patrones de conducta bajo principios considerados moralmente aceptables. Así, fomenta pautas de comportamiento consideradas como positivas, asignando puntos por cumplir con un crédito financiero, pero también por comunicar mensajes a favor del gobierno en redes sociales, donar sangre o cuidar a adultos mayores, y penaliza comportamientos como protestar contra el gobierno, cometer infracciones de tránsito o compartir rumores en internet. El sistema no está acabado y hasta ahora su alcance se da a nivel de las organizaciones y empresas más que a todas las personas en ese país. Pero no hay que ir a China para encontrar ejemplos: también hay empresas de Silicon Valley que han desarrollado sistemas de vigilancia de sus empleados, incluyendo el monitoreo emocional, lo que estaría prohibido bajo esta ley.

Ningún sistema de esta naturaleza podría funcionar sin una IA que logre identificar a las personas y cruzar millones de puntos de datos en segundos, por eso es una tecnología esencial en este tipo de aplicaciones. En esta categoría de riesgos inaceptables también se encuentran los usos de sistemas de identificación biométrica en tiempo real y a distancia, como el reconocimiento facial cuando una persona circula por el espacio público como calles, plazas, o estaciones de tren. Esto no significa que la tecnología de reconocimiento facial se encuentre prohibida, sino que se prohíbe su uso para fines de identificación en tiempo real en espacios públicos, que son contextos donde las personas no pueden dar su consentimiento explícito, ni tampoco conocen cuál es el uso que se hará de esos datos. La ley permite excepciones, como los sistemas de identificación biométrica a distancia a posteriori, en los que la identificación se utiliza para perseguir delitos graves, pero sólo con previa aprobación judicial.

En el segundo nivel de clasificación están los sistemas de alto riesgo, aquellos que afectan negativamente la seguridad o los derechos fundamentales, y se dividen en dos grupos: en el primero están los sistemas de IA que se utilizan en productos incluidos en la legislación de la Unión Europea sobre seguridad de los productos (juguetes, aviación, automóviles, dispositivos médicos y ascensores). El segundo grupo, vinculado con los derechos humanos, implica sistemas de IA que trabajen con identificación biométrica y categorización de personas físicas; gestión y explotación de infraestructuras críticas; educación y formación profesional; empleo, gestión de trabajadores y acceso al autoempleo; acceso y disfrute de servicios privados esenciales, y servicios y prestaciones públicas; cumplimiento de la ley; gestión de la migración, el asilo y el control de fronteras; asistencia en la interpretación jurídica y la aplicación de la ley. Todos los sistemas de IA de alto riesgo deben registrarse en una base de datos de la Unión Europea y serán evaluados antes de su comercialización y también a lo largo de su ciclo de vida.

La legislación incluye también un apartado específico sobre la IA generativa como ChatGPT, que contiene varios requisitos de transparencia: por ejemplo, el sistema debe revelar cuando un contenido ha sido generado por IA, diseñar el modelo para evitar que genere contenidos ilegales y publicar resúmenes de los datos protegidos por derechos de autor utilizados para el entrenamiento. La ley abre además un frente interesante para la discusión sobre los datos fundacionales para el entrenamiento de grandes modelos de lenguaje basados en IA. ¿De dónde salen estos “mares” u “océanos de datos”, como se han catalogado metafóricamente? En el caso de ChatGPT, se entrenó sobre datos de la web abierta, pero ¿qué sucede con los permisos, y qué va a pasar con los próximos modelos para otras aplicaciones? Aspectos como propiedad intelectual, transparencia y equidad son fundamentales en los tiempos de la IA generativa.

 El tercer nivel está compuesto por sistemas de IA de riesgo limitado, que deben cumplir con unos requisitos mínimos de transparencia para permitir a los usuarios tomar decisiones con conocimiento de causa. El objetivo es que, tras interactuar con las aplicaciones, el usuario pueda decidir si desea seguir utilizándolas. Por eso, los usuarios deben ser conscientes de cuándo están interactuando con una IA. Esto incluye los sistemas de IA que generan o manipulan contenidos de imagen, audio o video, por ejemplo, los deepfakes

. 

Esta ley ha tardado más de dos años en discutirse y aprobarse en Europa, y sienta un precedente muy contundente para otras jurisdicciones, ya que es la primera de su tipo. Si bien muchos países, incluyendo los latinoamericanos, seguirán un rumbo específico propio, es de esperar que la ley europea tenga un fuerte impacto fuera de sus fronteras, como ha sucedido con otras leyes del ámbito digital en el pasado.³⁴Por ejemplo, el Convenio sobre cibercriminalidad de Budapest (2004) y la Ley General de Protección de Datos Personales (2018). De hecho, en algunos países de América Latina se están desarrollando proyectos de ley sobre la IA en los que se exploran otros puntos de partida para su reglamentación, basándose en los derechos humanos más que en los riesgos.

El despliegue de la institucionalidad para el abordaje de la IA en América Latina aún tiene un largo camino por delante. Esto es especialmente relevante en un contexto donde la industria de la IA se encuentra cada vez más concentrada en empresas que tienen capacidad de captura, almacenamiento y poder computacional a gran escala para desarrollar estos modelos y promover mercados digitales, que, a su vez, se encuentran mayormente en Estados Unidos y China. Salvo Brasil y México (por el gran tamaño de ambos), la región no posee mercados nacionales relevantes como para poder desarrollar nuevas condiciones y definir normas o reglas de juego. Si actuara en conjunto, o por lo menos más coordinadamente, la esfera de la IA regional se ampliaría notoriamente, tanto para poder desarrollar modelos propios como para entablar otras conversaciones con las grandes empresas internacionales. Ha habido intentos en 2023 —propiciados por la UNESCO y el Banco de Desarrollo de América Latina y el Caribe (CAF)— para favorecer una coordinación regional en materia de marcos éticos, regulatorios y políticas sobre la IA, pero esta iniciativa aún debe consolidarse.³⁵Hoy apenas se esboza la tímida creación de un Grupo de Trabajo para el desarrollo de la IA en la región, que congrega a 25 países.  

En América Latina, y más allá de las respectivas iniciativas que los países están tomando, tanto con proyectos de ley como con el desarrollo de planes y estrategias nacionales, la sociedad civil también está planteando abordajes regionales. Estos se encuentran basados en distintos instrumentos, algunos vinculados con las recomendaciones propuestas por la Comisión Interamericana de Derechos Humanos (CIDH), donde se pone el foco en el respeto de los derechos humanos, y en particular se expresa la preocupación por una esfera pública digital controlada por algoritmos, que a su vez son desarrollados por grandes empresas. En estos ámbitos, la discusión va más allá de la cuestión del monopolio informativo y empieza a enfocarse en los riesgos. La desalgoritmización de la esfera pública informativa y la transparencia algorítmica emergen como claves fundamentales. Para lograr estos objetivos es necesario trabajar en varios frentes, no sólo el normativo o regulatorio, que incluyan nada más y nada menos que establecer nuevas lógicas en torno a lo (no) aceptable de las prácticas del ecosistema informativo contemporáneo. Esto implica, claro, un desafío: para establecer nuevas lógicas hace falta desarrollar un nuevo sentido común, cambiar la sociedad y lograr cuestionar este orden que es tomado como “natural” por las generaciones que nacieron con internet. Si esto fuera poco, además debe trascender las fronteras nacionales, porque esta esfera pública de información va más allá de los límites territoriales a los que tradicionalmente fueron sujetos los medios de comunicación en el manejo de la información durante los siglos anteriores.

La dimensión sistémica de la IA contiene las narrativas y marcos globales, y los enfoques (instituciones, derecho internacional y tratados) relativos a los acuerdos de poder, el medio ambiente, la sostenibilidad, la democracia y los derechos humanos. Esta macro dimensión también considera el momentum tecnológico que el historiador Thomas Hughes define como las relaciones recíprocas entre una sociedad, una tecnología y el contexto temporal en el que tienen lugar. 

Con el concepto de momentum tecnológico, Hughes no adhiere a una visión estrictamente tecnodeterminista —es decir, una visión que sostiene que la tecnología determina los eventos sociales—, ni tampoco a los constructivistas sociales, que enfatizan que son las personas y sus valores quienes impulsan determinadas tecnologías. El autor propone, en cambio, analizar cómo influyen tanto la sociedad como la tecnología en un tiempo histórico particular, y sostiene que los grandes sistemas sociotécnicos pueden ganar “impulso” casi en forma imperceptible. 

Desde esta visión, a veces parece que algunos de estos sistemas tienen autonomía y no pueden detenerse o, al menos, se resisten al cambio. Sin embargo, Hughes sostiene que esto se debe simplemente a que un gran número de grupos sociales (como empresas, gobiernos, industrias y consumidores) tiene razones financieras, de capital, de infraestructura e ideológicas para mantener esos sistemas en funcionamiento. Una vez que se han implantado ciertos sistemas de gran envergadura, existe una inercia para mantenerlos en funcionamiento e innovar “en los bordes”, en lugar de realizar cambios radicales o abandonarlos por completo. Dicho de otro modo: la inversión de dinero, esfuerzo y recursos necesaria para desarrollar sistemas tecnológicos crea unas condiciones que los hacen resistentes a posteriores intentos de cambiarlos. Basta con mirar la dependencia que todavía tenemos en los sistemas de electrificación, los cuales perduraron en el tiempo en base a condiciones de diseño que contemplaron invención tecnológica, pero también entramados urbanos específicos, como detalla el mismo Hughes.  

En el caso de la IA, se puede decir que estamos precisamente en ese punto en el que es necesario promover una visión sistémica que permita encauzar la dirección de este momento tecnológico. También porque es indisociable de otros sistemas tecnológicos que refuerzan y retroalimentan condiciones existentes para la implementación y desarrollo de IA, ya sea de poder político y económico, acceso a infraestructura tecnológica o capacidad de almacenamiento de datos, entre otros. El feedback loop se vuelve palpable entre los gigantes tecnológicos digitales de principios del siglo XXI y las condiciones actuales de desarrollo de la IA, ya sean modelos de producción, dinámicas sociales de consumo o nuevos mercados de trabajo.

La visión sistémica retoma los niveles institucionales e individuales desarrollados previamente y permite dejar de naturalizar que el futuro de una IA por fuera del control humano, como advirtió Hawking, sea un hecho. Así, funciona como una lente que ayuda a situar las especificidades del ámbito de la IA en una narrativa social más amplia, en la que se cuestionan los factores y mecanismos de producción de sentido, conocimiento y valor social. Utilizar un lente sistémico reivindica las repercusiones sociales más amplias de estas tecnologías y aporta un marco temporal que explora y cuestiona el pasado para entender claves del presente, y se compromete reflexivamente con los escenarios actuales y futuros. Sin ir más lejos, la carta del Future of Life Institute que instó en 2023 a pausar la experimentación sobre los modelos de IA generativa —que cité previamente— toma una perspectiva sistémica en cuanto reivindica avanzar con cautela.

La mirada sistémica también se enfoca en los riesgos y los daños sociales que se producen cuando se ven afectados valores como la democracia o los derechos humanos consagrados en el siglo XX. El énfasis no se pone solamente en los intereses de un individuo o colectivo(s), sino que asume una perspectiva más holística de la sociedad en su conjunto. Porque reconocer el impacto social de la IA no puede equipararse a reconocer la suma de los daños individuales. En consecuencia, los responsables políticos que pretenden analizar las lagunas jurídicas en el marco legislativo aplicable a los sistemas de IA y otras tecnologías basadas en datos a menudo no tienen en cuenta esta discrepancia, o no son capaces de abordar este desafío: se debaten entre la protección de los recursos individuales y el resguardo de los intereses sociales que sean negativamente afectados. La dismorfia corporal, que tiene efectos concretos sobre algunas personas usuarias de redes sociales, los efectos a nivel social amplio, como la magnificación de los discursos de odio, el aumento de las campañas de desinformación y una mayor polarización en la sociedad son fenómenos de distinta naturaleza, y por ello una regla general no alcanza para abordarlos.

Desde una perspectiva jurídica, el estudio sobre los daños sociales y sistémicos de la IA es mucho más complejo de llevar a cabo, ya que los límites del impacto de la IA en los intereses sociales son menos tangibles y, por lo tanto, más difíciles de conceptualizar en términos legales. En consecuencia, los responsables políticos corren el riesgo de realizar un análisis incompleto de las lagunas legales que deben abordar para garantizar una protección integral contra los efectos adversos de la IA. Además, al pasar por alto la dimensión social, las medidas legales que puedan proponer para abordar las lagunas del marco jurídico pueden resultar igualmente inadecuadas. Este riesgo es especialmente destacado dado el enfoque predominantemente individualista del sistema jurídico actual. Por ejemplo, en marzo de 2023 un hombre en Bélgica que usaba un chatbot terapéutico llamado Eliza se suicidó. Su mujer alega que el suicidio estuvo vinculado al uso del chatbot.³⁶El hombre se limitó durante semanas a mantener conversaciones “frenéticas” con el programa informático, que le creaba la ilusión de tener una respuesta a todas sus inquietudes, según informó su esposa. Al parecer, Eliza nunca lo contradecía, y tampoco lo hizo cuando este sugirió la idea de “sacrificarse” si ella aceptaba salvar a la humanidad y al planeta. Este hecho puede enfocarse buscando reparar el daño individual que esta aplicación pudo haber generado en la familia de la persona, pero desde una mirada sistémica implicaría considerar también el desarrollo de esta aplicación, su propósito y sus consecuencias más amplias. Es decir, independientemente de la reparación sobre lo sucedido, un enfoque sistémico debería prevenir la posibilidad de que un sistema, potencialmente, amplifique conductas de autoeliminación.

Los académicos Acemoğlu y Johnson (economista e historiador, respectivamente) publicaron en 2023 Poder y progreso. Nuestra lucha milenaria por la tecnología y la prosperidad, una obra que reivindica una mirada sistémica —desde una perspectiva histórica y económica— sobre los efectos de la IA. La obra desarrolla el momento crítico de la IA en relación con otras tecnologías y las visiones de los emprendedores que desafiaron los códigos sociales y las lógicas del mercado de ese momento. Los autores se remontan a siglos anteriores, como el XIX, para mostrar cómo la visión de los emprendedores asociados a la modernización tecnológica tomó al mundo por asalto y se pensaron emprendimientos faraónicos —por ejemplo, la construcción del canal de Suez y, posteriormente, el canal de Panamá—. Acemoğlu y Johnson sostienen que estos dos casos son una lección en torno a la responsabilidad que debe asumirse en relación a los proyectos sobre desarrollo y tecnología, ya que tuvieron un altísimo costo en vidas humanas y pérdidas económicas para miles de pequeños inversores que apostaron al frustrado proyecto de Lesseps, el empresario francés involucrado en ambos. En la misma tónica que la carta de los emprendedores y científicos que pedía una moratoria en el avance de la IA generativa, estos autores argumentan que estas grandes decisiones no deben delegarse en líderes tecnológicos que no han sido electos. Sostienen que los sistemas de IA que avanzan hacia una IA general, como los que se ven emerger en el último año, sólo deben desarrollarse cuando haya mayor certeza de que sus efectos serán positivos y sus riesgos, controlables.

Tras años de tecnoptimismo, y aún con ChatGPT resonando en todas partes, el capitalismo digital también se enfrenta a una crisis de legitimidad. Los gigantes tecnológicos, durante mucho tiempo proclamados como agentes que llevarían adelante la transformación del capitalismo, el progreso, y el bienestar fueron descriptos como los tipos BAADD: grandes, anticompetitivos, adictivos y destructivos para la democracia.³⁷Acrónimo de Big Anti-Competitive, Addictive and Destructive to Democracy, en The Economist (2018). Hace años que académicos, activistas, y políticos piden más regulación, y llaman la atención a los gigantes tecnológicos por sus prácticas empresariales dañinas, extractivas y monopolísticas. En la era de la IA generativa, esta revisión se vuelve apremiante. Por ello cada vez más voces se alzan ya no desde la crítica del ludismo, o desde el tecnoescepticismo, sino con un lente que incluye un diagnóstico de distopía y de destrucción inminente, donde la única forma de abordaje es una revisión a escala civilizatoria.

Pero ¿acaso la IA no traerá beneficios impensados para la humanidad, como la cura de múltiples enfermedades? ¿No podrá predecir catástrofes climáticas y ayudar a prevenir desastres diversos? ¿Acaso no liberará a la humanidad de trabajos tediosos y repetitivos? Todo ese repertorio de posibilidades son parte esencial de los motores que hoy movilizan un intenso debate y donde se promueven visiones dicotómicas como “más regulación es menos innovación”. Si bien la industrialización de los últimos tres siglos ha generado un mayor bienestar de la población y expectativa de vida, esto no ocurrió por la innovación tecnológica en sí misma, sino, como sostienen varios autores, porque hubo un esfuerzo realizado por personas y organizaciones que trabajaron para que esos beneficios no quedaran disponibles sólo a las elites, sino que se distribuyeran en la población.

También son varios los autores que denuncian los grandes procesos de transformación política y económica global, y una desigual distribución de los beneficios y riqueza debido a la expansión de las tecnologías digitales, especialmente aquellas basadas en IA y sistemas tecnológicos asociados. En estos abordajes, la innovación tecnológica se encuentra retratada como un proceso provocado por incentivos científicos y tecnológicos, pero también por la influencia de estímulos económicos, organizados en torno a los mercados contemporáneos del mundo occidental y oriental más rico. Dicho de otro modo, a la innovación debe mirársela con una lente crítica y ponerla siempre en el contexto que le corresponde, es decir, el de una mayor concentración de riqueza y de poder a nivel global. 

La expansión de los beneficios de la innovación tecnológica, especialmente aquella basada en sistemas de IA, tiene un vínculo estrecho con la propia idea de la innovación, actualmente basada en el desarrollo de mercados. Los modelos que describen la innovación como un proceso lineal de factores causales que redundan en un beneficio directo para todos ya no son considerados viables, en tanto la innovación tecnológica se ha revelado como es realmente: compleja, variable y difícil de medir. Exige una estrecha coordinación de conocimiento técnico adecuado y excelentes criterios de mercado. Además, como señalan varios estudios, la mayor parte de las innovaciones que se registran en las oficinas de patentes del mundo están motivadas por la percepción de las necesidades del mercado en una proporción mucho más alta que la percepción de las oportunidades técnicas. Y esto no es un detalle menor. Si la innovación tecnológica como uno de los motores centrales de la economía contemporánea está basada primordialmente en criterios de mercado, y no tiene capacidad de contemplar una mirada más sistémica que incluya los efectos negativos, es relevante apelar contra esta lógica, incluir otros criterios, tomar otras decisiones. Las motivaciones vinculadas a la promoción de los derechos humanos, el desarrollo de las personas, y el desarrollo sostenible son cada vez más relevantes a la hora de pensar en los rumbos de la innovación. 

En este capítulo he recorrido un camino que busca mostrar cómo la IA puede ser abordada con un lente crítico, a la vez que integral. No alcanza con que un sistema de IA beneficie a unos pocos si las consecuencias sociales y globales no se ajustan a un desarrollo más equilibrado de la humanidad como conjunto. También he buscado mostrar cómo la IA no tiene una agencia o accionar propio, sino que se despliega y avanza porque está regida por fuertes intereses, a la vez que se encuentra inserta en sistemas tecnológicos que van desde plataformas digitales de información, hasta aplicaciones de la vida cotidiana, robots y dispositivos específicos para múltiples usos. Los efectos de los sistemas de IA dependen tanto del contexto en el que se crean como del contexto en que se usan.

Esto ya fue dicho, pero hay que repetirlo: como toda tecnología, la IA no es neutra. Por lo tanto, si mejoramos nuestra capacidad de comprender y actuar sobre las decisiones que hoy se toman en torno a su desarrollo y uso, estaremos más preparados para encauzarla y resistir a los avances que no respeten los derechos humanos, ni construyan  un futuro digno y justo para las personas. 

Las decisiones en torno a la IA no deben quedar en manos de quienes hoy tienen la capacidad de desarrollar algoritmos efectivos ni aquellos que tienen infraestructura de cómputo, nubes informáticas, plataformas digitales o redes de comunicación. 

La IA tampoco debe ser un instrumento de gobiernos para controlar, vigilar u oprimir a la ciudadanía. 

La IA debe ser discutida públicamente, abordada en espacios comunes y por todos los actores. Porque al final de cuentas no es un problema de tecnología, ni de desarrollo científico, ni de mercado, sino que es un problema de la sociedad como conjunto.