Cuando el algoritmo discrimina: sesgos, violencias y resistencias tecnológicas desde una mirada afrofeminista

La tecnología no es neutra. Toda herramienta digital se diseña dentro de un marco cultural, económico y político. Cuando ese marco es patriarcal y racista, las herramientas reproducen esas lógicas. No se trata de un fallo técnico. Se trata de una continuidad histórica.

La inteligencia artificial aprende de datos generados por sociedades desiguales. Si los datos contienen desigualdad, el algoritmo la replica. Si los equipos de desarrollo carecen de diversidad, las preguntas que hacen y las soluciones que proponen estarán sesgadas desde el origen. Leer la tecnología desde una perspectiva de género y raza no es un ejercicio académico. Es una necesidad política. Las mujeres negras y racializadas están en la intersección de múltiples sistemas de opresión y los algoritmos reproducen esa intersección.

La pregunta que vertebra este texto es directa. ¿Puede existir tecnología libre de las violencias que atraviesan la sociedad?

La política del algoritmo

Un algoritmo es un conjunto de instrucciones que procesa datos para producir un resultado. En apariencia, una operación neutral. En la práctica, cada decisión del proceso está condicionada por las personas que lo diseñan, los datos que lo alimentan y los objetivos que lo programan.

La cadena es directa. Datos sesgados producen decisiones sesgadas. Cuando un sistema de inteligencia artificial se entrena con datos históricos que reflejan discriminación, el sistema aprende a discriminar. No porque «se equivoque». Porque hace exactamente lo que se le ha enseñado.

Los datos del pasado diseñan el futuro. Si el pasado fue desigual, el futuro automatizado también lo será.

Para entender cómo funciona esta cadena en la práctica, cinco casos documentados y verificables.

Amazon (2018) — el algoritmo que no quería mujeres

En 2014, Amazon creó un equipo en su sede de ingeniería de Edimburgo para desarrollar una herramienta de inteligencia artificial que automatizara la selección de personal. El sistema aprendía de los currículos recibidos por la empresa durante los diez años anteriores y puntuaba a las personas candidatas de una a cinco estrellas.

El sector tecnológico está dominado por hombres. En 2018, el 63% del personal de Amazon era masculino. La mayoría de los currículos del conjunto de entrenamiento provenían de hombres. El sistema aprendió que «candidato ideal» significaba «hombre».

El algoritmo penalizaba currículos que incluyeran la palabra «women’s» (por ejemplo, «captain of women’s rugby team»). Penalizaba a graduadas de universidades exclusivamente femeninas. Favorecía verbos asociados a perfiles masculinos como «executed» o «captured».

Amazon intentó corregir el sistema. No pudo garantizar neutralidad de género. Abandonó el proyecto en 2017.

El algoritmo no inventó el sexismo. Lo encontró en los datos y lo amplificó.

Fuente: Jeffrey Dastin, «Amazon scraps secret AI recruiting tool that showed bias against women», Reuters, 10 de octubre de 2018.

COMPAS — el algoritmo que criminaliza personas negras

COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) es un algoritmo utilizado en juzgados de Estados Unidos para predecir la probabilidad de reincidencia criminal. Los jueces lo utilizan para tomar decisiones sobre fianzas y sentencias.

En mayo de 2016, la organización periodística ProPublica analizó las puntuaciones de riesgo asignadas a más de 7.000 personas detenidas en el condado de Broward, Florida. Los resultados revelaron disparidades raciales graves.

Las personas negras tenían casi el doble de probabilidad de ser clasificadas erróneamente como alto riesgo de reincidencia. Las personas blancas tenían más probabilidad de ser clasificadas erróneamente como bajo riesgo cuando luego sí reincidían. La precisión global del sistema era de aproximadamente el 60%, similar a lanzar una moneda al aire.

ProPublica documentó un caso emblemático. Brisha Borden, mujer negra de 18 años, fue clasificada como alto riesgo tras un delito menor. Vernon Prater, hombre blanco de 41 años con antecedentes de robo a mano armada, fue clasificado como bajo riesgo. Dos años después, Borden no había cometido ningún nuevo delito. Prater cumplía una condena de ocho años por robo.

Investigadoras de Stanford, Cornell, Harvard y Carnegie Mellon demostraron que es matemáticamente imposible que un algoritmo sea justo según todas las definiciones de justicia al mismo tiempo. COMPAS demuestra que la «neutralidad» de un algoritmo puede encubrir una discriminación estructural.

Gender Shades — el rostro invisible de las mujeres negras

Joy Buolamwini, investigadora del MIT Media Lab, descubrió el problema mientras trabajaba en un proyecto artístico: el software de reconocimiento facial no detectaba su rostro negro. Solo la reconocía cuando se ponía una máscara blanca. Denominó este fenómeno coded gaze («mirada codificada»): los prejuicios de quienes diseñan la IA se inscriben en el código.

En 2018, Buolamwini y Timnit Gebru publicaron el estudio Gender Shades. Analizaron tres sistemas comerciales de análisis facial de grandes empresas tecnológicas. La tasa de error para hombres de piel clara era del 0,8%. Para mujeres de piel oscura, la tasa de error alcanzaba el 34,7%. El sistema fallaba 43 veces más con mujeres negras que con hombres blancos.

Las consecuencias son reales. Robert Williams, Nijeer Parks, Porcha Woodruff y Randall Reed fueron detenidos erróneamente en Estados Unidos por fallos del reconocimiento facial. Todas las personas identificadas erróneamente eran de piel oscura.

Buolamwini fundó la Algorithmic Justice League para promover la equidad en IA.

Fuente: Joy Buolamwini y Timnit Gebru, «Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification», Proceedings of Machine Learning Research, 2018. Documental Coded Bias (Netflix/PBS, 2020).

Traducción automática — cuando el algoritmo borra el femenino

Cuando Google Translate traduce desde idiomas sin género gramatical (turco, húngaro, finlandés) a idiomas con género (español, inglés, francés), el sistema asigna género según estereotipos.

La frase «o bir doktor» en turco (es médico/a) se traducía como «He is a doctor». La frase «o bir hemşire» (es enfermero/a) se traducía como «She is a nurse». El sistema asignaba masculino a profesiones de prestigio y femenino a profesiones de cuidado.

En la traducción entre lenguas europeas, una investigación de AlgorithmWatch demostró que Google Translate cambiaba sistemáticamente el género: «die Präsidentin» (la presidenta en alemán) se traducía como «il presidente» (el presidente en italiano).

Google lo reconoció. En diciembre de 2018, introdujo traducciones con ambos géneros para algunas palabras. Reconoció que su sistema reproducía sesgos de género históricos. Logró reducir un 90% el sesgo en traducciones del húngaro, con hasta un 40% de casos sin corregir.

Fuente: Prates, Avelar y Lamb, «Assessing gender bias in machine translation: a case study with Google Translate», Neural Computing and Applications, 2019.

Safiya Noble — la opresión algorítmica

Safiya Umoja Noble, profesora de Estudios de Género y Estudios Afroamericanos en la UCLA, recibió la beca MacArthur («premio Genius») en 2021.

En 2011, Noble buscó en Google «black girls». El 80% de los resultados de la primera página eran pornografía o contenido hipersexualizado. Cuando buscó «white girls», los resultados eran radicalmente diferentes.

Su libro Algorithms of Oppression analiza cómo los motores de búsqueda no son neutros. Privilegian la blanquitud y discriminan a las personas racializadas, especialmente a las mujeres. Noble acuñó el término opresión algorítmica para describir cómo los fallos de datos afectan específicamente a personas racializadas y mujeres. No se trata de errores aleatorios. Son patrones sistemáticos que reflejan y refuerzan desigualdades históricas.

Como ella misma explica: los algoritmos ahora hacen el trabajo curatorial que antes hacían bibliotecarias y docentes. Si ese trabajo reproduce racismo, la tecnología no nos lleva al futuro. Nos devuelve al pasado.

El sesgo no es un fallo. Es continuidad histórica. Los cinco casos demuestran que la discriminación algorítmica no es un accidente técnico. Es la reproducción automatizada de las jerarquías de género, raza y clase que organizan nuestras sociedades.

Violencias tecnológicas — la extensión digital de la opresión

Las violencias tecnológicas no son un fenómeno aislado. Son la extensión digital de violencias que ya existen en el mundo físico. La tecnología las amplifica, las automatiza y las hace más difíciles de combatir.

Hipersexualización algorítmica

Como demostró Noble, los motores de búsqueda asocian sistemáticamente a las mujeres negras con contenido pornográfico o sexual. Esta hipersexualización no es nueva. Tiene raíces en la esclavitud, cuando los cuerpos de las mujeres negras eran tratados como propiedad y como objetos sexuales. La tecnología digital reproduce esa mirada colonial.

Estereotipos automatizados

Los sistemas de IA generativa reproducen estereotipos visuales y textuales. Cuando se les pide generar imágenes de «una persona exitosa» o «un médico», tienden a producir imágenes de hombres blancos. Cuando se les pide «una persona limpiando» o «una persona cuidando niños», tienden a producir imágenes de mujeres, frecuentemente racializadas. No son errores. Son el reflejo de los datos de entrenamiento.

Exclusión algorítmica

La exclusión adopta múltiples formas. Los sistemas de contratación automatizada filtran candidaturas de mujeres. Los sistemas de evaluación de riesgo criminalizan desproporcionadamente a personas negras. Los sistemas de reconocimiento facial no detectan rostros de mujeres negras. Los traductores automáticos borran el femenino de las profesiones de prestigio. En todos los casos, la consecuencia es la misma: la IA decide que ciertas personas no existen, no importan o son peligrosas.

Deepfakes — violencia sexual digital

Los datos son demoledores. El 98% de todos los vídeos deepfake en internet son pornografía no consentida. El 99% de las víctimas son mujeres. En 2023, el número de vídeos pornográficos deepfake aumentó un 464% respecto a 2022.

Crear un vídeo deepfake pornográfico de 60 segundos requiere una sola imagen del rostro de la víctima, menos de 25 minutos y coste cero.

En enero de 2024, imágenes deepfake de Taylor Swift fueron vistas 47 millones de veces en X antes de que la cuenta fuera suspendida. El problema afecta cada vez más a menores.

En EE.UU. no existe todavía una ley federal específica. En Reino Unido, la Online Safety Act criminalizó la creación de deepfakes sexuales sin consentimiento. En España, la protección específica es limitada.

Los deepfakes son violencia sexual. Los modelos están entrenados con cuerpos de mujeres. Fueron diseñados para agredir a mujeres.

IA militar en Gaza — Lavender y «Where’s Daddy?»

Palestina se ha convertido en el laboratorio más extremo de uso militar de inteligencia artificial. Los casos documentados están respaldados por testimonios de seis oficiales de inteligencia israelíes publicados por +972 Magazine y por informes de Human Rights Watch y la Relatora Especial de Naciones Unidas, Francesca Albanese.

Lavender es un sistema de IA que analizó los datos de vigilancia sobre los 2,3 millones de habitantes de Gaza para clasificar a personas como presuntos combatientes. Marcó hasta 37.000 palestinos como objetivos potenciales. Los analistas dedicaban 20 segundos por objetivo, verificando únicamente que fuera un hombre. La tasa de error reconocida internamente era del 10%.

«Where’s Daddy?» es un segundo sistema diseñado para localizar a los objetivos cuando entraban en sus domicilios familiares. Se atacaba de noche, con la familia dentro. Se autorizaban entre 15 y 20 muertes civiles por cada combatiente de bajo rango. Para comandantes de alto rango, se autorizaron más de 100 muertes civiles por objetivo.

En septiembre de 2024, miles de buscapersonas y walkie-talkies distribuidos por Hezbollah explotaron simultáneamente en Líbano y Siria. Resultado: 42 muertos (incluyendo 2 menores) y más de 4.000 heridos. Expertos de Naciones Unidas calificaron los ataques como una violación «aterradora» del derecho internacional.

Cuando un algoritmo decide quién es un objetivo militar con un 10% de margen de error aplicado a decenas de miles de personas, la tecnología no asiste a la guerra. La tecnología es la guerra.

España, Zaragoza — reconocimiento facial a repartidoras racializadas

Un estudio publicado en la revista académica Disparidades. Revista de Antropología del CSIC documentó el uso de reconocimiento facial por parte de plataformas de reparto como Glovo en España. El caso se sitúa en Zaragoza.

Patricia, nacida en Colombia y solicitante de asilo, trabajaba como repartidora con cuentas alquiladas, la única opción laboral accesible. El algoritmo de Glovo pedía verificación facial aleatoriamente, de día o de noche, en movimiento o parada, creando una doble vulnerabilidad para personas racializadas y migrantes.

En el contexto más amplio, Mercadona fue multada con 2,5 millones de euros por reconocimiento facial en supermercados. El Reglamento Europeo de IA (2024) clasifica estos sistemas como de «alto riesgo», aunque Amnistía Internacional denuncia que no protege suficientemente a personas migrantes.

Este caso no es lejano ni abstracto. Ocurre en Zaragoza. El algoritmo de reconocimiento facial funciona como un mecanismo de control sobre los cuerpos más precarios: personas sin papeles, solicitantes de asilo, trabajadoras racializadas. La tecnología de vigilancia no afecta a todo el mundo por igual. Afecta más a quienes tienen menos poder.

De la crítica a la propuesta — tecnología que repara

Los casos anteriores muestran cómo la tecnología reproduce violencias. La pregunta cambia. ¿Qué podría hacer bien la tecnología si se diseña desde otros marcos de pensamiento?

Los modelos de IA generalistas (ChatGPT, Gemini, Claude) están entrenados con datos de internet que sobrerrepresentan el pensamiento occidental, blanco, anglófono y masculino. Si el conocimiento que alimenta la máquina excluye sistemáticamente a las personas racializadas, las respuestas que produce reproducirán esa exclusión. La neutralidad no existe. Lo que se presenta como universal es, en realidad, particular.

Frente a esta lógica, existen alternativas que demuestran que otra tecnología es posible.

AfroféminasGPT — pensamiento negro en el centro

AfroféminasGPT es una herramienta de inteligencia artificial creada por Antoinette Torres Soler, fundadora y directora de Afroféminas, entrenada exclusivamente con pensamiento negro y decolonial. No es un chatbot genérico al que se le ha pedido que «sea antirracista». Es un sistema cuyas fuentes de conocimiento son textos de autoras y autores del pensamiento negro: bell hooks, Audre Lorde, Angela Davis, Kimberlé Crenshaw, Frantz Fanon, Grada Kilomba, Patricia Hill Collins, entre otras.

Cuando una persona le hace una pregunta, AfroféminasGPT responde desde ese corpus de pensamiento. No ofrece respuestas «neutras». Ofrece respuestas fundamentadas en una tradición intelectual específica que ha sido históricamente excluida de los sistemas de conocimiento dominantes. La herramienta acumula más de 10.000 conversaciones, lo que demuestra que existe una comunidad que busca activamente marcos de pensamiento alternativos a los que dominan en los sistemas de IA convencionales.

AfroféminasGPT invierte la lógica de los modelos generalistas: pone el pensamiento negro en el centro.

Tres funciones en la práctica

Detección de sesgos en artículos periodísticos. Se envía un artículo de prensa y la herramienta analiza el texto desde la perspectiva del pensamiento negro y decolonial. Identifica sesgos raciales, omisiones, marcos coloniales naturalizados, estereotipos encubiertos y ausencias significativas. Un sistema convencional no lo detectaría porque está entrenado dentro de los mismos marcos que producen el sesgo.

Relectura decolonial de clásicos literarios. AfroféminasGPT permite releer textos canónicos desde el pensamiento negro. Por ejemplo, El Aleph de Borges, analizado desde las preguntas que plantea el pensamiento decolonial sobre la universalidad, la mirada totalizadora y la pretensión de contener el mundo desde un único punto de vista. Esta función demuestra que el pensamiento decolonial no es un nicho. Es una herramienta capaz de iluminar cualquier texto.

Respuestas asertivas ante microviolencias. Esta es quizá la función más práctica en la vida cotidiana. Funciona en dos pasos. Primero, la detección. Se sube un correo electrónico que ha generado malestar, sin añadir opinión personal. La herramienta analiza el texto por sí sola. El resultado es revelador: lo que a una persona racializada le parece violento no es una percepción subjetiva. El análisis demuestra que se trata de una violencia estructural y normalizada. La IA, entrenada con el pensamiento negro, reconoce el patrón porque ese patrón ha sido nombrado y teorizado por décadas de trabajo intelectual antirracista. Segundo, la respuesta digna. AfroféminasGPT ayuda a construir una respuesta que muestre la violencia sin reproducirla. Una respuesta que se mantiene en un marco de dignidad, que señala lo inaceptable sin caer en la reacción emocional que el sistema espera y utiliza para deslegitimar a quien denuncia.

AfroféminasGPT no es una herramienta de información. Es una herramienta de autonomía cognitiva. Permite a las personas racializadas confirmar que su percepción de la violencia no es subjetiva sino que tiene fundamento teórico y político. Encontrar las palabras para nombrar lo que el entorno normaliza. Responder sin perder la dignidad ni el control emocional. Construir un lenguaje propio que no depende de los marcos del pensamiento hegemónico.

AfroféminasGPT no es una herramienta de «corrección» del sesgo. Es una herramienta de construcción de pensamiento propio. No intenta «mejorar» los sistemas existentes. Propone un sistema alternativo.

GPT Socrático de Afroféminas — la herramienta que enseña a pensar

GPT Socrático, también creado por Antoinette Torres Soler, es una herramienta diseñada para entrenar el pensamiento crítico. En lugar de dar respuestas cerradas, hace preguntas. Sigue el método socrático: guía a la persona a través de un proceso de reflexión hasta que llegue a sus propias conclusiones.

En un contexto donde la IA tiende a dar respuestas rápidas y aparentemente definitivas, una herramienta que enseña a preguntar es un acto de resistencia. La respuesta inmediata anula el pensamiento crítico. La pregunta bien formulada lo activa.

Las dos herramientas funcionan de manera complementaria. AfroféminasGPT ofrece un corpus de pensamiento. GPT Socrático ofrece un método para interrogar cualquier corpus, incluido el propio. Juntas, no generan dependencia tecnológica. Generan autonomía cognitiva.

Criterios para una tecnología que repare

A partir de la experiencia de Afroféminas, se pueden establecer criterios básicos para evaluar si una herramienta tecnológica repara o daña.

Transparencia. ¿Se puede saber con qué datos se ha entrenado el sistema? Los modelos propietarios de Google, Meta o Amazon no permiten esta verificación.

Representación. ¿Quiénes están en los datos de entrenamiento? Si el corpus excluye el pensamiento de personas racializadas, mujeres o comunidades del Sur Global, el sistema reproducirá esa exclusión.

Autonomía cognitiva. ¿La herramienta desarrolla el pensamiento crítico o genera dependencia? Un sistema que siempre da respuestas cerradas genera dependencia. Un sistema que enseña a pensar genera autonomía.

Poder. ¿Quién controla la herramienta y quién se beneficia? Las herramientas creadas desde comunidades para comunidades funcionan con una lógica diferente a las corporativas.

Reparación. ¿La herramienta contribuye a reparar daños históricos o los reproduce? Una IA que visibiliza el pensamiento excluido es reparadora. Una IA que lo borra es violenta.

La pregunta final

Quizá la pregunta no es si la tecnología puede ser libre de violencia, sino quién la diseña, para quién y con qué pensamiento.

Redacción Afroféminas

---