¿Has oído hablar alguna vez del racismo algorítmico?

En el mundo cada vez más digital e interconectado en el que vivimos, la tecnología desempeña un papel fundamental en casi todos los aspectos de nuestra vida. Incluso puedo afirmar con seguridad que a diario dependemos de la tecnología para algo, ya sea para comunicarnos, retirar dinero, transferir fondos o cualquier otra cosa.

Con la creciente presencia de la tecnología en nuestras vidas, también aumentan sus aspectos negativos. A medida que la inteligencia artificial y los algoritmos se vuelven omnipresentes en sectores como las finanzas, la sanidad, la educación y la justicia, resulta crucial analizar detenidamente el impacto de estas innovaciones en la sociedad.

Un tema que ha cobrado gran relevancia en los últimos años es el poder de los algoritmos para reproducir el racismo —entre otras conductas—, lo cual suele tener profundas implicaciones para el sistema legal y, en última instancia, para la búsqueda de justicia. Este artículo está dirigido a abogados y profesionales del derecho que buscan comprender mejor las formas de racismo algorítmico. A continuación, exploraremos qué es el racismo algorítmico, cómo se manifiesta y por qué debería considerarse una preocupación fundamental para el sistema de justicia.

El racismo y sus formas de propagación

El racismo se considera un fenómeno complejo profundamente arraigado en la sociedad, que se manifiesta de diversas maneras, desde la discriminación racial directa hasta los prejuicios sutiles y estructurales.

Existe una considerable controversia en torno a la etimología del término «raza». Lo que sí se puede afirmar con mayor precisión es que su significado siempre ha estado vinculado, de alguna manera, al acto de establecer clasificaciones. Sin embargo, la noción de raza como referencia a categorías distintas de seres humanos es un fenómeno presente en la modernidad.

En esencia, el racismo es la creencia en la superioridad de una raza sobre otras, acompañada de discriminación, estigmatización o exclusión de personas por su origen étnico o racial. Sin embargo, el racismo no se limita a actitudes individuales; a menudo se perpetúa y se ve amplificado por estructuras sociales, económicas y políticas.

El racismo también está intrínsecamente ligado a las estructuras de poder existentes. Cuando ciertos grupos raciales tienen un acceso desigual al poder político, económico y social, las desigualdades raciales persisten y se reproducen. Esto se observa en ámbitos como el acceso a oportunidades de empleo, vivienda y educación.

Los actos discriminatorios relacionados con la raza se manifiestan con mayor frecuencia en situaciones cotidianas, como insultos o gestos. Sin embargo, en los últimos años hemos observado un aumento de este prejuicio en el ámbito digital . Esto crea un escenario en el que la agresión se oculta tras líneas de código.

Tarcízio Silva, investigador en Ciencias Humanas y Sociales de la UFABC (Universidad Federal del ABC), creó la Cronología del racismo algorítmico: casos, datos y reacciones, que es una recopilación de casos en Brasil y en todo el mundo de formas de opresión racial en el contexto digital.

Uno de los casos citados es una medida adoptada por Instagram en noviembre de 2019 , en la que la plataforma identificó que un dibujo que representaba a personas negras, una de ellas una referencia al piloto de carreras británico Lewis Hamilton, contenía alusiones a armas.

Otro caso emblemático en Estados Unidos relacionado con el racismo algorítmico fue el del banco estadounidense Wells Fargo. Según informó el Departamento de Justicia de Estados Unidos, Wells Fargo, el banco que financió la mayor cantidad de hipotecas en todo el país, cobró tasas de interés más altas en los préstamos a 34 clientes afroamericanos entre 2004 y 2009 simplemente por su color de piel y país de origen, y no por sus calificaciones o historial crediticio.

Además, Tarcízio presenta el libro " Racismo algorítmico: inteligencia artificial y discriminación en las redes sociales ", donde cuestiona cómo las estructuras de inteligencia artificial (IA) reproducen comportamientos racistas a través de herramientas como el reconocimiento facial, los filtros para selfies, la moderación de contenido, los chatbots y otros mecanismos.

Los algoritmos como reproductores de comportamiento

En un mundo cada vez más digital, los algoritmos de inteligencia artificial pueden reproducir el racismo de diversas maneras. Estos algoritmos se entrenan con bases de datos históricas que reflejan diversos sesgos, incluidos los raciales. Pueden reproducir estos sesgos al tomar decisiones en ámbitos como los préstamos, la contratación y los sistemas de justicia penal, por ejemplo.

Para comprender cómo las máquinas y los programas reproducen estos comportamientos humanos, es necesario entender quién está detrás de la programación . Esta base de datos está dominada habitualmente por hombres blancos, cisgénero y adinerados de Estados Unidos.

Las plataformas de redes sociales , por ejemplo, utilizan un algoritmo que recopila datos de las búsquedas y los "me gusta" de los usuarios para recomendar contenido nuevo, creando lo que denominan "burbujas", lo que significa que las personas consumen ideas similares a las suyas y no se exponen a nuevos tipos de pensamiento, lo que provoca que se perpetúen los viejos ideales.

El reconocimiento facial, los filtros para selfies, la moderación de contenido, los chatbots, la vigilancia predictiva y la calificación crediticia son solo algunas de las aplicaciones que actualmente utilizan sistemas de inteligencia artificial.

Pero, ¿qué ocurre cuando las máquinas y los programas producen resultados discriminatorios? ¿ Son racistas los algoritmos? ¿O se trata simplemente de errores inevitables? ¿De quién es la responsabilidad, de los humanos o de las máquinas? ¿Y qué podemos hacer para combatir los efectos tóxicos y racistas de las tecnologías que automatizan los prejuicios? Estas son solo algunas de las muchas preguntas.

Lo cierto es que el racismo algorítmico se ha convertido en un concepto relevante para comprender cómo la implementación acelerada de las tecnologías digitales emergentes, que priorizan los ideales de lucro y escala, impacta negativamente a las minorías raciales en todo el mundo.

Cuando se otorga a los algoritmos el poder de decidir, basándose en los criterios de sus creadores, qué es riesgo, qué es bello, qué es tóxico o qué es meritorio, el potencial de discriminación se multiplica.

Posibles soluciones

La solución al problema del racismo algorítmico implica un enfoque multifacético que requiere una acción coordinada de la sociedad, los gobiernos, las empresas y los tecnólogos.

Las empresas y organizaciones que utilizan algoritmos deben realizar auditorías periódicas para identificar y mitigar sesgos y prejuicios en sus sistemas. Esto incluye revisar los datos de entrenamiento, las métricas de rendimiento y los ajustes de los algoritmos para garantizar que no perpetúen las desigualdades.

Las empresas deben ser transparentes sobre el funcionamiento de sus algoritmos y los datos que utilizan. Además, deben rendir cuentas por cualquier discriminación algorítmica y contar con sistemas de corrección y reparación.

Debe fomentarse la investigación y el desarrollo de algoritmos éticos. Esto incluye la creación de directrices y estándares éticos para el diseño y el entrenamiento de algoritmos.

En resumen, el racismo algorítmico es una grave preocupación ética y legal, con consecuencias perjudiciales en diversos ámbitos de la sociedad. Abordar este problema requiere un esfuerzo conjunto que incluya auditorías de algoritmos, transparencia, regulaciones, diversidad tecnológica, educación pública y el desarrollo de algoritmos éticos.

Conclusión

En conclusión, el racismo algorítmico es una realidad compleja que exige la atención urgente de toda nuestra sociedad. A medida que la tecnología sigue transformando nuestras vidas, no podemos cerrar los ojos y permitir que el racismo algorítmico perpetúe las injusticias raciales.

Es fundamental la coordinación de acciones, incluyendo regulaciones estrictas, auditorías transparentes de algoritmos, diversificación tecnológica y concienciación pública. Solo mediante el esfuerzo colectivo podremos garantizar que la inteligencia artificial promueva la justicia y la igualdad, y que contribuya al progreso, no al retroceso.

Además, el futuro debe estar marcado por algoritmos éticos que, ante todo, respeten la dignidad de todas las personas, independientemente de su raza u origen étnico. Para lograrlo, es fundamental que la sociedad, el sector privado y el gobierno colaboren para afrontar este complejo desafío.

Al igual que para el investigador Tarcízio, el racismo algorítmico puede ser una línea de investigación sólida, capaz de aportar grandes beneficios al mundo social y académico.

IDP ofrece una Maestría Profesional en Derecho , que cuenta con varias áreas de investigación, y seguro encontrarás una que se adapte a ti.

Entre las áreas de investigación planificadas, tendrás la oportunidad de profundizar en: Transformaciones en el Orden Económico y Social: Tecnología e Innovación. En IDP, tendrás acceso a uno de los mejores cuerpos docentes de Brasil. Se trata de profesores del más alto nivel académico y profesional, figuras destacadas en su campo.

También tendrá acceso a una infraestructura excelente, que incluye una biblioteca virtual con más de 25 títulos en los campos de Administración, Arquitectura y Urbanismo, Informática, Comunicación, Derecho, Economía, Ingeniería, Periodismo, Publicidad, Psicología y Relaciones Internacionales.

¡Hasta la próxima!