Vivimos en la era de los algoritmos. Cada bit de información que se transmite por internet inexorablemente se encuentra bajo el escrutinio de algún algoritmo que clasifica y filtra la información que se consume en la web.
Los algoritmos se han convertido en los arquitectos silenciosos de nuestra realidad digital contemporánea. Desde el momento en que abrimos nuestro navegador o desbloqueamos nuestro celular, innumerables algoritmos empiezan a procesar, clasificar y filtrar la información que consumimos. Esta omnipresencia algorítmica va mucho más allá del simple filtrado de contenido: los algoritmos ahora toman decisiones que afectan directamente nuestras vidas, desde determinar si somos aptos para un préstamo bancario hasta evaluar nuestras posibilidades de conseguir un trabajo.
Acá es donde surge el problema de la discriminación algorítmica. Este fenómeno ocurre cuando los sistemas automatizados de toma de decisiones reproducen o amplifican sesgos y prejuicios existentes, creando nuevas formas de exclusión social. Lo preocupante es que, a diferencia de la discriminación tradicional, la discriminación algorítmica puede operar de manera invisible, escudada tras la aparente objetividad de las matemáticas y el procesamiento de datos.
Para entender la magnitud de este problema, es fundamental comprender que los algoritmos no son entidades neutrales u objetivas por naturaleza. Son creaciones humanas que aprenden de datos históricos, los cuales frecuentemente están impregnados de sesgos sociales preexistentes. Por ejemplo, si un algoritmo de selección de personal se entrena con datos de contrataciones pasadas donde predominaba la discriminación por género, el sistema aprenderá y perpetuará estos patrones discriminatorios, aunque la variable “género” no se incluya explícitamente en su programación. Un caso de este tipo de sesgo fue el Caso Amazon (2018): Su algoritmo de contratación penalizaba currículums que incluían palabras como “club de mujeres” o títulos en femenino (“ingeniera”), priorizando sistemáticamente candidatos hombres. El algoritmo no fue explícitamente creado para generar ese resultado, allí radica el gran problema a la hora de implementar sistemas automatizados para la toma de decisiones que afectan la vida de las personas.
La discriminación algorítmica se refiere a los sesgos y desigualdades que pueden emerger cuando algoritmos de inteligencia artificial toman decisiones sobre personas o grupos, basándose en datos históricos o criterios que replican y, a veces, intensifican desigualdades preexistentes. Es importante destacar que los algoritmos, a diferencia de los seres humanos, carecen de sensibilidad o intención; sin embargo, el diseño, la selección de datos y los parámetros de entrenamiento pueden introducir patrones discriminatorios que tienen efectos nocivos en la vida de las personas.
La detección de sesgos que producen discriminación algorítmica se dificulta notablemente cuando quienes son víctima de estos algoritmos ni siquiera lo saben o, incluso aunque puedan sospecharlo, no pueden auditar el funcionamiento de los mismos ya que funcionan bajo un sistema opaco o de caja negra.
Casos de discriminación algorítmica
Si bien existe una variedad y cantidad enorme de casos de discriminación algorítmica, podemos destacar algunos casos por su impacto y trascendencia:
Riesgo de reincidencia, el caso COMPAS
Un caso paradigmático es el caso COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un algoritmo desarrollado por la empresa Northpointe (ahora Equivant) que fue utilizado en el sistema judicial de Estados Unidos para evaluar el riesgo de reincidencia de acusados. En 2016, una investigación realizada por ProPublica reveló que el algoritmo presentaba un sesgo racial significativo: los acusados afroamericanos tenían casi el doble de probabilidades de ser clasificados erróneamente como de “alto riesgo” de reincidencia en comparación con los acusados blancos, mientras que los acusados blancos tenían más probabilidades de ser clasificados incorrectamente como de “bajo riesgo”.
Este caso generó un intenso debate sobre la discriminación algorítmica , ya que los jueces utilizaban estos algoritmos para tomar decisiones sobre libertad condicional, fianzas y sentencias. El problema fundamental radicaba en que el algoritmo, aunque no utilizaba explícitamente la raza como variable, incorporaba factores socioeconómicos y antecedentes que correlacionaban fuertemente con la raza debido a desigualdades estructurales preexistentes en el sistema judicial estadounidense.
Reconocimiento facial y sesgo racial
Los sistemas de reconocimiento facial han demostrado consistentemente tasas de error más altas al identificar personas de piel oscura, especialmente mujeres. Un estudio realizado por Joy Buolamwini del MIT Media Lab y Timnit Gebru de Microsoft Research en 2018 analizó tres sistemas comerciales de reconocimiento facial y encontró que estos tenían tasas de error de hasta el 34.7% para mujeres de piel oscura, en contraste con tasas de error de apenas 0.8% para hombres de piel clara.
Estos hallazgos provocaron que empresas como IBM, Microsoft y Amazon suspendieran temporalmente la venta de sus tecnologías de reconocimiento facial a organismos policiales, mientras que ciudades como San Francisco, Boston y Portland prohibieron su uso por parte de las agencias gubernamentales.
Algoritmos de crédito y préstamos
Los algoritmos utilizados para determinar la capacidad crediticia también han mostrado patrones discriminatorios. En 2019, se descubrió que el algoritmo utilizado por Apple Card otorgaba límites de crédito significativamente más bajos a mujeres en comparación con hombres, incluso cuando ambos tenían perfiles financieros similares o idénticos. Este caso llegó a ser investigado por la Superintendencia de Servicios Financieros de Nueva York tras denuncias públicas.
De manera similar, investigaciones han demostrado que los algoritmos de calificación crediticia penalizan desproporcionadamente a comunidades minoritarias, perpetuando así ciclos de desigualdad económica al limitar su acceso a capital y oportunidades financieras.
Estos casos ilustran cómo los algoritmos, lejos de ser herramientas neutrales, pueden reflejar y amplificar desigualdades estructurales preexistentes en la sociedad. La discriminación algorítmica plantea desafíos fundamentales para el derecho a la igualdad y no discriminación en la vida digital, exigiendo respuestas legislativas, técnicas y éticas que garanticen que la implementación de estas tecnologías no perpetúe o exacerbe las injusticias existentes.
Legislación sobre discriminación algorítmica
La regulación jurídica de los algoritmos y la inteligencia artificial para prevenir la discriminación ha evolucionado notablemente en los últimos años. A continuación, se presenta una breve reseña de las principales legislaciones que abordan esta problemática:
Unión Europea: Reglamento de Inteligencia Artificial (AI Act)
El Reglamento de Inteligencia Artificial de la Unión Europea, aprobado en 2024, representa el marco regulatorio más completo a nivel mundial. Esta legislación clasifica los sistemas de IA según su nivel de riesgo y establece obligaciones específicas para los sistemas considerados de “alto riesgo”, entre los que se incluyen aquellos utilizados en ámbitos como contratación, educación, servicios públicos y privados esenciales, y aplicación de la ley.
La “AI Act” prohíbe explícitamente prácticas como la calificación social por parte de autoridades públicas y establece requisitos de transparencia, incluyendo la obligación de informar a los usuarios cuando interactúan con un sistema de IA. Además, exige evaluaciones de impacto y auditorías algorítmicas para sistemas de alto riesgo, con especial atención a la prevención de sesgos discriminatorios.
Estados Unidos: enfoque sectorial y sobre todo enfocado en lo estatal
A diferencia de la UE, Estados Unidos ha adoptado un enfoque más fragmentado. A nivel federal, la Equal Credit Opportunity Act (ECOA) y el Fair Housing Act se han utilizado para abordar casos de discriminación algorítmica en los sectores financiero e inmobiliario respectivamente. La Federal Trade Commission (FTC) ha emitido directrices y ha llevado a cabo acciones contra empresas cuyos algoritmos generan resultados discriminatorios bajo la autoridad que le otorga la FTC Act.
A nivel estatal, destacan legislaciones como la New York City Local Law 144 , que obliga a auditar los sistemas algorítmicos de contratación para detectar sesgos antes de su implementación, y la California Consumer Privacy Act (CCPA), que incluye el derecho a conocer qué información personal se utiliza en decisiones automatizadas.
Reino Unido: Data Protection Act 2018 y directrices de la ICO
El Reino Unido aborda la discriminación algorítmica principalmente a través de su legislación de protección de datos. La Data Protection Act 2018, que incorporó el GDPR(General Data Protection Regulation) europeo antes del Brexit, incluye disposiciones específicas sobre toma de decisiones automatizada. La Information Commissioner’s Office (ICO) ha publicado directrices sobre el uso de IA que enfatizan la equidad y la no discriminación.
En 2022, el gobierno británico presentó el “AI Regulatory Framework” que, aunque no tiene carácter legislativo vinculante, establece principios para guiar el desarrollo responsable de la IA, incluyendo la prevención de sesgos discriminatorios.
Canadá: Directive on Automated Decision-Making
Canadá implementó en 2019 la Directive on Automated Decision-Making, aplicable a las instituciones federales. Esta directiva exige evaluaciones de impacto algorítmico antes de implementar sistemas de decisión automatizada, clasificándolos según su nivel de riesgo. Para sistemas de alto riesgo, se requieren auditorías y mayor transparencia.
Adicionalmente, la Consumer Privacy Protection Act (CPPA), propuesta en 2020 como actualización a la legislación de privacidad existente, incluye disposiciones sobre transparencia algorítmica y el derecho a explicaciones cuando se toman decisiones automatizadas significativas.
Australia: enfoque basado en principios
Australia ha adoptado un enfoque principalmente voluntario y basado en principios. La Australian Human Rights Commission publicó en 2021 el informe “Human Rights and Technology”, recomendando que los sistemas de IA de alto riesgo sean sometidos a evaluaciones de impacto en derechos humanos. El Departamento de Industria, Ciencia, Energía y Recursos desarrolló en 2019 un marco ético para la IA que incluye principios de equidad y no discriminación.
Sin embargo, Australia carece actualmente de legislación específica, apoyándose en leyes existentes como la Racial Discrimination Act y la Sex Discrimination Act para abordar casos de discriminación algorítmica.
India: Digital Personal Data Protection Act
India aprobó en 2023 la Digital Personal Data Protection Act, que incluye disposiciones sobre toma de decisiones automatizadas. Aunque no tan detallada como las regulaciones europeas, esta ley establece obligaciones de transparencia y derechos para los titulares de datos cuando se ven afectados por decisiones automatizadas, incluyendo el derecho a impugnarlas.
China: Regulación de Algoritmos de Recomendación y Fakenews
China ha desarrollado un marco regulatorio muy particular para los algoritmos, centrado particularmente en los sistemas de recomendación y clasificación. En marzo de 2022, la Administración del Ciberespacio de China (CAC) implementó las “Disposiciones sobre la Administración de Algoritmos de Recomendación de Servicios de Información por Internet”, una normativa pionera a nivel mundial por su alcance y especificidad.
Un aspecto distintivo del enfoque chino es su preocupación por el impacto social y político de los algoritmos, más allá de la discriminación individual. La normativa prohíbe el uso de algoritmos para manipular clasificaciones, crear cuentas falsas o evitar la supervisión regulatoria.
En 2023, China reforzó este marco con nuevas regulaciones sobre “Servicios Profundos de Síntesis” (incluidos deepfakes y tecnologías similares), exigiendo etiquetado claro del contenido generado por IA y estableciendo responsabilidades para prevenir sesgos discriminatorios.
Estado actual de regulación en Argentina.
Hasta el día en que se publica este artículo (marzo de 2025), no existe una regulación específica sobre Discriminación Algorítmica en Argentina, como tampoco existe una legislación general y vinculante según un informe de WSC Legal publicado en enero de 2025 . Sin embargo, el interés en desarrollar políticas públicas relacionadas con la Inteligencia Artificial ha crecido en los últimos años, especialmente desde 2023, con un aumento en iniciativas legislativas tras la pandemia, según un artículo académico de ScieLo.
Entre los proyectos destacados se encuentran:
- Proyecto “Regulación y uso de la Inteligencia Artificial”, presentado por la ex Diputada de la Nación Anahí Costa en octubre de 2023, que busca promover la IA como herramienta de desarrollo digital y social, protegiendo derechos humanos.
- Proyecto “Modificación del Código penal sobre el uso de Inteligencia Artificial para difusión de imágenes con contenido sexual”, de la diputada Silvia Lospennato, presentado en 2025, con el fin de proteger a menores de 18 años de la creación, difusión y comercialización de imágenes sean realistas o no incluyendo a sistemas de IA en su producción o intermediación.
- Un proyecto ambicioso es el de la“Ley Nacional de Regulación de la Inteligencia Artificial” y establece un marco regulatorio integral para la investigación, desarrollo, implementación, comercialización y uso de IA en territorio argentino.
- El objetivo fundamental es asegurar una utilización ética, segura, equitativa y transparente de la IA, protegiendo los derechos humanos, datos personales, privacidad y seguridad de las personas.
- La ley alcanza a todas las personas físicas o jurídicas, públicas o privadas, que desarrollen, investiguen, implementen o utilicen sistemas de IA en Argentina, incluyendo empresas extranjeras cuyos sistemas produzcan efectos en el país.
- El proyecto define conceptos clave como Inteligencia Artificial, Sistema de IA, algoritmo, decisiones automatizadas y niveles de riesgo (inaceptables, elevados, limitados e insignificantes).
- Establece principios éticos fundamentales para el desarrollo y uso de IA, como el respeto a la dignidad humana, la privacidad, transparencia, responsabilidad y equidad.
- Prohíbe expresamente el uso de IA con fines ilegales, discriminatorios o que atenten contra los derechos humanos, así como la identificación biométrica en tiempo real en espacios públicos (salvo orden judicial).
- Crea la Agencia Nacional de Supervisión de Inteligencia Artificial (ANSIA) como organismo regulador y fiscalizador, compuesto por expertos de distintas disciplinas.
- Establece el Registro Nacional de Sistemas de IA donde deberán inscribirse todos los sistemas alcanzados por la ley, previo a su puesta en funcionamiento.
- Impone la obligación de realizar evaluaciones de impacto y gestión de riesgos, así como un sistema de certificación periódica (Certificado Compliance de IA).
Como puede observarse, en Argentina existen múlitples iniciativas legislativas para la regulación de la Inteligencia Artificial, pero aun estamos lejosde lograr un avance importante en la materia.
Esta noticia fue redactada con ayuda de Inteligencia Artificial. Utilizamos el modelo Claude 3.7 sonnet de Anthropic.
¿Te resulta útil este contenido? Todo lo que compartimos es 100% gratuito. Si querés apoyar nuestro trabajo, podés invitarnos un cafecito ☕️ – ¡cada aporte nos ayuda a seguir creando contenido de calidad!
