Los sistemas de inteligencia artificial se construyen con datos producidos por personas, etiquetados por personas y diseñados bajo criterios definidos por personas — con todo lo que eso implica. Los sesgos no son una anomalía técnica que aparece cuando algo sale mal: son el resultado natural de trasladar al modelo las mismas predisposiciones culturales, históricas y estructurales que ya existían antes de que el primer algoritmo se entrenara.
Reconocer eso es el primer paso para entender por qué la IA puede reproducir y amplificar desigualdades a una escala que ningún ser humano podría hacer por sí solo.
En América Latina, entre el 60 y el 80% de la población tiene acceso a la red — dependiendo del país. El resto, sencillamente, no existe en los datos. Y lo que no existe en los datos, no existe en el modelo. Esto es una exclusión que ocurre antes de que alguien escriba una sola línea de código.
El problema no es nuevo, pero la magnitud sí lo es. Durante décadas, la discriminación algorítmica se limitaba a sistemas de bajo alcance. Hoy, los modelos de inteligencia artificial toman decisiones sobre acceso a crédito, contratación laboral, diagnósticos médicos, predicciones judiciales y reconocimiento de identidad — en tiempo real, a millones de personas, en contextos donde quien es afectado rara vez tiene la posibilidad de impugnar el resultado. La escala lo cambia todo.
Lo más difícil de los sesgos en IA no es corregirlos cuando se detectan — es que quienes los producen suelen ser los últimos en verlos. Los equipos que diseñan estos sistemas tienden a ser homogéneos: misma formación técnica, mismo contexto cultural, misma posición social. Y cuando el sistema funciona bien para el perfil de quienes lo construyeron, no hay señal de alarma. La alarma la dan los grupos que el sistema excluye, clasifica mal o directamente no reconoce — los que menos participan en el diseño y más lo necesitarían.
📊 Kit de Escritura con IA para Profesionales: comunica mejor en menos tiempo
¿Cuántas horas pierdes cada semana en correos e informes que no generan respuesta? Este Kit de Escritura Ejecutiva está entrenado para el profesional que participa en comités, firma correos, presenta informes optimice su comunicación de manera estratégica. ¡Ahorra decenas de horas al mes!
Disponible para suscriptores Premium de FuturIA
Accede como suscriptor Premium →
Reseña FuturIA Podcast
🎙️ INVITADA:
Verónica Hernández Sánchez
PhD en Biotecnología al mundo de los datos y la IA
MBA | Data engineer | Consultora e Instructora en IA
Los sesgos en IA: predisposiciones heredadas, no errores de código
Timestamp: 00:09:09
Los sesgos son predisposiciones a clasificar personas según género, raza o etnia, y provienen de nuestra cultura y educación. Se transfieren a la IA a través de los datos de entrenamiento y de cómo los humanos los etiquetan. Si quien etiqueta tiene sesgos — conscientes o no — el modelo los heredará sin filtro alguno.
El sesgo invisible: solo lo ves cuando te afecta a ti
Timestamp: 00:10:50
El diseño de la mayoría de los sistemas de IA ha sido androcéntrico y blanco. Quien diseña algo parecido a sí mismo tiene menos puntos ciegos visibles — no los nota porque el sistema funciona para su perfil. Son los grupos más distintos al diseñador quienes descubren las fallas. Y suelen ser los que menos voz tienen en el equipo de desarrollo.
El caso COMPASS: una IA que decidía condenas con sesgo racial documentado
Timestamp: 00:13:59
COMPASS era un sistema de predicción de reincidencia usado en Wisconsin y Florida para fianzas y condenas. Un estudio de ProPublica con 10,000 acusados reveló que generaba un 45% de falsos positivos en afroamericanos, contra un 23% en blancos. Con hispanos, el sistema colapsaba directamente: no sabía cómo clasificarlos.
Una bicicleta robada vs. robos con arma: el modelo falló en ambos sentidos
Timestamp: 00:16:13
Una chica afroamericana de 18 años que robó una bicicleta recibió una predicción de reincidencia del 80%. Un hombre blanco de 41 años con antecedentes de robo con arma obtuvo solo 30%. Dos años después: la chica no reincidió. El hombre sí, y peor. El modelo se equivocó en la misma dirección para ambos.
La regulación europea de IA: más lenta, pero más protectora
Timestamp: 00:18:04
La Unión Europea clasifica sistemas como COMPASS como de alto riesgo y los somete a controles estrictos. En EE.UU. la legislación es más laxa — y los resultados lo muestran. El dilema no es regulación sí o no, sino velocidad contra protección. Y quienes sufren los errores del sistema no son quienes eligen esa velocidad.
La pirámide de privilegios: las discriminaciones se multiplican, no se suman
Timestamp: 00:20:52
No basta con pedir diversidad de género en los equipos. Las discriminaciones se multiplican: una mujer negra con discapacidad acumula desventajas de forma exponencial, no aritmética. La interseccionalidad obliga a construir equipos verdaderamente heterogéneos — en género, raza, edad, capacidad, origen cultural — no solo en hombre/mujer.
Reconocimiento facial: 0% de error en hombres blancos, 21% en mujeres negras
Timestamp: 00:21:32
Una investigadora afroamericana de Microsoft descubrió que el sistema de reconocimiento facial fallaba con su cara pero no con la de sus compañeros blancos. La investigación reveló el patrón: 0% de error en hombres de piel clara, 21% en mujeres de piel oscura. Nadie lo habría detectado si ella no hubiera estado en el equipo.
Si no tienes internet, no existes para los modelos de IA
Timestamp: 00:23:39
Los modelos de IA se entrenan con rastros digitales. En América Latina, entre el 60% y el 80% tiene acceso según el país. El resto no ha dejado datos en ningún lugar. Eso no es negligencia técnica: es una exclusión estructural que garantiza sesgos desde el origen, antes de que el modelo procese una sola consulta.
Los sesgos no se eliminan, se reducen — y eso exige auditoría permanente
Timestamp: 00:25:56
Pretender modelos libres de sesgos es un objetivo irrealizable. Siempre habrá grupos sin datos suficientes. Lo que sí es posible es reducir su impacto con auditorías continuas, actualización periódica de datos y monitoreo post-implementación. La pregunta no es si existen sesgos, sino con qué frecuencia los estamos revisando.
La IA no requiere ser experta técnica: requiere conectar tu conocimiento con ella
Timestamp: 00:38:55
Una especialista en género con conocimientos básicos de IA detectará sesgos que un ingeniero de machine learning no ve porque no los vive. No hace falta saber programar: hace falta conectar tu experiencia con cómo funciona la tecnología y desde ahí exigir que funcione diferente. La IA es demasiado importante para dejarla solo en manos técnicas.
La pregunta incómoda: ¿por qué no existe una IA de Naciones Unidas?
Timestamp: 00:43:07
Cuatro corporaciones privadas concentran los modelos de IA más usados del mundo. ¿Por qué no existe un modelo gestionado por Naciones Unidas, sin objetivos de rentabilidad, diseñado para el bien común? No hay respuesta clara todavía, pero la pregunta en sí revela cómo está distribuido — o concentrado — este poder.
Las empresas van en Fórmula 1. Los gobiernos van en Volkswagen.
Timestamp: 00:44:53
Las corporaciones de IA avanzan a velocidad de Fórmula 1. La regulación y los gobiernos van en Volkswagen. Alcanzar al Fórmula 1 con un Volkswagen es imposible. La única lógica viable es que la regulación también use IA: sistemas de auditoría e inteligencia regulatoria construidos con la misma tecnología que pretenden regular.
Por qué un proyecto de IA no puede ser solo responsabilidad de TI
Timestamp: 00:54:35
El error más común: asignar proyectos de IA exclusivamente al área de tecnología. Un agente de calificación de leads impacta a ventas, marketing y dirección general. TI puede liderarlo técnicamente, pero sin un comité multidisciplinario permanente desde el inicio, los puntos ciegos están garantizados desde el diseño mismo.
😉✔️¡Suscríbete ahora y forma parte de esta gran comunidad!
+45.000 miembros, +300.000 visitas mensuales, +1.8 millones de visitas, 1.1 millones de usuarios únicos, 2.95 millones de interacciones en el último año. Nos leen en 66 países y 28 estados de EE.UU.
