Sesgos algorítmicos y equidad educativa

El sesgo no es un defecto secundario

#

Un modelo de lenguaje aprende a predecir la siguiente palabra a partir de miles de millones de textos. Si esos textos subrepresentan ciertas voces, perspectivas o variedades lingüísticas, el modelo resultante las subrepresentará también. El sesgo no es un error que se pueda corregir con una actualización; es una propiedad estructural derivada de qué textos cuentan en el entrenamiento y cuáles no (Bender et al., 2021).

El problema no se resuelve entrenando con más datos. Los datos disponibles en la web están desigualmente distribuidos: el inglés domina, las culturas anglosajonas están sobrerepresentadas, las voces académicas establecidas aparecen más que las emergentes, los hombres más que las mujeres en ciertas disciplinas, el norte global más que el sur (Noble, 2018; Blodgett et al., 2020). Un modelo entrenado sobre esa base hereda esa desigualdad y la presenta con apariencia de neutralidad. Birhane (2021) sostiene que esta apariencia es la forma específica en que el sesgo algorítmico produce daño: no distorsiona una verdad previa, sino que construye una realidad operativa donde ciertos grupos quedan sistemáticamente excluidos de la representación.

Para un aula universitaria mexicana, esto tiene consecuencias directas. Si una estudiante pide a cualquiera de los asistentes conversacionales de uso general que le liste los referentes contemporáneos de una disciplina, es probable que reciba una lista donde domina la bibliografía anglosajona; autores latinoamericanos relevantes quedan fuera o en posiciones subordinadas. No porque no existan, sino porque su presencia en los datos de entrenamiento es menor.

Tipología operativa

#

Cuatro tipos de sesgo aparecen con frecuencia suficiente como para que los docentes los nombren y los busquen sistemáticamente.

Sesgo de representación

#

El modelo refleja la distribución demográfica, geográfica o disciplinar de sus datos. Pregunta por referentes, ejemplos o casos y obtendrás una muestra donde ciertos perfiles aparecen y otros no. Buolamwini y Gebru (2018) lo documentaron con precisión en sistemas de reconocimiento facial, donde el error se concentraba en los rostros de mujeres de piel oscura. En los modelos de texto el mecanismo es el mismo, aunque no exista una medición equivalente: quien haya comparado una respuesta sobre historia europea con una sobre historia centroamericana suele encontrar la segunda más breve y más genérica, y las listas de autores tienden al canon anglosajón. Comprobarlo en la propia disciplina es, precisamente, la primera de las actividades que propone esta página.

Sesgo lingüístico

#

El inglés funciona como default. Los modelos rinden mejor en inglés que en otras lenguas, y con frecuencia incorporan a la respuesta en español estructuras, expresiones y referencias propias del mundo anglófono. En contextos académicos, esto produce respuestas que se leen competentes pero que no conectan con la tradición local. Blodgett y colegas (2020), al revisar cómo la investigación en procesamiento de lenguaje natural define el «sesgo», advierten que buena parte de esos trabajos toma una variedad estándar como norma implícita y trata las demás como desviación; ese supuesto viaja después a los sistemas construidos sobre ellos.

Sesgo evaluativo

#

El modelo asume criterios de calidad implícitos en sus datos (por ejemplo, que un buen ensayo abre con una tesis y cierra con una recapitulación). Al pedirle que evalúe un ensayo, un proyecto o una propuesta, aplica rúbricas no declaradas que favorecen el estilo argumentativo, las convenciones retóricas y las tradiciones intelectuales predominantes en su entrenamiento. Un docente que usa el modelo como retroalimentación de primera línea puede, sin advertirlo, empujar a sus estudiantes hacia un estilo homogeneizado que borra las particularidades de su formación local (Mohamed et al., 2020).

Sesgo de confianza

#

Los modelos presentan todo con el mismo tono asertivo. No distinguen entre lo que saben bien, lo que saben mal y lo que están inventando. Esta uniformidad retórica es en sí una forma de sesgo: le asigna el mismo estatus a un hecho verificado que a una afirmación improvisada. Para el estudiante novato que aún no desarrolla juicio crítico, la confianza del modelo opera como prueba de corrección (Mittelstadt et al., 2016).

flowchart TD
    A[Datos de entrenamiento] -->|Subrepresentación| B[Sesgo de representación]
    A -->|Dominio del inglés| C[Sesgo lingüístico]
    A -->|Criterios implícitos| D[Sesgo evaluativo]
    A -->|Homogeneidad retórica| E[Sesgo de confianza]
    B --> F[Respuesta del modelo]
    C --> F
    D --> F
    E --> F
    F --> G[Uso docente o estudiantil]
    G -->|Sin auditoría| H[Reproducción silenciosa]
    G -->|Con auditoría| I[Objeto de aprendizaje]

Cómo se manifiesta en un aula mexicana

#

Tres situaciones recurrentes (una lista de autoras, un ensayo comentado por el modelo, una cita inventada) ilustran el tránsito del sesgo abstracto al efecto concreto.

Primera situación. En un curso de literatura latinoamericana, un grupo de estudiantes pide a un asistente conversacional una lista de diez autoras contemporáneas imprescindibles. El modelo devuelve una lista donde dominan autoras mexicanas y argentinas de perfil internacional, omite voces centroamericanas, caribeñas no hispanohablantes y andinas. La lista no es incorrecta; es sesgada. Si la estudiante la toma como punto de partida sin más, su horizonte de lectura queda recortado por la selección del modelo.

Segunda situación. Un docente pega ensayos de su grupo en un asistente conversacional para obtener retroalimentación preliminar. El modelo tiende a premiar la claridad argumentativa según el estándar del academic English: introducción con thesis statement, desarrollo lineal, conclusión recapitulativa. Ensayos con estructura más digresiva, característica de cierta tradición latinoamericana de ensayo, reciben comentarios que empujan al estudiante hacia un formato que no es el que la disciplina exige en español.

Tercera situación. Un estudiante consulta a un asistente conversacional sobre un autor de teoría crítica cuya obra principal está en español. El modelo responde con citas, fechas y afirmaciones precisas en apariencia, pero varias de las referencias son inventadas o están atribuidas a libros que no existen. El estudiante, confiado por el tono asertivo de la respuesta, incorpora las citas sin verificar. Esta situación es el caso extremo del sesgo de confianza, combinado con sesgo de representación por la escasa disponibilidad del autor en los datos de entrenamiento.

Auditoría pedagógica: tres actividades

#

Las actividades que siguen convierten la exposición al sesgo en una competencia. No prohíben el uso del modelo; lo sujetan a verificación sistemática. UNESCO (2023) recomienda esta aproximación — alfabetización crítica antes que restricción — como la respuesta educativa más viable en contextos donde la regulación tecnológica suele llegar tarde.

Actividad 1. Comparación entre modelos

#

Pedir a los estudiantes la misma consulta en dos o tres servicios distintos —conviene elegirlos de proveedores diferentes y anotar la versión y la fecha, porque las respuestas cambian entre versiones— y documentar las diferencias. La actividad produce tres entregas: la respuesta de cada modelo, una tabla comparativa con convergencias y divergencias, y una interpretación del estudiante sobre qué explica las diferencias. Esta operación hace visible que los modelos no son intercambiables y obliga al estudiante a tomar una posición evaluativa.

Actividad 2. Auditoría de ausencias

#

Pedir una lista (de autores, casos, ejemplos, teorías) al modelo y pedir al estudiante que complete la lista con al menos tres elementos que el modelo omitió, justificando la relevancia de cada uno. La actividad entrena una habilidad distinta a la evaluación de presencias: detectar qué debería estar y no está. En disciplinas donde la bibliografía local es relevante, esta operación hace visible el sesgo lingüístico y geográfico sin necesidad de explicarlo en abstracto.

Actividad 3. Auditoría de confianza

#

Pedir al modelo una afirmación específica (por ejemplo, la fuente exacta de una cita o el año de un acontecimiento menos conocido) y pedir al estudiante que verifique la respuesta en fuentes primarias. Documentar si la afirmación era correcta, parcialmente correcta o inventada. Repetida cinco o seis veces a lo largo de un semestre, esta actividad instala el hábito de verificación y erosiona la autoridad implícita del tono asertivo.

Equidad de acceso: la otra cara del sesgo

#

Los sesgos internos del modelo no son el único problema de equidad. También lo es el acceso desigual a los modelos de mejor desempeño. Las versiones más capaces de los principales asistentes requieren suscripción o tarjeta de crédito internacional. Los estudiantes con recursos iteran sus borradores con ellas; los demás, con versiones gratuitas más limitadas o con cuotas diarias de uso. El informe del Banco Mundial (2024) sobre IA generativa en educación sitúa esta asimetría de acceso entre los riesgos que una política institucional debe atender.

Un diseño pedagógico sensible a la equidad tiene tres opciones. Puede proveer acceso institucional a los modelos que la actividad requiere. Puede ajustar la actividad para que funcione con las versiones gratuitas disponibles, comprobando antes —con la tarea concreta, no con una comparación general— que devuelvan algo utilizable. O puede hacer de la desigualdad de acceso un objeto explícito de discusión en el aula, lo que convierte un problema estructural en contenido formativo.

Ignorar la asimetría reproduce la desigualdad. El marco ético propuesto en esta sección incluye la justicia epistémica como uno de sus cuatro ejes precisamente por esto.

Protocolo de aula

#

Un protocolo operativo para integrar el tratamiento de sesgos en una asignatura universitaria, articulado con la práctica de análisis crítico de sesgos del Laboratorio.

1. Nombrar los cuatro sesgos en la primera sesión donde la IA se integra al trabajo. El lenguaje compartido (representación, lingüístico, evaluativo, de confianza) se convierte en instrumento de diálogo durante el semestre.
2. Incorporar las tres actividades de auditoría en al menos tres momentos del curso, de preferencia vinculadas al trabajo disciplinar central, no como anexos metodológicos.
3. Documentar hallazgos en el portafolio. Cada estudiante registra al menos tres instancias de sesgo detectadas durante el semestre, con la captura o cita que lo muestra (por ejemplo, la lista que omitió autoras centroamericanas) y una reflexión breve. Este registro alimenta la evaluación formativa y se articula con la guía de evaluación formativa con IA.
4. Discutir colegiadamente. Una sesión de cierre donde los estudiantes presentan sus hallazgos consolida el aprendizaje como experiencia colectiva y no solo individual.

Cierre

#

Los sesgos algorítmicos son un problema estructural que no se corrige desde el aula. Pero el aula sí puede decidir si los reproduce silenciosamente o los convierte en objeto de aprendizaje. Selwyn (2022) advierte que la adopción acrítica de IA en educación tiende a reforzar desigualdades existentes antes que a corregirlas; esa advertencia aplica aquí. La diferencia entre una universidad que integra IA con rigor y una que la adopta por moda se mide, entre otras cosas, por cómo trata esta distinción. Un egresado que sabe detectar, documentar y discutir el sesgo de un modelo está mejor equipado para la vida profesional que uno que usa la herramienta confiadamente.