El sesgo algorítmico es la tendencia sistemática de un sistema a favorecer, omitir o perjudicar de manera desigual a determinados grupos, perspectivas o casos. Puede provenir de los datos de entrenamiento, de las categorías elegidas al diseñarlo, de los criterios con los que se evalúa o del contexto en que se usa. No es solo un error de datos ni algo que se resuelva automáticamente al añadir más información.
En educación, por ejemplo, una IA puede describir como normal una experiencia escolar que deja fuera a estudiantes con otra lengua, trayectoria o acceso tecnológico. El problema no se corrige pidiéndole al mismo sistema que se declare imparcial: hay que contrastar su respuesta con fuentes y experiencias pertinentes al contexto. El riesgo aumenta cuando se acepta una respuesta como neutral solo porque parece coherente. Examinar el sesgo implica preguntar qué casos aparecen, cuáles faltan, quién definió las categorías y qué consecuencias tendría usar ese resultado; esa práctica enlaza la Alfabetización en IA con el Pensamiento crítico y la Justicia epistémica, sin prometer que una revisión aislada elimine toda desigualdad.
Fuentes públicas y alcance:AI Risk Management Framework — Marco voluntario de gestión de riesgos de IA; respalda riesgos situados, sesgo, privacidad, homogeneización y asignación de responsabilidades.
Implicaciones en la educación#
En educación, por ejemplo, una IA puede describir como normal una experiencia escolar que deja fuera a estudiantes con otra lengua, trayectoria o acceso tecnológico. El problema no se corrige pidiéndole al mismo sistema que se declare imparcial: hay que contrastar su respuesta con fuentes y experiencias pertinentes al contexto.
El riesgo aumenta cuando estudiantes o docentes aceptan una respuesta como neutral solo porque parece coherente. Examinar el sesgo implica preguntar qué casos aparecen, cuáles faltan, quién definió las categorías y qué consecuencias tendría usar ese resultado. Esta práctica enlaza la alfabetización en IA con el pensamiento crítico y la justicia epistémica, sin prometer que una revisión aislada elimine toda desigualdad.