Cathy O’Neil, doctora en matemáticas por la Universidad de Harvard, cree que la crisis financiera dejó claro que los algoritmos no solo están involucrados en muchos de los problemas del mundo, sino que los agravan.

Denunció que los algoritmos no son transparentes y no se rinde cuentas de su funcionamiento.
Ante esa situación consideró que los gobiernos deben legislar y definir, por ejemplo, qué convierte a un algoritmo en racista o sexista.
En su libro “Armas de destrucción matemática”, O’Neil menciona un caso de una profesora en Estados Unidos a la que echaron por decisión de un algoritmo.

Explica que el distrito escolar de Washington empezó a usar el sistema de puntuación Mathematica para identificar a los profesores menos productivos y se despidió a 205 docentes después de que ese modelo les considerara malos profesores.
Sostiene que el dilema de si es o no un buen profesor no se puede resolver con tecnología, es un problema humano. Muchos de esos profesores no pudieron reclamar porque el secretismo sobre cómo funciona el algoritmo les quita ese derecho.
Al esconder los detalles del funcionamiento, resulta más difícil cuestionar la puntuación o protestar.
Explica que para evaluar bien a un profesor, primero tiene que haber un consenso entre la comunidad educativa sobre qué elementos definen a un buen profesor. Por ejemplo, debe establecerse “si se quiere valorar si genera la suficiente curiosidad en el alumno como para que aprenda”.
“Si nos metemos en un aula y observamos, podremos determinar si el docente está incluyendo a todos los estudiantes en la conversación, o si consigue que trabajen en grupo y lleguen a conclusiones o solo hablan entre ellos en clase. Sería muy difícil programar un ordenador para que lo haga”, agrega.
Cuestiona que los expertos en datos tienen la arrogancia de creer que pueden resolver esas cuestiones. Ignoran que primero hace falta un consenso en el campo educativo. “Un estúpido algoritmo no va a resolver una cuestión sobre la que nadie se pone de acuerdo”.

Cuestionó que el uso de algoritmos ahorra costes en personal, pero evita la rendición de cuentas. “Cuando usas un algoritmo, el fracaso no es tu culpa. Es la máquina”, expresó.
Se refirió al hecho de que trabajaba para el Ayuntamiento de Nueva York mientras investigaba para escribir mi libro cuando en esa institución desarrollaba un sistema de ayudas para los sin techo, pero se dio cuenta de que no querían mejorar sus vidas, sino no fracasar en sus políticas.
“Pasó lo que querían evitar: el New York Times publicó un artículo sobre la muerte de un niño como consecuencia de un fallo en esa red de ayuda. La culpa era del algoritmo, que no había calculado bien”, dijo. Cree que no deberíamos dejar a las administraciones usar algoritmos para eludir la responsabilidad.