El aumento del poder computacional y la ciencia de datos, que se ha expandido a casi todas las áreas de nuestras vidas, nos han ingresado en la edad del algoritmo.
Mientras nuestros datos personales y profesionales se compilan y analizan, los modelos matemáticos están informando e incluso tomando decisiones esenciales que tienen un impacto directo en nosotros, desde las universidades a las que asistiremos y el trabajo que asumiremos hasta nuestro acceso a y los costos de créditos para autos, hipotecas y seguros médicos. Incluso las noticias que vemos en las redes sociales se guían por algoritmos.
En algunos casos, estos modelos son útiles y mejoran nuestras vidas al sugerir música, libros o películas que nos pueden interesar sobre la base de nuestras interacciones online pasadas. Pero, como Cathy O’Neil, científica de datos, investigadora y emprendedora, señaló en una charla en el Bloomberg Quant Seminar en Nueva York, cuando se trata de decisiones verdaderamente importantes, decisivas en la vida, los modelos que se utilizan hoy son opacos, no regulados e indiscutibles, incluso cuando están equivocados.
Sin embargo, a menudo son considerados justos, científicos y objetivos porque se basan en vastas colecciones de datos procesados por máquinas desprovistas de emociones.
Una pregunta central en la era del aprendizaje automático y de ciencia de datos: ¿cómo podemos evaluar y redefinir si funciona un algoritmo, tomando en consideración a todos los interesados? Si falla en algunos niveles, ¿cuáles son esos niveles y cuáles son las implicaciones para todas las partes involucradas? “Necesitamos apreciar lo que podemos y no podemos esperar de la inteligencia artificial”, dice la dra. O’Neil.
“Ha sido objeto de una tremenda expectativa, pero en realidad es bastante limitado. Esto no significa que la IA no es útil, pero debería ser tratada con escepticismo científico. No se debe confiar ciegamente en las respuestas, también se deberían verificar”.

La matriz ética: juzgar algoritmos que juzgan el comportamiento humano. Los algoritmos pueden ser, como escribió O’Neil en su reciente libro Armas de Destrucción Matemática, herramientas peligrosas si se utilizan sin una cuidadosa crítica. Algunos de los casos más sorprendentes de mala utilización se encuentran en la justicia penal y los sistemas de servicios de protección de la infancia. Ella ha examinado datos y decisiones relacionados tanto con la reincidencia como con el abuso infantil y destacó este trabajo durante su charla. En el ámbito legislativo, estos son ejemplos destacados de esfuerzos para abordar difíciles problemas sociales con las herramientas de ciencia de datos. Sin embargo, los análisis resultantes están sujetos a graves sesgos y defectos en detrimento de las poblaciones que tienen por objeto evaluar y servir.

En el caso de reincidencia, la investigación examinó datos de individuos que habían sido arrestados e intentó predecir la probabilidad de que fueran arrestados nuevamente. El resultado puede derivar en condenas de prisión más largas, aunque los algoritmos estén entrenados para examinar el estatus de simplemente ser arrestados y no están relacionados con el hecho de que el acusado haya cometido o no un delito violento. Desafortunadamente, los datos mostraron una tendencia a producir falsos positivos para los hombres afroamericanos al doble de la tasa que produce falsos positivos para los hombres blancos. Parte del análisis de la dra. O’Neil implica construir una “matriz ética”, una red que representa a cada participante y su perspectiva sobre ciertos resultados.

En este caso hay tres partes interesadas: los tribunales, los hombres afroamericanos y los hombres blancos. Claramente el tribunal está preocupado por los falsos negativos, ya que esos resultados sugieren una debilidad del sistema judicial y representan una amenaza para la sociedad. Sin embargo, un falso positivo es una preocupación aún mayor para los hombres afroamericanos, ya que pueden pasar más tiempo en prisión (o incluso ser encarcelados pese a ser inocentes) si el juez actúa de acuerdo al análisis. En la matriz gráfica, la perspectiva del tribunal sobre falsos positivos (que aparece en amarillo) es una grave preocupación; la perspectiva de los hombres afroamericanos sobre los falsos positivos se muestra en rojo, un problema significativo para esas personas y para el sistema en su conjunto, ya que las decisiones que se toman erradamente podrían constituir una violación de los derechos civiles de aquellos individuos.