Hace un par de años, cuando Brian Brackeen se preparaba para presentar su software de reconocimiento facial a un cliente potencial como alternativa a las contraseñas, este dejó de funcionar. Presa del pánico, intentó ajustar la iluminación del cuarto, luego el Wi-Fi, antes de darse cuenta de que el problema era su rostro.
Brackeen es negro, pero, como la mayoría de los desarrolladores de reconocimiento facial, había entrenado sus algoritmos con un conjunto de caras en su mayoría blancas. Llamó a un colega blanco para posar para la demostración y cerraron el trato. Fue una victoria pírrica, dice: “Fue como si tu propio hijo no te reconociera”.

En Kairos AR, su empresa de reconocimiento facial de 40 personas en Miami, Brackeen dice que ha mejorado el software agregando más caras negras y marrones a sus conjuntos de imágenes, pero los resultados aún son imperfectos.

El mismo problema atormenta a otras empresas, incluidas Microsoft, IBM y Amazon, y a su creciente gama de clientes. El reconocimiento facial se usa para ayudar al Gobierno de India a hallar a niños desaparecidos, y los medios británicos detectan celebridades en bodas reales. Otro uso más polémico es el que les dan las agencias encargadas de hacer cumplir la ley. Brackeen cree que el problema del sesgo racial es lo suficientemente grave como para que las policías no usen el reconocimiento facial en absoluto.

Microsoft e IBM, así como la china Face ++, identificaron erróneamente a las mujeres de piel más oscura el 35% de las veces y a los hombres de piel más oscura el 12%, según un informe publicado por investigadores del MIT a principios de este año. La diferencia de género se debe a un conjunto más pequeño de caras de mujeres. Los softwares pueden ver solo lo que se le ha enseñado a ver.

En los últimos meses, los principales proveedores dicen que han diversificado sus conjuntos de datos de capacitación para incluir rostros de colores más oscuros y han logrado avances para reducir el sesgo.

Microsoft señala que la nueva versión de su Face API ahora identifica erróneamente solo 1.9 por ciento de las veces a mujeres de piel más oscura, el grupo para el que es más propenso a errores. (La firma dice que su tasa de error para otros grupos es del cero).

IBM indica que su Watson Visual Recognition, que también es más débil en la identificación de mujeres de piel más oscura, se equivoca el 3.5 por ciento.

Tanto IBM como Microsoft reconocen que sus resultados no han sido verificados de manera independiente y que las tasas de error en el mundo real podrían ser diferentes. Los creadores de Face no respondieron a las solicitudes de comentarios.

Amazon.com es la que puede tener que preocuparse más por los resultados en el mundo real. El 15 de junio, un grupo de accionistas envió a la empresa una carta pidiéndole que deje de comercializar su sistema Rekognition a los departamentos de policía y otras agencias gubernamentales hasta que se desarrollen pautas para garantizar que el software no genere violaciones de derechos civiles.

En otra carta la semana siguiente, los trabajadores de Amazon le pidieron al director ejecutivo, Jeff Bezos, que dejara de vender Rekognition a las agencias encargadas de hacer cumplir la ley dado “el tratamiento cada vez más inhumano a refugiados e inmigrantes en EE.UU”. Amazon declinó hacer comentarios para esta nota.

Las agencias gubernamentales estadounidenses no tienen estándares ampliamente acordados para evaluar los sistemas de reconocimiento facial.

Un estudio de 2016 de la Universidad de Georgetown halló que casi ninguna de las que usan el reconocimiento facial requiere que los proveedores cumplan con un umbral mínimo de precisión.

“Un sistema inexacto implicará a personas por delitos que no cometieron y transferirá la carga a acusados inocentes en demostrar que no son quienes el sistema dice que son”, señala Jennifer Lynch, abogada principal de la Electronic Frontier Foundation, defensora de libertades civiles en línea.

El problema no es solo en EU. Esta primavera, un informe de Big Brother Watch, un grupo de derechos civiles del Reino Unido que examinó las solicitudes de registros hechas por varias agencias, concluyó que los sistemas eran terribles.