Los expertos de Amazon empezaron a construir en 2014 un sistema de inteligencia artificial para revisar el currículum de los postulantes de empleo. El objetivo era mecanizar la búsqueda de los mejores talentos. Esta herramienta, basándose en los archivos de los últimos 10 años de la compañía, aprendió que los hombres eran preferibles y empezó a discriminar a las mujeres, tal y como han informado fuentes de Amazon a Reuters. Tras conocer el error, la compañía ha decidido prescindir de este sistema.

La herramienta puntuaba a los candidatos de una a cinco estrellas, al igual que los clientes pueden calificar cualquier producto en la página web de la compañía. “Era como el Santo Grial, todo el mundo lo quería», ha explicado a la misma agencia uno de los empleados a Amazon. «Querían que fuera un sistema en el que introducías 100 currículums y seleccionara a los cinco mejores para contratarlos”, ha afirmado.Pero en 2015 la compañía se dio cuenta de que esta herramienta discriminaba a las mujeres candidatas a los empleos de desarrollador de software y otros puestos técnicos en la compañía. En su lugar, prefería contratar a hombres. “Esto es lo que ocurre cuando entrenas a un sistema con unos datos que piensas que no están sesgados pero que realmente lo están”, explica Nerea Luis Mingueza, estudiante de doctorado en Inteligencia Artificial y fundadora de T3chfest, un evento tecnológico en la Univerisidad Carlos III de Madrid.

El sistema de Amazon penalizó a las postulantes cuyos currículums incluían la palabra “mujeres”. Por ejemplo, a una chica que explicaba que había sido “capitana de un club de ajedrez de mujeres”. También discriminó a graduadas de dos universidades para chicas, según Reuters.

La inteligencia artificial había sido entrenada con los perfiles de los solicitantes de empleo de los últimos 10 años. La mayoría de postulantes en esa década, y por tanto de personas contratadas, eran hombres. “Si ves que el sistema siempre está clasificando hombres como mejores, tienes que preguntarte el por qué. No tienes que pensar que lo está haciendo bien”, afirma Luis.

Cuando la compañía se dio cuenta del error, editó los programas para que dejaran de discriminar a las mujeres. Pero, según las fuentes consultadas por Reuters, eso no era una garantía de que el sistema no volvería a fallar o a ser injusto a la hora de clasificar a los candidatos. Por ello, los ejecutivos perdieron la esperanza en el proyecto y la compañía de Seattle acabó por abandonar el proyecto.