"La inteligencia artificial (IA) facilita muchas cosas. Desgraciadamente, también la discriminación", opina Ferda Ataman, encargada del Gobierno federal alemán para la lucha contra la discriminación. Por eso, presentó en Berlín, una evaluación que solicitó a expertos, con el fin de proteger mejor a las personas de posibles desventajas derivadas de los sistemas algorítmicos de Toma Automatizada de Decisiones (ADM, por sus siglas en inglés).

Se trata de máquinas o programas que, basados en datos, calculan cifras en virtud de las cuales se puede tomar decisiones. Ferda Ataman menciona ejemplos de algunos campos en los que se puede usar este tipo de inteligencia artificial: procesos de postulación, créditos bancarios, seguros o concesión de subsidios estatales.

Prejuicios y estereotipos

"Se calculan probabilidades sobre la base de características generales de grupos", explica Ataman, y advierte: "Lo que a primera vista puede parecer objetivo, podría reproducir automáticamente prejuicios y estereotipos. Los peligros de la discriminación digital no se deben subestimar".

En 2019, más de 20.000 personas fueron víctima en los Países Bajos del uso erróneo de estos sistemas: se los conminó injustamente a devolver dinero de subsidios, bajo amenaza de altas multas. Una de las causas del problema radicó en el uso de un algoritmo discriminatorio: los afectados fueron principalmente personas con doble nacionalidad.

Una "caja negra"

Para evitar semejantes casos, Ferda Ataman demanda más transparencia a las empresas. Pide que quien utilice IA deba posibilitar el acceso a los datos empleados y a la forma en que funciona el sistema. En el dictamen elaborado por los juristas Indra Spiecker y Emanuel V. Towfigh, dichos sistemas son descritos como "cajas negras". Para los afectados resulta prácticamente imposible averiguar por qué se los perjudica.

"Un fenómeno específico del uso de sistemas ADM es que el potencial discriminatorio puede estar incorporado en el propio sistema", dice el documento. Eso puede obedecer al uso de bancos de datos  de baja calidad, con errores, distorsionados o inapropiados para determinado fin.

Código postal o género con potencial discriminatorio

Un ejemplo típico ilustra el problema: el dato neutro del código postal puede convertirse en factor de discriminación, porque en ciertos barrios viven muchos inmigrantes. Y eso puede perjudicar a sus habitantes, a quienes se atribuye un mayor riesgo financiero, razón por la cual les cuesta más obtener un crédito.

Otro ejemplo concreto: en Estados Unidos, algoritmos programados incorrectamente para las tarjetas de crédito de Apple perjudicaron sistemáticamente a las mujeres a la hora de otorgarles préstamos. Los expertos hablan de "discriminación estadística”: una atribución de características a partir de medios estadísticos que se basan en valores promedio reales o supuestos de un grupo.

Ferda Ataman demanda que se establezcan sistemas de arbitraje para semejantes situaciones y llega a una conclusión clara: "El futuro pertenece a la digitalización. Pero no debe convertirse en una pesadilla. Las personas deben poder confiar en que no serán discriminadas por la inteligencia artificial". Y, si eso ocurriera, deben poder defenderse y, para esto, se necesitan reglas claras.

(ers/rml)