"Искусственный интеллект (ИИ) облегчает многие вещи - к сожалению, в том числе и дискриминацию", - так оценивает потенциал ИИ Ферда Атаман (Ferda Ataman), немецкая федеральная уполномоченная по борьбе с дискриминацией. Именно поэтому в конце августа она представила в Берлине подготовленный по заказу ее ведомства доклад, цель которого - надежнее защитить людей от возможной дискриминации со стороны самообучающихся алгоритмических систем принятия решений (ADM).

ИИ может воспроизводить предрассудки и стереотипы

Атаман приводит типичные примеры использования ИИ в подобных случаях: процедура подачи заявлений, получение кредитов в банках, страхование, а также распределение госпособий, например социальной помощи.

"Здесь вероятностные утверждения делаются на основе групповых характеристик, - указывает Атаман, описывая принцип работы алгоритмов. - То, что на первый взгляд кажется объективным, может автоматически воспроизводить предрассудки и стереотипы. Ни в коем случае нельзя недооценивать опасность цифровой дискриминации".

К чему может привести ошибочное использование якобы неподкупных технологий, испытали на себе в 2019 году более 20 тысяч жителей Нидерландов. Их - под угрозой крупных штрафов - незаконно обязали вернуть ранее полученные детские пособия. Отчасти виноват в случившемся был и дискриминационный алгоритм, заложенный в программное обеспечение: особенно пострадали от ошибки лица с двойным гражданством.

Данные и режим работы ИИ - "черный ящик"

Чтобы предотвратить подобные случаи дискриминации, Ферда Атаман требует от компаний большей прозрачности. Те из них, что применяют искусственный интеллект, должны в будущем предоставлять информацию об используемых данных и о том, как работает система.

В экспертном заключении, составленном правоведом Индрой Шпикер (Indra Spiecker) и ее коллегой Эмануэлем Тауфигом (Emanuel Towfigh), характер систем, которые основаны на ИИ, описывается как "черный ящик". Тем, кого это коснулось, практически невозможно отследить причины неблагоприятных для них решений или событий - например, как при вышеупомянутом противоправном возвращении детских пособий.

"Специфический феномен использования систем ADM состоит в том, что их дискриминационный потенциал может быть заложен уже в самой системе, - отмечается в докладе. Причиной может быть качественно неполноценный, ошибочный, неподходящий для действий в задуманных целях или искаженный набор данных.

Потенциальный дискриминационный признак - ваш почтовый индекс

Что тут имеется в виду, показано в отчете на типичных примерах: "Номер почтового индекса, который сам по себе не является дискриминационной характеристикой, становится таковой, выступая в качестве своеобразной замены запрещенной характеристики происхождения - поскольку в силу исторических причин многие мигранты проживают в определенных районах".

Это может иметь негативные последствия для всех поселившихся там людей, поскольку, например, при выдаче кредитов они могут рассматриваться банком как финансово рискованные заемщики, которые могут оказаться не в состоянии погасить долг. В результате такие лица не получают кредит. "Дискриминация посредством статистики" - так специалисты называют практику приписывания характеристик и показателей с помощью статистических методов, основываясь на фактических или предполагаемых средних значениях для той или иной группы.

"Цифровизация не должна стать кошмаром"

Для таких и похожих случаев федеральная уполномоченная по борьбе с дискриминацией хочет создать при своем ведомстве арбитражную комиссию. Кроме того, Ферда Атаман требует дополнить немецкий закон о всеобщем равенстве обязательной согласительной процедурой.

В качестве аргумента в пользу необходимости принятия срочных мер она приводит устрашающие примеры из других стран. Так, в США ошибочно запрограммированные алгоритмы в кредитных картах систематически дискриминировали женщин при выдаче им кредитов. А в Австралии после ошибки в системе принятия решений, поддерживаемой искусственным интеллектом, сотни тысяч человек были вынуждены вернуть положенную им социальную помощь.

Вывод Ферды Атаман, который она делает из доклада: "Цифровизация - это будущее. Но она не должна стать нашим кошмаром. Люди должны быть уверены, что не подвергнутся дискриминации со стороны ИИ". И что они смогут защитить себя, если это все же произойдет. Именно поэтому необходимы четкие и понятные правила, заключает Атаман.

Смотрите также: