В начале мая Университет Гаррисберга опубликовал любопытный пресс-релиз. В нём утверждалось, что два профессора и аспирант разработали программу распознавания лиц, которая могла бы предсказать, будет ли человек преступником. Авторы проекта должны были выпустить статью «Модель глубокой нейронной сети для прогнозирования преступности с использованием обработки изображений» в сборнике крупного академического издательства Springer Nature. Но дело приняло неожиданный поворот.
Судя по описанию, алгоритм с «80-процентной точностью и без расовой предвзятости» может прогнозировать, «является ли кто-то преступником, основываясь исключительно на изображении его лица». Однако пресс-релиз был удалён с сайта университета, а 23 июня более 1000 исследователей, занимающихся машинным обучением, социологов, историков и специалистов по этике опубликовали публичное письмо с осуждением этой статьи. Springer Nature, в свою очередь, подтвердил в Twitter, что не будет публиковать исследование.
При этом исследователи возмутились не столько самим материалом, сколько принципом работы алгоритма. По словам подписавшихся, именующих себя «Коалицией за критические технологии» (Coalition for Critical Technology, или CCT), утверждения разработчиков алгоритма основаны на необоснованных научных предпосылках, исследованиях и методах, которые были опровергнуты за эти годы.
Невозможно предсказать преступность без расовой предвзятости, потому что сама категория «преступность» расово предвзята, — говорится в письме.
Достижения в области науки о данных и машинного обучения привели к появлению в последние несколько лет многочисленных алгоритмов, предназначенных для прогнозирования преступлений. Но если данные, используемые в разработках, — предвзятые, то и предсказания будут аналогичными. Как утверждают авторы письма, из-за расистского характера полицейской деятельности в США любой прогностический алгоритм, моделирующий преступность, будет воспроизводить только предубеждения, уже отражённые в системе уголовного правосудия.
Их отображение на лицевой анализ подписавшиеся сравнивают с расовой теорией, которая предполагала использовать технологию для выявления различий между расами как доказательство их врождённого интеллекта, нравственности или преступности. В последние четыре года исследователи из разных стран представили аналогичные технологии, прогнозирующие преступность, сексуальную ориентацию человека или аутизм. При этом авторы алгоритма из Университета Гаррисберга утверждают, что их проект был специально разработан для использования правоохранительными органами.
Преступность — одна из наиболее важных проблем современного общества. Разработка машин, способных выполнять когнитивные задачи, такие как выявление склонности человека к преступности по изображению его лица, даст правоохранительным органам и другим спецслужбам существенное преимущество в предотвращении совершения преступления в назначенных им местах, — цитирует WIRED аспиранта Университета Гаррисберга и бывшего сотрудника полиции Нью-Йорка Джонатана В. Корна из удалённого пресс-релиза.
Неточные вводные данные — это лишь верхушка айсберга, символизирующего текущее недоверие к подобным алгоритмам. Так, в 2018 году Американский союз защиты гражданских свобод обнаружил, что Rekognition, продукт Amazon по распознаванию лиц, неверно идентифицировал членов Конгресса как преступников. Причём в случае с чернокожими законодателями система ошибалась чаще. В середине июня компания наложила годичный мораторий на продажу продукта полиции.
Другой инцидент произошёл в Детройте. Полицейские задержали для проверки мужчину, которого программа алгоритмов на базе ИИ определила как преступника, совершившего кражу в магазине. Но, как выяснилось позже, система допустила ошибку, из-за которой задержанный провёл 30 часов за решёткой.
