Preselect Recidive: полицейский алгоритм вешает на невинных детей ярлыки преступников

В Нидерландах разгорается скандал вокруг полицейского алгоритма, который предугадывает, станут ли трудные подростки закоренелыми преступниками в будущем.

Программа под названием Preselect Recidive собирает информацию о молодых людях от 12 до 18 лет, которые хотя бы раз попадали в поле зрения полиции, и пытается заглянуть в их будущее. Многие уже сравнили эту практику с фильмом Стивена Спилберга "Особое мнение", где специальный отдел полиции пытался предотвращать преступления еще до того, как они произойдут.

Журналисты-расследователи из издания FTM обнаружили, что система работает из рук вон плохо. Помимо того, что в трети случаев ИИ ошибается, тревогу вызывают сами критерии, по которым алгоритм оценивает подростков. Preselect Recidive учитывает возраст, любые контакты семьи с полицией и даже случаи, когда ребенок просто оказался свидетелем преступления.

В результате возникают самые абсурдные ситуации: среди ребят с одинаковым происхождением и образом жизни система может назвать опасным того, чей дальний родственник попадал под стражу.

По информации FTM, ярлык потенциального преступника серьезно влияет на судьбу подростка: от оценки системы зависит, отправят ли его на реабилитацию по государственной программе или начнут уголовное преследование после того, как он нарушил закон. Некоторые голландские специалисты считают, что из-за огромного количества ошибок алгоритм работает не лучше подбрасывания монетки.

Муниципальные власти по всей стране уже используют систему, чтобы составлять списки детей, за которыми правоохранители будут пристально следить. И хотя при составлении таких списков учитывают и другие факторы, прогнозы Preselect Recidive играют решающую роль.

Получается замкнутый круг: подростки чаще попадаются не потому, что склонны к преступлениям, а потому что за ними ведется наблюдение. В то же время их сверстники с "чистой" оценкой могут нарушать закон не реже, просто никто не обращает на них столько внимания.

Хуже того, ни сами дети, ни их адвокаты даже не подозревали о существовании алгоритма. А ведь эту оценку, как и любой другой рейтинг – кредитный или криминальный – могли использовать работодатели или другие заинтересованные лица, принимая важные для человека решения.

Министерство юстиции и безопасности Нидерландов, получив запрос от издания FTM, признало: да, система несовершенна. Но тут же добавило, что пока она справляется со своими задачами достаточно хорошо.