Расовые предрассудки в цифровом суде: что показало исследование Корнелла?

В будущем искусственному интеллекту неизбежно придется принимать решения, связанные с высокими рисками. Группа ученых из Корнеллского университета и других научных учреждений решила проверить способность современных крупных языковых моделей прогнозировать вероятность повторных правонарушений.

В США уже применяется система COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) для оценки риска рецидивов, однако результаты её работы оказались неоднозначными. Алгоритмы системы прогнозируют вероятность повторных преступлений на основе таких факторов, как количество судимостей, тяжесть правонарушения и возраст подсудимого. В 2016 году исследование ProPublica выявило, что система COMPAS чаще определяет чернокожих людей как потенциальных рецидивистов, даже при схожих криминальных историях с представителями других рас.

Чтобы проверить возможности искусственного интеллекта в предсказании рецидивов, исследователи использовали комбинированный набор данных из трех источников. Первый источник — информация из системы COMPAS, включая шкалу оценки риска рецидива, которая варьируется от 1 до 10 баллов. Второй источник — результаты опроса 20 человек, которые оценивали вероятность повторных преступлений. Третий источник — база данных Chicago Face Database, содержащая фотографии людей разного пола, этнической принадлежности и возраста. При анализе учитывались такие факторы, как пол, возраст, раса, количество предыдущих тяжких преступлений и степень тяжести правонарушений.

Тестирование проводилось на четырех языковых моделях: GPT 3.5 Turbo, GPT 4o, Llama 3.2 90B и Mistral NeMo (12B). Ученые пришли к выводу, что языковые модели и система COMPAS не превосходят людей в точности прогнозирования рецидивов. Тем не менее, модели ИИ чаще делают прогнозы, чем люди и система COMPAS, хотя и не всегда с большей точностью. В отличие от людей, точность предсказаний языковых моделей снижается при отсутствии информации о расовой принадлежности. При наличии таких данных количество ложноположительных прогнозов значительно уменьшается. Среди всех протестированных моделей GPT 3.5 Turbo показала наивысшую точность.

Когда к анализу были добавлены фотографии подсудимых из базы данных Chicago Face Database, результаты моделей ИИ улучшились, но точность всё равно осталась ниже, чем у людей. Одним из ключевых открытий стало то, что языковые модели превосходят как людей, так и систему COMPAS в тех случаях, когда им доступны результаты предыдущих решений через механизм контекстного обучения.

Примечательно, что наличие информации о расовой принадлежности снизило количество ложноположительных прогнозов для афро- и латиноамериканских подсудимых. Однако этот показатель всё равно остался выше, чем для белых обвиняемых.