Цифровая диктатура: как «невинные» алгоритмы тайно правят миром

В мире, где цифровые технологии пронизывают каждый аспект жизни, разговоры о том, что алгоритмы постепенно устанавливают диктатуру над нашим культурным пространством, звучат всё громче. Музыкальные композиции вроде "Espresso" Сабрины Карпентер или внезапная популярность пастельных термокружек Stanley - все это приписывают влиянию умных систем рекомендаций.

Критики культуры бьют тревогу: в 2024 году искусство становится безликим под натиском технологий. Журналист The New Yorker Кайл Чайка посвятил целую книгу тому, как крупные компании превратили культурное пространство в бесконечное множество одинаковых кофеен и однотипной мебели в стиле середины прошлого века (всё из-за трендов в соцсетях и жажды прибыли).

Такие аргументы звучали и раньше. Намного раньше. Еще в 1923 году Олдос Хаксли в своем эссе критиковал массовую культуру, назвая "легкие удовольствия, готовые развлечения, одинаковые для всего западного мира" более серьезной угрозой цивилизации, чем немцы.

Однако корень проблемы лежит гораздо глубже рекомендательных систем. Растущие цены на аренду и увеличивающийся разрыв между богатыми и бедными уничтожают саму почву, на которой может зародиться и развиваться искусство. Галереи закрываются, концертные площадки превращаются в элитное жилье и банковские отделения.

Критики искусства оказались в непростом положении. Раньше они выступали в роли проводников и усилителей культурного опыта, отбирая достойные произведения и помогая аудитории глубже понять их контекст. Теперь эту роль все чаще берут на себя такие сообщества как BookTok и автоматически созданные плейлисты. На смену рецензиям в музыкальных журналах и советам владельцев музыкальных магазинов пришли умные стриминговые сервисы.

Потребители во многом смирились с технологическим фатализмом. Они осознают существование алгоритмов и их влияние на распространение культурного контента, но не видят иного выхода, кроме как полностью отказаться от платформ и вернуться к "ретро-луддизму". А это будет очень сложно. Да и есть ли смысл?

Однако контроль над контентом, который мы потребляем - явно не самое страшное. Компьютерные программы сейчас определяют цены на недвижимость, принимают решения об условно-досрочном освобождении, регулируют тарифы такси, оценивают необходимость медицинской помощи пожилым людям и даже выбирают цели в зонах военных конфликтов.

В качестве примера возьмем США (все же в плане технологий они сильно преуспели). Автоматизированные системы там прочно вошли в работу бизнеса и госструктур. Яркий пример - сеть Walmart, где обычные ценники заменяют на электронные табло с возможностью дистанционного управления. По данным исследования 2021 года, такая практика не делает товары дешевле. Анализ цен в Amazon, Target и Walmart показал: автоматическое ценообразование лишь снижает конкуренцию и увеличивает прибыль крупных компаний.

Особенно настораживает ситуация с ипотечным кредитованием. В 1968 году закон запретил банкам отказывать чернокожим американцам в выдаче кредитов на жилье - эта практика называлась редлайнингом. Тогда решения принимали люди, и процесс был прозрачнее. Сейчас большинство людей подают заявки через интернет, где их проверяют компьютерные программы.

Цифровизация ипотечной индустрии преподносилась как способ уравнять шансы потенциальных домовладельцев - люди верили, что автоматизированные системы лишены предубеждений, свойственных кредитным инспекторам. Программа оценивает прежде всего имущество заявителя и его кредитную историю. А эти показатели исторически складывались не в пользу меньшинств из-за десятилетий экономической дискриминации.

Расследование The Markup 2021 года показало: алгоритмы отклоняют заявки чернокожих клиентов на 80% чаще, чем заявки белых с аналогичными финансовыми показателями.

В Массачусетсе недавно завершился коллективный иск против компании SafeRent. Фирма разработала систему проверки потенциальных арендаторов, которая несправедливо оценивала чернокожих и латиноамериканцев с федеральными жилищными ваучерами. Программа занижала их рейтинг надежности, игнорируя тот факт, что государственные ваучеры гарантируют оплату жилья.

Впрочем, кажется, правительство все же пытается ограничить подобные практики. В начале года Минюст США напомнил арендодателям: они несут ответственность за дискриминацию, даже если решения принимает компьютер. Ведомство пока не грозит судами, но дает понять - за ситуацией следят.

Лина Хан, возглавляющая Федеральную торговую комиссию, активно борется с технологическими гигантами. Она подала антимонопольные иски против Amazon и Meta*. В июле комиссия взялась за новую проблему - разные цены для разных пользователей в зависимости от их поисковой истории.

Президент Байден поручил федеральным агентствам разработать правила против дискриминации в автоматизированных системах. Но пока вместо реальных действий идут бесконечные обсуждения.

В новой администрации Трампа собрались люди из правого крыла технологического сектора. Среди них - Джей Ди Вэнс, последователь Питера Тиля, а также неожиданный дуэт Илона Маска и Вивека Рамасвами во главе Департамента правительственной эффективности. Им может помешать потенциальный глава FCC Брендан Карр - он часто, хоть и выборочно, критикует монополизацию.

Самое опасное в компьютерных системах - они позволяют уходить от ответственности. Когда вместо человека решает формула, становится сложно найти виновного. Мы привыкли думать о технологиях как о продукте компаний, забывая, что за каждым решением стоят конкретные разработчики со своими предубеждениями.

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.