Про распознавание лиц в школах и не только

Почему-то меня сильно задел обсуждаемый в ленте ФБ вопрос о внедренной в китайских школах системе распознавания лиц и китайского Social Score. В комментариях пришли люди, которые внедряли похожую систему в каком-то ВУЗе в РФ, пришло много людей, которые хотели бы такую систему в своих школах для собственных детей. До этого меня задело обсуждение охраны в школе, где люди радовались вышкам с автоматчиками и колючей проволоке по периметру, хотя казалось бы, зона комфорта размером с город или страну гораздо привлекательнее зоны комфорта внутри загородки с охраной или автомобиля. Мне не нравится ЮАР, хотя там Макдональдс автоматчик охраняет, безопасно же!

На сколько я понял их аргументацию pro:

• контроль вовлеченности студентов
• борьба с травлей учеников (или c приставаниями)

Я считаю, что любая система или процедура должна внедряться исходя из целей, эти должны быть четко определены критерии их достижения. Вроде было N травимых в среднем по школам, в 50% внедрили, через год где внедрили осталось X травимых, в остальных Y. Сейчас я вижу обоснования “вы же понимаете” и “очевидно что”.

Я не понимаю, как система будет помогать бороться с травлей: учитель на то и учитель, чтобы знать что происходит в классе между детьми. Если в классе есть травля и с ней не работают или поощряют, то надо менять класс, учителя, завуча, директора, школу, страну. Посмотрите историю с 57 школой, на ее развитие: “ачотакова”, “самадуравиновата” и “не трогайте ценных гениев” годами и даже тогда, когда говно уже попало в вентилятор.

Я не понимаю как система будет помогать контролировать учителей или преподавателей, у которых народ спит и помогать им поднимать вовлеченность. Во-первых, могу вам дать совет на миллионы в год: выгнать на мороз все непрофильное, вроде экологии и философии с технических специальностей, сразу поднимется вовлеченность без всякой системы. Во-вторых, любой KPI при должном усердии подвержен атаке “числитель увеличиваем, а знаменатель уменьшаем”. Можно даже в цифрах прикинуть: пусть есть класс из 30 человек, сколько нам надо сговорившихся учеников, чтобы доставить неприятности конкретному учителю, если у него KPI не более 30% скучающих? Считаем: из 30 двое всегда заболели или их нет, два-три скучают просто потому, что они всегда такие. Значит надо 6 -7 человек смотрящих в пол или потолок, чтобы к учителю возникли вопросы. В третьих, учителей, которые умеют за собой увлечь класс, не так много. Что делать с остальными-то? Ну выгнали, где взять замену? С точки зрения хоть и бывшего, но начальника могу сказать, что всегда известно кто халтурит, ну. Не нужна тут система слежения. Зато собрать данные для увольнения или для шантажа— о да, тут она будет незаменима. Для многих одним своим наличием, слова “мы на тебя материальчик уже собрали, ты же не хочешь …?” действуют.

Я не понимаю как жить с постоянными камерами над головой, с сознанием что за тобой постоянно следят. Хрен бы со мной, конечно, кого я забочу, но я не одинок в этом. Я не соглашусь работать в таких условиях, никогда так не работал, не работал в компаниях где это норма, был против там, где мог повлиять и старался не работать с людьми, которые за нее. Рабочие условия формируют коллектив. Хотите ли вы для своих детей учителей, которые не одобряют приватность и свободу? Я прекрасно понимаю, что есть места, где тотальный контроль необходим, но это не класс и не аудитория. Тем более, не кафе.

Я вообще не понимаю, зачем она нужна с точки зрения управления людьми, отношения “учитель-ученик” — это тоже управление. Это типичный инструмент микроменеджмента, противоречащий делегированию и наставничеству. Он не то что стартапы убивает, он экономики стран убивает!

Я не понимаю “gun-free зон” в разных их проявлениях. Травля — это не только драки и прямые оскорбления, это и пассивная агрессия, игнорирование, задрачивание по уставу, гиперконтроль и т.д. и т.п. Система постоянного слежения будет работать на увеличение серьезных драк, когда травимый впадает в берсерк-мод и начинает драться стульями по голове “как в последний раз”. Потому что травитель знает, что физически за травлю ему ничего не грозит: если травимый только толкнет в ответ, то будет наказан и все доказательства на него будут у учителя. Немного отдельно и в сторону: вообще-то конфликты тоже часть жизни. Не получится их убрать. Как быть романтическими отношениями или дружбой, которые люди могут не хотеть выставлять напоказ?

Просто риски :

• когнитивные искажения распознавания и ложные срабатывания. Если искажения людей изучены и их стараются учитывать в практиках управления, то никаких данных об искажениях нейросетей нет. Недавно были новости о распознавании преступников на стадионе, где несколько сотен человек допросили просто потому что их рожа роботу не понравилась. До этого был пример уязвимости из-за которой пластиковая черепашка распознавалась как ружье, а самобеглая повозка сворачивала с дороги. Мой любимый пример — нейросеть расист-сексист-эйджист, которая делала преференции при выборе резюме по некоторым признакам, а заметить это было не так-то просто. При чем когда из нейросети насильно искажения удаляют, то вносят в нее другие, неизвестные.
• риск использования в непонятных целях непойми кем. Утекает все, от баз пользователей ГИБДД и сотовых операторов, до медкарт и баз кредитных историй.
• риск использования мудаками в сиюминутных целях, и я даже не про условный КГБ, который смотрит кто мало скорбит по Вождю. Я считаю, что местный столоначальник, сгоняющий на просмотр или концерт, намного вреднее.
• трудно остановиться, напомню, что блокировки в Рунете начинались с “закрытого списка”. Покрытие такой системы даже в школе тюремного типа не будет 100%. Как туалет обезопасим?
• коррупционное использование, когда в нужный момент нужная камера выходит из строя.

Мое скромное мнение, что такие системы на самом деле преследуют цели:

• “театр безопасности” и “прикрыть жопу”: “нет никакой травли, вы выдумываете у нас Система” и “ну раз Система не справилась!”. В Schneier on Security: Liars and Outliers про это подробно (и нудно).
• “мы строим вертикаль” потому что всегда так делали. Приказали — не вышло? Внедрим еще больше микроменеджмента! Будем контролировать все!
• Конкретно Social Score используется для травли инакомыслящих.

“Это только инструмент” в жизни не везде работает. Иначе где-то должен быть построен коммунизм как в книжке, а не как в КНДР или в Восточной Германии.