Эпилепсия ИИ: почему автопилот «слепнет» при встрече с полицией

Учёные из университета Бен-Гуриона и компании Fujitsu Limited обнаружили, что камеры в системах автоматического вождения могут работать хуже, если рядом мигают проблесковые маячки машин экстренных служб. Особенно это заметно в тёмное время суток. Исследователи назвали явление «цифровым эпилептическим припадком» или «epilepticar». Системы перестают чётко распознавать объекты на дороге, что может привести к авариям.

Тестирование проводилось на пяти популярных видеорегистраторах с функцией распознавания объектов. Для анализа использовали открытые алгоритмы, обученные различать машины, людей и другие препятствия. Пока неизвестно, применяются ли эти алгоритмы в реальных системах автопилота. Некоторые автопроизводители, возможно, уже предусмотрели защиту от таких помех, но это не гарантировано.

Поводом для исследования стали аварии с участием автомобилей Tesla. В период с 2018 по 2021 год машины столкнулись по крайней мере с 16 машинами экстренных служб. Хотя в исследовании не утверждается, что уязвимость связана именно с Tesla, учёные предполагают, что мигающие маячки могли быть одной из причин.

Выяснилось, что система автопилота недостаточно следила за вниманием водителей, что привело к отзыву программного обеспечения Autopilot. В то же время, технологии других компаний, например General Motors и Ford, требуют, чтобы водитель всегда был сосредоточен, и работают только на определённых участках дорог.

Для решения проблемы учёные разработали алгоритм Caracetamol, который помогает камерам лучше распознавать машины с проблесковыми маячками и повышает точность работы системы. Эксперты считают разработку перспективной, сравнивая её с тем, как человек может временно ослепнуть от яркого света, но затем восстановить зрение.

Исследование также поднимает вопросы о надёжности и валидации систем искусственного интеллекта в автомобильной отрасли. Специалисты MIT предупреждают, что производители слишком быстро внедряют новые технологии, не успевая их тщательно протестировать, что может привести к серьёзным последствиям.