Клавиатура шепчет, а микрофон слушает: как алгоритмы расшифровывают ваши тайны через микрофон

Команда исследователей из британских университетов обучила модель глубокого обучения, которая может воровать данные о нажатиях клавиш клавиатуры, записанных с помощью микрофона, с точностью до 95%.

При использовании Zoom для обучения алгоритма классификации звука точность предсказания снижалась до 93%. Однако даже этот показатель остается на опасно высоком уровне и является рекордным для данного средства коммуникации.

Такая атака представляет серьезную угрозу безопасности данных, поскольку она может привести к утечке паролей, обсуждений, сообщений или другой конфиденциальной информации злоумышленникам.

В отличие от других атак через побочные каналы, которые требуют специальных условий, акустические атаки становятся проще благодаря распространению устройств с микрофонами высокого качества. Это, в сочетании с быстрым развитием машинного обучения, делает акустические атаки гораздо опаснее.

Первым шагом атаки является запись нажатий клавиш на клавиатуре цели, поскольку эти данные необходимы для обучения алгоритма прогнозирования. Это может быть достигнуто с помощью ближайшего микрофона или телефона цели, который мог быть заражен вредоносным ПО, имеющим доступ к его микрофону.

В качестве альтернативы нажатия клавиш могут быть записаны с помощью вызова Zoom, когда мошеннический участник собрания проводит корреляцию между сообщениями, набранными целью, и их звукозаписью.

Исследователи собрали обучающие данные, нажимая на 36 клавиш современного MacBook Pro и записывая звук каждого нажатия по 25 раз. Затем из этих записей были созданы спектрограммы, которые позволяли определить различия между каждой клавишей.

Затем они создали сигналы и спектрограммы из записей, которые визуализируют идентифицируемые различия для каждой клавиши, и выполнили определенные шаги обработки данных, чтобы усилить сигналы, которые можно использовать для идентификации нажатий клавиш.

Изображения спектрограммы использовались для обучения 'CoAtNet', классификатора изображений. В процессе потребовались эксперименты со скоростью обучения и параметрами разделения данных, прежде чем были достигнуты наилучшие результаты по точности предсказания.

В экспериментах использовался один и тот же ноутбук, iPhone 13 mini и Zoom. Классификатор CoANet достиг точности 95% из записей со смартфона и 93% из записей через Zoom. Skype показал ниже, но все равно приемлемую точность в 91.7%.

Для тех, кто обеспокоен акустическими атаками, рекомендуется изменять стиль печати или использовать случайные пароли. Другие методы защиты включают использование программного обеспечения для воспроизведения звуков нажатия клавиш, белого шума или программных аудиофильтров для клавиатуры.

Помните, что модель атаки оказалась очень эффективной даже против очень тихой клавиатуры, поэтому добавление шумопоглотителей на механические клавиатуры или переход на мембранные клавиатуры вряд ли помогут.

В конечном итоге использование биометрической аутентификации, а также менеджеров паролей для автоматического ввода конфиденциальной информации, может также помочь обезопасить пользователей.