Тишина громче слов: нейросеть выявила главную проблему видеозвонков

С начала пандемии COVID-19 видеоконференции стали неотъемлемой частью офисной жизни, а также способом общения с друзьями и семьёй. Однако не все виртуальные встречи проходят одинаково комфортно: одни разговоры текут естественно, другие же сопровождаются неловкими паузами и сбоями в общении. Ученые из США разработали ИИ-модель, которая в режиме реального времени анализирует взаимодействие участников видеозвонков и предсказывает уровень дискомфорта.

Нейросеть обучалась на более чем 100 часах записей Zoom, анализируя голос, мимику и движения тела собеседников. Особое внимание уделялось тому, как участники передавали слово друг другу, насколько их выражения лица соответствовали эмоциональному фону разговора, а также каким образом они взаимодействовали в рамках обсуждения.

Оказалось, что слишком длинные паузы в разговоре воспринимаются как более негативные, чем одновременные реплики нескольких участников. Другими словами, «неловкое молчание» оказалось более пагубным, чем хаотичная, восторженная динамика жарких дебатов.

Для проверки точности модели ученые привлекли группу из 300 независимых судей, которые оценивали записи по тем же параметрам. Оценки людей практически совпали с прогнозами алгоритма, подтверждая способность нейросети точно определять уровень «текучести» беседы и общий уровень удовлетворённости участников встреч.

Авторы работы считают, что открытие поможет избежать срывов общения и повысить эффективность онлайн-встреч. Следующим шагом станет тестирование технологий, способных смягчать моменты сбоев в коммуникации. Среди возможных решений — динамическое управление задержками сигнала или предоставление участникам визуальных и звуковых подсказок.