Здравоохранение на слух: ИИ переписывает диагнозы и выдумывает курсы лечения

Американские больницы всё чаще используют ИИ-инструмент для транскрибации аудиоматериалов в текст под названием Whisper. Однако, как утверждается в расследовании Associated Press, эта нейронная сеть, разработанная в OpenAI, подвержена «галлюцинациям» и добавляет несуществующие фразы в расшифровки медицинских данных и деловой документации.

Выпущенный в 2022 году Whisper изначально позиционировался как система транскрибации, близкая к точности человека. Однако исследователь из Университета Мичигана отметил, что в 80% проверенных протоколов публичных встреч были обнаружены искажённые данные. Один из разработчиков сообщил, что из 26 000 его тестовых транскрипций почти каждая содержала выдуманные фрагменты.

Несмотря на предупреждения OpenAI о том, что Whisper не следует использовать в критически важных областях, более 30 000 американских медработников в настоящий момент применяют инструменты на его основе. Среди них — клиника Mankato в Миннесоте и Детская больница Лос-Анджелеса, где используется сервис ИИ-помощника от компании Nabla. Последняя подтвердила возможность «галлюцинаций» и добавила, что уже транскрибированные аудиозаписи автоматически удаляются для обеспечения защиты данных, что затрудняет проверку расшифровок на наличие ошибок.

Тем временем, ошибки в транскрипциях могут нанести серьёзный ущерб пациентам. Глухие и слабослышащие люди особенно уязвимы, так как не могут самостоятельно проверить корректность введённых данных.

Проблемы Whisper выходят за пределы медицинской сферы. Исследования Корнеллского университета и Университета Вирджинии показали, что в 1% аудиозаписей система добавляла фразы, не содержащиеся в исходных данных. В 38% случаев такие «галлюцинации» несли вредный характер — от вымышленных актов насилия до расистских высказываний.

Технология Whisper основана на предсказании вероятных слов на основе аудиоданных. Если система сталкивается с плохим качеством записи, она использует фразы из наиболее часто встречавшихся в обучающих данных. Некоторые примеры указывают на влияние YouTube-контента, на котором модель и обучалась.

Ошибки Whisper поднимают вопросы о регулировании использования ИИ в медицине. Хотя OpenAI признаёт проблему и продолжает улучшать модель, использование ненадёжных ИИ-инструментов в критически важных областях требует строгих мер и сертификации. Только такой подход позволит минимизировать риски и обеспечит надлежащий уровень безопасности пациентов.