Формула безопасного ИИ: как энтропия защищает языковые модели

Большие языковые модели (LLM) — основа многих современных цифровых сервисов. Они отвечают на вопросы в чатах, помогают писать код и анализируют тексты. Но есть одна большая проблема: почти все такие модели работают в облаке, то есть данные пользователя передаются на удалённые серверы. Даже если соединение защищено, данные всё равно расшифровываются внутри системы, и в этот момент могут быть перехвачены. Это делает такие ИИ уязвимыми для утечек и кибератак.

Чтобы решить проблему, ученые Нью-Йоркского университета разработали новый способ сделать ИИ более безопасным. Специалисты представили исследование в марте на конференции AAAI и опубликовали статью на платформе arXiv. В центре внимания — энтропия, то есть уровень неопределённости или разнообразия информации внутри нейросети.

Когда модель работает с зашифрованными данными, она не может использовать привычные инструменты, вроде сложных математических функций. Эти функции называются нелинейностями, и они помогают моделям распознавать сложные связи. Без них ИИ начинает работать хуже, теряет точность и становится нестабильным. Но если такие функции оставить, то работать с шифрованием будет невозможно — модель просто не справится с вычислениями.

На основе этих наблюдений они предложили новую схему управления вниманием, основанную на энтропии. В неё входит механизм регуляризации энтропии, который контролирует информационный поток на ранних этапах, а также модифицированные методы нормализации, пригодные для работы в условиях шифрования. Это позволяет модели сохранить фокусировку, даже когда она работает без привычных нелинейностей.

Одна из ключевых находок работы — это осознание того, что распределение внимания становится нефункциональным при крайних значениях энтропии. Если оно слишком низкое — внимание концентрируется на одной точке, если слишком высокое — рассеивается и теряет смысл. Удержание энтропии в разумных пределах делает поведение модели более предсказуемым и устойчивым.

Специалисты исследовали, как именно влияет удаление нелинейностей на поведение модели. Оказалось, что без них информация либо слишком сильно рассеивается в начале модели (это называется «энтропийная перегрузка»), либо почти полностью теряется в конце («энтропийный коллапс»). В обоих случаях ИИ перестаёт учиться и выдаёт плохие результаты.

Решение — использовать специальный механизм, который регулирует поток информации внутри модели. Исследователи добавили два элемента: первый — это контроль энтропии на ранних этапах, чтобы не перегружать модель, второй — замена стандартной нормализации на более «дружественную» к зашифрованным данным. Это помогает сохранить смысл распределения внимания внутри модели и не даёт ей сосредотачиваться на случайных местах или, наоборот, рассеивать внимание слишком широко.

В итоге получилась новая архитектура, которая позволяет строить лёгкие и надёжные языковые модели, способные работать даже с зашифрованными запросами. Такой подход сочетает идеи теории информации и практику разработки ИИ. Он помогает сделать ИИ не только более безопасным, но и быстрее, что важно для реального применения.

Авторы открыли код своей разработки, чтобы другие исследователи могли использовать и развивать предложенные идеи. Это шаг к тому, чтобы в будущем приватность данных стала частью самого ИИ, а не добавлялась потом в виде временных решений.