Таблица Менделеева для нейросетей: MIT разложил ИИ по полочкам

Специалисты Массачусетского технологического института создали своеобразную периодическую таблицу для алгоритмов машинного обучения — она объединяет более 20 классических способов тренировки ИИ и показывает связи между ними. И это нужно не только чтобы продемонстрировать взаимосвязи между существующими технологиями, но и чтобы указать на возможность создания множества принципиально новых решений.

Аспирантка MIT Шаден Альшаммари занималась изучением двух процессов автоматической группировки изображений. Первый — кластеризация, позволяющая компьютеру самостоятельно находить похожие элементы и объединять их в группы, например, сортировать фотографии с изображением кошек и собак. Второй — контрастное обучение, где система учится различать объекты, сравнивая их попарно. Сопоставляя математические принципы этих методов, девушка обнаружила поразительное сходство: в основе обоих лежит один и тот же математический принцип — стремление системы минимизировать разницу между реальными связями в данных и их внутренним представлением.

Открытие произошло почти случайно, — рассказывает соавтор работы Марк Гамильтон, аспирант MIT и старший инженер-менеджер Microsoft. — После того как Шаден обнаружила связь между двумя технологиями, мы начали проверять другие методы. Практически каждый из них вписывался в обнаруженную закономерность.

Разработанный командой MIT подход получил название "информационное контрастное обучение" (I-Con). Его уникальность заключается в способности машины описать единой формулой множество различных методов обработки контента: от простых почтовых фильтров, отсеивающих спам, до сложнейших нейронных сетей, способных вести диалог с человеком. Любой алгоритм машинного обучения сначала анализирует входящие данные, выявляя в них определённые паттерны, а затем создаёт внутреннюю модель этих закономерностей — своего рода цифровую карту связей между элементами информации.

В работе над проектом приняли участие Джон Херши из Google AI Perception, Аксель Фельдман, аспирант MIT, и Уильям Фриман, профессор электротехники и информатики, член Лаборатории компьютерных наук и искусственного интеллекта (CSAIL). Выводы команда решила представить в виде таблицы, где каждая ячейка отражает определённый тип алгоритма. По горизонтали расположены различные схемы, с помощью которых компьютер может находить связи в информации — например, группировать схожие элементы или выявлять противоположности. По вертикали — методы, позволяющие запоминать и воспроизводить выявленные паттерны.

Сравнение с таблицей Менделеева не просто красивая метафора, — поясняет Альшаммари. — Мы действительно обнаружили системность там, где раньше видели лишь набор разрозненных техник. Как и знаменитая химическая таблица, новая классификация содержит пустые ячейки — места для алгоритмов, которые теоретически возможны, но пока не созданы.

Обнадеживает то, что теоретические выводы быстро нашли применение на практике. Объединив элементы контрастного обучения и кластеризации, специалисты создали принципиально новый способ классификации изображений, превзошедший по точности существующие решения на 8 процентов. Кроме того, удалось успешно перенести методы борьбы с предвзятостью из одной области в другую.

Опять же, структура схемы позволяет вносить правки: добавлять строки и столбцы для новых типов взаимосвязей между элементами.

Одна изящная формула, основанная на теории информации, объединила результаты столетней работы в сфере машинного обучения. Это закладывает фундамент для множества будущих открытий, — отмечает Гамильтон.

Финансовую поддержку проекту оказали Акселератор искусственного интеллекта ВВС США, Национальный научный фонд, а также компания Quanta Computer. Официально результаты будут представлены научному сообществу чуть позже.