Microsoft представила универсальную нейросеть Kosmos-1, которая может решать тесты на IQ и математические уравнения

Microsoft представила нейросеть Kosmos-1, которая объединяет различные режимы ввода – текст, аудио, изображения и видео, – и станет основой для создания универсального искусственного интеллекта. Исследователи назвали систему «мультимодальной большой языковой моделью» (Multimodal Large Language Model, MLLM). Мультимодальная модель способна:

• анализировать изображения;
• решать визуальные головоломки;
• распознавать текст;
• проходить визуальные тесты на IQ с точностью 22-26%;
• понимать инструкции на естественном языке.

1-2 - визуальное объяснение, 3-4 - ответ на вопрос, 5 - ответ на вопрос веб-страницы, 6 - простое математическое уравнение, 7-8 - распознавание цифр

Microsoft обучила Kosmos-1 по данным из Интернета, в том числе выдержки из The Pile (текстовый ресурс на английском языке объемом 800 ГБ) и веб-архива Common Crawl.

После обучения исследователи оценили способности Kosmos-1 в нескольких тестах, а именно:

• понимание языка;
• генерация текста;
• классификация текста без оптического распознавания символов;
• генерация подписей к изображениям;
• визуальные ответы на вопросы;
• ответы на вопросы веб-страниц;
• классификация изображений.

Отмечается, что во многих из этих тестов Kosmos-1 превзошел современные модели.

Kosmos-1 также смогла правильно ответить на вопрос теста Raven только в 22% случаев (при более тонкой настройке - в 26% случаев).

1-2 - подписи к изображениям, 3-6 - ответы на визуальные запросы, 7-8 - распознавание текста на картинке, 9-11 - поддержание диалога.

Исследователи планируют увеличить размер модели, а также интегрировать голосовые возможности. Кроме того, Kosmos-1 скоро будет открыта для разработчиков.