Google StyleDrop может нарисовать Мону Лизу за три минуты

Google Research разработала инновационный инструмент под названием StyleDrop, который использует генератор изображений по тексту для предоставления пользователям возможности создавать персонализированные изображения с определенными художественными стилями.

StyleDrop - это генератор изображений по тексту, который использует генеративный визуальный трансформер Muse3, представленный Google ранее в этом году. Muse был обучен на 3 миллиардах параметров, обеспечивая высокое качество генерации изображений.

Пользователи могут предложить изображение и указать художественный стиль, например, «плавящееся золотое 3D-отображение», «деревянная скульптура», «3D-отображение» или «мультяшный рисунок». StyleDrop затем генерирует впечатляющие изображения объектов с учетом желаемого стиля, а также типографию, которая соответствует стилистическим особенностям изображений.

StyleDrop работает путем эффективного обучения новому стилю с помощью настройки очень небольшого количества обучаемых параметров (менее 1% от общего количества параметров модели) и улучшения качества с помощью итеративного обучения с человеческой или автоматизированной обратной связью. Более того, StyleDrop способен демонстрировать впечатляющие результаты даже тогда, когда пользователь предоставляет только одно изображение, указывающее желаемый стиль.

Разработчики видят эту программу, которая еще не была выпущена для публики, как ценный помощник для арт-директоров и графических дизайнеров, которые могут создавать фотореалистичные изображения заданных продуктов или тем, включая текст, отражающий те же цвета, структуру и стиль.

Исследование показало , что для задачи настройки стиля моделей текст-в-изображение StyleDrop на Muse убедительно превосходит другие методы, включая DreamBooth, Imagen и Stable Diffusion.