Векторный поиск от Google: новые горизонты для генеративного ИИ в MySQL

Google внедрила векторный поиск для своей облачной службы MySQL, обогнав Oracle — компанию, ответственную за разработку MySQL с открытым исходным кодом.

Векторный поиск стал доступен в предварительном режиме для нескольких облачных баз, включая Cloud SQL для MySQL, Memorystore для Redis и Spanner — распределенную систему управления и хранения информации от Google.

По словам Энди Гутманса, вице-президента по базам данных Google Cloud, за последние 12 лет компания активно внедряла инновации, связанные с использованием векторов — фундаментального элемента LLM (large language models). Большие языковые модели притягивают пристальное внимание технологических гигантов, правительств и СМИ с момента запуска ChatGPT в 2022 году.

LLM работают с векторными вложениями — образами слов или других языковых компонентов в виде векторов, отражающих их статистическое сходство с другими словами. Google была пионером в разработке Word2Vec — техники векторных вложений для обработки естественного языка, выпущенной в 2013 году. Однако в дальнейшем Word2Vec был вытеснен архитектурами трансформеров, используемыми в современных LLM.

Дэйв Стоукс, технологический евангелист компании Percona, специализирующейся на поддержке открытых баз данных, заявил, что в планах инженеров Oracle нет внедрения векторов или чего-либо вроде векторного поиска для комьюнити-версии MySQL.

«К сожалению, Oracle бросила все ресурсы на HeatWave, уделяя минимум внимания комьюнити-версии, — комментирует он. — Таким образом MySQL может уйти на второй план, уступив другим решениям вроде PostgreSQL или новых векторных хранилищ. Общий дефицит функций в комьюнити-версии при одновременном внедрении JavaScript и векторов только в коммерческую редакцию вынудит пользователей искать альтернативы, аналогичные тому, что предлагает Google».

Google — не единственный вендор, добавивший векторный поиск в MySQL. Компания PlanetScale, разработчик системы распределенных транзакций на базе MySQL/Vitesse , анонсировала эту функцию еще в октябре прошлого года. Также векторный поиск будет внедрен в ближайших релизах популярной резидентной базы данных Redis.

На прошлой неделе векторный поиск был представлен как новая функция в документно-ориентированной системе Couchbase — в ее облачном сервисе Capella и корпоративной версии Couchbase Enterprise Edition.

«Добавление векторного поиска в нашу платформу — важный шаг для создания нового поколения адаптивных приложений», — прокомментировал Скотт Андерсон, старший вице-президент по продуктам и бизнес-операциям в Couchbase.

По словам Ноэля Юханны, вице-президента и главного аналитика Forrester Research, векторный поиск стал фактически стандартом для любой серьезной корпоративной облачной платформы.

«Те, у кого его нет, рискуют потерять темпы развития и распространения своих продуктов, — отметил Юханна. — Согласно нашим исследованиям, около 35% предприятий уже рассматривают возможность использования векторных баз данных, и ожидается, что эта цифра вырастет до 50% в ближайшие 18 месяцев».

Юханна пояснил, что векторный поиск становится критически важным для приложений на базе генеративного ИИ, помогая идентифицировать похожие данные, изображения и документы. Такие приложения находят применение в области клиентской аналитики, обнаружения мошенничества, чат-ботов и персонализации контента.

Тем не менее, на текущий момент лишь около 22% организаций рассматривают возможность использования больших языковых моделей (LLM) и генеративного ИИ в своих системах. Однако в Forrester Research ожидают, что в ближайшие 2-3 года этот показатель удвоится.