Ошибки модели Pulumi AI оказались на самой вершине поисковой выдачи в Google

Поисковый гигант Google включил в свою выдачу примеры инфраструктурного кода, автоматически сгенерированного чат-ботом Pulumi AI. И теперь эти зачастую недостоверные решения выскакивают одними из первых в результатах поиска, вызывая серьезную обеспокоенность среди разработчиков.

Pulumi — стартап из Сиэтла, основанный в 2017 году. Компания специализируется на разработке инструментов для создания и управления облачной инфраструктурой по принципу «инфраструктура как код» (Infrastructure as Code).

Этот код нужен разработчикам, чтобы автоматизировать создание, редактирование и удаление компонентов инфраструктуры в облаках вроде AWS, Azure, Google Cloud. Автоматизация позволяет избежать рутинной ручной работы и минимизировать ошибки при управлении сложными конфигурациями.

Корень проблемы кроется в решении Pulumi публиковать ответы своей модели на специальном сайте под названием AI Answers. Поисковые системы Google проиндексировали автоматически созданный контент и теперь выдают его наряду с материалами, написанными людьми. При этом многие из ответов, созданных искусственным интеллектом, содержат недостоверную информацию или и вовсе ошибочны.

Одним из первых забил тревогу разработчик Ариан ван Путтен . «Это случилось, — написал он на прошлых выходных в соцсетях. — Первая ссылка в Google ведет на официальную страницу документации Pulumi, явно созданную с помощью искусственного интеллекта, где упоминается несуществующая функция AWS. Это начало конца».

И действительно, как отмечают многие исследователи, качество онлайн-поиска постепенно снижается из-за того, что поисковые системы включают в выдачу низкокачественный контент, сгенерированный машинами.

Проблему впервые упомянул 21 марта 2024 года разработчик Пит Никянен, оставив сообщение в репозитории Pulumi AI на GitHub . «Просматривая информацию по различным инфраструктурным запросам, я заметил тревожную тенденцию: ответы Pulumi AI оказывались в топе результатов Google, независимо от их качества или релевантности первоначальному запросу к Pulumi. Это происходило с многими поисковыми запросами, и, вероятно, ситуация будет только ухудшаться», — предупредил Никянен.

Его опасения разделили и другие ИТ-специалисты. Учитывая нарастающий поток некачественной информации, они призвали компании, использующие генеративный ИИ, ответственно подходить к распространению такого рода материалов.

Технический специалист Pulumi Аарон Фрил признал, что опасения Никянена не беспочвенны. Уже на следующий день после сообщения на GitHub Фрил заверил, что компания удалила более половины (почти двух третей) страниц из раздела AI Answers. Он пообещал: Pulumi позаботится о том, чтобы автоматически генерируемые ответы дополняли, а не противоречили официальной документации.

Более того, со слов Фрила, Pulumi планирует внести изменения, чтобы ее сайт ссылался исключительно на реальные существующие API. Также в планах — регулярное тестирование автоматически созданного кода на работоспособность.

Однако даже спустя месяц Google, похоже, не предприняла никаких действий. Как отмечают исследователи, ответы от Pulumi AI для многих популярных инфраструктурных запросов, например «aws lightsail xray», по-прежнему занимают верхние строчки в выдаче поисковика.

Представители корпорации заявляют, что их поисковик стремится выдавать качественную и достоверную информацию. Однако они также признали, что для некоторых узкоспециализированных тем и нестандартных запросов подходящего качественного контента может не существовать, из-за чего на верхние позиции поместить попросту нечего.