Проблемы HTTP Archive: один запрос к Google BigQuery обошелся в $14 000

В сфере облачных технологий разгорелась дискуссия о том, как провайдеры должны ограничивать использование своих инструментов после того, как один из пользователей Google BigQuery получил счет на тысячи долларов за простое выполнение запросов.

Пользователь проекта HTTP Archive, задачей которого является анализ структуры веба, получил от Google счет на $14 000. Пользователь под ником Tim выразил возмущение на форуме HTTP Archive, заявив, что набор данных, представленный как общедоступный, на самом деле является источником прибыли для Google Cloud.

Тим призвал добавить на официальный сайт предупреждение о коммерческом использовании данных Google, отметив отсутствие поддержки клиентов и риск потерять $14 000 долларов «за секунду». В ответ администратор архива ответил, что 99% пользователей архива пользуются только бесплатными ежемесячными и годовыми отчетами Web Almanac, а BigQuery предназначен для 1% наиболее требовательных пользователей, нуждающихся в более детальном доступе к данным.

Представитель HTTP Archive уточнил, что счет в размере $14 000 соответствует обработке примерно 2,5 Пбайт (петабайт) данных по цене $6,25 за ТиБ (тэбибайт), и пообещал добавить на страницу FAQ сайта более ясное предупреждение о тарифах BigQuery.

Тим также указал на отсутствие механизма предупреждения о стоимости запроса в официальных библиотеках GCP для Python в отличие от веб-интерфейса. Он предложил ввести автоматическое ограничение расходов на уровне $5 000 для предотвращения выполнения запросов без подтверждения пользователя.

В ходе дискуссии один из участников, комментарий которого был скрыт модераторами, назвал Тима неразумным за запуск запроса без понимания объема обрабатываемых данных. Несмотря на то, что Google предоставляет полную информацию о стоимости услуг BigQuery на своем сайте, студенты и ученые могут столкнуться с неожиданными высокими счетами из-за недостаточного понимания условий.