Способы сбора данных большими компаниями

Способы сбора данных большими компаниями

В этой статье освещаются некоторые из наиболее необычных способов сбора больших данных.

Автор: Владимир Безмалый

Большие данные стали провозглашать глобальный переломный момент в индустрии высоких технологий, предоставляя предприятиям и правительствам огромное количество данных практически обо всем, что люди выбирают в Интернете. Но большие данные выходят за рамки файлов cookie и отслеживания в Интернете.

Использование больших данных может дать предприятиям интересное, а иногда и удивительное понимание нашей жизни. В этой статье освещаются некоторые из наиболее необычных способов сбора больших данных.

1. Карты лояльности

Использование карт лояльности может принести некоторые преимущества, так как поощряет постоянных клиентов и стимулирует совершать больше покупок.

При этом клиенты должны знать, что каждый раз, когда они используют лояльные или кредитные карты, их данные о покупках отслеживаются и сохраняются.

Хотя розничным продавцам это помогает понять, какие продукты продаются различным группам покупателей, эту информацию также можно использовать для создания подробных профилей клиентов, которые затем можно продавать рекламодателям и другим предприятиям.

2. Геймплей

Онлайн-игроки не освобождаются от сбора больших данных.

Постоянное подключение к Интернету устройств позволяет разработчикам игр мгновенно получать доступ к большим объемам данных, даже если игра является однопользовательской.

Всякий раз, когда пользователь сталкивается с трудностями на определенном уровне, совершает покупку в приложении, устанавливает или удаляет игру, играет в течение длительного периода времени или сдается через несколько минут, эта информация отслеживается и сохраняется.

3. Спутниковые снимки

Один интересный источник больших данных — это то, что можно увидеть с неба. С развитием Google Earth и Google Maps спутниковые данные стали общедоступными. Это позволяет опытным аналитикам создавать удивительно полные картины определенных областей и даже начать понимать типы людей, которые живут и работают в этих местах.

4. Базы данных работодателя

Отделы кадров могут использовать большие данные для профилирования своих сотрудников и количественной оценки производительности их труда на рабочем месте. История сотрудников в компании может быть общим интересом, но большие данные также включают менее интуитивные цифры, включая:

  • Количество времени, которое работники проводят с определенными программами на своих компьютерах

  • Время дня, когда сотрудники наиболее активны

  • Время, когда сотрудники впервые включают свои устройства

Информация, документированная с помощью технологий, часто может найти применение в больших наборах данных и помогает создать представление о качестве сотрудников.

5. Ваш почтовый ящик

Современные почтовые сервисы являются хранилищами больших объемов пользовательских данных.

Хотя приведенная ниже информация относится не ко всем службам, это относится к некоторым из наиболее популярных поставщиков услуг электронной почты, включая Google и Yahoo. Обе эти компании используют алгоритмы для сканирования содержимого вашей электронной почты по определенным ключевым словам с целью предоставления рекламы, ориентированной на ваши интересы.

Например, это может включать ссылки для бронирования отелей после того, как вы получили электронное письмо с описанием предстоящей поездки.

6. Активность в социальных сетях

Сайты социальных сетей являются еще одним крупным поставщиком больших данных. Пользователи социальных сетей часто охотно предоставляют информацию о своей личной жизни таким службам, а соглашения об условиях обслуживания обычно предоставляют сайтам право хранить и использовать эту информацию по своему усмотрению.

Однако аналитику больших данных также можно использовать для документирования, какие функции пользователи соглашаются отключить, какие записи они удаляют и как часто они заходят на сайт в разные дни дня. Эта информация может быть использована для создания подробных профилей привычек пользователей и определения того, какая информация важна для них.

Использование больших данных

От использования в Интернете и приложений до кредитных карт и спутниковых изображений, компании теперь могут упаковать нашу жизнь во все большие наборы данных. Однако собрать все эти данные — это одно, а использовать их, чтобы узнать больше о тенденциях клиентов, — это другое.

Как эти данные можно использовать для предоставления информации о клиентах и сотрудниках.

1. Ваши ценности с высоты птичьего полета

Общедоступные спутниковые данные. С одной стороны — это то, что не может показать много информации. Фактически нам кажется, что мы ничего не видим, кроме расположения городов или особенностей местности.

Однако некоторые аналитики утверждают, что многое можно узнать о людях и организациях, основываясь на том, что видно с неба.

Например, компания под названием HaystaqDNA разработала алгоритмы, которые могут определить, есть ли у жителей солнечные батареи, установленные на их крышах.

Это позволяет иметь представление о том, какие жители следят за экологией и имеют достаточный доход, чтобы инвестировать в новые технологии.

2. Майнинг для рыночных тенденций

Dataminr — это компания, которая специализируется на изучении пользователей Twitter на основе их сообщений. Ежедневно публикуя более 500 миллионов твитов, организациям может быть интересно узнать, какие твиты важнее. Это может помочь дать ощущение срочных новостей или другой информации.

Dataminr просматривает эти твиты в режиме реального времени, используя алгоритмы для их классификации на основе важности, репутации пользователя и структуры информации. Например, если достаточное количество пользователей пишут в Твиттере по определенной теме, Dataminr может отправить клиентам предупреждение о том, что эти новости могут быть важными.

3. Прогнозирование успеха работника

HR-отделы обычно заинтересованы в создании подробных профилей своих сотрудников и в попытках количественно оценить производительность на рабочем месте.

Тем не менее, некоторые компании специализируются на более глубоком анализе.

Например, компания Evolv, работающая с большими данными, предполагает, что даже веб-браузер, который выбирает человек, может что-то сказать о будущей производительности.

Данные компании показывают, что пользователи, которые используют альтернативные браузеры, такие как Google Chrome или Mozilla Firefox, часто демонстрируют более высокую производительность, чем люди, которые используют браузеры по умолчанию, поставляемые с их системами.

4. Руководство для вашей следующей покупки

Данные с карт лояльности и кредитных карт могут предоставить ритейлерам больше информации, чем о том, сколько они продали определенного продукта. С большими данными информация обо всем, что клиент выбирает для покупки, может быть продана рекламным компаниям.

Рекламные компании делают это, чтобы они могли ориентироваться на потребителей с определенной историей покупок. Например, компания может захотеть рассылать рекламу всем, кто купил определенную кашу на завтрак в прошлом месяце.

5. Обнаружение изменений в образе жизни

Данные о покупках могут сделать больше, чем позволить компаниям сосредоточиться на определенных рекламных объявлениях.

В одном случае Target смогла использовать большие данные, чтобы обнаружить, что одна из ее клиенток была беременна, и позже отправила ей купоны на детские товары.

Статистик Эндрю Поул разработал формулу, состоящую из 25 продуктов, которые определяли вероятность беременности, когда продукты были куплены вместе.

Люди, которые неосознанно участвовали в эксперименте, не знали, что они были беременны во время эксперимента, но позже подтвердили, что система Поляка была правильной.

6. Максимизация покупок в приложении

Отслеживание игроков, когда они играют в свои любимые мобильные или консольные игры, может дать четкое представление о действиях, которые часто предпринимаются, прежде чем игрок решит потратить дополнительные деньги.

Используя такие инструменты, как HoneyLizer ™, разработчики программного обеспечения могут включать рекламные объявления в свои игры и максимизировать шансы на будущие покупки, не отвлекая пользователя.

7. Сканирование электронной почты для интересов

Многие компании часто проявляют активный интерес к содержанию электронных писем пользователя.

Предположим, вы отправляете электронное письмо другу о домашнем животном с помощью популярного сервиса, такого как Google Gmail.

Впоследствии, когда вы видите рекламу продуктов животного происхождения как в Gmail, так и в других областях Google, часто это является результатом анализа больших данных.

В Google Ads используются алгоритмы сканирования электронной почты и доставки целевой рекламы в зависимости от общих тем пользователей.

8. Использование отсутствия информации

Одним из интересных способов использования социальных сетей компаниями является понимание того, какие сообщения или темы удаляются и почему. Недавно группа исследователей из Гарвардского университета смогла сделать снимок всех постов в социальных сетях в Китае, а затем сопоставить список со снимком постов после того, как правительство подвергло их цензуре.

После сравнения первого снимка со вторым исследователи смогли определить типы постов, обычно подвергаемых цензуре китайскими властями, и, в свою очередь, лучше понять правящее правительство.

Легальность больших данных

Понимание, предоставляемое большими данными, может быть обширным, поскольку компании продолжают вводить новшества и разрабатывать новые способы понимания своих клиентов на основе увеличивающегося объема данных, доступных для них.

Однако некоторые защитники конфиденциальности могут поставить под сомнение законность использования больших данных.

Большие данные: как компании могут собирать ваши данные?

Условия обслуживания Соглашения

Когда вы пытаетесь понять, как компании могут собирать различную информацию о людях, вполне естественно, что компании получают эти данные незаконно. В действительности, однако, компании не только действуют в рамках своих законных прав, когда они собирают и используют эту информацию, но они делают это с явного юридического согласия своих клиентов.

Компании могут довольно легко получить легальный доступ к вашим данным, зачастую даже прежде, чем пользователи поймут, что они дали свое одобрение. Ключевым моментом здесь является более пристальное внимание к соглашениям об условиях обслуживания (ToS) и понимание того, что они означают для конфиденциальности клиентов.

Соглашения ToS — это длинные тексты, которые появляются при подписке на услугу. В качестве предварительного условия для создания новой учетной записи или использования новой программы пользователям часто предлагается прочитать, а затем принять условия. Поскольку эти термины длинны и полны иногда запутанных юридических структур предложений, большинство людей просто нажимают «согласиться» и переходят к созданию своих учетных записей.

При этом пользователи могут не осознавать, что они фактически «подписали» юридическое соглашение, позволяющее предприятиям делать то, что они включили в условия. Если в компании есть пункт, разрешающий сбор данных истории покупок клиентов, а затем вы нажимаете «согласиться», пользователь теряет любое законное право на возбуждение спора.

Проблема усложняется еще и тем, что некоторые компании включают в себя положения, которые дают им право изменять ПС без уведомления пользователей. Это означает, что, просто «соглашаясь» с ToS один раз, при первом создании учетной записи пользователи фактически соглашаются с любыми изменениями, которые компания хочет внести, даже если эти изменения включают все более инвазивные процедуры сбора данных.

Известные примеры

Каждый крупный веб-сервис поддерживает свою специфику ToS, и было бы невозможно наметить все, с чем пользователь соглашается в каждом случае онлайн. Но для вкуса того, что может быть включено в соглашение, некоторые примеры компании включают:

  • Google - Google оставляет за собой право хранить всю историю поиска и использовать ее и другую информацию о пользователях для будущих служб. Google также отслеживает пользователей на других веб-сайтах, которые используют виджеты Google или аналитическое программное обеспечение.

  • YouTube - YouTube сохраняет все, что пользователи выбирают для публикации. Простое удаление видео с сайта фактически не удаляет их с серверов YouTube. Сервис также оставляет за собой право удалять пользовательский контент без предупреждения и может изменять его условия без предварительного уведомления.

  • Facebook - Facebook включает в себя положения Условий обслуживания, которые позволяют отслеживать пользователей на других сайтах и автоматически обмениваться любыми данными, размещенными на сайте, с другими предприятиями и службами. Пользователи приложения Facebook Android также могут быть удивлены, узнав, что в ToS есть пункт, который позволяет записывать звук и видео в любое время без согласия пользователя.

  • Netflix - ToS for Netflix включает в себя как право раскрывать информацию о пользователях без предварительного уведомления, так и отказ от права на групповой иск против компании.

Прочитайте мелкий шрифт

Хотя эта информация может показаться причиной серьезной озабоченности, реальность сбора больших данных не так страшна, как может показаться. Тем не менее, в будущем, возможно, стоит уделить больше внимания соглашениям об условиях обслуживания. Убедитесь, что вы точно знаете, что вы «подписываете», когда переходите к следующему этапу создания учетной записи.

Ищем баги вместе! Но не те, что в продакшене...

Разбираем кейсы, делимся опытом, учимся на чужих ошибках

Зафиксируйте уязвимость своих знаний — подпишитесь!