Антиспамные решения и безопасность

Антиспамные решения и безопасность

В последнем проводимом опросе, 93% респондентов выразили неудовольствие в связи с большим объемом, принимаемых ими несанкционированных электронных писем. На сегодняшний момент эта проблема дошла до такой стадии, что 60% всех электронных писем являются спамом. Было предложено много антиспамных решений, и несколько их них были внедрены. Но к сожалению эти решения не могут предотвратить рассылку спама, мешающего нормальной работе электронной почте.

Неал Краветз

1. Общий обзор

В последнем проводимом опросе, 93% респондентов выразили неудовольствие в связи с большим объемом, принимаемых ими несанкционированных электронных писем [1]. На сегодняшний момент эта проблема дошла до такой стадии, что 60% всех электронных писем являются спамом [2]. Было предложено много антиспамных решений, и несколько их них были внедрены. Но к сожалению эти решения не могут предотвратить рассылку спама, мешающего нормальной работе электронной почте.

Проблемы, возникающие из-за спама, выросли от простого раздражения до существенных проблем по безопасности. Наводнение спама приводит к ежегодным убыткам, оцененным до 20 миллиардов долларов, а согласно тем же исследованиям, спам в пределах одной компании, приводит к убыткам от 600 до 1000 долларов ежегодно, из расчета на одного пользователя.[4]

1.1 Проблемы безопасности

В дополнение к потере времени на просмотр и удаление несанкционированных писем, спам также представляет реальные угрозы безопасности, включая:

  • Вирусы. Новые вирусы, черви и т.п типа Melissa, Love Bag и MyDoom используют методы рассылки спама для своего распространения к пользователям.
  • Объединение эксплойтов и спама. Сегодня достаточно сложно провести границу между хакерами и спамерами. Много спамеров включают в электронные письма злонамеренный код, использующий уязвимости в браузерах, HTML и Javascript. К примеру 31 декабря 2002 года, группой бразильских хакеров была сделана рассылка спама, содержащего злоумышленный Javascript код. Миллионы пользователей, просмотревших эти письма, несознательно скомпрометировали свои учетные записи. В другом примере, в спаме была использована проблема в Internet Explorer, когда перед именем хоста ставился "%01", что позволяло скрыть настоящее имя хоста.
  • Объединение вирусов и спама. Известно, что некоторые вирусы были разработаны специально для помощи спамерам. Например червь SoBig, устанавливал открытые прокси, используемые для рассылки спама. Поскольку спам становится все более распространенным, то использование malware и spyware, для его поддержки, вероятно будет увеличиваться.

Существующие антиспамные решения лишь пытаются смягчить проблему спама и потребности в адресной защите. Правильная идентификация спама, помогает смягчить воздействие, оказанное почтовыми вирусами, эксплойтами и т.п. Такие решения используют различные методы защиты для создания помех в распространении спама.

Текущие антиспамные решения делятся на четыре основных категории: фильтры, системы обратного поиска, запросы и криптография. Каждое из таких решений, оказывает некоторую помощь в защите от спама, но все они имеют существенные ограничения. В первой части этой статьи мы рассмотрим фильтры и системы обратного поиска, а во второй будет рассмотрены различные типы запросов типа "отклик-вызов", вычисляемый запрос, а также криптографические решения. Хотя существует много различных аспектов использования таких решений, но в данной статье будут рассмотрены только самые общие вопросы.

1.2 Терминология

  • Отправитель. Человек или процесс, ответственный за генерирование электронной почты.
  • Получатель. Любой e-mail адрес, получающий электронную почту.

1.3 Фильтры

Фильтры используются системой получателя для идентификации и классификации спама. Существует много различных систем фильтрации, таких как:

  • Списки слов. Простые и сложные списки слов, вероятно связанных со спамом. Например, "Виагра".
  • "Черные" и "Белые" списки. Такие списки содержат известные IP адреса спаммеров и неспаммеров соответственно.
  • Хеш-таблицы. Такие системы суммируют электронные письма в псевдоуникальные значения. Повторное обнаружение значений хеш-функции является признаком рассылки больших объемов электронной почты.
  • Искусственный интеллект и Вероятностные системы. Системы типа байесовых сетей используются для изучения частоты повторения слов и шаблонов, обычно используемых в спамсообщениях и нормальной электронной почте.

Фильтры можно упорядочить, основываясь на ложь-негативных и ложь-позитивных результатах. Ложь-негативный результат указывает на фактическое спам-сообщение, прошедшее через фильтр. И напротив, ложь-позитивный результат указывает на нормальное электронное письмо, ошибочно классифицированное как спам. В идеале спам-фильтр не генерировал бы ложь-позитивных результатов и очень мало ложь-негативных.

Антиспамные решения, основанные на фильтрах, имеют три существенных ограничения:

  • Обход систем фильтрации. Спам-отправители и их программы рассылок не являются статистическими, и они очень быстро приспосабливаются к новым фильтрам. Например, для обхода списка слов, спаммеры располагают в случайном порядке написание слов ("Виагра", "В1агра", "Виаагра"). Хешбастеры (случайных последовательности символов, отличающиеся в каждом сообщении), были созданы для обхода хешфильтров. В лучшем случае, большинство спам-фильтов эффективно только в течении нескольких недель. Для поддержания эффективности антиспамных систем, необходимо постоянное (еженедельное, а лучше ежедневное) обновление наборов правил фильтрации.
  • Ложь-позитивные результаты. Чем более эффективный фильтр, тем больше вероятность неправильного классифицирования нужных сообщений как спама. Например, сообщение, содержащее слово "Виагра" (например, спам-текст "Бесплатная Виагра" или личная электронная почта "Привет, ты смотрел вчера по телеку новый концерт группы "Виагра", практически на 100% будет расценено как спам, независимо от содержания письма. Наоборот, спам-фильтры, которые практически не генерируют ложь-позитивных результатов, скорее всего генерируют большое количество ложь-негативов.
  • Пересмотр результатов фильтрования. Из-за вероятности неправильного классифицирования электронных сообщений как спама, они обычно сразу не удаляются. Вместо этого такие сообщения помещаются в специальные почтовые ящики для спама (примером может служить папка "сомнительные" на большинстве бесплатных почтовых серверов), для последующего просмотра. К сожалению, это все равно означает, что пользователи должны просматривать спам, в поиске неправильно классифицированных сообщений. В сущности, это означает, что фильтры только помогают в сортировке входящей электронной почты.

Но более важным, чем ограничения в работе, является распространение мифа о том, что фильтры останавливают спам. Спам-фильтры не останавливают спам. В любом случае спам все еще генерируется и рассылается по сети. И если пользователь не желает пропускать неправильно классифицируемую электронную почту, он все еще читает спам. В то время, как фильтры помогают сортировать сообщения в спам и желаемые сообщения, но они не предотвращают спам.

1.4 Обратный поиск

Практически весь спам использует подделанные адреса отправителя ("От:"). Кроме того, хорошо подделанный адрес отправителя, на первый взгляд исходит из доверяемых доменов. Например, в течении 15 месяцев в нашем спам-архиве было собрано 9300 электронных сообщений, в которых адреса отравителей принадлежали 2400 уникальным доменам. Домен "yahoo.com", был почти в 20 процентах адресов, хотя на самом деле спам, исходящий с адресов принадлежащих "yahoo.com" составлял менее 1 процента. Та же ситуация происходила и с другими почтовыми серверами.

Спаммеры поделывают адреса электронной почты по многочисленным причинам:

  • Правонарушение. Очень много спам-сообщений, являются мошенническими и в большинстве стран преследуются законом, поэтому подделка адреса отправителя дает возможность спаммеру остаться анонимным и спастись от судебного преследования.
  • Нежелательность. Большинство спамеров знают, что их сообщения нежелательны. Подделывая адрес отправителя, они могут смягчить последствия от рассылки миллионов сообщений миллионам рассерженных получателей.
  • Ограничения провайдеров. Большинство провайдеров имеют статьи договора по предотвращению спама. Подделка адреса отправителя, в этом случае уменьшает вероятность закрытия провайдером доступа к сети недобросовестным пользователям.

В попытке ограничения подделок адресов отправителей, создаются системы помогающие подтвердить правильность адреса электронных адресов. Эти системы включают:

Все эти походы очень похожи между собой и используют практически идентичные методы. DNS система используется для сопоставления IP адресов именам хостов и наоборот. В 1986 система DNS была модифицирована для ассоциирования записей ("MX") почтовых обменников. [7]. При доставке электронной почты, почтовый сервер решает, куда передавать сообщение, основанное на MX записи, связанной с определенным доменом получателя.

Подобно MX записям, системы обратного поиска определяют обратные-MX записи ("RMX" для RMX, "SPF" для SPF, и "DMP" для DMP). Сделано это, для определения были ли электронное сообщение из конкретного домена создано на конкретном IP адресе. Основной идеей является то, что подделанные адреса не могут генерироваться из правильного адресного пространства RMX (или SPF или DMP), и поэтому могут немедленно идентифицироваться как подделанные.

Хотя такие решения очень эффективны в некоторых ситуациях, но они имеют существенные ограничения.

1.4.1 Децинтрализованные (host less) и домены третьего уровня

Обратный поиск требует создания электронного сообщения на известном и доверяемом почтовом сервере расположенном на известном IP адресе (обратная MX запись). Но к сожалению большинство доменных имен не связаны со статистическими IP адресами. Исключая киберсквоттеров, в большинстве случаев единичные пользователи и малые компании желают использовать свои собственные домены, но не могут позволить себе иметь свой собственный статистический IP адрес и почтовый сервер.

Системы обратного поиска вызывают несколько проблем децентрализованным пользователям и доменам третьего уровня:

  • Не обратимая MX запись. Пользователи, отсылающие электронную почту с децентрализованных адресов или доменов третьего уровня просто настраивают почтовые приложения для отправки сообщений из зарегистрированного домена. К сожалению, поиск IP адреса отправителя не сможет указать на домен отправителя и поэтому не может быть сгенерирована правильная обратная MX запись.
  • Не исходящая почта. Единственное правильное решение требует передачи всей исходящей почты через SMTP сервер провайдера, что приводило бы к генерации правильной реверсивной MX записи. Но к сожалению у большинства провайдеров запрещена передача, если домен отправителя отличается от домена провайдера.

В любом случае любой пользователь, использующий домен третьего уровня или домен, не имеющие собственного почтового сервера, будет заблокирован системой обратного поиска.

1.4.2 Мобильные компьютеры.

Использование мобильных компьютеров является обычной практикой. Люди используют свои ноутбуки для работы в любом удобном для них месте. Гостиницы, аэропорты и даже некоторые кафе предлагают услуги мобильных компьютеров. Но к сожалению, системы обратного поиска, вероятно не разрешат большинству пользователей отправку электронной почты.

  • Прямая отправка. Существует два пути для отправки электронной почты. Пользователь может входить на почтовые системы, используя внешнюю учетную POP/IMAP/SMTP запись web почты или подобной системы, а может использовать прямую отправку своих сообщений. Большинство компаний не поддерживают внешний интерфейс для отправки почты, и пользователям приходится конфигурировать свои компьютеры для прямой отправки. К сожалению, проблемы при прямой отправке почты, такие же как и при использовании host-less и доменов третьего уровня - при обратном поиске домена не будет включен IP адрес отправителя, а при обратном поиске IP адреса отправителя, он не будет соответствовать домену.
  • Передача почты. Вариант прямой отправки почты, требует от всех компаний поддержки внешних почтовых интерфейсов для всех мобильных пользователей. Во многих ситуациях это нежелательно и непрактично. Например это неприменимо с точки зрения сетевой безопасности, так как протокол POP3 пересылает имя пользователя и пароль в незашифрованном виде. При этом любой хакер, просматривающий сетевой трафик, может получить пароли доступа к электронной почте. Протокол IMAP может использовать SSL и поддерживать защищенную аутентификацию, но не все серверы его поддерживают. Протокол SMTP тоже поддерживает SSL или TLS, но опять же его поддерживают не все сервера. Web почта по HTTPS это единственная система, поддерживающая защиту клиентских сертификатов. Но так как большинство сайтов используют только серверные сертификаты, то HTTPS является очень слабой защитой от сетевых нападений.

В то время как системы обратного поиска действенны во внутренних сетях, но они не практичны при внешних технологиях. Компании, желающие использовать host-less услуги, домены третьего уровня, а также желающие поддерживать мобильных пользователей, должны пересмотреть свои антиспамные системы обратного поиска.

2. Выводы

Спам достиг размеров глобальной эпидемии, и люди ищут любые возможности для его предотвращения. Спам фильтры являются наиболее успешным решением, они пытаются распознать и классифицировать спам. Но фильтры не могут предотвратить рассылку спама. Системы обратного поиска пытаются разрешить проблему подделки адресов отправителей. Но в то время как такие системы действенны во внутренних сетях, они абсолютно не применимы в глобальном масштабе.

Во второй части нашего исследования мы рассмотрим системы запросов и предложим криптографические решения.

3. Ссылки

[1] "Majority in Favor of Making Mass-Spamming Illegal Rises to 79% of Those Online." The Harris Poll R #38. July 16, 2003.

[2] "Spam On Course to Be Over Half of All Email This Summer," Brightmail press release. July 1, 2003.

[3] According to SpamHaus, a spam content tracking organization, less than 200 spam groups generate more than 90% of spam messages. SpamHaus ROKSO, September 22, 2003.

[4] "Spam Costs $20 Billion Each Year in Lost Productivity", by Jay Lyman. December 29, 2003.

[5] Phishing e-mail fraud rises 52% in January, report says", February 18, 2004.

[6] "Multiple Browser URI Display Obfuscation Weakness"

[7] "Domain System Changes and Observations", RFC973 by Paul Mockapetris. January 1986.

Красная или синяя таблетка?

В Матрице безопасности выбор очевиден

Выберите реальность — подпишитесь