Что можно сказать про человека, который сравнивает устройства двух производителей по ИХ datasheet? Скорее всего он не понимает сложности вопроса, за который он взялся. Если кратко, то метод сравнения по datasheet с тем же успехом можно сравнивать с методом сравнения теплого с мягким. Давайте разбираться в чем подвох сравнения скоростей по двум разным datasheet разных производителей.
Общая идея, что производительность сетевых устройств логично и нужно измерять на каком-то ОДИНАКОВОМ типе трафика (конкретный набор данных приложений, файлов, одинаковой длины фреймов, пакетов, перемешанности этих фреймов во времени) и в каком-то ОДИНАКОВОМ режиме работы (L4 или L7, IPS или антивирус, 100% сигнатур включены или только 50%, ключ SSL 1024 или 2048 бит, проверяем трафик атак только в одну сторону или в обе). Если вендор говорит свою скорость, то первый ваш вопрос - что именно делало устройство с трафиком на этой скорости и второй - какой тип трафика передавался.
И снова и снова, чуть ли не каждый день я переубеждаю людей, которые думают, что прочитать заголовок книги и прочитать всю книгу можно за одинаковое время. Да, да, намекаю на то, что отделы закупок даже умудряются сравнивать скорости у устройств, где одно лишь анализирует заголовки пакетов L4 (TCP/UDP/ICMP), а другое анализирует весь трафик на уровне приложений L7 (FTP/SMTP/HTTP/SSL и др.).
Единственный способ сравнить устройства - это подать ОДИНАКОВЫЙ трафик на обе модели, включить у них ОДИНАКОВЫЙ функционал и посмотреть на результат. Делаете ли так вы?
ВВЕДЕНИЕ
Общая идея, что производительность сетевых устройств логично и нужно измерять на каком-то ОДИНАКОВОМ типе трафика (конкретный набор данных приложений, файлов, одинаковой длины фреймов, пакетов, перемешанности этих фреймов во времени) и в каком-то ОДИНАКОВОМ режиме работы (L4 или L7, IPS или антивирус, 100% сигнатур включены или только 50%, ключ SSL 1024 или 2048 бит, проверяем трафик атак только в одну сторону или в обе). Если вендор говорит свою скорость, то первый ваш вопрос - что именно делало устройство с трафиком на этой скорости и второй - какой тип трафика передавался.
И снова и снова, чуть ли не каждый день я переубеждаю людей, которые думают, что прочитать заголовок книги и прочитать всю книгу можно за одинаковое время. Да, да, намекаю на то, что отделы закупок даже умудряются сравнивать скорости у устройств, где одно лишь анализирует заголовки пакетов L4 (TCP/UDP/ICMP), а другое анализирует весь трафик на уровне приложений L7 (FTP/SMTP/HTTP/SSL и др.).
Единственный способ сравнить устройства - это подать ОДИНАКОВЫЙ трафик на обе модели, включить у них ОДИНАКОВЫЙ функционал и посмотреть на результат. Делаете ли так вы?
ТИПОВАЯ ОШИБКА СРАВНИВАЮЩИХ
Спасибо компании Cisco: после конференции в марте 2019 года коллеги подогрели рынок NGFW. В офисы всех производителей пришло много запросов на межсетевые экраны нового поколения, ну и понятно, многие просят сравнить оборудование. Например, только в эту пятницу я получил пять одинаковых вопросов по сравнению PA-5220 и Cisco FTD 4110. Причем во всех пяти случаях люди были уверены, что Cisco FTD 4110 быстрее чем PA-5220. ЧТО?!Их уверенность была основана.. на datasheet. И вот на этом частном примере давайте поймем в чем ошибка сравнивающих.
Я пишу эту заметку, потому что устал повторять одно и то же каждому партнеру и заказчику. Пусть будет все в виде текста. Информация используется общедоступная - с сайтов производителей оборудования.
Смотрим в datasheet Cisco и Palo Alto Networks внимательно:
Я понимаю, что люди смотрят на два числа
8/9 Gbps - PA-5220 (Threat Prevention throughput (HTTP/appmix)
10 Gbps - Сisco FTD 4110 (Throughput FW+AVC+IPS)
И правда, 10 больше чем 8! Но эти числа не могут быть критерием сравнения двух моделей!
8/9 Gbps - PA-5220 (Threat Prevention throughput (HTTP/appmix)
10 Gbps - Сisco FTD 4110 (Throughput FW+AVC+IPS)
И правда, 10 больше чем 8! Но эти числа не могут быть критерием сравнения двух моделей!
Да, верно, оба вендора ИЗМЕРЯЛИ свою ПРОИЗВОДИТЕЛЬНОСТЬ и её написали в таблицу.
ИЗМЕРЯЛИ В ОДИНАКОВЫХ УСЛОВИЯХ? НЕТ! И В ЭТОМ РАЗГАДКА!
Мало того в таблицу вписали несколько значений скорости даже для одной и той же модели! ПОЧЕМУ?
ПОТОМУ-ЧТО скорости в разных режимах работы - будут разными.
ПОТОМУ-ЧТО скорости на разном типе трафика - будут разными.
И поэтому нужно обязательно ЧИТАТЬ СНОСКИ что это за режим работы устройства такой был и какой трафик был в тесте.
КАК ПРАВИЛЬНО ЧИТАТЬ DATASHEET
КАК измеряли скорость у Palo Alto Networks описано в сноске номер 2:
режим работы был с
режим работы был с
- включенным детектом приложений L7 (APP-ID)
- включенным IPS
- включенным антивирусом и anti-spyware (и это одна из самых загрузочных для процессоров задача)
- включенной песочницей Wildfire (и это ведь тоже нагружает NGFW)
- журналированием на это же устройство (а это нагружает его - переставляете как сложно журналировать на скорости 8 гигабит в секунду?)
- 64КБ ответы HTTP (чем короче ответы WEB сервера, тем сложнее устройству) и еще был набор разных приложений - appmix (дань моде, ниже объясню)
Вот скриншот из datasheet:
КАК измеряли скорость у Сisco - в скобках видим коммент про 1024B:
с режимом с
с режимом с
- включенным детектором приложений L7 (AVC)
- включенным IPS
- выключенным антивирусом и anti-spyware (а как сильно упадет скорость, если включить?)
- выключенной песочницей ( а как сильно упадет скорость если включить?)
- неизвестно было ли журналирование на это же устройство (а ведь это влияет на скорость)
- 256Кб ответы HTTP (ответы WEB сервера длиннее в 4 раза, чем ответы 64Кб в тесте Palo Alto Networks и значит тут было проще достичь высокой скорости)
Вот скриншот из datasheet:
КАК ПРАВИЛЬНО ДЕЛАТЬ СРАВНЕНИЕ NGFW
Что должен сделать технический специалист, чтобы сравнивать твердое с твердым и теплое с теплым?
Он должен
- подать одинаковый тип трафика на устройства (набор трафика от приложений FTP/SMTP/HTTP/SSL/SMB и др.)
- включить одинаковые режимы работы защиты в устройствах (L4 или L7, IPS или антивирус, 100% сигнатур включены или только 50%, ключ SSL1024 или 2048 бит, проверка антивирусом только в одну сторону или в обе и т.д.)
Так делают в тестах продвинутые заказчики и так, делает еще лаборатория NSS Labs.
Компания Palo Alto Networks предложила метод тестирования по RFC 3511, который бы позволил заказчикам сравнивать устройства разных вендоров даже по datasheet. Было предложено подавать трафик HTTP c ответам 64Кб. Именно этот метод и использовался с 2007 года (с момента выхода первого NGFW). Но другие производители не поддержали PANW. Играющие на рынке межсетевых экранов Сheck Point, затем Fortinet, затем Cisco - все придумали «свой собственный метод измерения» скорости устройства. Они или ссылаются на устаревшие методики 90-х годов из тестов типа RFC 2544, где тест идет по UDP, или говорят, что свои скорости они получили на некотором наборе приложений. Поскольку у каждого вендора набор приложений свой и поэтому сравнивать устройства, протестированные различным образом - невозможно. И естественно, как дань такой "моде" Palo Alto Networks пошла тоже таким путем, тоже создала свой Application Mix - ведь на нем скорость "быстрее", как вы видите на datasheet - второе число в скорости устройств PANW.
Лучший вариант сравнения - заказчик подает в устройства одинаковый трафик и смотрит скорость. То есть нужно ДЕЛАТЬ ПИЛОТ. Идеально подавать, свой собственный трафик, используя специализированный Network TAP или некий искусственный набор трафика приложений, который генерируют, например, на устройствах IXIA. Более подробно о подходах к тестированию производительности рассказано в этой презентации на youtube:
Лучший вариант сравнения - заказчик подает в устройства одинаковый трафик и смотрит скорость. То есть нужно ДЕЛАТЬ ПИЛОТ. Идеально подавать, свой собственный трафик, используя специализированный Network TAP или некий искусственный набор трафика приложений, который генерируют, например, на устройствах IXIA. Более подробно о подходах к тестированию производительности рассказано в этой презентации на youtube:
Спасибо NSS Labs, мы можем посмотреть ее уже готовые отчеты.
В интернет можно найти отчет NSS для Palo Alto Networks PA-5220 и для Cisco FTD 4120. То есть устройство 4120, которое еще более быстрое чем 4110. По данным Cisco модель 4120 на 50% быстрее чем 4110: вендор сделал сравнение их скорости в своей лаборатории (заметьте на одинаковом трафике и в одинаковом режиме): 15 Гбит/с для 4120 и 10 Гбит/с для 4110.
Поэтому давайте посмотрим на результаты сравнения NSS Labs для 5220 и 4120.
Поэтому давайте посмотрим на результаты сравнения NSS Labs для 5220 и 4120.
Как проводили тест NSS Labs:
- подали одинаковый тип трафика с атаками на устройства;
- включили детект приложений и IPS;
- подали одинаковый трафик на все участвующие в тесте устройства.
Что получилось в их тесте: PA-5220 дает скорость в режиме защиты 7888 Мбит/с, а FTD 4120 дает скорость 5291 Мбит/с.
То есть устройство PA-5220 быстрее, чем Cisco FirePower 4120 на 49%.
Представляете насколько быстрее PA-5220 еще более младшей модели - 4110? Я не измерял, но предполагаю, что PA-5220 раза в два быстрее, чем FTD 4110 в режиме только двух функций: APP-ID и IPS. Поэтому аналогом FTD 4110 является скорее модель PA-3250 . Но тестов на реальном трафике для FTD 4110 у меня нет.
На скорости 8 Гбит/с PA-5220 еще делает URL фильтрацию, еще проверят трафик антивирусом и песочницей Wildfire. Можно только представить насколько быстрее PA-5220, чем 4110, если еще в Cisco включить остальные модули защиты: антивирус, URL и песочницу, Threat Intelligence и т.д... Разница будет видна потому, что у Palo Alto Networks все делают аппаратные чипы FPGA, которые работают в устройстве параллельно одновременно с потоком трафика, а у Cisco нет параллельной работы чипов для разных функций безопасности.
На скорости 8 Гбит/с PA-5220 еще делает URL фильтрацию, еще проверят трафик антивирусом и песочницей Wildfire. Можно только представить насколько быстрее PA-5220, чем 4110, если еще в Cisco включить остальные модули защиты: антивирус, URL и песочницу, Threat Intelligence и т.д... Разница будет видна потому, что у Palo Alto Networks все делают аппаратные чипы FPGA, которые работают в устройстве параллельно одновременно с потоком трафика, а у Cisco нет параллельной работы чипов для разных функций безопасности.
Так почему же иногда люди считают, что 4110 быстрее чем PA-5220? Потому что сравнивать устройства должны технические специалисты, которые смотрели в детали.
Ну и вот в какие таблицы надо смотреть:
И В ЗАКЛЮЧЕНИЕ
Получается по datasheet у Cisco 15 Гбит/с, а по тесту NSS - 5Гбит/с. И производитель не обманывает! Просто он измерял в своих условиях со своими настройками и на своем трафике, а NSS измерял в своих условиях и на своем трафике. То есть в конце мы разобрались, что даже ОДНО И ТО ЖЕ УСТРОЙСТВО отличается по производительности в 3 раза, если использовать разный трафик для теста.
А вам Сisco FTD 4120 как продают, как 15 Гбитное или как 5 Гбитное? ?
Ссылки на отчеты NSS можно найти в google или запросить у вендоров.
Ссылки на официальную страницу Cisco из которой взяты данные https://www.cisco.com/c/en/us/products/collateral/security/firepower-ngfw/data_sheet-c78-736661.html
Cсылка на официальную страницу Palo Alto Networks из которой взяты данные https://www.paloaltonetworks.com/products/secure-the-network/next-generation-firewall/pa-5200-series
