О реальной и рекламной производительности средств защиты

Продолжу поднятую вчера тему о реальной производительности средств защиты. Вернемся к вчерашнему примеру. МСЭ работает на скоростях 8 Гбит/сек. Очень недурной показатель, но… прежде чем купиться на рекламу в листовке уточните при каких условиях замерялось данное значение. Может оказаться, что как и в примере с вышеприведенными 8 Гбит/сек речь идет только о UDP-трафике с двумя включенными на межсетевом экране правилами. А вы видели в реальности такую картину, чтобы только два правила и только UDP-трафик? Я нет.

Дальше больше. 800 Мбит/сек в режиме IPS. Не много и не мало. Для периметра-то должно хватить. Правда, эти 800 Мбит/сек получены в идеальном лабораторном окружении. На небольших UDP-пакетах (например, в DNS, RTP, DHCP и т.д.) производительность IPS падает до 160 Мбит/сек. В целом же производительность рассматриваемой IPS для реального трафика падает до 140, а при включенном режиме обнаружения аномалий до 130 Мбит/сек.

На эту заметку меня сподвиг анонс Cisco, который мы сделали на RSA Conference. Там мы не только анонсировали 11 новых продуктов по ИБ, но и объявили о смене методики тестирования наших продуктов с точки зрения производительности. Еще раньше мы использовали такие понятия как EMIX и IMIX, которые оперировали усредненным Интернет (Internet Mix) и корпоративным (Enterprise Mix) трафиком, проанализированным в условиях применения различных протоколов и размеров пакетов. Вот примерно так выглядели тесты 4-х межсетевых экранов (два от Cisco и два от другого вендора) в наших внутренних тестах.

Сейчас мы пошли дальше и теперь оценкой производительности наших решений будет заниматься внешняя фирма по методологии, позволяющей определить максимальную пропускную способность в условиях применения различных протоколов и размеров пакетов. Трафик смешивается в зависимости от типа сети и месторасположения тестируемого решения. Стандартная методика включает следующие типы трафика:

• Корпоративные приложения (смесь различных видов трафика).
• Приложения в ЦОД (преимущественно файловый, SQL и HTTP-трафик).
• Малый/средний бизнес (преимущественно HTTP-, голосовым, SQL и файловым трафиком).
• Операторы связи (преимущественно HTTP-, P2P-трафик, а также видео и музыка).
• Высшее образование (преимущественно HTTP- и P2P-трафик).

В итоге результаты тестирования в реальных условиях могут выглядеть так:

Собственно к чему я это все пишу? Чтобы в очередной раз сказать очевидную вещь. При выборе средств защиты не верьте рекламе, особенно тех местах, где приводятся числовые показатели, которые могут скрывать за собой большое количество вопросов. Даже такой простой показатель, как число сигнатур атак в IPS, может сильно варьироваться от того, кто и как считает. Одни будут считать за каждую сигнатуру изменение всего одного символа в шаблоне атаки, а другие за сигнатуру засчитают сразу все возможные варианты изменения символов в шаблоне. В случае измерения производительности ситуация еще хуже. Производитель заинтересован показать пиковую производительность в лабораторных условиях. Потребителя же интересует производительность в реальном окружении. Безоговорочное доверие тут может сыграть плохую шутку с покупателем средств защиты.