Занимательная нумерология ИБ или как манипулировать статистикой

Стратегия
В курсе по измерению ИБ есть у меня раздел, который называется «Как врать с помощью цифр ИБ», название которого является аллюзией на известное высказывание Дизраэли, популяризованное Марком Твеном «Есть три вида лжи: ложь, наглая ложь и статистика». В этом разделе я привожу несколько манипуляций, которые позволяют сформировать определенное мнение относительно демонстрируемых цифр, имеющих отношение к ИБ.
Один из примеров касается понятия «среднеестатистическое». Большинство под этим термином понимает «среднее арифметическое», которым многие ИБ-компании и консультанты манипулируют. Например, вы встречаете в каком-нибудь отчете тезис, что средняя сумма инцидента ИБ составляет 11 миллионов рублей (цифра взята с потолка). Авторы отчета умалчивают, что они имели ввиду под средним, но чаще всего они, недолго думают, просто делят сумму по всем инцидентам на число инцидентов. Является ли это действительно средним? Увы. В данной ситуации средним должна быть медиана — именно она наиболее точно показывает среднестатическую компанию. Давайте проиллюстрирую. Представим, что у нас 10 компаний сообщили об инцидентах ИБ. У 9 компаний размер ущерба составил 1 миллион рублей, а у десятой — 100 миллионов рублей. Среднее арифметическое будет равно 10.9 миллионам, а вот медиана — одному миллиону. И именно медиана отражает реальную картину с размером ущерба (только если у всех ущерб одинаковый, то медиана будет равна среднему арифметическому).
Другой пример «манипуляции» (цифры-то все верные), изменение размерности графика. На примере ниже показан именно такой случай. Достаточно всего лишь изменить размер по оси ординат (Y) и у вас сразу меняется отношение к цифрам — вы начинаете думать, что у вас колоссальный рост атак произошел за месяц, хотя на самом деле это не так.

К чему этот экскурс в забавную нумерологию ИБ? Просто я посмотрел пресс-конференцию замдиректора НКЦКИ г-на Мурашова, который рассказал о 4 с лишним миллиардах кибератак, направленных против Российской Федерации. Так как меня всегда смущало определение, которое используется ФСБ применительно к «атаке» и «инциденту», то я просто решил визуализировать цифры из интервью официальных лиц, которые звучат последние несколько лет. Господа Патрушев, Бортников, Путин и Мурашов каждый год (исключая 2017-й) озвучивали число атак, направленных против России. Выглядит это вот таким образом:

Отмечу, что тут нет «среднего». И размерностью никто не играл. И дело даже не в трактовке термина «атака» (вон, Лаборатория Касперского под атакой понимает просто срабатывание своего средства защиты). Тут иная манипуляция. При сравнении чего бы-то ни было с течение времени очень важно соблюсти неизменность объекта измерения. Было у меня 100 компьютеров, атаки на которые я мониторю. 100 должно быть и дальше. Иначе возникают вопросы. За два года мы видим колоссальный рост числа атак (на 2 порядка). С чем это связано? Стало действительно больше атак? Поменялось определение атаки? Мы стали лучше ловить? Увеличилось число контролируемых объектов? В случае с цифрами НКЦКИ вероятно имеют место все факторы сразу, но хотелось бы (лично мне, я понимаю, что журналистам в целом пофиг, а именно на них и направлены данные цифры) видеть методологию расчета. А то получится как у Лаборатории Касперского — срабатывание антивируса считается атакой. А может я пентест проводил? Или сканер запустил? Это тоже считается атакой?

И последняя манипуляция цифрами. «Ведомости», по отчету Лаборатории Касперского,  напечатали статью, согласно которой хакерским атакам подверглась половина компьютеров российской промышленности. Все в панике и бегут срочно покупать средства защиты информации. Специалисты по ИБ справедливо критикуют эти цифры, которые не отражают действительности. А все дело в грамотном пиаре и нежелании журналистов разбираться в подоплеке цифр. Ведь ЛК прямо пишет, что атакованными она считает только то есть компьютеры, на которых сработали их средства защиты. При этом число таких инсталляций она не сообщает. Что в итоге? Срабатывание 5 миллионов антивирусов на 10 миллионах компьютеров — это половина! Срабатывание 1 антивируса на 2 компьютерах — это тоже половина! Бинго! А в материале «Ведомостей» звучит устрашающе и руководство компаний начинает задумываться о своей безопасности. А после пресс-конференции Мурашова у всех уже не возникает сомнений, что Россия в круге киберврагов и надо усиливать кибербезопасность страны и подключаться к ГосСОПКЕ.

Что в итоге? Есть цифры. И есть умение ими пользоваться и умение их читать. И надо понимать, что у тех, кто показывает цифры есть разные задачи, которые могут отличаться от задач читателей этих цифр. Если, читая разные отчеты, держать это в голове, воспринимать многие цифры будет гораздо проще 🙂

Оцените статью
Бизнес без опасности
Есть что добавить? Добавьте!

Нажимая кнопку "Отправить", я даю свое согласие на обработку персональных данных (если вдруг они указаны в комментарии) в соответствие с политикой конфиденциальности. Также я соглашаюсь с тем, что в своем комментарии не раскрываю никаких сведений, составляющих государственную тайну, а также никакой иной информации, охраняемой законом (для этого используйте иные способы :-) ), если это не разрешено ее владельцем. Ваш комментарий может появиться не сразу, а после модерации (так бывает не всегда, но бывает).

  1. Unknown

    как всегда — Браво
    чем менее образованная аудитория, тем проще с нее вытащить деньги… в том числе и на безопасность.

    Ответить
  2. Алексей Лукацкий

    Увы

    Ответить
  3. Unknown

    Часто сталкиваюсь и я (да ладно уж… Полагаю, что все).
    Бывает, что и применяю (чего уж греха таить).
    По этому поводу советую уже ламповую книгу https://ru.wikipedia.org/wiki/%D0%9A%D0%B0%D0%BA_%D0%BB%D0%B3%D0%B0%D1%82%D1%8C_%D0%BF%D1%80%D0%B8_%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D0%B8_%D1%81%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B8

    Ответить
  4. Алексей Лукацкий

    Многие применяют 🙂 Главное, для применяющего, понимать последствия, а для читателя — саму манипуляцию.

    Ответить