Экспертная оценка в наших нормативных документах по ИБ заявлена как основной (а зачастую и единственный) метод определения угроз информационным системам. Да и в других процессах ИБ он играет непоследнюю роль. Но у данного метода помимо единственного преимущества (простота реализации) есть и множество существенных недостатков:
- возможность влияния на экспертное мнение заинтересованными лицами
- при оценке случайных событий принцип «здравого смысла» неприменим
- отсутствие достаточного количества экспертов
- высокая зависимость от квалификации эксперта
- психология восприятия риска
- и т.п.
Как повысить эффективность экспертной оценки? Как придать значимость ее результатам? Ответ на эти вопрос дан давно — метод Дельфи. Суть его проста: если опросить людей, обладающих компетенцией в интересующем нас вопросе, их усредненная оценка обычно будет точна более чем на 80%. Ключевых моментов в этом методе два:
- мы не должны ограничиваться одним-двумя экспертами — их должно быть не менее трех, а еще лучше 5-7. Только в этом случае можно говорить об эффективности метода. Один человек может ошибаться; вероятность ее для группы из пяти человек гораздо ниже.
- мы должны привлекать в группу людей, действительно обладающих компетенцией в анализируемом вопросе. Никаких свадебных генералов, включаемых в группу за их заслуги — только реально квалифицированные эксперты.
Как показывает опыт, даже при сильном разбросе оценок у нескольких экспертов, итоговое значение будет очень близко к реальному положению дел. Если же провести второй раунд оценки, предварительно ознакомив экспертов с результатам первого, то результативность метода Дельфи становится еще выше.
Существует и модификация метода, часто используемая тогда, когда эксперты не могут подкрепить свое мнение и оценки серьезными аргументами. В этой модификации берется средняя оценка после отбрасывания крайних, граничных значений.
В качестве примера возьмем вопрос о вероятности возникновения угрозы DDoS-атак на некий Интернет-сервис. В качестве экспертов пригласим сотрудников ИТ-подразделения, службы ИБ, подразделения управления рисками и парочку представителей бизнес-подразделений. Результаты работы метода Дельфи занесены в таблицу (после слэша показана оценка для модифицированного метода Дельфи с отбрасыванием крайних значений):
Из данного примера мы сразу видим все преимущества метода Дельфи. Он действительно нивелирует волюнтаризм экспертов и показывает более менее реальную оценку ситуации. Если бы мы опирались только на мнение одного эксперта, мы могли либо занизить, либо завысить реальную оценку. В данном же методе мы приходим к реальной цифре.
Однако на практике данный метод используется не так уж и часто. Все-таки он требует определенной дисциплины и умения работать в команде, что не так уж и часто встречается. Гораздо проще опираться на мнение одного единственного человека (как правило себя), полностью игнорируя мнения окружающих экспертов. Отсюда и многие пробелы/проблемы, регулярно выявляемые в области ИБ.
> В данном же методе мы приходим
> к реальной цифре
Или нет. Потому что может и большинство ошибаться. Кстати, Чалдини (не знаю, насколько точно его Шнайер пересказывает — я тогда откровенно времени пожалел) именно эти случаи и рассматривал, кажется.
Ну как и в любом экспертном методе. Но не случайно же говорят, что в методе Дельфи точность оценки составляет около 80%. Это гораздо лучше, чем полагаться только на мнение одного эксперта.
Количество не имеет значения — довольно самого факта человеческой природы экспертов.
Имеет, имеет. "Одна голова хорошо, а две лучше" не на пустом месте возникла.
Ну-ка, натрави своего Дельфи на классические обманки (два лица или одна ваза, девушка или старуха, бегающие точки и т.п.) — поможет?
А никто и не говорит, что это панацея 😉 Но это лучше, чем опираться на мнение одного человека.
Или хуже. Давай разделим поэтому.
Нужно ли подстраховываться от ошибки единственного эксперта? Да. Привет принципу двух рук, кстати.
Помогает ли привлечение кучи экспертов? А когда как. Там, где ошибка вызвана особенностями человеческого восприятия — нет.
Если интересно, вот развитие метода:
"Категорирование объектов на базе нечетких данных"
http://www.agps-2006.narod.ru/konf/2009/sb-2009/sec-1-09/13.1.09.pdf
Сейчас готовлю исследование, посвященное применению данного метода в решении проблеммы 2~3 категорий ПДн.
Алексей, можно на вас расчитывать как на одного из экспертов?
Е.С. Васильев
2 Алексей
"Насколько реальна экспертная оценка в ИБ"
— тут есть некий подвох связанный не с самим методом а с его применением… Предполагается что на основе Э. Оценки будет приниматься то или иное решение. Это Решение принимает тот самый РЛвИ (Роль Личности в Истории). Как несложно представить… при принятии решений используются не только ЭО но и множество других факторов.
На мой взгляд ЭО занимает свою роль в ИБ но в принятии решений значение не превышает 49.9%.
2 Egor
На мой взгляд новизна только в том, что автоматизируется оценка разброса мнений экспертов (уменьшается субъективизм) и только…
P>S> Чтобы представить реальную картину давайте вспомним Сояно-Шушенскую — реальный грустный пример катастрофы для проверки подходов к рискам, оценкам и т.п.
Подход бесспорно хорош! Нужно только отметить, что стоимость подобной экспертной оценки увеличивается с увеличением привлекаемых экспертов… а так, да, "одна голова хорошо, а их множество лучше".
Либо деньги экономить, либо безопасность строить 😉
Нужно безопасность строить — чтобы деньги экономить.