Закон Гудхарта в кибербезопасности или почему мы идем, но не доходим

Думаю, многие из вас если не знакомы с законом Гудхарта, то слышали его в переложении или сталкивались на практике с его проявлениями. Звучит он следующим образом:

Закон Гудхарта

Чарльз Гудхарт

"Когда мера становится целью, она перестает быть хорошей мерой".

Наблюдение Гудхарта базировалось на том, что любая мера, становящаяся целью, становится объектом манипуляций; как прямых (фальсификация чисел), так и косвенных (активность исключительно ради улучшения или достижения самой меры). Давайте возьмем конкретный пример. Вы поставили перед собой цель снизить число инцидентов ИБ и это стало вашим фетишем. Вместо того, чтобы выстраивать процессы и постепенно снижать общее число инцидентов, вы начинаете манипулировать этим показателем. Либо просто занизите значение перед показом руководству, либо исключите из области оценки какие-то системы (конечно, обосновав это перед собой) и тем самым снизите число инцидентов, либо просто пересмотрите понятие «инцидента». В любом случае, ваша деятельность становится излишне сфокусированной вокруг конкретного числа, а не ради реального снижения числа инцидентов (пусть и не такого быстрого, как вам того хотелось бы).

Я раньше старался писать в блог ежедневно и это в какой-то момент времени превратилось в самоцель. Я мог даже что-то из пальца высосать, чтобы соблюсти правило «ни дня без заметки». Сейчас в блоге я уже пишу только когда приспичит и есть какой-то длинный текст, который хочется сохранить на подольше; в отличие от коротких постов в Телеге (там иногда закон Гудхарта у меня проявляется 🙁 ).

Другой пример, связанный с косвенными манипуляциями. Вы начинаете оценивать специалистов первой линии SOC по числу закрытых инцидентов. Они не могут напрямую манипулировать этим числом, так как у вас процесс открытия тикетов и назначения их аналитикам автоматизирован. Тогда они могут закрывать тикеты сразу после того, как получили их в работу. Тем самым у вас сокращается время на обработку инцидента и их число на одного аналитика увеличивается. Вы начинаете оценивать аналитиков по времени, которое они затрачивают на работу с инцидентами и начинается другая проблема — они сидят, смотря в потолок, курят и ничего не делают, а часики тикают. Тогда вы решаете оценивать аналитиков по тому, сколько они реально закрыли инцидентов. В этом случае специалисты первой линии пытаются все инциденты разрулить самостоятельно, даже если не обладают нужными компетенциями и не передают их на 2-ю линию. Обратите внимание, во всех случаях аналитики занимаются не тем, чтобы сделать работу SOC эффективней, а число инцидентов меньше, а тем, чтобы достичь наилучших показателей, по которым их оценивают.

Или возьмем реальную ситуацию, с которой мне довелось столкнуться во время аудита одного из SOCов, в котором (он был достаточно большим) существовали разные команды — и традиционных аналитиков L1, которых оценивали по числу классифицированных (нет же слова «оттриаженных»?) сигналов тревоги, и аналитиков Threat Intelligence, которых оценивали по числу новых детектов, которые они привносили в SOC (это могли быть новые правила корреляции в SIEM, новые сигнатуры для IDS, новые YARA-правила для EDR и т.п.). И вот в процессе анализа того, как работают эти группы вместе выяснилось, что аналитики L1 тупо специфически принимали в работу новые детекты, не задумываясь (или не желая задумываться) об их эффективности. Их ведь оценивали по другому показателю и поэтому они принимали все детекты, которые приводили к появлению большого числа событий, легко маркируемых как ложные срабатывания (число классифицированных событий росло). А вот детекты, которые приводили к более сложным расследованиям, они, наоборот, отметали, как мешавшие им достигать поставленных целей.

Вот сейчас попробуйте задуматься, вы занимаетесь ИБ ради чего? Довольны ли вы результатами своей работы? Не кажется ли вам, что вы как белка в колесе бегаете по кругу, а толку ноль?..

Допустим вы работаете в финансовой организации. Вокруг чего будет строиться ваша деятельность как ИБшника? Предотвращение хищений денежных средств у компании и ее клиентов или выполнение требований ЦБ? Вот есть чатик в Телеге про ИБ в финансовом секторе — я не только выпилился из его модераторов, но и перестал его читать, так как там вообще не обсуждают вопросы ИБ. Все время на протяжении нескольких лет обсуждение касается нормативки ЦБ — как трактовать то или иное требование ГОСТа 57580.1, как заполнять отчетность, как объяснить аудитору, что он не прав, и т.д. Вроде одна из самых атакуемых отраслей (крутятся реальные деньги), но ИБ занимается откровенной херней. А все потому, что изначально благая цель — методически помочь банкам бороться с хищениями превратилась в самоцель с обеих сторон. ДИБ ЦБ строчит новую нормативку, не успев отработать старую. А банки судорожно пытаются угнаться за этим бешеным принтером вместо того, чтобы сосредоточиться на главном. Закон Гудхарта во всей красе.

А вспомните 250-й Указ и требование, что за ИБ должен отвечать топ-менеджмент. Офигенная же была идея. А что получилось в итоге? Попытка назначить замруководителя хоть кого-нибудь и пройти за него 512 часов профпереподготовки или просто купить корочку «для проверяющих». И вроде мысль была правильная — если замгендир поднялся из ИБ, его надо научить бизнесу, а если он пришел со стороны, его надо научить ИБ, но нет… Началась полнейшая вакханалия — совершенно оторванные от жизни программы обучения, которые были нафиг не нужны ни CISO (он про лицензирование и сертификацию, а также регуляторов в ИБ и так все знал, а бизнесу его никто не учил), ни человеку от бизнеса (ему нафиг знать про длины криптографических ключей, 66-й приказ ФСБ, ПЭМИН и тому подобные детали). Но зато их согласовали с ФСТЭК и стали пихать всем, не задумываясь о цели требований 250-го Указа. Ну а чо, в глазах мешки с деньгами от 500 тысяч обучаемых, попавших под Указ. И снова закон Гудхарта проявил свою сущность.

Поэтому я не сторонник благих начинаний наших регуляторов и законодателей, которые, руководствуясь благими намерениями, принимают какие-то обязательные меры и нормы, заставляя нас их реализовывать. Они становятся целью и… мы начинаем подгонять результаты под цели, достигать их любой ценой, даже в ущерб здравому смыслу. Вот если бы регуляторы перестали выпускать обязательные нормы, а сосредоточились на методических указаниях?… Но это малореально, не умеют они что-то рекомендовать.

А даже если и умеют, то все равно скатываются в «да, это методические рекомендации, но выполнять их надо обязательно«.

Возьмем другой пример. ФСТЭК разослала давно письмо о запрете госам приема электронной почты с доменов недружественных государств. Уж не знаю, сами они это придумали или нет, но сама по себе идея, лежавшая в основе этого требования, была понятна. Хотелось оградить госорганы от кибератак извне. Получилось? Нет. Атаки с тем же успехом можно было реализовывать с российских почтовых серверов, а то и вовсе с подменой адреса (если госы не использовали DKIM/SPF/DMARC). То есть исходную задачу не решили, а российским гражданам и отечественным компаниям, которые, так сложилось, имели почтовые домены в зонах .com, .net, .org и т.п. «в доступе было отказано». То есть все получили циркуляры и бездумно стали выполнять защитную меру, превратившуюся в самоцель. А ФСТЭК уже не стала рассылать новые циркуляры об отмене этой меры (и судя по вчерашнему законопроекту о запрете регистрации на российских сайтах с иностранной почтой все идет в сторону железного занавеса).

Я, кстати, стал понимать, почему ФСТЭК не торопится выпускать обновленную методику оценки угроз. Ведь стоит ее выпустить, как здравая мысль «знай врага своего» превратится в самоцель и все начнут не пытаться понять, кто и как может атаковать, а подгонять ответ под результат, то есть писать многостраничные модели угроз (отмывая на этом еще и государственные деньги), которыми можно будет только подтереться, настолько они будут оторваны от жизни, но полностью соответствовать методике.

Как побороть закон Гудхарта и можно ли? Да! Вопрос не только в правильно выбранных целях (мы вчера в «Результативном CISO» немало времени потратили на спор вокруг этого вопроса), но и в метриках, демонстрирующих правильное движение к цели. И вот тут важно выбирать не один какой-то показатель, даже кажущийся фантастически подходящим под конкретную задачу; нужно несколько комбинированных показателей. Например, в примере выше с аналитиками SOC, возможно, стоило бы комбинировать число отработанных тикетов с числом повторно открытых тикетов (эта комбинация лучше числа закрытых тикетов со средним временем на каждый тикет). А к метрикам инициатив законодателей добавлять уровень удовлетворенности тех, на кого эта инициатива якобы направлена. Вместо измерения числа прошедших тренинг повышения осведомленности, что не говорит ровно ни о чем с точки зрения эффекта на снижение числа инцидентов, можно измерять число пользователей, прошедших тренинг повышения осведомленности, и сообщивших о пропущенном фишинге.

То есть оценивайте достижение цели не по одной, а по набору метрик. Тогда шансов, что закон Гудхарта сработает в вашем случае, будет меньше! А на месте регуляторов (хотя кто меня на это место пустит) я бы просто начал измерять все свои инициативы. Особенно это ЦБ касается.

В сентября 2022 года для МинОбороны США был подготовлен неплохой аналитический доклад, который описывает проблематику закона Гудхарта, приводит множество примеров из оборонной практики и, что самое ценное, предлагает ряд шагов, которые нивелируют закон (местами с оборонной спецификой, но все равно все понятно):

• Измеряйте эффективность, а не результативность (первую измерять сложнее, но сложнее и манипулировать по сравнению со второй)
• Используйте научные методы для генерации новых данных для измерения вместо того, чтобы фокусироваться на известных и, возможно, скомпрометированных данных
• Идентифицируйте и обходите (на регулярной основе) способы манипуляции с данными
• Используйте данные для измерения, созданные не в организации, которую измеряют (ну тут есть нюансы)
• Собирайте данные в тайне и после того, как измеряемая активность произошла
• Измеряйте все релевантные характеристики системы, а не только некоторые из них, наиболее очевидные и легко собираемые
• Меняйте измерения с течением времени
• Используйте red-teaming и wargaming для выявления способов манипуляции измерениями.

Кстати, почитайте про «эффект кобры«, тоже имеет отношение к ИБ и закону Гудхарта. Именно на этот эффект, проявившийся задолго до формулирования Чарльзом Гудхартом своего закона, если верить СМИ, ссылаются ФСБ и ФСТЭК (правда, без упоминания самого эффекта), когда говорят о том, что идея обеления багхантеров плохая.