Исследования об использовании искусственного интеллекта для реализации угроз ИБ

Угрозы

2023-й год ознаменовался собой активной кампанией исследователей и ученых, которые заявили, что мир еще не готов к искусственному интеллекту и что надо попридержать коней и сначала оценить все последствия от активного развития ИИ, особенно языковых моделей на базе GPT, а уж потом продолжать эксперименты. Как по мне, так уже поздно что-то останавливать и тормозить. История сродни развитию ядерных технологий — сначала они появились у нескольких стран, а потом они решили, что остальным это ничего не нужно. Зачем обезьянам граната, думали они, прикрываясь благой целью — контролем за ядерными вооружениями. Но как мы понимаем, это только в учебниках выглядит все красиво, а в реальности, это оружие и никто просто так не забросит тему, которая может помочь взять вверх в потенциальном конфликте с соперниками. Такая же ситуация, как мне кажется, происходит и с искусственным интеллектом.

Как только отдельные государства увидели его перспективы, так все заголосили, что надо приостановить его развитие, а не то Скайнет захватит мир. Не за горами запреты на экспорт моделей и датасетов за пределы отдельных стран и жесткий контроль за их использованием странами третьего мира. США и ее сателлиты в лице Европы, Японии, Австралии и ряда других стран, не захотят делиться своими наработками с кем бы-то ни было. Допускаю, что будут активно проводиться конференции на тему этического использования ИИ, выдадут гранты на разработку кода этического поведения ИИ и т.д. А под шумок, те же американцы продолжат тренировать свои модели, а то и выдадут гранты на секретные проекты Google, которая проигрывает эту битву Microsoft с OpenAI. А может и Microsoft продавит OpenAI и будет также выполнять что-то по заказу МинОбороны США и иных спецслужб. Китай также плевал на все запреты и будет эту тему исследовать внутри страны, не делясь ни с кем наработками. И так поступят все, кто хоть сколько-нибудь мозгов имеет.

Я уже не говорю про киберпреступность, которая вообще не скована никакими законами морали, мораториями, меморандумами, манифестами и другой фигней на букву «м». Они, увидя (и уже видя) перспективу в искусственном интеллекте для своих целей, освоят его очень быстро, а значит стоит думать о том, в каких направлениях искусственный интеллект может быть использовать киберпреступниками и просто плохими парнями (а это термин широкий, под него и недружественные государства подходят).

Сподвигнул написать меня эту заметку недавний отчет Роскомнадзора «Инструменты ИИ в руках злоумышленников — классификация угроз и способы противодействия», в работе над которым также принимали участие Главный радиочастотный центр и частная исследовательская компания MINDSMITH.

Угрозы со стороны искусственного интеллекта
Угрозы со стороны искусственного интеллекта

Прочтя аннотацию, в которой говорится, что «исследователи проанализировали более 3000 концепций, изобретений, прототипов, коммерческих решений«, у вас может сложиться впечатление, что данный документ описывать все известные на сегодняшний день методы вредоносного использования ИИ, но это не так — документ касается только одного аспекта — контентного. Иными словами, РКН со товарищи проанализировали только то, что попадает в сферу контроля этого регулятора. И хотя в последнее время РКН стал активно залезать на поляну ИБ, все-таки активнее всего он регулирует противоправную и враждебную информацию и способы ее создания и размещения.

Поэтому в отчете рассматриваются следующие 12 групп технологий, соответствующих интересам профильных организаций по мониторингу и обеспечению безопасности интернет-среды:

  1. Обнаружение дипфейков
  2. Определение контекста происходящего на видео
  3. Автоматизация мониторинга и модерации контента
  4. Распознавание лиц
  5. Извлечение смысла из текста
  6. Поддержка проверки фактов
  7. Распознавание символики
  8. Извлечение и анализ метаданных
  9. Распознавание эмоций
  10. Поддержка решений при информационных атаках
  11. Генерация контента
  12. Рекомендация контента.

Как мы понимаем, в этом списке учтены интересы далеко не всех профильных организаций по безопасности интернет-среды. И хотя фишинг еще может как-то попасть в этот список, но поиск уязвимостей с помощью ИИ уже нет.

Зато этому вопросу посвящен другой, самый «старый» из описываемых в заметке, отчет «The Malicious Use of Artificial Intelligence. Forecasting, Prevention, and Mitigation» как раз смотрит н проблему шире и рассматривает и традиционные ИБ-угрозы, и контентную «историю», названную в отчете «политическая безопасность», и физическую безопасность (роботы и т.п.). А тут вам и фишинг, и поиск уязвимостей, и профилирование жертв, и разработка вредоносного ПО, и генерация атак для обхода средств защиты, и таргетирование атак, и дипфейки, и многое другое.

Угрозы со стороны искусственного интеллекта
Угрозы со стороны искусственного интеллекта

Кстати, о дипфейках, — им посвящена целая серия ежегодных отчетов от компании Deeptrace (например, вот отчет за 2018 год, а вот за 2019), а также множество других исследований. Пока большинство авторов соглашаются, что основное применение дипфейков — это порнографический контент, но при этом они начинают проникать и в другие сферы нашей жизни, например, с их помощью реализуется социальный инжиниринг в разных его проявлениях.

Сама компания Deeptrace Labs куда-то исчезла с радаров и даже сайт ее больше не существует.

Угрозы со стороны искусственного интеллекта
Угрозы со стороны искусственного интеллекта

Свое видение угроз со стороны искусственного интеллекта представил и Европол вместе с Trend Micro, которые в конце 2020-го года выпустили отчет с описанием сценариев применения ИИ плохими парнями — тут и дипфейки, и угадывание паролей, и подмена пользователей в соцсетях, и взлом систем, и фишинг и другие формы социального инжиниринга. Европейские исследователи даже предсказывают появление дронов с распознаванием лиц, которые могут быть использованы для фокусированных атак на конкретных людей, а также появление ботов, изучающих лучшие трейдинговые стратегии на криптовалютных площадках для использования их в своей противоправной деятельности.

Угрозы со стороны искусственного интеллекта
Угрозы со стороны искусственного интеллекта

Менее Немецкий BSI выпустил недавно не очень большой, но все-таки интересный отчет с обзором различных проблем и атак на системы, базирующиеся на искусственном интеллекте. Реальных примеров в отчете нет, но как введение в проблему вполне себе подойдет.

Угрозы со стороны искусственного интеллекта
Угрозы со стороны искусственного интеллекта

Ну и в качестве заключения еще один отчет от Europol, который выпустил отчет об опасности использования генеративных нейросетей, конечно же на примере ChatGPT, в противоправных целях. Европейские полицейские считают, что GAN могут быть использованы в следующих сценариях:

  1. Систематизация знаний и ускорение подготовки преступников, включая и киберпреступников
  2. Генерация фишинговых писем от имени коренных жителей той или иной страны
  3. Маскировка под конкретного человека с копированием его манеры общения
  4. Дезинформация и пропаганда за счет создания достоверно звучащего контента на базе неверных тезисов и предпосылок
  5. Создание пока еще базового вредоносного кода
  6. Сбор большого объема данных, используемых в преступной деятельности
  7. Автоматизация и масштабирование существовавших ранее и новых схем мошенничества и киберпреступлений
Угрозы со стороны искусственного интеллекта
Угрозы со стороны искусственного интеллекта

При этом, как отмечают в Европоле, свежая версия ChatGPT на основе GPT-4 не улучшилась в части обхода ее защитных механизмов; то, что можно было плохого сделать в предыдущей версии ChatGPT, можно сделать и в нынешней.

Вот такой вот обзор. Как мы понимаем, любая технология может иметь две стороны использования — хорошую и плохую. Дроны могут исследовать труднодоступные места, а могут сбрасывать бомбы. Ядерные технологии могут давать энергию, а могут убивать миллионы людей. Так и искусственный интеллект может найти свое применение в плохих руках. Главное понимать это и быть готовым к этому.

Дополнительная информация

  • Материалы форума «Цифровая экономика. Технологии доверенного искусственного интеллекта»
  • Материалы трека по искусственному интеллекту на PHDays 12
  • Введение в Google Secure AI Framework
  • Проект MITRE ATLAS с базой известных тактик и техник для систем на базе машинного обучения
  • Failure Modes in Machine Learning
  • Как учесть вопросы искусственного интеллекта при моделировании угроз
  • DARPA Cyber Grand Challenge
  • The AI Attack Surface Map v1.0
Оцените статью
Бизнес без опасности
Есть что добавить? Добавьте!

Нажимая кнопку "Отправить", я даю свое согласие на обработку персональных данных (если вдруг они указаны в комментарии) в соответствие с политикой конфиденциальности. Также я соглашаюсь с тем, что в своем комментарии не раскрываю никаких сведений, составляющих государственную тайну, а также никакой иной информации, охраняемой законом (для этого используйте иные способы :-) ), если это не разрешено ее владельцем. Ваш комментарий может появиться не сразу, а после модерации (так бывает не всегда, но бывает).