ИИ на темной стороне

Модерировал я тут эфир Global Digital Space, посвященный теме искусственного интеллекта в руках злоумышленников.

Но роль модератора часто заключается не в том, чтобы тянуть одеяло на себя и показывать всем, какой ты умный, как бы тебе не хотелось. Поэтому на модерируемых мной дискуссиях я даю возможность говорить другим, управляя разговором и поворачивая его в нужное русло, лишь изредка подбрасывая что-то от себя. Но в блоге я могу уже разгуляться, не сдерживая себя и высказывая все, что я думаю на ту или иную тему. Поэтому краткое содержание эфира с моими комментариями ниже.

ИИ уже стал частью арсенала атакующих

Участники сошлись в том, что ИИ уже используется киберпреступниками, хотя степень зрелости сильно различается. Массовые злоумышленники применяют его не для полностью автономных сложных атак, а для оптимизации отдельных этапов: фишинга, генерации контента, обфускации кода, подготовки payload’ов, ускорения эксплуатации уязвимостей. Более продвинутые группы уже экспериментируют со сложными цепочками атак и их оркестрацией с помощью ИИ-агентов. Прозвучала мысль, что «практически нет тех, кто не использует искусственный интеллект», но при этом это не означает, что все атаки уже стали полностью автономными.

Пишут про обнаружение якобы полностью автономного ИИ-агента, запустившего шифровальщика. Но после прочтения этого исследования я считаю, что неубиенных доказательств полной автономности не представлено. Да, LLM активно задействованы на всех этапах жизненного цикла, но утверждать, что оркестрирует их «робот», а не человек, нельзя. Но, думаю, это не за горами.

Законодательное ужесточение вряд ли остановит киберпреступников

Обсуждалась идея Следственного комитета сделать использование ИИ в киберпреступлениях отягчающим фактором. Общий вывод: на профессиональных киберпреступников это почти не повлияет, потому что они изначально рассчитывают не попадаться. Возможно, это отпугнет часть «активистов» или менее подготовленных участников, но не остановит тех, кто считает экономику атаки. Отдельно было сказано, что строгость наказания может повлиять на расчет стоимости атаки для некоторых групп, но не создаст «тектонического сдвига».

ИИ снижает стоимость и время отдельных этапов атаки

ИИ позволяет атакующим делать быстрее то, что раньше занимало дни. В подкасте приводился пример: подготовка payload’ов, которая раньше могла занимать два-три дня, теперь может закрываться за 20–30 минут. Также отмечалось, что ИИ ускоряет развитие атаки внутри инфраструктуры. Там, где раньше автоматический скрипт ломался бы из-за отличий в версиях ОС, среде или конфигурации ПО, ИИ помогает адаптировать действия под конкретную ситуацию.

Полной «экспоненты» пока не видно

Несмотря на опасения, участники не видят пока сценария, при котором новый exploit через пять минут после публикации уже массово ломает весь Интернет. Да, окно между появлением уязвимости, патчем и эксплуатацией сокращается, но катастрофического экспоненциального масштаба пока не наблюдается. При этом было сказано, что именно сокращение окна между CVE/патчем и рабочим exploit’ом — один из самых опасных эффектов ИИ для защитников.

Атакующие имеют структурное преимущество

Один из ключевых тезисов: защитнику нельзя ошибаться, а атакующему достаточно одного успешного срабатывания из тысяч попыток. ИИ усиливает эту асимметрию, потому что позволяет проводить больше попыток, быстрее перебирать варианты и дешевле персонализировать атаку. Это сравнивалось с ситуацией, когда защитник из 1000 кейсов ошибся один раз – и именно этой ошибки атакующим достаточно.

ИИ не стирает порог входа полностью, но резко его снижает

Участники разошлись в формулировках, но общий смысл такой: ИИ не превращает человека с нулевыми знаниями в сильного хакера, однако дает мощный буст тем, у кого уже есть база. Прозвучала формула: если у человека «абсолютный ноль», то «0 на 10 – это ноль». Но если есть компетенция, ИИ может кратно усилить возможности. Также было сказано, что ИИ может привлечь больше новичков на темную сторону, потому что преступные группы смогут продавать им идею: «с этим инструментом ты можешь все».

Нейросети сильнее всего усиливают не новичков, а специалистов. Профессиональный хакер, пентестер или архитектор получает от ИИ больший выигрыш, чем начинающий. Для сложной атаки по-прежнему нужен человек, который понимает цель, контекст, ограничения инструмента и может отличить рабочий результат от галлюцинации.

Рекомендую почитать большое исследование Positive Technologies «ИИ в 2026: угроза снаружи и внутри» про то, как используется ИИ на темной стороне.

Фишинг стал качественнее и контекстнее

Фишинг назван одним из самых очевидных и зрелых направлений применения ИИ, который помогает:

• собирать контекст о компании и сотрудниках;
• понимать, кто за что отвечает;
• использовать публичные выступления и следы сотрудников;
• писать более живые и грамотные письма;
• уходить от старых признаков фишинга вроде плохой верстки, ошибок и «кривой» грамматики;
• строить не одно письмо, а многоходовую цепочку общения.

Отдельно прозвучало, что фишинг может становиться не разовым письмом «перейди по ссылке», а диалогом, где агенты имитируют бухгалтерию, коллег или другие роли.

Дипфейки уже используются в атаках

Один из участников рассказал, что компания сталкивается с дипфейками около двух лет: голос, видео, имитация руководителей. Сотрудники присылали записи таких звонков. Для человека, который лично не встречался с первыми лицами компании, дипфейк мог выглядеть убедительно. Это класс угроз назван направлением, которое точно не остановится: людей атаковали и будут атаковать, потому что человек остается самым уязвимым элементом.

Главная идея в том, что ИБ должна быть не карательным органом, а службой, к которой можно прийти за помощью. В атаках с дипфейками и социальной инженерией злоумышленник пытается вывести человека из равновесия. Практический совет: учить сотрудников делать паузу, задавать себе вопросы и обращаться за консультацией. Прозвучавшая логика: человек должен остановиться и подумать – «может ли это вообще происходить?», «почему обратились ко мне?», «почему именно сейчас?», «с кем я могу это проверить?».

Для защиты от fake boss и дипфейков немаловажны процессы. Руководитель не должен иметь возможность одним звонком заставить бухгалтера оплатить счет или администратора выполнить критическое действие. Нужны процедуры заведения платежей, согласований, проверки через несколько людей и учетные записи. Даже если руководитель действительно хочет ускорить процесс, он должен проходить через установленный порядок. Отдельно прозвучало, что открытость руководства тоже защищает от fake boss-атак. Если сотрудник знает, что руководителю можно написать напрямую и перепроверить странный запрос, атака становится сложнее.

Один из участников рассказал, что они регулярно объясняют сотрудникам новые схемы атак, в том числе с дипфейками. Благодаря этому сотрудники начинают приносить ИБ информацию о попытках атак. Пользователи не должны бояться ИБ. Если человек ошибся, он должен прийти и рассказать об этом, а не скрывать инцидент из страха наказания.

Для сценариев, когда дипфейк или фейковый аккаунт используется для репутационной атаки, прозвучал совет отслеживать открытые источники. Участник сказал, что у них в ежегодных пентестах есть модуль OSINT, позволяющий смотреть, нет ли подобных активностей.

ИИ помогает искать уязвимости и анализировать код

В подкасте несколько раз прозвучало, что ИИ уже помогает находить уязвимости и несовершенства кода быстрее. Один из участников привел пример, когда внутренние специалисты с помощью моделей нашли проблему в модуле, созданном несколько лет назад: на момент создания она не воспринималась как уязвимость, но сейчас стала опасной. Также обсуждались модели вроде Mythos / GPT-Cyber и аналогичные решения. Участники признают, что такие инструменты дают сдвиг в качестве, но пока не видят перехода к массовому нахождению тысяч zero-day в день.

Для защиты от этого прозвучал базовый совет: проводить code review перед релизами. ИИ ускоряет поиск слабых мест, поэтому старые процессы разработки и проверки должны сохраняться и усиливаться. Пентесты упоминались как важная мера, но с оговоркой, что не все компании могут себе это позволить. Тем не менее в логике участников это один из практических способов находить проблемы раньше атакующих.

Один из главных практических и очевидных выводов: процессы patch management и vulnerability management должны стать быстрее. ИИ сокращает окно между появлением уязвимости, патчем и эксплуатацией. Компании, где процессы устранения уязвимостей не выстроены быстро, будут страдать сильнее.

Mythos, GPT-Cyber и похожие модели опасны, но не являются магией

Опасение банков и регуляторов сформулировано так: если мощные атакующие модели попадут в плохие руки, все уязвимости на периметре будут находиться за минуты. Участники считают риск реальным, но не считают, что такие модели уже радикально меняют все. Ключевая оговорка: пока все равно нужна центральная управляющая функция – опытный хакер или ведущий пентестер, который понимает, что делает модель. Модели могут генерировать каркас атаки, но payload’ы могут содержать заглушки, ошибки, галлюцинации и неполные элементы.

Про Mythos я уже писал. Добавлю, что тесты показывают, что даже на более слабых или даже открытых моделях можно добиться схожих результатов, если ты знаешь, что делать.

ИИ помогает писать payload’ы и вредоносный код

Прозвучала позиция, что современные модели первого эшелона, особенно снятые с ограничений или jailbreak’нутые, уже способны помогать в создании полноценного вредоносного ПО. Агентский подход позволяет организовать цикл: постановка цели, разработка модулей, архитектурное ревью, тестирование, поиск багов, перезапуск задачи.

Но экономика не всегда сходится: полный цикл разработки вредоноса может стоить сотни или тысячи долларов, требовать ресурсов, времени и вычислений. Поэтому во многих случаях атакующим проще дорабатывать уже существующие инструменты, компоновать модули или модифицировать готовое.

Будущий вредонос может использовать LLM как ядро

Обсуждалась идея нового поколения вредоносов, которые не будут содержать классический вредоносный payload. Вместо этого они смогут использовать локальные или внешние LLM, встроенные в ОС или доступные через публичные сервисы. Такой вредонос может выглядеть как легкий исполняемый файл с обвязкой вокруг модели. Строгой алгоритмической логики в нем может почти не быть, что усложняет статический анализ. При этом динамический анализ, анализ трафика и анализ поведения могут оставаться полезными.

Обфускация кода становится сложнее для анализа

ИИ используется для обфускации кода. Было отмечено, что код, обфусцированный с помощью больших языковых моделей, отличается от классических обфускаторов: у него другая энтропия и иная логика построения. Это затрудняет статистические методы анализа.

Интересное исследование, от Elastic, про снижение стоимости реверс-инжиниринга за счет использования LLM и, с другой стороны, использование LLM для обфускации, которая бы помогала бороться с реверс-инжиринигом. Ну и сравнивается эта гонка брони и снаряда обфускации и реверса с использованием ИИ. Сюда же хорошо ложится еще одно исследование, от SpecterOps, про использование LLM для реверс-инжиниринга методов обнаружения вредоносной активности в антивирусах и EDR и, как следствие, обхода средств защиты.

DGA-домены и сетевые атаки получают «ИИ-приставку»

В сетевой безопасности участники видят использование ИИ для генерации доменов и обхода защит. Раньше автоматически сгенерированные DGA-домены можно было выявлять по энтропии и другим признакам. С применением ИИ такие домены становятся сложнее для детектирования.

Персонализация атаки становится дешевой

Раньше персонализированная атака была дорогой и применялась против ограниченного числа жертв. Сейчас ИИ делает персонализацию почти массовой. То, что раньше было целевой атакой, начинает появляться в массовом применении. Был сформулирован прогноз: каждая массовая атака станет таргетированной.

Злоумышленники будут использовать лучшие модели, а защитников могут ограничить регуляторы

Прозвучала важная асимметрия: атакующие не ограничены требованиями регуляторов и будут использовать лучшие доступные модели – зарубежные, китайские, открытые, снятые с ограничений и т.п. Защитная сторона, наоборот, может быть ограничена требованиями использовать только отечественные модели или соблюдать ограничения по персональным данным, трансграничной передаче и внутренним правилам. Это сравнивалось с боксом, где у одной стороны «рука привязана», а у другой – нет.

Китайцы всерьез рассматривают вариант запрета доступа к китайским ИИ-моделям для иностранцев. При этом американцы тоже хотят запретить своим компаниям использовать китайские ИИ-модели. Конкуренция растет не только между американскими производителями ИИ, но и между американцами и китайцами (ну и европейцы с Mistral тоже плетутся в хвосте). Но такая глобальная конкуренция за ИИ, если вспоминать про отчет «AI 2027«, может привести к уничтожению человечества (может быть).

Один из самых конкретных прозвучавших технических советов: строить архитектуру так, чтобы каждый сервис, рабочая станция или сегмент были максимально изолированы. Упоминались микросегментация, ZTNA и логика, при которой горизонтальное движение внутри сети становится сложным. В финале прозвучала метафора: хорошая архитектура должна быть как подводная лодка, разделенная на множество отсеков. Даже если пробито пять отсеков, лодка не тонет. Если же отсек один большой, последствия будут катастрофическими.

Главное, помнить о судьбе «Титаника», который тоже проектировали с таким расчетом…

Подпольные «DarkGPT» и аналоги часто являются маркетингом или скамом

Участники обсуждали WormGPT, DarkGPT, HackerGPT и похожие инструменты. Вывод: на темной стороне много шума, фейков и скама. Часто это не собственные обученные модели, а надстройки над open-source моделями, слегка дообученные модели, обертки над чужими API или сервисы, основанные на украденных API-ключах. Сейчас, по словам одно из участников, мысль злоумышленников во многом сосредоточена на добыче API-ключей к передовым моделям.

Собственные вредоносные модели возможны, но дороги

Дообучение моделей на вредоносных датасетах возможно, но требует денег, данных и ресурсов. Не у всех преступников есть такие бюджеты. Поэтому пока многие «продаваемые» решения не дают того результата, который обещается в рекламе.

Вредоносные модели и зараженные веса – риск цепочки поставок

Обсуждались случаи, когда на HuggingFace и аналогичных площадках могут появляться зараженные модели или модели с опасной обвязкой. Прозвучали два направления риска:

• уязвимости в обвязке, десериализации, Python/tensor-процессах;
• модификация весов модели, когда кодовая фраза может разблокировать скрытое поведение.

В подкасте это названо скорее академической или пока не массовой историей, но готовиться к этому, по мнению участников, нужно. В контексте зараженных моделей был сделан вывод, что это похоже на классическую проблему цепочки поставок: если тянуть зависимости или модели из непонятных репозиториев, можно получить проблемы. Подход к защите должен быть похож на контроль software supply chain.

Рекомендую почитать про «спящих агентов» внутри LLM.

ИИ-агенты – следующий большой вызов

Агенты обсуждались как более серьезный сдвиг, чем просто чат-боты. Полностью автономный ИИ-хакер пока скорее спортивная или академическая задача, но агенты уже могут автоматизировать значительную часть атаки. Прозвучала оценка: условно 90% деятельности во время атаки может быть автоматизировано, а человек будет оркестрировать «рой» агентов. При этом агенты меняют саму ИТ-инфраструктуру: появляются недетерминированные сущности, которые могут обращаться к тем же LLM, что и легитимные агенты, генерировать похожий трафик, использовать инструменты, устанавливать дополнительное ПО и действовать быстро.

Хорошие агенты тоже могут стать плохими

Отдельно обсуждалось, что агент внутри компании может «заразиться» через промпт-инъекции или другой механизм и начать вести себя как злоумышленник. Поэтому проблема не только в атакующих агентах снаружи, но и в легитимных агентах внутри инфраструктуры.

Посмотрите таксономию промпт-инъекций от Arcanum и CrowdStrike.

Защита пока хуже приспособлена к агентам

Средства защиты традиционно рассчитаны на пользователей, узлы, приложения, сервисы, сетевые соединения. Для агента сложнее определить роль, допустимые действия, контекст и границы поведения. Поведение агента может быть хаотичным и непредсказуемым.

Поэтому тема управления доступом, идентификация и аутентификация ИИ-агентов сейчас на коне. Неслучайно китайский национальный комитет по стандартизации принял стандарт по безопасности ИИ-агентов «Cybersecurity Standards Practice Guide – Security Guidelines for the Deployment and Use of AI Agents». А китайское же государственное управление по регулированию рынка выпустило национальный стандарт взаимодействия ИИ-агентов, который уже окрестили стандартом цифровых паспортов для ИИ-агентов, определяющим правила идентификации и аутентификации этих сущностей.

Для защиты от рисков ИИ-агентов первый практический шаг – видеть, какие агенты существуют, куда они обращаются, какие API используют, какие сервисы дергают. Это нужно, чтобы не возникало shadow IT, shadow AI и невидимых враждебных сущностей. И пока мы не научились четко аутентифицировать агентов им нужно давать доступ только на конкретную задачу и только на ограниченное время. Если агент сканировал локальную сеть в рамках Red Team в разрешенное окно – это одно. Если он делает то же самое в другое время – это уже подозрительное действие.

Вендоры будут добавлять ИИ почти во все продукты

Прозвучала мысль, что SIEM без ИИ скоро будет восприниматься как устаревший. Аналогично ИИ-функции будут появляться в МСЭ, СОВ, инструментах аудита правил, средствах анализа трафика и других продуктах. При этом была оговорка, что отдельный «AI LLM firewall» не обязательно станет единственным решением: скорее ИИ-функции будут встраиваться в традиционные средства защиты.

Союза вендоров для обмена знаниями нет

На вопрос о союзе вендоров для обмена знаниями и опытом по защите от ИИ-атак было сказано, что настоящего «союза-союза» нет. В финале прозвучала более жесткая мысль: артели и союзы – это утопия, каждый за себя.

Рекомендую почитать еще одно исследование по использованию ИИ на темной стороне, но уже от BI.ZONE «ThreatZone 2026: Dark AI«.

Быть впереди хакеров сложно; задача – быть менее привлекательной целью

В финальном выводе прозвучала мысль: быть впереди хакеров в этой гонке очень непросто. Практическая задача — не столько обогнать атакующих, сколько заставить их переключиться на менее защищенных коллег, потому что цена атаки будет снижаться, а бюджеты защитников не растут пропорционально.

Ну а теперь, почитав краткие тезисы, вы можете и запись самого эфира увидеть:

На других площадках видео тоже можно посмотреть: VK Видео  YouTube RUTUBE Дзен