В июне я написал заметку с обзором различных исследований на тему вредоносного использования искусственного интеллекта. Но время в ИБ летит быстро и вот пора вернуться к этой теме; тем более, что и поводов как грязи. Появилось много сообщений на тему необходимости сдерживания развития ИИ, так как в противном случае он поработит весь мир и мы все умрем сможет нанести вред человечеству. И стали реально появляться всякие открытые письма и даже законодательные инициативы вплоть до уровня ООН, цель которых — приструнить искусственный интеллект пока человек не разберется, как его использовать во благо и не доводя мир до судного дня.
Проблема в том, что по ту сторону баррикад никто не планирует останавливаться и уже на всю катушку используют языковые модели при организации атак.
Например, после появления ChatGPT от OpenAI и особенно API к нему, сразу появились объявления с рекламой инструментов, которые могут генерить тексты, например, для фишинга, спама, социальной инженерии и т.п. Сам ChatGPT блокировал такие прямые запросы, но при правильно созданном запросе эти ограничения можно было обойти. Например, вот пример сообщения на хакерском форуме в секции Dark AI, в котором пользователь подсказывает как обойти сервис от OpenAI:
А потом это просто автоматизировали. Например, DarkGPT похож по названию на инструменты на базе языковых моделей, но на самом деле это обычный скрипт, который обходит ограничения ChatGPT (пожизненная подписка на него стоит 200 долларов).
Например, ниже вы видите рекламу готового инструмента — спамогенератора GoMailPro с интегрированным ChatGPT.
Но все это было только цветочки — ягодки начались позже. Одно дело, использовать языковую модель, обученную для легальных задач, и совсем другое дело — заполучить модель, явно обученную с криминальным уклоном, чтобы обеспечивать анонимность, обходить цензуру, ограничения на количество символов, генерировать вредоносный код и т.п.
Интересно, кто-нибудь уже обучил какую-нибудь LLM на архиве vx-underground?
На текущий момент в даркнете предлагается целый набор различных языковых моделей, ориентированных на хакерские задачи:
- FraudGPT — инструмент, который позволяет создавать фишинговые СМСки для атаки на клиентов банков, а также фишинговые web-страницы и письма, вредоносный код. FraudGPT умеет искать хакерские сайты, утечки, уязвимости и т.п. Данное средство предлагается по подписочной модели и первоначально стоило 200 долларов в месяц (или 1700 при единовременной оплате за год). Сейчас цена снизилась до 90 долларов в месяц и 700 в год.
FraudGPT - WormGPT — инструмент для генерации BEC-атак на электронную почту (business email compromise), обученный на непубличном датасете, связанном с вредоносной активностью (без ограничений, присущих ChatGPT на число символов и т.п.). Месячная стоимость этого инструмента составляет 100 долларов, годовая — 500, а «приватная версия» — 5000 долларов США.
WormGPT - DarkBERT — созданный в Южной Корее инструмент, обученный на форумах даркнета и утечках, использующий языковую модель RoBERTa) и продаваемый за 110 в месяц. А DarkBARD — сервис, который базировался на языковой модели BARD от Google за 100 долларов в месяц.
У описанных выше инструментов были свои клиенты, отзывы и ничто не указывало на то, что это что-то ненастоящее. А вот других три «сервиса» на базе ИИ, которые появились около месяца назад, скорее всего являются фейковыми, так как по ним нет никакой детальной информации, которая бы свидетельствовала, что такие инструменты существуют, у них есть покупатели, которые оставляли отзывы:
- Evil-GPT — это якобы альтернатива закрытого в этом августе проекта WormGPT, также написанная на Python, но продаваемая за какие-то смешные деньги всего в 10 долларов. На самом деле речь идет об обычном скрипте с доступом к OpenAI.
Анонс завершения проекта WormGPT - XXXGPT — инструмент, якобы позволяющий писать вредоносный код ботнетов, RAT, кейлоггеров, шифровальщиков, стилеров, вредоносов для банкоматов и POS-терминалов.
XXXGPT - Wolf GPT — альтернатива ChatGPT, обеспечивающая полную конфиденциальность и позволяющая создавать вредоносный код и генерить продвинутые фишинговые атаки, но которая вроде как и не существует в реальности несмотря на рекламу.
WolfGPT
Скорее всего кто-то решил нажиться на шумихе вокруг вредоносного использования языковых моделей и просто обмануть обманщиков. Ну, такое происходит нередко.
Допускаю, что в подпольных лабораториях сейчас кто-то тестит и обучает модель LLaMa от Facebook и скоро мы увидим на черном рынке что-нибудь вроде DarkLLaMa, а также множество иных инструментов на базе активно появляющихся новых LLM 🙂 Возможно, что и на базе Яндекс YaLM, а также ruGPT и mGPT от Сбера. Как по мне, так это прям просится, если у мошенников стоят задачи (а они стоят) по атакам на русскоязычных пользователей. Логично было бы использовать модели, обучаемые на русских текстах.
Возникает закономерный вопрос — как от этого всего защищаться? Каких-то особых способов бороться с результатами работы искусственного интеллекта, используемого во вредоносных целях, нет. Поэтому стоит сфокусироваться на уже стандартных способах защиты:
- средства защиты электронной почты от фишинга и вредоносного кода
- мониторинг посещаемых сайтов и обращений к доменам
- включение на почтовых сервисах механизмов верификации отправителей и получателей e-mail — SPF, DKIM, DMARC
- усиленная защита оконечных устройств с помощью EDR/XDR
- обучение пользователей.
Вредоносный искусственный интеллект — это не новый способ атаки. Это всего лишь инструмент позволяющий автоматизировать и разнообразить атаки. Поэтому выстраивая эффективную защиту, вы одновременно защищаетесь и от всего плохого на базе ИИ. Но это и так очевидно 🙂
