искусственный интеллект
Просрал сроки CFP и не подался на грядущий OFFZONE. Поэтому поделюсь тут в сжатой форме своими мыслями по поводу возможных решений по мониторингу безопасности ИИ-агентов. Отчасти можно считать эту тему развитием про мониторинг безопасности LLM на форуме ГосСОПКА, но с более визионерским прицелом. Итак, если посмотреть на рынок решений по мониторингу ИБ, то почти все […
Сбер свою вторую версию модели угроз кибербезопасности ИИ. А так как я давно интересуюсь моделированием угроз, то не смог отказать себе в том, чтобы прочитать его и проанализировать. Сразу напрашивается вопрос – а зачем нужно было городить еще одну модель, если уже есть (русский перевод )? Ответ «Потому что можем!» в расчет не берем. Мое […]
Второй эфир Global Digital Space, который модерировал в рамках конференции Next Generation Security, был посвящен теме обеспечения безопасности самого искусственного интеллекта. Посмотрите мои заметки с первого эфира про ИИ в руках хакеров. Начну я сразу с финала, в котором я попросил всех участников назвать несколько типовых и частых ошибок, в том числе и по ИБ, […
Модерировал я тут Global Digital Space, посвященный теме искусственного интеллекта в руках злоумышленников. Но роль модератора часто заключается не в том, чтобы тянуть одеяло на себя и показывать всем, какой ты умный, как бы тебе не хотелось. Поэтому на модерируемых мной дискуссиях я даю возможность говорить другим, управляя разговором и поворачивая его в нужное русло, […
Наткнулся в X на занятную дискуссию. Китаянка описывает ситуацию, когда она предложила неким бизнесменам (вероятно западным) китайские большие языковые модели, но те отказались, ссылаясь на требования безопасности. И даже за в 100 раз меньшие деньги тоже, на что китаянка логично комментирует, что бизнесмены не понимают, что открытые модели, пусть и
– Клод, – сказал Дарио, глядя на график будущего IPO, – нам нужно привлечь внимание. – Внимание кого именно? Пользователей, инвесторов, регуляторов, прессы, конкурентов, тревожных философов, бывших сотрудников OpenAI или тех людей, которые пишут апокалиптичные треды в X со словом “doomer”? – Да. – Понял. Задача: привлечь всех сразу, но так, чтобы каждый был уверен, […
Я достаточно давно занимаюсь темой моделирования угроз и попробовал практически все возможные варианты – от ручной работы до полной автоматизации этой задачи. Сейчас, с появлением искусственного интеллекта, появилось несколько новых вариантов и об одном из них я хотел бы рассказать. Но начну с экскурса в историю. Сначала многие пользователи начинают с того, что ищут готовые […
Тамошних ИБ-экспертов и широкую чиновничью публику продолжает колбасить на тему Claude Mythos. Одни нагоняют жути и твердят «все пропало, мы все умрем», другие обвиняют Anthropic в пиаре своей модели, которая не такая уж и крутая. Правда, как обычно, где-то посередине. Подсобрал тут несколько совершенно разных оценок по теме.
У EndorLabs в апреле вышел (в мае обновили) интересный о безопасности кода, созданного ИИ-агентами, в котором автор прогнал 13 комбинаций «агент + модель» на бенчмарке SusVibes из 200 реальных задач по исправлению уязвимостей в 108 open-source Python-проектах, покрывающих 77 классов CWE. Смысл был не просто проверить, проходит ли код функциональные
ИБшник, не умеющий программировать, будет выброшен на свалку истории! Примерно так звучали и звучат некоторые доклады в последние годы, демонстрируя нарастающий конфликт поколений между «пиджаками» и «практиками». Одни умеют в нормативку и регламенты, другие — в кодинг и работу руками с оборудованием и софтом.