Группа компаний Б1, ГК «Солар», Ассоциация ФинТех (АФТ) и HiveTrace представили результаты совместного исследования, посвященного обзору текущего состояния рынка защиты искусственного интеллекта (ИИ) и перспектив развития этого направления.

Искусственный интеллект (ИИ) стремительно трансформируется в новую базовую платформу для всего ИТ-рынка. С развитием ИИ закономерно усиливается и его значимость как объекта защиты. В отличие от традиционных ИТ-систем ИИ-решения опираются на данные, обучаемые модели и зачастую ограниченно интерпретируемую логику принятия решений. Это формирует новый класс угроз — от атак на модели и данные до злоупотреблений генеративными системами, утечек через ИИ-интерфейсы, а также до неконтролируемого поведения ИИ-агентов и приложений. В результате кибербезопасность ИИ становится важным направлением развития рынка решений информационной безопасности (ИБ).

Риски ИБ для искусственного интеллекта имеют специфический характер: манипулирование, риски во время работы, атаки на модели. Если говорить о типологии рисков, то в качестве наиболее распространенных примеров эксперты выделяют следующие: утечки данных и внутренней информации через запросы; манипуляция поведением модели через входные данные и инструкции; риски автономного и неконтролируемого поведения ИИ-систем; уязвимости моделей и решений с открытым исходным кодом, риски цепочки поставок ИИ, неконтролируемое, теневое, нарушающее регулирование использование ИИ; компрометация моделей, датасетов, RAG-систем и баз знаний, утечки данных через ответы модели; небезопасная обработка результатов; атаки на модели и ИИ-инфраструктуру; использование ИИ для автоматизации кибератак и мошенничества.

67% руководителей в области кибербезопасности по всему миру считают, что риски, связанные с ИИ нового поколения, требуют существенных изменений в существующих подходах к кибербезопасности. Стремительное внедрение систем искусственного интеллекта и ИИ-агентов, которые начали получать доступ к внутренним системам и данным компаний, формирует новый класс киберрисков и существенно расширяет поверхность атак.

В ответ на это на глобальном рынке появляются специализированные средства защиты ИИ. Среди них: средства защиты ИИ-приложений; шлюзы безопасного доступа к ИИ и защита от Tеневого ИИ; платформы безопасности и управления ИИ-агентами; решения для управления безопасностью ИИ-артефактов и моделей; решения защиты ИИ-систем дополненных поиском по базам знаний и ИИ-данных; ПО для наблюдаемости и мониторинга ИИ; решения управления идентификацией, правами доступа и политиками безопасности для ИИ-агентов и ИИ-сервисов; платформы управления ИИ-рисками; решения автоматизированного тестирования моделей и ИИ-приложений приложения для идентификации сгенерированного ИИ-контента.

Динамика расширения портфелей разработчиков демонстрирует нехватку статических проверок безопасности. Формируется тренд в сторону мониторинга ИИ-систем и ИИ-агентов, трассировки действий и запросов, применения политик безопасности во время выполнения, непрерывного контроля и выявления угроз.

Одновременно с этим развивается рынок специализированных услуг: проектирование киберустойчивых ИИ-архитектур и систем; тестирование безопасности ИИ; интеграция ИИ-инфраструктуры в классические центры мониторинга ИБ; аудит ИИ-систем; оценка и управление ИИ-рисками.

Весьма вероятно, что в ближайшие годы кибербезопасность ИИ станет таким же обязательным и базовым элементом корпоративной инфраструктуры цифровых компаний, каким сегодня являются защита сетей или облачных сред.

«Рынок решений в сфере кибербезопасности ИИ пока зарождается, но уже можно отметить скорость его развития — в текущем году размер рынка превысит отметку 1% от всего глобального рынка ИБ. С высокой степенью уверенности можно также говорить, что рынок проходит схожую трансформацию, что ранее прошли рынки ИБ облачных технологий или мониторинга и реагирования на угрозы ИБ (SecOps): от набора точечных средств защиты к формированию полноценного платформенного слоя корпоративной безопасности, — комментирует партнер Группы компаний Б1 Сергей Салов. — Такой подход интегрирует защиту моделей, ИИ-агентов, данных и процессов исполнения ИИ в единый контур. Более того, по мере роста автономности ИИ-систем, рынок решений будет мигрировать от защиты ИИ-приложений к защите ИИ-агентов и далее к сквозной защите автономной ИИ-инфраструктуры и комплексному управлению рисками».

Сергей Салов отмечает, что в мире растет востребованность специализированных услуг по аудиту, тестированию и управлению безопасностью ИИ, а также построению киберустойчивых архитектур ИИ-систем.

Рынок только формируется, поэтому конечные победители и его будущая структура неясны, однако на данном этапе можно сформулировать четыре возможных сценария или параллельные траектории развития:

  1. Рынок сконцентрируется вокруг крупных разработчиков ИБ-решений, как это произошло с облачной ИБ, EDR/XDR.
  2. Появится отдельный лидер или лидеры рынка.
  3. Безопасность ИИ постепенно станет частью безопасности приложений, облаков, защиты данных, управления идентификацией и доступом и превратится из отдельного рынка во встроенную функцию существующих платформ кибербезопасности.
  4. Поставщики ИИ-систем и платформ ИИ-разработки сами формируют или приобретают продукты встроенной кибербезопасности, подобно тому, как Microsoft, VMware и другие вендоры встраивают ИБ-решения в пакеты своих программных продуктов.

«На глобальном рынке наблюдается устойчивый рост интереса к открытым инструментам и решениям защиты систем ИИ с открытым исходным кодом: инструменты тестирования безопасности моделей (Garak, PyRIT, AgentDojo), системы защиты и контроля больших языковых моделей (NVIDIA NeMo Guardrails), средства мониторинга и наблюдаемости ИИ-систем (Langfuse, Arize Phoenix), а также подходы к моделированию угроз и базы знаний об атаках на ИИ (MITRE ATLAS)», — поясняет Сергей.

Источник: