Группа компаний Б1, ГК «Солар», Ассоциация ФинТех (АФТ) и HiveTrace представили результаты совместного исследования, посвященного обзору текущего состояния рынка защиты искусственного интеллекта (ИИ) и перспектив развития этого направления.

ИИ является ключевой платформой развития ИТ во всем мире: порядка 1,76 трлн долларов США составили общие траты и инвестиции на ИИ и инфраструктуру для ИИ в 2025 году. Большинство организаций во всем мире (88%) используют ИИ хотя бы в одной из бизнес-функции. К 2026-2027 гг. более 40% всего прикладного ПО будет включать ИИ-агентов, а через три года в мире будет активно работать более одного миллиарда ИИ-агентов.

В ближайшей перспективе более четверти всех ИТ расходов будут так или иначе связаны с технологиями искусственного интеллекта (ПО, услуги, инфраструктура). Аналитические агентства прогнозируют, что к 2030 году ИИ будет задействован практически во всех ИТ процессах, а до 25% задач будут выполняться ИИ системами автономно.

Однако готовность инфраструктуры, процессов управления и механизмов безопасности отстает от темпов внедрения ИИ. Организации по всему миру сталкиваются с реальными угрозами: менее трети считают себя полностью способными защищать агентские ИИ-системы, а 32% подверглись атакам на ИИ-приложения с использованием промптов.

Более того, риски, связанные с безопасностью ИИ, — это серьезный барьер для масштабного внедрения генеративного ИИ (ГенИИ): с атаками на инфраструктуру приложений ГенИИ уже столкнулись 29% организаций.

Традиционные средства ИБ недостаточны для защиты ИИ-моделей и ИИ-систем с дополненным поиском по базам знаний (RAG), автономных ИИ-агентов и экосистем инструментов ИИ, поскольку ключевые угрозы возникают на уровне данных, логики поведения моделей и их самостоятельных действий. По мере масштабирования ИИ и его интеграции в бизнес-процессы и системы риски манипуляции запросами, неконтролируемой работы агентов, утечек конфиденциальных данных и компрометации баз знаний будут усиливаться.

Осознание этой проблемы ведет к формированию принципиально нового класса технологий рынка ИБ безопасности систем искусственного интеллекта и к появлению специализированных подходов к защите ИИ-моделей, приложений и инфраструктуры.

Источник: