11 марта 2026 г.
Искусственный интеллект способен резко расширить возможности развития бизнеса, однако просчеты при внедрении подобных систем могут обернуться серьезными убытками. О рисках в этой сфере и способах их снизить рассказал Владимир Мукасеев, начальник отдела разработки сервисов кибербезопасности IBS.
Риски и их влияние на бизнес
Многие компании возлагают большие надежды на искусственный интеллект, но терпят неудачу из-за недостаточно эффективного процесса управления рисками. Чтобы не повторять этот сценарий, и не превращать ИИ-инициативу в источник убытков, бизнесу важно знать о проблемах, которые могут возникнуть на всех основных этапах жизненного цикла: от обследования до эксплуатации ИИ-систем.
- При обследовании, или анализе перспектив внедрения ИИ, есть риск установить неверную цель проекта, которая не соответствует задачам бизнеса. Могут возникнуть и просчеты, связанные с недооценкой ресурсов, отсутствием необходимых данных, их смещением или низким качеством. Все это влечет за собой упущенные рыночные возможности, срыв сроков, перерасход бюджета и заморозку ИИ-инициатив.
- На стадии проектирования возникает риск выстроить архитектуру системы без учета требований безопасности, что в перспективе может привести к ряду сложностей и дополнительных уязвимостей, которые можно было не допустить на ранних этапах. Другие возможные источники рисков — отсутствие механизмов контроля ИИ-решений и привязка к единственному поставщику продуктов на базе больших языковых моделей (LLM) и машинного обучения (ML). Такие риски могут повысить уязвимость всей корпоративной ИТ-инфраструктуры, привести к компрометации целой системы, масштабным киберинцидентам и полному отказу ИИ-решения.
- На этапе разработки основная часть рисков связана с чувствительной информацией, которая используется при обучении модели, а также с уязвимостями в алгоритмах и коде. Кроме того, во время обучения в систему могут попасть «отравленные» (или же заведомо неправильные) данные. Эти факторы способны привести к компрометации стратегических решений, росту киберрисков и поверхности атаки.
- В процессе внедрения системы в эксплуатацию возможны конфликты интеграции и, как следствие, рост количества угроз, связанных с незащищенным контуром исполнения. Могут также возникнуть угрозы деградации производительности и «теневого ИИ» — несанкционированного использования сторонних ЛЛМ-сервисов сотрудниками или разработчиками решения. Это может привести к искажению отчетности, в подготовке которой участвует ИИ, скрытым затратам на решение, перерасходу бюджета на инфраструктуру и даже остановке операционной деятельности.
- При эксплуатации ИИ возможны манипуляции входными данными для обхода или обмана модели. В отдельных случаях модели могут устаревать, а качество прогнозов — деградировать. Кроме того, компании могут столкнуться с компрометацией компонентов ИИ и непрозрачной работой системы. Это снижает эффективность бизнес-процессов, нарушает функционирование критически важных сервисов.
Внедрение могут сопровождать и угрозы, специфичные для определенных типов решений. Например, чат-боты на базе больших языковых моделей могут становиться каналами утечки данных, генерировать «галлюцинации» и неправовые результаты. Слабости рекомендательных систем: фильтр-пузыри. Классическому машинному обучению присуще: дрейф данных, сложности в переобучении. Наконец, при использовании генеративных моделей могут возникнуть проблемы с авторскими правами и дипфейками.
Принципы управления рисками
Избежать возможных проблем при внедрении ИИ-систем помогут четыре базовых принципа управления рисками:
- ИИ не универсальное решение, а технология, требующая ответственного подхода. Системы на базе искусственного интеллекта работают только на основе качественных данных и четких бизнес-задач. Не менее важно обеспечить соответствие проекта требованиям регуляторов, непрерывный мониторинг и анализ аномалий поведения модели.
- Каждый этап жизненного цикла ИИ-систем создает каскадные риски, ущерб от которых многократно возрастает на следующем этапе. По своей сути, сами проекты «проваливает» не искусственный интеллект, а отсутствие системного подхода к управлению внедрением таких систем. При правильном подходе следует внедрять такие технологии, опираясь на ИИ-консалтинг, контроль качества инициатив и интеграцию практик безопасности на протяжении всего жизненного цикла решения.
- Риски могут накапливаться параллельно, усиливая друг друга. В результате образуется «снежный ком» из всевозможных угроз и уязвимостей, которые в отдельности не набирают критическую массу для каких-либо значимых рисков, но в совокупности могу создать реальную угрозу. Чтобы не попасть в такую ситуацию, необходимо комплексно управлять рисками ИИ через системный подход, а не просто точечно устранять ошибки в ИИ-инициативах.
- Безопасность — это не опция, а одна из основных характеристик ИИ-системы. Ее надо обеспечивать на всех этапах проекта начиная с обследования. Фундаментом для этого могут стать методы Secure by Design и MLSecOps. Без интеграции практик безопасности в различные этапы развития инициативы есть возможность изначально создать уязвимое решение, защищать которые после ввода в эксплуатацию гораздо сложнее и дороже.
Схема безопасного внедрения
Применять четыре принципа управления рисками нужно системно и последовательно. Такой подход поможет повысить защиту системы от инцидентов и свести к минимуму угрозы для бизнеса, а значит обеспечить ответственное и безопасное использование ИИ-систем в различных бизнес-процессах организации.
- На этапе обследования необходимо в первую очередь оценить риски. Смежный приоритет — заложить отдельный бюджет на информационную безопасность и с самого начала привлечь экспертов. Не стоит забывать и об инструментальной оценке качества данных.
- При проектировании решения особенно важно использовать идеологию Secure by Design с учетом специфики бизнеса. Другими словами, следует интегрировать функции безопасности в ИИ-систему наравне с функциональными требованиями. В фокусе должно быть и планирование human-in-the-loop — методология, при которой человек активно участвует в машинном обучении и принятии решений. Еще два приоритета для ответственного подхода — внедрить архитектуру Zero-trust для моделей искусственного интеллекта.
- На стадии разработки следует прежде всего защищать хранилища данных модели и каналы передачи этих данных, а также проводить регулярное систематическое автоматизированное сканирование данных и кода. Команде стоит внедрить тестирование на уязвимости и использовать стандарты безопасной разработки для машинного обучения.
- На этапе внедрения будет полезно автоматизировать настройку среды и наладить автоматическую проверку всех каналов интеграции. Хорошей практикой станут комплексные тестовые запуски в среде, максимально приближенной к промышленной среде, и применение чек-листов перед началом полноценного применения ИИ.
- Для максимально эффективной и безопасной эксплуатации важно проводить регулярные аудиты системы и переоценку рисков, а также обучать персонал работе с новым инструментарием, в том числе в формате тренингов. Из технических мер можно порекомендовать настройку автоматических оповещений и внедрение системы детального журналирования действий с моделью и самой ИИ-системы.
Для решения этих задач хорошо подходит фреймворк практик и технологий MLSecOps. Он помогает обеспечить безопасность моделей машинного обучения на всех этапах жизненного цикла. Этот комплекс методов поможет находить и устранять уязвимости, предотвращать утечки, защищая ИИ-систему и данные компании.
Источник: Владимир Мукасеев, начальник отдела разработки сервисов кибербезопасности IBS
















