Чем аудит безопасности ИИ-систем отличается от «аудита ИИ»?

«Аудит ИИ» в маркетинге обычно означает бизнес-консалтинг: где и как внедрить ИИ в процессы. Аудит безопасности ИИ-систем – это задача информационной безопасности: мы проверяем, можно ли атаковать уже работающие ИИ-системы и LLM, заставить их выдать чужие данные или выполнить вредоносную команду. Первое отвечает на вопрос «где применить ИИ», второе – «насколько ваш ИИ защищён».

Что входит в проверку защищённости ИИ?

Инвентаризация ИИ-активов, моделирование угроз, тесты на prompt injection и джейлбрейк, проверка RAG и подключённых баз знаний, анализ доступов и инструментов ИИ-агентов, оценка и приоритизация рисков. На выходе – модель угроз ИИ и отчёт с уязвимостями, их критичностью (CVSS там, где применимо; для ИИ-специфичных рисков – качественная приоритизация по OWASP LLM Top-10) и приоритизированными рекомендациями по устранению.

Что такое red teaming LLM и prompt injection?

Red teaming LLM – это имитация действий реального злоумышленника против языковой модели: попытки обойти ограничения, украсть данные или перехватить действия ИИ-агента. Prompt injection – это атака, при которой во входные данные или внешний источник (сайт, документ, письмо) внедряют скрытую инструкцию, и модель выполняет её вместо команды пользователя. Обе техники – основа проверки защищённости LLM-приложений.

Сколько стоит оценка защищённости ИИ?

Ориентиры: аудит защищённости одного LLM-приложения – от 400 000 ₽, комплексная оценка защищённости ИИ-системы – от 600 000 ₽, LLMSecOps – от 800 000 ₽, оценка рисков ИИ и фреймворк управления – от 1 000 000 ₽. Итоговая цена зависит от числа моделей и приложений, наличия ИИ-агентов, глубины проверки и требований регулятора. Точную смету считаем после короткого брифа.

Обязателен ли аудит ИИ по требованиям ФСТЭК?

Для государственных информационных систем действует приказ ФСТЭК №117 (в силе с 01.03.2026) – требования к защите информации, включающие раздел о применении ИИ: контроль корректности ответов ИИ, ограничение недоверенных технологий, запрет передавать разработчикам ИИ информацию ограниченного доступа. Методический документ ФСТЭК России от 12.04.2026 «Состав и содержание мероприятий и мер по защите информации, содержащейся в информационных системах», §3.18 носит рекомендательный (методический) характер и предлагает состав мер по защите информации при использовании ИИ, применимых в том числе к ИСПДн, АСУТП и ЗОКИИ. Для остальных организаций проверка защищённости ИИ пока рекомендация. Рамочный закон об ИИ уже принят – Федеральный закон от 26.07.2026 № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации»; он вступает в силу с 1 сентября 2026 года, отдельные положения – с 1 марта 2027 года. Обязанности проверять защищённость ИИ он не вводит: его предмет – суверенные и национальные большие модели, локализация их обработки и меры поддержки разработчиков.

Можно ли проверить ИИ-агентов и их доступы?

Да. Мы анализируем инструменты и function calling агента, проверяем возможность эскалации привилегий, изоляцию, права доступа к системам и данным, а также цепочки действий, которые агент выполняет автономно. Цель – убедиться, что подмена входных данных или инъекция промпта не приведёт к опасным действиям от имени агента.

Аудит безопасности ИИ и LLM-систем: риски 152-ФЗ и ПДн

Аудит безопасности ИИ-систем – это проверка, можно ли атаковать ИИ, LLM-приложения и ИИ-агентов, которые у вас уже работают.

Можно ли обойти ограничения модели, вытащить через неё чужие данные или заставить её выполнить команду злоумышленника – эти дыры мы ищем раньше атакующего. Это оценка защищённости в задачах информационной безопасности, а не консалтинг по внедрению ИИ.

Заказать аудит Бесплатная экспресс-оценка

Лицензия ФСТЭК России на ТЗКИ

OWASP LLM Top-10 · MITRE ATLAS · БДУ ФСТЭК

На выходе – модель угроз ИИ и отчёт с уязвимостями

Аудит безопасности ИИ-систем – это не «аудит ИИ»

Это оценка защищённости моделей, LLM-приложений и ИИ-агентов от атак – внедрения скрытых инструкций (prompt injection), утечек данных, компрометации доступов – методами имитации реальных атак.

Под «аудитом ИИ» на рынке чаще понимают бизнес-консалтинг по цифровизации: поиск процессов, куда внедрить ИИ, и расчёт эффекта. Предмет нашей услуги другой – уязвимости в ИИ, который у вас уже работает, и уровень его защищённости.

	Аудит ИИ (внедрение)	Аудит безопасности ИИ (Кредо-С)
Цель	Найти, где применить ИИ в процессах	Найти уязвимости в уже работающем ИИ
Кто заказывает	Бизнес, ИТ, цифровизация	ИБ, CISO, служба безопасности
Что проверяют	Эффективность, окупаемость, процессы	Атаки, утечки данных, доступы, модель угроз
Что на выходе	Стратегия внедрения ИИ	Модель угроз ИИ и отчёт с уязвимостями

Зачем проверять безопасность ИИ-систем

Компании подключают LLM к почте, базам знаний и внутренним системам быстрее, чем успевают их защитить.

Prompt injection – типовая находка проверок корпоративных чат-ботов и LLM-приложений, а утечки конфиденциальных данных через нейросети регулярно попадают в публичные разборы инцидентов. Чем больше ИИ-приложений подключено к внутренним системам, тем шире поверхность атаки. Типовые угрозы, которые проверяем в первую очередь:

Prompt injection – во входные данные или внешний источник (сайт, документ, письмо) прячут скрытую инструкцию, и модель выполняет её вместо команды пользователя. Инъекции бывают прямые и непрямые (косвенные).
Утечка конфиденциальных данных и ПДн через LLM/RAG – модель или подключённая база знаний (RAG – генерация ответов с поиском по документам) выдаёт данные, к которым у пользователя нет доступа.
Компрометация доступов и инструментов ИИ-агентов – агент с вызовом внешних функций (function calling) выполняет опасное действие от имени компании из-за подменённого ввода.
Отравление данных обучения (data poisoning) – в обучающую выборку или базу знаний внедряют вредоносные данные и искажают поведение модели.
Джейлбрейк модели – обход встроенных ограничений ради запрещённого или вредоносного ответа.
Галлюцинации в критичных ответах – модель уверенно выдаёт ложь там, где цена ошибки высока.

Что мы проверяем

Проверка защищённости ИИ охватывает саму модель и всю её обвязку: приложения, данные, доступы, интеграции.

LLM-приложения и корпоративные чат-боты – публичные и внутренние ассистенты, боты поддержки, помощники сотрудников.
RAG-системы и подключённые базы знаний – проверяем, не выдаёт ли поиск по документам данные в обход прав доступа.
ИИ-агенты, их доступы и инструменты – function calling, права на действия во внешних системах, изоляция.
ML-модели и пайплайны обучения – риски отравления данных, кражи и подмены модели.
Интеграции ИИ с корпоративными системами и API – каналы, по которым модель получает и отдаёт данные.
ИИ-шлюзы и фильтры – насколько эффективно они перехватывают инъекции и утечки.

Проверку отдельного LLM-приложения часто называют пентестом ИИ-систем или пентестом нейросети – это прикладной срез оценки защищённости.

Методология аудита

Работаем по международным и отраслевым методикам, а результаты сопоставляем с российской регуляторикой.

Модель угроз для ГИС, КИИ и ИСПДн строим на основе «Методики оценки угроз безопасности информации» ФСТЭК России (2021) с использованием БДУ ФСТЭК. OWASP LLM Top-10 и MITRE ATLAS применяем как отраслевое дополнение: они покрывают ИИ-специфичные угрозы, которых нет в национальной методике, а результат остаётся применимым к требованиям ФСТЭК.

Методика	Что проверяет
OWASP LLM Top-10	Типовые уязвимости LLM-приложений: инъекции промпта, утечки, небезопасные плагины и агенты
MITRE ATLAS	Тактики и техники реальных атак на ML- и ИИ-системы
NIST AI RMF	Управление рисками ИИ на всём жизненном цикле
Databricks AI Security Framework (DASF)	Безопасность данных и пайплайнов ИИ
БДУ ФСТЭК	Сопоставление модели угроз с релевантными угрозами национальной базы данных угроз РФ

Что такое red teaming LLM. Это имитация действий злоумышленника (red teaming): аудитор пробует prompt injection и джейлбрейк, запрашивает чужие данные из RAG, проверяет возможность расширения доступов ИИ-агента. Такие техники входят в состав аудита; для непрерывной автоматизированной проверки подключаем партнёрские решения (например, HiveTrace Red) – об этом в блоке о постоянной защите.

Как проходит аудит: этапы

Инвентаризация ИИ-активов

Собираем архитектуру: какие модели, приложения, агенты и интеграции работают и с какими данными.

Моделирование угроз ИИ

Строим модель угроз по «Методике оценки угроз безопасности информации» ФСТЭК (2021) с использованием БДУ ФСТЭК; ИИ-специфику дополняем MITRE ATLAS под конкретную систему.

Проверка защищённости

Автоматизированное и ручное тестирование: prompt injection, джейлбрейк, доступы агентов, тесты RAG.

Оценка и приоритизация рисков

Ранжируем найденное по критичности и вероятности эксплуатации.

Отчёт с моделью угроз и рекомендациями

С описанием уязвимостей и планом устранения.

Повторная проверка (retest)

Подтверждаем, что уязвимости закрыты после доработок.

Типовой срок – 2–6 недель в зависимости от числа систем и глубины проверки. Точную цифру фиксируем после инвентаризации.

Форматы услуги и стоимость

Стоимость зависит от объёма ИИ-контура и глубины проверки. Ниже – ориентиры «от».

Формат	Что входит	Ориентировочно, от
Аудит защищённости LLM-приложения	Одно приложение или чат-бот: тесты на prompt injection и джейлбрейк, проверка RAG и доступов, краткий отчёт	400 000 ₽
Оценка защищённости ИИ-системы	Комплекс: модель угроз, ИИ-агенты и интеграции, приоритизация рисков, полный отчёт	600 000 ₽
LLMSecOps – безопасность в разработке ИИ	Встраивание проверок в жизненный цикл: требования, ревью, тесты, шлюз и фильтры	800 000 ₽
Оценка рисков ИИ и фреймворк управления	Реестр рисков ИИ, политики, соответствие ФСТЭК и 152-ФЗ, дорожная карта	1 000 000 ₽

От чего зависит цена: число моделей и приложений, наличие ИИ-агентов, глубина проверки (авто или ручная), требования регулятора (ГИС, КИИ, финсектор) и нужен ли повторный аудит.

Пришлите короткое описание ИИ-контура – подготовим предложение.

Рассчитать стоимость аудита

Регуляторные требования к безопасности ИИ

Требования к ИИ в защищённых системах уже действуют, а ближайшие нормы подстёгивают спрос на аудит.

Приказ ФСТЭК России №117 (в силе с 01.03.2026) – новые требования к защите информации в государственных информационных системах (преемник приказа №17), включающие раздел о применении технологий ИИ: контроль корректности ответов ИИ, ограничение недоверенных ИИ-технологий, запрет передавать разработчикам ИИ информацию ограниченного доступа.
Методический документ ФСТЭК России от 12.04.2026 «Состав и содержание мероприятий и мер по защите информации, содержащейся в информационных системах», §3.18 (рекомендательный, методический характер) – предлагает состав мер по защите информации при использовании ИИ на всём жизненном цикле, применимых в том числе к ИСПДн, АСУТП и ЗОКИИ.
Закон об ИИ – Федеральный закон от 26.07.2026 № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации»: подписан 26.07.2026, вступает в силу с 01.09.2026, отдельные положения – с 01.03.2027 (ст. 13 закона). Регулирует суверенные и национальные большие фундаментальные модели, локализацию обработки данных и меры поддержки разработчиков; обязанности проверять защищённость ИИ для всех компаний не вводит.
Защита ПДн при обработке средствами ИИ – статья 19 152-ФЗ «Меры по обеспечению безопасности персональных данных при их обработке» (плюс статья 6 – условия обработки, статья 7 – конфиденциальность). Основание проверять, как ИИ работает с ПДн и не сливает ли их.
Методические рекомендации Банка России от 16.06.2026 по обеспечению информационной безопасности при разработке и применении искусственного интеллекта на финансовом рынке.

Дата	Что вступает / происходит
01.03.2026	Приказ ФСТЭК №117 – требования к защите информации в ГИС, включая применение ИИ
12.04.2026	Методдокумент ФСТЭК (рекомендательный), §3.18 – меры при использовании ИИ
26.07.2026	Закон об ИИ подписан – Федеральный закон № 243-ФЗ
01.09.2026	Закон об ИИ (243-ФЗ) вступает в силу
01.03.2027	Отдельные положения 243-ФЗ (п. 3–5 ч. 2 ст. 5, ч. 2–5 ст. 6, ст. 8–10)

Детальный разбор требований приказа №117 – на профильном ресурсе 117fstec.credos.ru.

Что вы получаете по итогам аудита

Карту ИИ-активов – модели, приложения, агенты, интеграции и потоки данных.
Модель угроз ИИ под вашу систему.
Перечень уязвимостей с оценкой критичности (CVSS – где применимо; для ИИ-специфичных рисков – качественная приоритизация по OWASP LLM Top-10), описанием и PoC-подтверждением.
Приоритизированные рекомендации по устранению и дорожную карту.
Оценку выполнения требований ФСТЭК и 152-ФЗ в части ИИ.
Опционально – повторную проверку (retest) после доработок.

Постоянная защита и мониторинг ИИ

Результаты аудита отражают состояние системы на дату проверки, а ИИ-приложения меняются с каждым релизом. Поэтому после аудита предлагаем сопровождение:

Внедрение ИИ-шлюза и мониторинга LLM-приложений на решениях российских вендоров – например, HiveTrace для мониторинга и защиты LLM или Jay Guard как шлюз защиты ПДн при передаче в LLM; состав решений подбираем под задачу и подтверждаем на пилоте.
Регулярный повторный аудит и автоматизированный red teaming по мере изменений.
Помощь в реагировании на инциденты с ИИ.

Также у нас есть комплексный мониторинг ИБ-инфраструктуры (SOC) – подробнее на soc.credos.ru.

Почему Кредо-С

Лицензия ФСТЭК России на ТЗКИ

Основание выполнять контроль защищённости конфиденциальной информации от несанкционированного доступа; проверку защищённости ИИ-систем в ГИС и на объектах КИИ проводим в части этого лицензируемого вида работ.

Многолетний опыт аудитов ИБ

Пентесты, проекты по 152-ФЗ и категорированию КИИ – сотни выполненных проектов по защите информации.

Экспертиза в требованиях ФСТЭК

Включая приказ №117 – под него мы ведём отдельный ресурс 117fstec.credos.ru.

Команда с практикой

Проверка защищённости приложений и имитация атак – ежедневная работа наших специалистов.

ФСТЭК

Лицензия ФСТЭК России на ТЗКИ20+ лет на рынке ИБ · точные метрики опыта уточним в коммерческом предложении

Типовые сценарии проверок

Сценарии описаны обобщённо и показывают типовой ход проверки; клиентов и детали проектов не раскрываем по условиям NDA.

Корпоративный чат-бот

Проверка публичного ассистента поддержки. Типовые находки: prompt injection через пользовательский ввод и утечка внутренних документов через RAG в обход прав доступа. Устранение: фильтрация ввода и изоляция контекста, разграничение доступа к базе знаний.

ИИ-агент с избыточными доступами

Оценка агента с function calling во внутренних системах. Типовая находка: при подменённом вводе агент выполняет действия за пределами своей роли. Устранение: сужение прав, подтверждение критичных операций, логирование.

LLM в финсекторе

Оценка рисков ИИ перед выводом в промышленную эксплуатацию. Типовая находка: передача ПДн в облачную модель без обезличивания. Устранение: ИИ-шлюз и контроль данных на входе в модель.

Смежные услуги

Пентест / тестирование на проникновение – комплексная имитация атак на инфраструктуру и приложения.
Аудит информационной безопасности – оценка защищённости ИТ-инфраструктуры и бизнес-процессов.
Защита персональных данных (152-ФЗ) – контроль данных, уходящих в LLM и внешние сервисы.
Аттестация ГИС – подтверждение соответствия государственных систем требованиям ФСТЭК.
Категорирование объектов КИИ – для ЗОКИИ и АСУТП, где применяется ИИ.
Антифрод – защита от дипфейков и голосового фрода на базе ИИ.
Защита конфиденциальной информации (DLP) – контроль утечек, в том числе через ИИ-каналы.
Корпоративное обучение ИБ – безопасное использование ИИ сотрудниками.

Читайте также: Регламент использования ИИ в компании

Заказать аудит защищённости ИИ-системы

Начните с бесплатной экспресс-оценки защищённости ИИ-системы или консультации эксперта: обсудим ваш ИИ-контур и предложим подходящий формат проверки.

Заказать аудит

В заявке достаточно имени, компании, контакта и типа ИИ-системы (LLM / агент / ML-модель). Отправляя форму, вы даёте согласие на обработку персональных данных.

Аудит безопасности ИИ-систем, LLM-приложений и ИИ-агентов