📐 NIST AI RMF: управление рисками искусственного интеллекта на практике

NIST AI Risk Management Framework (AI RMF 1.0) — это добровольный каркас управления рисками ИИ, выпущенный американским институтом стандартов NIST (документ AI 100-1, январь 2023). Он помогает организациям встраивать соображения доверия — безопасность, надёжность, приватность, объяснимость — в проектирование, разработку, эксплуатацию и оценку AI-систем. В этом руководстве мы разбираем четыре функции AI RMF (GOVERN / MAP / MEASURE / MANAGE), семь характеристик «доверенного ИИ», профиль для генеративного ИИ (NIST AI 600-1), и честно показываем, где проходит граница: защитный слой платформы Spectorn — даёт техническую часть (детекцию, политику, хеш-связанный аудит), но сам по себе не делает организацию «комплаентной».

Spectorn — платформа безопасности и compliance-периметр, и на этой странице разбирается её слой AI-защиты. AI RMF — это управленческий каркас; Spectorn прикрывает конкретные технические подзадачи внутри функций MEASURE и MANAGE.

Что такое NIST AI RMF и зачем он нужен

AI RMF разработан по мандату National AI Initiative Act of 2020 как добровольный, не привязанный к отрасли и сценарию, сохраняющий права каркас. Его задача — дать организациям любого размера общий язык и операционную модель для работы с рисками, специфичными для ИИ: дрейф данных во времени, социотехническая природа систем, непрозрачность моделей, эмерджентное поведение.

AI RMF состоит из двух частей. Первая описывает, как осмыслять риски ИИ и что такое «доверенный ИИ». Вторая — это Core: четыре функции, разбитые на категории и подкатегории с конкретными действиями и результатами. К каркасу прилагаются AI RMF Playbook (рекомендованные действия по каждой подкатегории), Roadmap (план развития) и профили под конкретные классы систем — в первую очередь Generative AI Profile (AI 600-1).

Ключевая особенность: AI RMF не сертифицируется и не имеет силы закона. Это операционная модель. Сертифицируемый аналог — международный стандарт ISO/IEC 42001 (система менеджмента ИИ); обязательная сила — у EU AI Act. Эти инструменты дополняют друг друга, и контролы, отображённые на один, обычно поддерживают остальные.

Четыре функции AI RMF Core

Core AI RMF организован вокруг четырёх функций. GOVERN — сквозная: она пронизывает и питает остальные три на всех стадиях жизненного цикла. MAP, MEASURE и MANAGE применяются в контексте конкретной системы.

GOVERN — культура управления риском

Формирует и внедряет культуру управления рисками ИИ в организации: политики и процедуры по всему жизненному циклу, структуры ответственности (роли и принятие решений), культуру, ориентированную на учёт рисков, вовлечение заинтересованных сторон и — отдельной категорией — управление рисками сторонних компонентов, данных и цепочки поставок. GOVERN отвечает на вопрос «кто отвечает и по каким правилам».

MAP — контекст и идентификация рисков

Устанавливает контекст и выявляет риски на всём жизненном цикле системы: понимание контекста использования, категоризация AI-системы, её возможности и цели, отображение рисков и выгод для всех компонентов, оценка воздействия на людей, группы и общество. По итогам MAP организация должна иметь достаточно контекстного знания, чтобы принять первичное решение go/no-go.

MEASURE — анализ, оценка, мониторинг

Применяет количественные, качественные и смешанные методы для анализа, бенчмаркинга и мониторинга рисков ИИ: выбор подходящих метрик, оценка системы на характеристики доверия, механизмы отслеживания рисков во времени, сбор обратной связи об эффективности измерений. Именно здесь оценивают конкретные уязвимости — например, по OWASP Top 10 для LLM — и проводят red-teaming по MITRE ATLAS.

MANAGE — приоритизация и реагирование

Распределяет ресурсы по выявленным и измеренным рискам: приоритизация и обработка рисков, стратегии максимизации выгод и минимизации вреда, управление рисками сторонних сторон, документирование и мониторинг обработки рисков. Сюда входит реагирование на инциденты — план ответа, восстановления и коммуникации.

Семь характеристик доверенного ИИ

AI RMF определяет семь характеристик, которые в совокупности делают ИИ «доверенным». Их нужно балансировать в зависимости от контекста — между ними есть неизбежные компромиссы. Точные формулировки NIST:

Valid and Reliable (валидный и надёжный) — фундамент для всех остальных: подтверждённое объективными свидетельствами соответствие требованиям сценария и способность работать без сбоев в заданных условиях.
Safe (безопасный) — система не должна при определённых условиях приводить к состоянию, угрожающему жизни, здоровью, имуществу или окружающей среде.
Secure and Resilient (защищённый и устойчивый) — поддержание конфиденциальности, целостности и доступности через механизмы защиты; способность выдерживать неожиданные неблагоприятные события.
Accountable and Transparent (подотчётный и прозрачный) — сквозная характеристика: доступ к информации, соразмерной стадии жизненного цикла и роли участника.
Explainable and Interpretable (объяснимый и интерпретируемый) — возможность понять функциональность и обоснованность работы системы.
Privacy-Enhanced (с усиленной приватностью) — нормы и практики, защищающие автономию, идентичность и достоинство человека.
Fair – with Harmful Bias Managed (справедливый — с управляемым вредным смещением) — учёт равенства и недопущение дискриминации через управление предвзятостью.

В этой схеме Valid and Reliable — базис (необходимое условие для остальных), а Accountable and Transparent — сквозной элемент, связывающий все характеристики. Характеристики Safe и Secure and Resilient в документе AI 100-1 — это две отдельные характеристики, не одна (частая ошибка вторичных источников).

Generative AI Profile (NIST AI 600-1)

В июле 2024 года NIST выпустил AI 600-1 — «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile», профиль AI RMF для генеративного ИИ, подготовленный во исполнение Executive Order 14110. Он расширяет AI 100-1 более чем 200 рекомендованными действиями, организованными по тем же четырём функциям, и перечисляет 12 рисков, уникальных или усиленных генеративным ИИ:

Если столбцы не помещаются, прокрутите таблицу по горизонтали.

Риск (AI 600-1)	Суть
CBRN Information or Capabilities	Облегчённый доступ к информации о химическом, биологическом, радиологическом и ядерном оружии
Confabulation	Уверенно поданный, но ложный контент («галлюцинации»)
Dangerous, Violent, or Hateful Content	Облегчённая генерация насильственного, разжигающего, угрожающего контента
Data Privacy	Утечка и несанкционированное использование/деанонимизация ПДн
Environmental Impacts	Высокое потребление вычислительных ресурсов при обучении/эксплуатации
Harmful Bias and Homogenization	Усиление исторических и системных смещений, гомогенизация
Human-AI Configuration	Неуместная антропоморфизация и проблемы взаимодействия человека и системы
Information Integrity	Снижение барьера для контента, не различающего факт и вымысел
Information Security	Снижение барьеров для наступательных кибервозможностей (автопоиск и эксплуатация уязвимостей, malware, фишинг)
Intellectual Property	Облегчённое воспроизведение защищённого авторским правом контента
Obscene, Degrading, and/or Abusive Content	Облегчённая генерация непристойного контента, включая синтетический CSAM
Value Chain and Component Integration	Непрозрачная интеграция сторонних компонентов и данных

Несколько из этих рисков напрямую ложатся на возможности Spectorn: Information Security (наступательные возможности через ИИ), Data Privacy (утечка ПДн), Information Integrity и Confabulation (опасный вывод). Для каждого Spectorn даёт детекцию и аудиторский след — см. карту ниже.

Как Spectorn помогает: техническая часть функций MEASURE и MANAGE

AI RMF — управленческий каркас. Spectorn не «реализует AI RMF» целиком, но прикрывает конкретные технические подзадачи внутри функций MEASURE (измерение и мониторинг рисков) и MANAGE (обработка и реагирование), а Decision Logger даёт хеш-связанный аудиторский след, который требуется в GOVERN для подотчётности.

Если столбцы не помещаются, прокрутите таблицу по горизонтали.

Функция / риск AI 600-1	Что даёт Spectorn	Движки / компоненты
MEASURE — оценка на угрозы ввода-вывода	Детекция инъекций, джейлбрейков, опасного вывода	`injection`, `jailbreak`, `output_scanner`
MANAGE / Data Privacy	Обнаружение ПДн и секретов до выхода ответа	`pii`, `secret_scanner`, `exfiltration`
MANAGE / Information Security	Контроль «летальной тройки», злоупотребления инструментами	`lethal_trifecta`, `tool_abuse`, `cross_tool_guard`
MEASURE — мониторинг во времени	Корреляция событий, выявление аномальных всплесков	Корреляция в вашей SIEM
GOVERN — подотчётность и доказуемость	Хеш-связанный журнал всех решений (SHA-256/HMAC)	Decision Logger
MANAGE — целостность памяти/контекста агента	Защита памяти и контейнмент модели	`memory_integrity`, `model_containment`

🛠️ Настройка политики

Файла конфигурации, который нужно развернуть, нет: политику вашего тенанта по запросу задаёт оператор платформы, включая режим проверки (блокировка или наблюдение, при котором видно, что было бы заблокировано), списки разрешений и запретов, порог блокировки и веса категорий. Для этой отрасли важнее всего движки: injection, jailbreak, output_scanner, pii, exfiltration, lethal_trifecta, tool_abuse, memory_integrity, model_containment. Начните с режима наблюдения на своём трафике, посмотрите, что было бы заблокировано, и затем включите блокировку. Маскирование персональных данных в облачных контурах не включено: запрос с персональными данными блокируется или отмечается, а не переписывается.

🚨 Корреляция в вашей SIEM

Spectorn отправляет каждую находку в указанную вами SIEM как JSON-событие по HTTPS (spectorn.ai-finding.v1) с правилом, категорией, серьёзностью и verdict_id. Многошаговые правила для этой отрасли стройте там. Собственная корреляция SOC в Spectorn (GoMCP) в облачных контурах RU и Global не развёрнута.

Честная граница ответственности. Соответствие AI RMF — это организационная задача: политики, роли, процессы, культура управления риском (вся функция GOVERN, бóльшая часть MAP). Spectorn не делает организацию «комплаентной» сам по себе. Он прикрывает техническую часть — детекцию, политику Shield и хеш-связанный аудит — внутри функций MEASURE и MANAGE, и даёт доказуемый след решений, нужный для подотчётности. Категоризация системы, оценка воздействия на общество, риск-аппетит и обработка рисков остаются за организацией.

NIST AI RMF и российский рынок

Прямого аналога AI RMF в России нет — подход распределён по нескольким инструментам:

ГОСТ Р 59276-2022 «Обеспечение доверия к системам ИИ» — ближайший по духу к понятию «доверенного ИИ»; ПНСТ 776-2022 — управление рисками ИИ (предварительный национальный стандарт, ближайший функциональный аналог риск-каркаса); ГОСТ Р 59277-2020 — классификация AI-систем. Россия адаптирует нормы ISO/IEC JTC 1/SC 42 как национальные ГОСТы.
Кодекс этики в сфере ИИ (принят в октябре 2021) — «мягкое», добровольное саморегулирование с этическими принципами; не содержит структуры управления рисками уровня MAP/MEASURE/MANAGE.
ФЗ-152 «О персональных данных» — пересекается с характеристиками Data Privacy и Privacy-Enhanced: AI-системы, обрабатывающие ПДн, должны соответствовать требованиям локализации, согласия и прав субъекта.
ФСТЭК — требования к безопасности критической информационной инфраструктуры (КИИ) применяются к AI-системам, развёрнутым в её контуре.

Для российского заказчика Spectorn даёт ту же техническую часть (детекция, обнаружение ПДн под ФЗ-152, хеш-связанный аудит), а compliance-программа обычно ссылается на связку ГОСТ Р 59276 + ПНСТ 776 + ФЗ-152 + приказы ФСТЭК. Подробнее об отраслевой специфике — в сценариях Госсектор и КИИ и Медицина.

Частые вопросы (FAQ)

Что такое NIST AI RMF простыми словами? Это добровольный каркас от института стандартов США (NIST), который помогает организациям управлять рисками ИИ. Он состоит из четырёх функций — GOVERN (культура и правила), MAP (контекст и идентификация рисков), MEASURE (измерение и мониторинг), MANAGE (приоритизация и реагирование) — и описывает семь характеристик «доверенного ИИ».

Обязателен ли NIST AI RMF? Нет, AI RMF добровольный и не имеет силы закона. Обязательная сила есть у EU AI Act для систем, чей вывод используется в ЕС. Сертифицируемый аналог AI RMF — ISO/IEC 42001. Многие организации используют AI RMF как управленческий каркас, поверх которого готовятся к обязательным требованиям.

Какие четыре функции у AI RMF? GOVERN (сквозная — культура и политики управления риском), MAP (установление контекста и идентификация рисков), MEASURE (количественная и качественная оценка, мониторинг во времени) и MANAGE (приоритизация, обработка рисков, реагирование на инциденты). GOVERN пронизывает остальные три.

Что добавляет Generative AI Profile (AI 600-1)? Это профиль AI RMF специально для генеративного ИИ (июль 2024). Он перечисляет 12 рисков, уникальных или усиленных GenAI — CBRN, конфабуляция (галлюцинации), Data Privacy, Information Security, Information Integrity и др. — и даёт более 200 рекомендованных действий, привязанных к тем же четырём функциям.

Делает ли Spectorn мою организацию комплаентной по NIST AI RMF? Нет, и мы честно отмечаем эту границу. Соответствие AI RMF — организационная задача (политики, роли, процессы — функции GOVERN и MAP). Spectorn прикрывает техническую часть внутри MEASURE и MANAGE: детекцию угроз, обнаружение данных, политику Shield и хеш-связанный аудиторский след (Decision Logger), нужный для подотчётности. Управленческий контур остаётся за организацией.

Как AI RMF соотносится с MITRE ATLAS и OWASP? Это трёхуровневая модель: AI RMF — стратегический управленческий слой, MITRE ATLAS — тактический слой угроз (TTP для red team и детекции), OWASP Top 10 для LLM — операционный слой конкретных уязвимостей. Данные ATLAS и оценки по OWASP наполняют содержанием функции MEASURE и MANAGE.

Есть ли в России аналог NIST AI RMF? Прямого нет. Ближайшие инструменты — ПНСТ 776-2022 (управление рисками ИИ), ГОСТ Р 59276-2022 (доверие к системам ИИ), плюс добровольный Кодекс этики ИИ, ФЗ-152 (персональные данные) и требования ФСТЭК для КИИ. Единого интегрированного каркаса масштаба AI RMF в РФ пока нет.

Источники

NIST AI Risk Management Framework — главная страница — обзор AI RMF 1.0 (AI 100-1).
NIST AI 100-1 — PDF документа — первоисточник: четыре функции и семь характеристик.
NIST AI 600-1 — Generative AI Profile (PDF) — 12 рисков GenAI и рекомендованные действия.
NIST AIRC — Trustworthy & Responsible AI Resource Center — характеристики доверия, Core, Playbook.
NIST AI RMF Playbook — рекомендованные действия по подкатегориям.
ISO/IEC 42001 — сертифицируемый стандарт системы менеджмента ИИ (комплементарен AI RMF).
MITRE ATLAS и OWASP Top 10 для LLM — тактический и операционный слои.

Связанные руководства: MITRE ATLAS · EU AI Act · OWASP Top 10 для LLM · Госсектор и КИИ · Отраслевые сценарии