12+
Оглавление - Архитектура безопасного ИИ
Риски, управление и защита искусственного интеллекта
- Предисловие
- Часть I. ИИ-система как объект защиты
- Глава 1. Анатомия ИИ-системы
- 1.1. Компоненты ИИ-системы: данные, модели, приложения, инфраструктура
- 1.2. Агенты, инструменты и интерфейсы взаимодействия
- 1.3. Чем ИИ-система отличается от традиционного программного обеспечения
- 1.4. ИИ как социотехническая система
- 1.5. Активы и границы системы
- Источники и дальнейшее чтение к главе 1
- Глава 2. Типы ИИ-систем и их архитектурные особенности
- 2.1. Большие языковые модели и генерация текста
- 2.2. Компьютерное зрение и обработка изображений
- 2.3. Генерация и анализ аудио и речи
- 2.4. Генерация и анализ видео
- 2.5. Мультимодальные модели
- 2.6. Предиктивная аналитика, рекомендательные системы и классификация
- 2.7. Специфика безопасности каждого типа систем
- Источники и дальнейшее чтение к главе 2
- Глава 3. Жизненный цикл и границы ответственности
- 3.1. Стадии жизненного цикла ИИ-системы
- 3.2. Участники и их роли на каждой стадии
- 3.3. Распределение ответственности: поставщик, разработчик, оператор, пользователь
- 3.4. Границы ответственности организации и модель совместной ответственности
- Источники и дальнейшее чтение к главе 3
- Глава 4. Ландшафт рисков и свойства доверия
- 4.1. Понятия риска, угрозы, уязвимости и ущерба в контексте ИИ
- 4.2. Свойства доверия: безопасность, надёжность, устойчивость, справедливость
- 4.3. Прозрачность, объяснимость и подотчётность
- 4.4. Взаимозависимость свойств доверия и практические компромиссы
- Источники и дальнейшее чтение к главе 4
- Часть II. Управление и риски
- Глава 5. Управление ИИ в организации
- 5.1. Зачем организации нужно управление ИИ
- 5.2. Политика ИИ и допустимые сценарии применения
- 5.3. Роли и ответственность: от руководства до владельца модели
- 5.4. Связь управления ИИ с действующими системами управления организации
- 5.5. Документирование решений и подотчётность
- Источники и дальнейшее чтение к главе 5
- Глава 6. Инвентаризация и классификация ИИ-систем
- 6.1. Реестр ИИ-систем: что учитывать и как вести
- 6.2. Теневой ИИ: как обнаружить и взять под контроль
- 6.3. Классификация по уровню риска: критерии и методы
- 6.4. Связь классификации с требованиями регуляторов
- Источники и дальнейшее чтение к главе 6
- Глава 7. Оценка рисков и воздействия
- 7.1. Процесс оценки рисков ИИ: идентификация, анализ, оценивание
- 7.2. Оценка воздействия на людей, организацию и общество
- 7.3. Определение допустимого уровня риска
- 7.4. Человеческий контроль и его роль в управлении рисками
- 7.5. Документирование и пересмотр результатов оценки
- Источники и дальнейшее чтение к главе 7
- Глава 8. Нормативные требования и стандарты
- 8.1. EU AI Act: структура, категории риска, обязанности
- 8.2. ISO/IEC 42001 и ISO/IEC 23894: система управления и управление рисками ИИ
- 8.3. NIST AI RMF: добровольная рамка управления рисками
- 8.4. OWASP, MITRE ATLAS и CSA AICM: отраслевые методологии безопасности ИИ
- 8.5. Рекомендации NCSC и CISA по безопасной разработке и эксплуатации ИИ
- 8.6. Навигация по нормативному ландшафту: как организации определить применимые требования
- Источники и дальнейшее чтение к главе 8
- Часть III. Угрозы и поверхность атаки
- Глава 9. Угрозы данным и моделям машинного обучения
- 9.1. Участники угроз и границы доверия
- 9.2. Отравление и искажение обучающих данных
- 9.3. Уклоняющиеся воздействия на модели
- 9.4. Извлечение модели и восстановление обучающих данных
- 9.5. Компрометация процесса обучения
- Источники и дальнейшее чтение к главе 9
- Глава 10. Угрозы LLM-приложениям
- 10.1. Инъекция в промпт: прямая и косвенная
- 10.2. Раскрытие чувствительной информации
- 10.3. Небезопасная обработка выходных данных
- 10.4. Чрезмерные полномочия
- 10.5. Конфабуляция и избыточное доверие к результатам модели
- Источники и дальнейшее чтение к главе 10
- Глава 11. Угрозы цепочке поставок и инфраструктуре
- 11.1. Анатомия цепочки поставок ИИ-системы
- 11.2. Угрозы предобученным моделям и адаптерам
- 11.3. Библиотеки, фреймворки и управление зависимостями
- 11.4. Уязвимости облачной и гибридной инфраструктуры
- 11.5. Защита цепочки поставок: архитектурные принципы и практика
- Источники и дальнейшее чтение к главе 11
- Глава 12. Угрозы автономным агентам и злоупотребление ИИ
- 12.1. Автономные агенты: расширенная поверхность атаки
- 12.2. Несогласованность целей и непредсказуемое поведение
- 12.3. Злоупотребление инструментами и подмена MCP-серверов
- 12.4. Многоагентные системы: каскадные ошибки и делегирование доверия
- 12.5. Злоупотребление ИИ: когда атакующий становится пользователем
- Источники и дальнейшее чтение к главе 12
- Часть IV. Архитектура защиты
- Глава 13. Эталонная архитектура безопасной ИИ-системы
- 13.1. Зоны доверия и границы контроля
- 13.2. Точки контроля: где и что проверять
- 13.3. Архитектурные принципы защиты ИИ
- 13.4. Облачная, локальная и гибридная архитектура
- 13.5. Проектирование для наблюдаемости и аудита
- Источники и дальнейшее чтение к главе 13
- Глава 14. Защита данных на жизненном цикле ИИ
- 14.1. Классификация и минимизация данных для ИИ
- 14.2. Обезличивание, псевдонимизация и конфиденциальные вычисления
- 14.3. Защита персональных данных в системах ИИ
- 14.4. Безопасность RAG: векторные хранилища и источники знаний
- 14.5. Контроль качества и целостности данных
- Источники и дальнейшее чтение к главе 14
- Глава 15. Управление идентификацией, доступом и секретами
- 15.1. Минимальные полномочия для моделей, агентов и сервисов
- 15.2. Идентификация и аутентификация нечеловеческих субъектов
- 15.3. Защита API и интерфейсов взаимодействия
- 15.4. Управление секретами, ключами и токенами
- 15.5. Изоляция инструментов и среды выполнения
- Источники и дальнейшее чтение к главе 15
- Глава 16. Защита моделей, конвейеров и агентов
- 16.1. Защита модели как актива: целостность, подпись, происхождение
- 16.2. Безопасность конвейеров MLOps и LLMOps
- 16.3. Контроль версий моделей, данных и промптов
- 16.4. Архитектура безопасных агентов: полномочия, границы и подтверждение действий
- 16.5. Фильтрация входов и выходов, контроль поведения модели
- Источники и дальнейшее чтение к главе 16
- Часть V. Безопасная разработка и эксплуатация
- Глава 17. Безопасное проектирование и разработка
- 17.1. Безопасность по проекту для ИИ-систем
- 17.2. Моделирование угроз: методы и практика
- 17.3. Требования безопасности к ИИ-системе
- 17.4. Выбор модели и оценка внешних ИИ-сервисов
- 17.5. Контроль кода, зависимостей и контейнеров
- Источники и дальнейшее чтение к главе 17
- Глава 18. Тестирование и оценка безопасности ИИ
- 18.1. Состязательное тестирование ИИ: цели, методы и организация
- 18.2. Тестирование LLM-приложений: инъекции, утечки, обход ограничений
- 18.3. Проверка RAG-систем и автономных агентов
- 18.4. Тестирование средств ограничения поведения
- 18.5. Приёмочные критерии и решение о развёртывании
- Источники и дальнейшее чтение к главе 18
- Глава 19. Мониторинг, эксплуатация и управление изменениями
- 19.1. Безопасное развёртывание и управление изменениями
- 19.2. Журналирование: запросы, ответы, действия, цепочки решений
- 19.3. Мониторинг поведения моделей и агентов
- 19.4. Дрейф данных, дрейф поведения и аномалии
- 19.5. Управление уязвимостями и регулярная переоценка рисков
- Источники и дальнейшее чтение к главе 19
- Часть VI. Инциденты и устойчивость
- Глава 20. Реагирование на инциденты с участием ИИ
- 20.1. Классификация инцидентов с участием ИИ
- 20.2. План реагирования: роли, процедуры и эскалация
- 20.3. Изоляция модели, приложения или агента
- 20.4. Цифровая криминалистика: промпты, контекст, цепочки решений
- 20.5. Уведомление заинтересованных сторон и регуляторов
- Источники и дальнейшее чтение к главе 20
- Глава 21. Восстановление, непрерывность и извлечение уроков
- 21.1. Откат модели и данных
- 21.2. Резервные процессы без ИИ и непрерывность работы
- 21.3. Анализ первопричин
- 21.4. Обновление мер контроля и цикл улучшения
- Источники и дальнейшее чтение к главе 21
- Часть VII. Аудит и внедрение
- Глава 22. Аудит, оценка зрелости и метрики
- 22.1. Аудит архитектуры и мер контроля ИИ
- 22.2. Самооценка и внутренний аудит
- 22.3. Контроль поставщиков и доказательства соответствия
- 22.4. Модель зрелости управления безопасностью ИИ
- 22.5. Метрики: безопасность, риски, качество и устойчивость
- Источники и дальнейшее чтение к главе 22
- Глава 23. Программа внедрения
- 23.1. С чего начать: первичная оценка и создание реестра
- 23.2. Первые 90 дней: приоритеты и быстрые результаты
- 23.3. 180 дней: систематизация и интеграция
- 23.4. 365 дней: программа развития и масштабирования
- 23.5. Подготовка персонала и культура безопасного ИИ
- 23.6. Типичные ошибки внедрения
- Источники и дальнейшее чтение к главе 23
- Предметный указатель
- Приложение А. Глоссарий терминов
- Сокращения
- Приложения
- Приложение Д. Шаблон политики допустимого применения ИИ
- Приложение Б. Карта соответствия стандартов и методологий
- Приложение В. Шаблон реестра ИИ-систем
- Приложение Г. Шаблон оценки рисков ИИ
- Приложение Е. Контрольный перечень безопасности ИИ-проекта
- Приложение Ж. Контрольный перечень состязательного тестирования ИИ
- Приложение З. Шаблон плана реагирования на ИИ-инцидент
- Источники иллюстраций