Настоящий отчет — рабочий документ для сопоставительного анализа рисков ИТ-систем, построенных на основе ИИ-агентов, а не замена официального текста EU AI Act.
| Код | Риск | Описание | Контрмеры |
|---|---|---|---|
| R1 | Имперсонализация / identity spoofing | Агент действует с чужими учётными данными, полномочиями или идентичностью — через prompt injection, скомпрометированные инструменты, социнженерию против агента | Верифицируемые цифровые идентичности агентов, MFA на критических действиях, изоляция недоверенного входа (zero-trust) |
| R2 | Поведенческий дрейф | Отклонение агента от спецификации через накопление памяти, изменение контекста, враждебные входы, эмерджентность — без явных изменений системы | Мониторинг дрейфа, регрессионные тесты поведения, регулярная переоценка «существенной модификации (substantial modification)» (Art. 25) |
| R3 | Эскалация привилегий | Цепочки вызовов инструментов выходят за пределы задуманных полномочий; эффект домино | Принцип наименьших привилегий (least privilege), динамическая авторизация по действию, лимиты полномочий (суммы, объёмы, системы) |
| R4 | Разрывы подотчётности | В многошаговых/мультиагентных потоках невозможно установить, кто и на каком основании принял решение | Поимённый ответственный за категорию действий в реестре систем, фиксация контекста каждого действия |
| R5 | Непрозрачность цепочки поставок | Сбой или компрометация у провайдера модели, инструмента или данных распространяется на весь поток | Контрактные и архитектурные меры, ревизия вендоров, требования к документации провайдеров (Art. 13) |
| R6 | Отсутствие runtime-доказательств | Нет аудируемых свидетельств в момент выполнения каждого действия; надзор только на этапе развёртывания | Неизменяемые аудит-трейлы уровня действия: действия, согласования, переопределения (overrides) (Art. 12/26) |
| R7 | Утечка данных / нарушение приватности | Нарушение целевых ограничений, происхождения и прав доступа к данным при кросс-системном движении; особо — спецкатегории (здоровье, GDPR Art. 9) | Картирование потоков данных, ограничение цели (purpose limitation) в маршрутизации агента, DLP на инструментах |
| R8 | Регуляторный риск | Неверная риск-классификация, невыполнение обязательств и санкции по EU AI Act и отраслевым режимам: MDR/IVDR (медизделия), EHDS (медданные), GDPR, финансовый надзор | Реестр систем с риск-классом FRIA (Art. 27), оценка соответствия/CE для SaMD |
| R9 | Физический вред жизни и здоровью | Ошибка или дрейф агента приводит к неверной медицинской маршрутизации, диагностике, задержке помощи; для инфраструктуры — к угрозе безопасности людей | Надзор врача (человека) на каждом значимом решении, аварийное отключение (kill switch), клиническая валидация, пострыночный надзор (MDR PMS) |