Разбираем новый профиль к NIST AI RMF по ИИ-агентам Центр долгосрочной кибербезопасности Беркли выпустил новый Agentic AI Risk-Management Standards Profile, который призван дополнить NIST AI RMF и GPAI Risk-Management Standards Profile (писал про это тут) в части специфичных рисков для агентных и мультиагентных систем. В остальном же профиль исходит из тех же четырех ключевых функций, что и NIST AI RMF: Govern, Map, Measure, and Manage. В чем же авторы видят специфику таких систем? Как и в случае с GPAI моделями, они по большому счету усугубляют уже существующие проблемы. Особенно это касается приватности, информационной безопасности, дезинформации, рисков обхода контроля со стороны человека, саморепликации и т.д. Как эти риски предлагается уменьшать? Авторы рекомендуют рассматривать достаточно мощных агентов в качестве «недоверенных сущностей» (untrusted entities). Однако это не связано с какими-то их негативными характеристиками. Речь идет о том, что из-за отсутствия надлежащих методик оценок к ним нужно применять многоуровневые методики безопасности (defense-in-depth). Это позволит уменьшить риски того, что системы потенциально научатся вести себя «правильно» при тестах и проявлять ненадлежащее поведение уже на стадии эксплуатации. В контексте ИИ-агентов крайне важно осуществлять непрерывный мониторинг, так как они могут менять свое поведение в зависимости от поступающей информации и функционировать иначе в разных контекстах. Крайне важен контроль со стороны человека, включая экстренные механизмы прекращения работы. Помимо этого необходимо четко распределять роли в организации, осуществлять документирование и логирование, а также понимать ограничения работы системы и четко прописывать это в договорах и политиках. Применять меры по уменьшению рисков предлагается за счет использования шестиуровневой шкалы автономии агентов (L0–L5, от полного отсутствия до полной автономии), адаптированной из известной статьи Kasirzadeh & Gabriel (2025). Отдельно авторы отмечают, что распространение агентных систем потребует от нас возвращения фокуса в нормативном регулировании с моделей на системы, так как именно комплексность мультиагентных систем и будет предопределять основные риски в будущем. Всем любителям копнуть поглубже крайне советую ознакомиться с самим перечнем дополнительных категорий и подкатегорий к NIST AI RMF 🐱.