Эксперты UserGate Factor: навыки ИИ‑агентов могут представлять угрозу

Эксперты центра мониторинга и реагирования на киберугрозы UserGate Factor (uFactor) предупреждают о потенциальной опасности, которую может нести использование ИИ‑агентов. В исследовании отмечается, что угрозу представляет излишнее доверие пользователей к навыкам (skills) для ИИ‑агентов, распространяемым в Сети. Предупредить возможный ущерб позволяет комплекс мер, которые нужно соблюдать при работе с агентами.

ИИ-агенты получили широкое распространение. Это автономные программы на базе ИИ, которые способны самостоятельно ставить цели, планировать их достижение и использовать внешние инструменты и данные. Для работы ИИ‑агентов необходимы специальные инструменты — навыки (skills) — скрипты операций и команды, которые могут быть составлены специалистами или скачаны с различных специализированных ресурсов. Навыки — наборы файлов, в которых прописаны конкретные «умения» агентов, алгоритмы выполнения операций и различная дополнительная информация.

Как поясняют в UserGate, навыки ИИ‑агентов могут оказаться весьма опасны. Потенциальную уязвимость имеют свыше 26% навыков, а наиболее распространёнными рисками являются утечка данных и повышение привилегий, получаемых ИИ‑агентом^[1].

Можно выделить четыре основные группы вероятных рисков, которые несут ИИ‑агенты: распространение вредоносного ПО, передача данных во внешние системы, получение избыточных или повышенных привилегий и манипулирование поведением ИИ‑агента.

Эксперт uFactor Арина Захарова, которая специализируется на анализе защищённости, приводит в качестве примера один из сценариев вредоносного поведения агента. Сотрудник подключает ИИ‑агенту полезный навык для работы с корпоративными документами. Вместе с навыком агент получает набор инструкций, среди которых есть вредоносные, а также доступ к файловому хранилищу и возможность обращаться к внешним сервисам. В результате агент начинает выполнять действия, которых от него никто не ожидал. Он находит закрытые файлы, собирает содержащуюся в них информацию и отправляет её на внешний сервер. Возможен и другой вариант, когда агент после установки навыка работы с почтовой перепиской может тайно пересылать всю переписку злоумышленнику. Всё это может привести к компрометации данных или выполнению агентом действий, которые могут оказаться вредными для компании и самого сотрудника.

Эксперт предупреждает: не стоит бездумно устанавливать и использовать навыки ИИ‑агента — скил должен быть подвергнут специальной процедуре проверки при помощи Agent Threat Rule или специализированных инструментов^[2]. Помимо этого, на некоторых площадках, где публикуются навыки, например на skills.sh, доступен раздел Security Audits с результатами автоматизированных проверок. Но даже данные о прохождении аудита ещё не гарантируют безопасность навыка. Поэтому необходимо сопоставлять поведение агента с его назначением: проверять, соответствуют ли запрашиваемые для навыка разрешения заявленной функциональности. Для проверки агента могут использоваться и специальные сканеры. Даже доверенные навыки необходимо запускать со строгими ограничениями: использовать отдельную учётную запись или рабочую среду для агента, ограничивать его доступ к файловой системе и сети, не передавать агенту все переменные окружения, а для хранения секретных данных использовать изолированные хранилища. При этом перед выполнением команды ИИ‑агента он должен запрашивать соответствующее разрешение у пользователя.

«Одна из фундаментальных проблем безопасности ИИ состоит в том, что каждый компонент такой системы по отдельности может выглядеть невинно. Опасное поведение возникает в связке элементов, например, из-за чрезмерных полномочий, подменённых инструкций, неверно поставленной цели или неожиданной последовательности вызовов инструментов, — говорит Светлана Газизова, владелец продукта по безопасности ИИ UserGate. — Поэтому проверки отдельных компонентов уже недостаточно. Требуется контроль всей цепочки агентской системы. Необходимо отслеживать, к каким данным обращается агент, какие инструменты вызывает, от чьего имени действует и соответствует ли конкретное действие поставленной задаче и выданным полномочиям. А для чувствительных операций, отправки сообщений, публикации информации, изменения или удаления данных у компании обязательно должны быть предусмотрены отдельное подтверждение или запрет».