Переход от чат‑ботов к AI‑агентам ознаменует сдвиг от систем, которые просто отвечают на вопросы, к системам, которые совершают действия [7]. В отличие от стандартной модели LLM, обрабатывающей текст, который пользователь вводит намеренно, агент получает цель и автономию перемещаться по браузерам, нажимать кнопки и вызывать API для её достижения [7].
Хотя эта автономия экономит время, она расширяет поверхность воздействия на данные [7]. Агентам часто приходится работать в аутентифицированных сессиях пользователя, то есть они имеют такой же доступ, как и человек, к электронной почте, CRM‑системам и банковским инструментам [7]. Это создаёт ситуацию, когда основной вопрос конфиденциальности уже не в том, что пользователь вводит в запрос, а в том, что агент может увидеть и как его можно обмануть, используя эту информацию [7].
Почему AI‑агенты создают уникальные риски конфиденциальности
Стандартное управление данными рассчитано на человеческие модели доступа: человек входит в систему, извлекает запись и выходит [1]. AI‑агенты работают автономно, запрашивая десятки систем на машинных скоростях без человеческого контроля за каждым событием доступа [1].
Эта автономия порождает несколько специфических уязвимостей:
- Память и постоянство: Агент формирует персональные профили в течение сеансов [1]. Такая память может существовать в виде векторных эмбеддингов или дообученных весов модели, которые труднее удалить, чем обычные записи в базе данных [1].
- Агрегация данных: Одновременный сбор информации из разных источников — CRM‑записей, системных журналов и т.д. — повышает риск повторной идентификации [1].
- Непрозрачное распространение: В многокомпонентных системах персональные данные могут передаваться между агентами через контекст без дополнительных проверок доступа или аудиторских событий [1].
- Смещение цели использования: Агент может повторно использовать данные, собранные для одной задачи, при принятии решений в совершенно иных контекстах [1].
Угроза косвенной инъекции подсказок
Один из самых критических рисков для агентных ИИ — косвенная инъекция подсказок [7]. Это происходит, когда агент читает веб‑страницу, электронное письмо или документ, содержащий скрытые инструкции, помещённые третьей стороной [7].
Если агент имеет доступ к приватным данным, сталкивается с недоверенным контентом и может общаться наружу, возникает «смертельная тройка» [7]. Злоумышленник может использовать скрытые инструкции, чтобы обмануть агент, заставив его экспортировать конфиденциальные данные во внешнее хранилище или выполнить вредоносные действия внутри приложения [7]. Поскольку у агента уже есть необходимые разрешения, пользователю не требуется вводить какие‑либо чувствительные данные, чтобы инициировать утечку [7].
Ориентирование в нормативном соответствии
AI‑агенты ставят под вопрос базовые принципы GDPR и EU AI Act [S1, S3]. Например, принцип минимизации данных GDPR трудно поддерживать, когда основной ввод агента — это полный скриншот или DOM‑снимок экрана, содержащий чувствительные сведения, не относящиеся к задаче [7].
Недостатки соответствия часто проявляются в следующих областях:
- Право на удаление: Право GDPR на удаление распространяется на память агента, однако многие компании не продумали, как удалять данные, хранящиеся в виде векторных эмбеддингов [1].
- Автоматизированное принятие решений: Агентам, совершающим значимые действия с ограниченным человеческим контролем, может потребоваться соблюдение статьи 22 GDPR, требующей повышенной прозрачности и надзора [7].
- Аудируемость: Логировать отдельные запросы просто, но продемонстрировать, что именно агент видел и делал в ходе многократного процесса, значительно сложнее, что создаёт пробелы в ответственности [S1, S7].
Практические меры контроля при развертывании агентов
Чтобы смягчить эти риски, организациям следует отказаться от «доверительных» развертываний и внедрять жёсткие технические границы [S4, S7].
Контроль доступа и области Ограничьте доступ агента, предоставив только минимально необходимые разрешения и учётные записи для выполнения задачи [7]. Избегайте запуска агентов в браузерах, где выполнен вход в системы с высокой чувствительностью [7].
Человек в цикле (HITL) Требуйте явного подтверждения человеком перед тем, как агент выполнит значимые действия, такие как платежи, удаление записей или отправка данных внешним сторонам [7].
Маскирование и фильтрация данных Внедрите инструменты обнаружения и маскирования, чтобы регулируемые данные никогда не попадали в контекст агента в открытом виде [7]. Считайте весь контент, который агент читает, недоверенным и используйте белые списки сайтов и инструментов вместо открытого браузинга [7].
Управление контекстным слоем Создайте суверенный контекстный слой, куда попадает PII перед тем, как попасть в знания агента [1]. Этот слой должен стать основной точкой управления доступом, хранением и удалением, используя трассировки решений для журналирования, какая политика регулировала каждый кусок доступа к контексту [1].
Если вы развертываете автономные агенты, проверьте текущую карту данных, чтобы убедиться, что процессы удаления охватывают векторную память, а не только исходные базы данных.
Sources
- AI Agents and Data Privacy: Operator, Computer Use, and Agentic …
- How to Implement Data Privacy Controls for AI Agents in 2026
- Minding Mindful Machines: AI Agents and Data Protection Considerations
- Data privacy guide to AI and machine learning - IBM
- Early Users Delete Personal AI Agents Over Privacy Scares and Blunders …
- AI and Privacy: Data Protection in the Age of Artificial Intelligence
- AI Privacy Risks: How AI Uses Personal Data
