RAG — граница доверия: почему «фильтр после поиска» не защищает AI-агента от prompt injection
RAG перестал быть нейтральным слоем: извлечённый контент — это уже поверхность атаки. Prompt injection вырос на 340% за год, а отравление памяти через RAG даёт до 90% манипуляции пятью документами. Разбираем, почему пост-фильтрация выдачи недостаточна и из чего состоит рабочая архитектурная линия обороны: провенанс, санитизация на запись, least privilege и гейтинг опасных действий на границе инструментов.
RAG — граница доверия: почему «фильтр после поиска» не защищает AI-агента от prompt injection
RAG перестал быть невидимым и нейтральным слоем между базой знаний и моделью. Как только агент начинает отвечать не из весов модели, а из извлечённого контекста, каждый найденный документ становится входом, которому агент слепо доверяет. OWASP ставит prompt injection на первое место в списке угроз для LLM-приложений1, а атаки этого класса выросли на 340% за год2. И главная точка входа для агента с базой знаний — не пользовательский промпт, а само извлечение.
Дальше — почему «повесить фильтр после поиска» архитектурно недостаточно и из чего на самом деле состоит линия обороны.
RAG — не нейтральный слой, а граница доверия
Классическая схема RAG: запрос → поиск по векторной базе → релевантные документы → подстановка в контекст модели → ответ. Пока система работала как «корпоративный поисковик с генерацией», к качеству выдачи относились как к задаче релевантности: нашёл не то — пользователь уточнит.
Как только к RAG подключают инструменты — файловую систему, API, отправку писем, — модель перестаёт быть советчиком и становится исполнителем. И здесь меняется сама природа извлечённого контента:
- Данные и команды для модели неразличимы. Языковая модель не имеет аппаратного разделения между «это текст для анализа» и «это инструкция к выполнению». Всё, что попало в контекст, читается как потенциальная команда3.
- Доверие передаётся по цепочке. Пользователь доверяет агенту, агент доверяет слою извлечения, слой извлечения доверяет тому, что лежит в индексе. Злоумышленнику не нужно взламывать агента — достаточно попасть в индекс.
- Индекс — это накопитель. В отличие от чата, где промпт живёт одну сессию, отравленный документ остаётся в базе знаний и влияет на все будущие ответы.
Поэтому корректная ментальная модель: извлечение — это не чтение из доверенного хранилища, а приём непроверенного ввода извне. Граница доверия проходит ровно там, где контент попадает в контекст модели.
Два вектора: prompt injection и memory poisoning
Угрозы к RAG-агенту делятся на два класса, и второй опаснее именно потому, что RAG превращает разовую атаку в постоянную.
Прямой prompt injection — вредоносная инструкция приходит в пользовательском запросе. Это самый изученный вектор: доля успешных прямых атак превышает 79%3.
Косвенный (indirect) prompt injection — инструкция спрятана в контенте, который агент сам подтянет: в документе, письме, веб-странице, комментарии. Пользователь чист, чист и его запрос — грязным оказывается то, что вернул поиск. По систематическому обзору на 3168 прогонах доля успешных косвенных атак составила 41,67–68,16%3 — то есть в половине случаев спрятанная в документе команда срабатывает.
Memory poisoning — следующий шаг: отравление не контекста одной сессии, а долговременной памяти агента. Атака MINJA (Memory INjection Attack) даёт 95% успешности против агентов с персистентной памятью4. Принцип — «Poison Once, Exploit Forever»: один раз подброшенный в память текст остаётся там и активируется в будущих задачах. По данным тех же исследований, 5 отравленных документов дают до 90% манипуляции через RAG4.
Сводка по векторам:
| Вектор | Куда бьёт | Успешность | Персистентность |
|---|---|---|---|
| Прямой injection | Контекст сессии | >79%3 | Разово |
| Косвенный injection | Контекст через извлечение | 41,67–68,16%3 | До перезагрузки контекста |
| Memory poisoning (MINJA) | Долговременная память / индекс | 95%4 | Постоянно |
| AgentPoison (веса/память) | Внутреннее состояние | 80%+3 | Постоянно |
Фон тоже тревожный: валидные отчёты о prompt injection на HackerOne выросли на 540% к октябрю 20255, число CVE по агентам и MCP выросло с 13 до 256 за квартал2, а доля вредоносных полезных нагрузок в веб-контенте прибавила 32% за ноябрь 2025 — февраль 20262.
Почему «фильтр после извлечения» недостаточен
Самый популярный инстинктивный ответ на всё вышеперечисленное: «повесим фильтр между поиском и моделью — он вырежет подозрительные инструкции». Это работает ровно до первого серьёзного противника, и вот почему.
1. Фильтр — это детекция, а детекция обходима. Любой классификатор «вредоносный текст / безобидный текст» — это гонка вооружений. Обфускация, перекодировка (base64, юникод-гомоглифы, невидимые символы), разбиение команды на безобидные фрагменты, перевод на редкий язык — всё это ломает сигнатурные и даже ML-детекторы. Исследования показывают обходы с ASR 95%+ на GPT-4 и Llama 26 именно против защит, построенных на распознавании.
2. Модель не отличает данные от команд — и фильтр не меняет этого. Даже если фильтр пропустит текст, модель всё равно прочитает его как потенциальную инструкцию. Фильтр лишь сокращает поток, но не снимает корневую причину: отсутствие разделения привилегий между «читать» и «делать».
3. Фильтр сам становится новой поверхностью атаки. Он работает на непроверенном входе, его промпт можно перехватить, его можно перегрузить, заставив «упасть открытым» (fail-open).
4. Он ничего не делает с памятью. Пост-фильтр на чтении не мешает отравленному документу записаться в индекс и сработать через месяц.
Практический вывод из обзоров 2026 года формулируется жёстко: ни одна отдельная защита не достаточна — нужна слоистая оборона, где архитектурные меры (разделение привилегий, гейтинг действий) первичны, а детекция — лишь один из слоёв37.
Наивно (недостаточно):
query → retrieval → [фильтр выдачи] → LLM → действие
Архитектурно (рабочая линия):
query → retrieval (read-only, ACL на уровне клиента БД)
→ провенанс + санитизация на ЗАПИСЬ в индекс/память
→ сборка контекста с явной маркировкой непроверенного ввода
→ LLM без инструментов (только генерация)
→ отдельный слой валидации ДЕЙСТВИЙ (least privilege, HITL-гейт)
→ исполнение в песочнице с эфемерными правами
Архитектурная линия обороны
Раз фильтр не спасает, что работает. Ниже — слоистая модель, собранная из актуальных обзоров 2026 года738. Каждый слой закрывает свой участок границы доверия; отказ одного не означает компрометацию всей системы.
1. Провенанс извлечённого контента. Каждый документ в индексе несёт метаданные источника: откуда, кем добавлен, насколько доверен. Контекст модели собирается с явной маркировкой: «это непроверенные данные, а не команды». Это не панацея, но лишает атаку возможности выдать себя за системный уровень.
2. Санитизация на запись, а не только на чтение. Ключевой сдвиг: фильтровать надо не только выдачу, но и то, что попадает в индекс и в память агента. Документ, не прошедший проверку на этапе загрузки, не должен становиться частью долговременного состояния. Это единственный способ закрыть memory poisoning — пост-фильтр на чтении его не закрывает в принципе.
3. ACL-aware retrieval на уровне клиента векторной БД. Фильтр по тенанту и правам должен применяться до того, как документ попал в контекст, — на стороне запроса к векторной БД, а не «в промпте». Фильтр, вписанный в промпт, обходится так же легко, как и фильтр выдачи9.
4. Least privilege и гейтинг опасных действий на границе инструментов. Самый надёжный слой. Модель генерирует намерение, но не выполняет его напрямую: каждый вызов инструмента проходит через отдельный исполнительный слой, где действие проверяется по принципу минимальных привилегий. Опасные действия (запись, отправка, удаление, внешние вызовы) требуют явного гейта — вплоть до подтверждения человеком (human-in-the-loop). Отравленный агент, у которого нет прав на разрушительное действие, не может его совершить, даже если «поверил» вредоносной инструкции.
5. Разделение «генерация» / «исполнение». Рабочий паттерн — Gatekeeper: модель без подключённых инструментов решает, безопасно ли действие (SAFE/UNSAFE), а исполнение идёт в изолированной песочнице с эфемерными правами10. Модель, у которой физически нет инструмента отправки писем, не отправит письмо под влиянием инъекции.
6. Output- и action-валидация. Трёхслойная схема «Input Screening → Privilege-Constrained Assembly → Output Auditing»8 замыкает контур: проверяем вход, ограничиваем сборку контекста правами, аудируем выход и каждое действие.
Сводка слоёв:
| Слой | Что закрывает | Тип меры |
|---|---|---|
| Провенанс контента | Выдача себя за системный уровень | Архитектурная |
| Санитизация на запись | Memory poisoning | Архитектурная |
| ACL на клиенте векторной БД | Утечка между тенантами | Архитектурная |
| Least privilege + гейт действий | Исполнение чужих команд | Архитектурная |
| Разделение генерации/исполнения | Компрометация через инструменты | Архитектурная |
| Output/action-аудит | Тихие побочные эффекты | Контрольная |
| Детектор инъекций | Часть косвенных атак | Детекция (вспомогательная) |
Обратите внимание: детекция — единственная «вспомогательная» строка. Всё остальное — архитектура. Именно поэтому обходы фильтров не означают обход защиты: защита не в фильтре.
Практический вывод
RAG в агенте — это не функция поиска, а граница доверия, и проектировать её надо как границу, а не как оптимизацию релевантности.
Чек-лист для production-агента с базой знаний:
- извлечение только для чтения — агент не может писать в индекс через пользовательский путь;
- санитизация на загрузке, а не только на выдаче — отравленный документ не попадает в долговременное состояние;
- провенанс у каждого документа и явная маркировка непроверенного ввода в контексте;
- ACL-фильтр на уровне клиента векторной БД, не в промпте;
- least privilege для каждого инструмента и гейт опасных действий на границе инструментов;
- разделение генерации и исполнения: модель без инструментов + песочница с эфемерными правами;
- аудит действий и выхода как последний контур.
Именно так устроены наши продукты. В TaoContext_RAG конвейер загрузки проверяет контент на этапе приёма, а не только при выдаче, а поиск работает с изолированными векторными коллекциями. TaoBridge выносит исполнение инструментов в отдельный слой с валидацией схем и контролем доступов — модель предлагает действие, но не выполняет его напрямую, что и есть гейтинг на границе инструментов. Архитектурно это продолжение нашей же позиции про идентичность агентов: доступ строится вокруг least privilege, а не вокруг доверия к тому, что вернул поиск — подробнее об этом в разборе про Agent ID и enterprise-AI (/blog/agent-id-not-enough-for-enterprise-ai).
Фильтр после извлечения — это первый инстинкт и плохая граница. Настоящая граница доверия проходит там, где непроверенный контент записывается в память и где намерение превращается в действие.
Footnotes
-
OWASP Top 10 for LLM Applications — prompt injection на #1. Atlan, «How Prompt Injection Attacks Compromise AI Agents in 2026», обновлено 21.09.2026 — https://atlan.com/know/prompt-injection-attacks-ai-agents/ ↩
-
Atlan, «How Prompt Injection Attacks Compromise AI Agents in 2026», обновлено 21.09.2026 — рост prompt injection на 340% YoY, CVE по агентам/MCP 13→256 за квартал, +32% вредоносных payload в веб-контенте (ноя 2025 — фев 2026). ↩ ↩2 ↩3
-
«Securing Retrieval-Augmented Generation: A Taxonomy of Attacks, Defenses, and Future Directions», arXiv:2604.08304v1, апрель 2026 — прямой injection >79%, косвенный 41,67–68,16% (3168 прогонов), AgentPoison 80%+ ASR, тезис «ни одна отдельная защита не достаточна». ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8
-
«From Untrusted Input to Trusted Memory: A Systematic Study of Memory Poisoning Attacks in LLM Agents», arXiv:2606.04329v1, июнь 2026 — MINJA 95% ASR, «Poison Once, Exploit Forever», 5 отравленных документов = до 90% манипуляции через RAG. ↩ ↩2 ↩3
-
Отчёт HackerOne по валидным отчётам о prompt injection, +540%, 01.10.2025. ↩
-
arXiv:2506.23260 — обходы защит на распознавании с ASR 95%+ на GPT-4 и Llama 2. ↩
-
Обзор слоистых защит RAG: санитизация, провенанс, ACL-aware retrieval, типизированные схемы, песочницы, least privilege, kill-switches; архитектурные меры надёжнее детекции (privilege separation, HITL-гейты, read-only retrieval, эфемерные права). arXiv:2603.22928. ↩ ↩2
-
«Input Screening → Privilege-Constrained Assembly → Output Auditing», arXiv:2606.19660. ↩ ↩2
-
ACL/tenant-фильтры должны применяться на уровне клиента векторной БД, а не в промпте — thezybersecurity, практический baseline production-RAG 2026. ↩
-
Паттерн Gatekeeper-LLM без инструментов, решение SAFE/UNSAFE, исполнение в песочнице — codesecai. ↩
Нужна безопасная RAG-архитектура?
Проектируем production AI-системы с санитизацией на запись, провенансом контента, least privilege и гейтингом опасных действий на границе инструментов.
Обсудить проект