THINKINGOS
A I L a b o r a t o r y
Материалы блога отражают наш практический опыт и R&D-гипотезы. Там, где приведены эффекты, они зависят от контекста проекта, качества данных, архитектуры и процессов внедрения.
Назад к блогу
AI Безопасность
17 ноября 2026 14 мин
Максим Жадобин Maxim Zhadobin THINKING•OS RAG Prompt Injection Memory Poisoning AI Agents Agent Security TaoContext_RAG TaoBridge Least Privilege Production AI

RAG — граница доверия: почему «фильтр после поиска» не защищает AI-агента от prompt injection

RAG перестал быть нейтральным слоем: извлечённый контент — это уже поверхность атаки. Prompt injection вырос на 340% за год, а отравление памяти через RAG даёт до 90% манипуляции пятью документами. Разбираем, почему пост-фильтрация выдачи недостаточна и из чего состоит рабочая архитектурная линия обороны: провенанс, санитизация на запись, least privilege и гейтинг опасных действий на границе инструментов.

RAG — граница доверия: почему «фильтр после поиска» не защищает AI-агента от prompt injection

RAG перестал быть невидимым и нейтральным слоем между базой знаний и моделью. Как только агент начинает отвечать не из весов модели, а из извлечённого контекста, каждый найденный документ становится входом, которому агент слепо доверяет. OWASP ставит prompt injection на первое место в списке угроз для LLM-приложений1, а атаки этого класса выросли на 340% за год2. И главная точка входа для агента с базой знаний — не пользовательский промпт, а само извлечение.

Дальше — почему «повесить фильтр после поиска» архитектурно недостаточно и из чего на самом деле состоит линия обороны.

RAG — не нейтральный слой, а граница доверия

Классическая схема RAG: запрос → поиск по векторной базе → релевантные документы → подстановка в контекст модели → ответ. Пока система работала как «корпоративный поисковик с генерацией», к качеству выдачи относились как к задаче релевантности: нашёл не то — пользователь уточнит.

Как только к RAG подключают инструменты — файловую систему, API, отправку писем, — модель перестаёт быть советчиком и становится исполнителем. И здесь меняется сама природа извлечённого контента:

  • Данные и команды для модели неразличимы. Языковая модель не имеет аппаратного разделения между «это текст для анализа» и «это инструкция к выполнению». Всё, что попало в контекст, читается как потенциальная команда3.
  • Доверие передаётся по цепочке. Пользователь доверяет агенту, агент доверяет слою извлечения, слой извлечения доверяет тому, что лежит в индексе. Злоумышленнику не нужно взламывать агента — достаточно попасть в индекс.
  • Индекс — это накопитель. В отличие от чата, где промпт живёт одну сессию, отравленный документ остаётся в базе знаний и влияет на все будущие ответы.

Поэтому корректная ментальная модель: извлечение — это не чтение из доверенного хранилища, а приём непроверенного ввода извне. Граница доверия проходит ровно там, где контент попадает в контекст модели.

Два вектора: prompt injection и memory poisoning

Угрозы к RAG-агенту делятся на два класса, и второй опаснее именно потому, что RAG превращает разовую атаку в постоянную.

Прямой prompt injection — вредоносная инструкция приходит в пользовательском запросе. Это самый изученный вектор: доля успешных прямых атак превышает 79%3.

Косвенный (indirect) prompt injection — инструкция спрятана в контенте, который агент сам подтянет: в документе, письме, веб-странице, комментарии. Пользователь чист, чист и его запрос — грязным оказывается то, что вернул поиск. По систематическому обзору на 3168 прогонах доля успешных косвенных атак составила 41,67–68,16%3 — то есть в половине случаев спрятанная в документе команда срабатывает.

Memory poisoning — следующий шаг: отравление не контекста одной сессии, а долговременной памяти агента. Атака MINJA (Memory INjection Attack) даёт 95% успешности против агентов с персистентной памятью4. Принцип — «Poison Once, Exploit Forever»: один раз подброшенный в память текст остаётся там и активируется в будущих задачах. По данным тех же исследований, 5 отравленных документов дают до 90% манипуляции через RAG4.

Сводка по векторам:

ВекторКуда бьётУспешностьПерсистентность
Прямой injectionКонтекст сессии>79%3Разово
Косвенный injectionКонтекст через извлечение41,67–68,16%3До перезагрузки контекста
Memory poisoning (MINJA)Долговременная память / индекс95%4Постоянно
AgentPoison (веса/память)Внутреннее состояние80%+3Постоянно

Фон тоже тревожный: валидные отчёты о prompt injection на HackerOne выросли на 540% к октябрю 20255, число CVE по агентам и MCP выросло с 13 до 256 за квартал2, а доля вредоносных полезных нагрузок в веб-контенте прибавила 32% за ноябрь 2025 — февраль 20262.

Почему «фильтр после извлечения» недостаточен

Самый популярный инстинктивный ответ на всё вышеперечисленное: «повесим фильтр между поиском и моделью — он вырежет подозрительные инструкции». Это работает ровно до первого серьёзного противника, и вот почему.

1. Фильтр — это детекция, а детекция обходима. Любой классификатор «вредоносный текст / безобидный текст» — это гонка вооружений. Обфускация, перекодировка (base64, юникод-гомоглифы, невидимые символы), разбиение команды на безобидные фрагменты, перевод на редкий язык — всё это ломает сигнатурные и даже ML-детекторы. Исследования показывают обходы с ASR 95%+ на GPT-4 и Llama 26 именно против защит, построенных на распознавании.

2. Модель не отличает данные от команд — и фильтр не меняет этого. Даже если фильтр пропустит текст, модель всё равно прочитает его как потенциальную инструкцию. Фильтр лишь сокращает поток, но не снимает корневую причину: отсутствие разделения привилегий между «читать» и «делать».

3. Фильтр сам становится новой поверхностью атаки. Он работает на непроверенном входе, его промпт можно перехватить, его можно перегрузить, заставив «упасть открытым» (fail-open).

4. Он ничего не делает с памятью. Пост-фильтр на чтении не мешает отравленному документу записаться в индекс и сработать через месяц.

Практический вывод из обзоров 2026 года формулируется жёстко: ни одна отдельная защита не достаточна — нужна слоистая оборона, где архитектурные меры (разделение привилегий, гейтинг действий) первичны, а детекция — лишь один из слоёв37.

Наивно (недостаточно):
  query → retrieval → [фильтр выдачи] → LLM → действие

Архитектурно (рабочая линия):
  query → retrieval (read-only, ACL на уровне клиента БД)
        → провенанс + санитизация на ЗАПИСЬ в индекс/память
        → сборка контекста с явной маркировкой непроверенного ввода
        → LLM без инструментов (только генерация)
        → отдельный слой валидации ДЕЙСТВИЙ (least privilege, HITL-гейт)
        → исполнение в песочнице с эфемерными правами

Архитектурная линия обороны

Раз фильтр не спасает, что работает. Ниже — слоистая модель, собранная из актуальных обзоров 2026 года738. Каждый слой закрывает свой участок границы доверия; отказ одного не означает компрометацию всей системы.

1. Провенанс извлечённого контента. Каждый документ в индексе несёт метаданные источника: откуда, кем добавлен, насколько доверен. Контекст модели собирается с явной маркировкой: «это непроверенные данные, а не команды». Это не панацея, но лишает атаку возможности выдать себя за системный уровень.

2. Санитизация на запись, а не только на чтение. Ключевой сдвиг: фильтровать надо не только выдачу, но и то, что попадает в индекс и в память агента. Документ, не прошедший проверку на этапе загрузки, не должен становиться частью долговременного состояния. Это единственный способ закрыть memory poisoning — пост-фильтр на чтении его не закрывает в принципе.

3. ACL-aware retrieval на уровне клиента векторной БД. Фильтр по тенанту и правам должен применяться до того, как документ попал в контекст, — на стороне запроса к векторной БД, а не «в промпте». Фильтр, вписанный в промпт, обходится так же легко, как и фильтр выдачи9.

4. Least privilege и гейтинг опасных действий на границе инструментов. Самый надёжный слой. Модель генерирует намерение, но не выполняет его напрямую: каждый вызов инструмента проходит через отдельный исполнительный слой, где действие проверяется по принципу минимальных привилегий. Опасные действия (запись, отправка, удаление, внешние вызовы) требуют явного гейта — вплоть до подтверждения человеком (human-in-the-loop). Отравленный агент, у которого нет прав на разрушительное действие, не может его совершить, даже если «поверил» вредоносной инструкции.

5. Разделение «генерация» / «исполнение». Рабочий паттерн — Gatekeeper: модель без подключённых инструментов решает, безопасно ли действие (SAFE/UNSAFE), а исполнение идёт в изолированной песочнице с эфемерными правами10. Модель, у которой физически нет инструмента отправки писем, не отправит письмо под влиянием инъекции.

6. Output- и action-валидация. Трёхслойная схема «Input Screening → Privilege-Constrained Assembly → Output Auditing»8 замыкает контур: проверяем вход, ограничиваем сборку контекста правами, аудируем выход и каждое действие.

Сводка слоёв:

СлойЧто закрываетТип меры
Провенанс контентаВыдача себя за системный уровеньАрхитектурная
Санитизация на записьMemory poisoningАрхитектурная
ACL на клиенте векторной БДУтечка между тенантамиАрхитектурная
Least privilege + гейт действийИсполнение чужих командАрхитектурная
Разделение генерации/исполненияКомпрометация через инструментыАрхитектурная
Output/action-аудитТихие побочные эффектыКонтрольная
Детектор инъекцийЧасть косвенных атакДетекция (вспомогательная)

Обратите внимание: детекция — единственная «вспомогательная» строка. Всё остальное — архитектура. Именно поэтому обходы фильтров не означают обход защиты: защита не в фильтре.

Практический вывод

RAG в агенте — это не функция поиска, а граница доверия, и проектировать её надо как границу, а не как оптимизацию релевантности.

Чек-лист для production-агента с базой знаний:

  • извлечение только для чтения — агент не может писать в индекс через пользовательский путь;
  • санитизация на загрузке, а не только на выдаче — отравленный документ не попадает в долговременное состояние;
  • провенанс у каждого документа и явная маркировка непроверенного ввода в контексте;
  • ACL-фильтр на уровне клиента векторной БД, не в промпте;
  • least privilege для каждого инструмента и гейт опасных действий на границе инструментов;
  • разделение генерации и исполнения: модель без инструментов + песочница с эфемерными правами;
  • аудит действий и выхода как последний контур.

Именно так устроены наши продукты. В TaoContext_RAG конвейер загрузки проверяет контент на этапе приёма, а не только при выдаче, а поиск работает с изолированными векторными коллекциями. TaoBridge выносит исполнение инструментов в отдельный слой с валидацией схем и контролем доступов — модель предлагает действие, но не выполняет его напрямую, что и есть гейтинг на границе инструментов. Архитектурно это продолжение нашей же позиции про идентичность агентов: доступ строится вокруг least privilege, а не вокруг доверия к тому, что вернул поиск — подробнее об этом в разборе про Agent ID и enterprise-AI (/blog/agent-id-not-enough-for-enterprise-ai).

Фильтр после извлечения — это первый инстинкт и плохая граница. Настоящая граница доверия проходит там, где непроверенный контент записывается в память и где намерение превращается в действие.

Footnotes

  1. OWASP Top 10 for LLM Applications — prompt injection на #1. Atlan, «How Prompt Injection Attacks Compromise AI Agents in 2026», обновлено 21.09.2026 — https://atlan.com/know/prompt-injection-attacks-ai-agents/ ↩

  2. Atlan, «How Prompt Injection Attacks Compromise AI Agents in 2026», обновлено 21.09.2026 — рост prompt injection на 340% YoY, CVE по агентам/MCP 13→256 за квартал, +32% вредоносных payload в веб-контенте (ноя 2025 — фев 2026). ↩ ↩2 ↩3

  3. «Securing Retrieval-Augmented Generation: A Taxonomy of Attacks, Defenses, and Future Directions», arXiv:2604.08304v1, апрель 2026 — прямой injection >79%, косвенный 41,67–68,16% (3168 прогонов), AgentPoison 80%+ ASR, тезис «ни одна отдельная защита не достаточна». ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8

  4. «From Untrusted Input to Trusted Memory: A Systematic Study of Memory Poisoning Attacks in LLM Agents», arXiv:2606.04329v1, июнь 2026 — MINJA 95% ASR, «Poison Once, Exploit Forever», 5 отравленных документов = до 90% манипуляции через RAG. ↩ ↩2 ↩3

  5. Отчёт HackerOne по валидным отчётам о prompt injection, +540%, 01.10.2025. ↩

  6. arXiv:2506.23260 — обходы защит на распознавании с ASR 95%+ на GPT-4 и Llama 2. ↩

  7. Обзор слоистых защит RAG: санитизация, провенанс, ACL-aware retrieval, типизированные схемы, песочницы, least privilege, kill-switches; архитектурные меры надёжнее детекции (privilege separation, HITL-гейты, read-only retrieval, эфемерные права). arXiv:2603.22928. ↩ ↩2

  8. «Input Screening → Privilege-Constrained Assembly → Output Auditing», arXiv:2606.19660. ↩ ↩2

  9. ACL/tenant-фильтры должны применяться на уровне клиента векторной БД, а не в промпте — thezybersecurity, практический baseline production-RAG 2026. ↩

  10. Паттерн Gatekeeper-LLM без инструментов, решение SAFE/UNSAFE, исполнение в песочнице — codesecai. ↩

AI Безопасность

Нужна безопасная RAG-архитектура?

Проектируем production AI-системы с санитизацией на запись, провенансом контента, least privilege и гейтингом опасных действий на границе инструментов.

Обсудить проект