DSLM: доменно-специфичные малые языковые модели — как перестать строить супермодель и начать строить инструмент

LLM — это не суперразум. Это вычислитель над распределением токенов: очень быстрый, очень полезный и полностью безразличный к тому, насколько осмысленно выглядит результат. Ценность такой машины в бизнесе определяется не тем, сколько она «знает», а тем, насколько узок контур ответственности, в котором её ответы проверяемы.

Отсюда неудобный вывод: гонка за универсальностью — это гонка за средним качеством по всем задачам сразу. Мы предлагаем другой путь — DSLM (Domain-Specific Small Language Models): небольшие модели, обученные на узком домене, обновляемые непрерывно и размечающие собственные рассуждения по эпистемическому статусу утверждений.

Почему «больше = лучше» перестало работать

Универсальная модель оптимизируется на усреднённом по корпусу распределении. На узком домене — жилищное право конкретной страны, строительные нормативы для атомных электростанций, протоколы узкой врачебной специализации — она систематически попадает в хвост распределения, где плотность обучающих примеров минимальна.

Цена этого попадания измерима:

Стоимость. Вызов фронтирной модели — $5–50 за миллион токенов. Для задачи «проверить, соответствует ли пункт договора формулировке норматива» это избыточно на порядки.
Латентность. Секунды на ответ там, где нужна реакция в единицы сотен миллисекунд.
Галлюцинации. По бенчмарку TruthfulQA лучшие модели дают около 58% правдивых ответов против 94%+ у человека. Отраслевые оценки (вторичные источники, не первичное исследование) дают для универсальных моделей 8–15% галлюцинаций в целевом домене против 2–5% у дообученных доменных.
Непрозрачность статуса утверждения. Даже когда модель отвечает правильно, она не сообщает, что из сказанного — факт из документа, что — вывод из факта, а что — допущение, которого в документе не было.

Последний пункт — главная причина, по которой доменные ассистенты умирают не на демо, а в эксплуатации. Юрист может проверить ссылку на норму. Проверить, где модель «додумала» — нельзя, если она сама это не разметила.

Рыночный контекст: DSLM стал отдельной категорией

Это не только наша позиция. Gartner ввёл DSLM как отдельную категорию корпоративных моделей — не «уменьшенную LLM», а самостоятельный класс под задачи предприятия — и зафиксировал сдвиг в прогнозах:

Прогноз Gartner	Горизонт
Более половины генеративных моделей у предприятий будут доменно-специфичными	к 2028 году
Рост рынка доменных и специализированных моделей на 210%	2026 год
Более 50% генеративных моделей привязаны к индустрии или бизнес-функции (против ~1% ранее)	к 2027 году
Выручка доменных моделей и приложений на их основе — $131 млрд	к 2035 году

Цифры взяты из пресс-релизов и новостных материалов Gartner; закрытые отчёты мы не цитируем. Воспринимать их стоит как рыночную валидацию направления, а не как доказательство эффективности конкретной архитектуры.

Что такое DSLM технически

Главная ошибка при обсуждении DSLM — свести его к «дообучили модель на документах». Это только первый из трёх слоёв, и сам по себе он не работает.

Слой 1. Доменная база. Продолженное предобучение (continued pre-training, CPT) на корпусе домена — нормативах, регламентах, проектной документации, исторических решениях. Не инструкции, а сырой доменный текст, на котором модель перестраивает распределение. Поверх — дообучение на задачах домена (SFT/LoRA).

Слой 2. Инженерный цикл обновления. Триггеры переобучения, набор для оценки качества, гейты, канареечный деплой, откат. Без этого доменная модель устаревает за первый же месяц после выхода нового нормативного документа.

Слой 3. Эпистемическая разметка. Механизм, который заставляет модель различать факт, вывод из факта и допущение — и маркировать это в генерации. У нас это HyperTable.

Три слоя описывают саму модель. Четвёртый элемент концепции находится не внутри модели, а вокруг неё: поиск по актуальным документам и верификация ответа. О нём отдельный раздел ниже — здесь важно не смешивать границы.

Разницу между подходами проще показать таблицей:

Подход	Что решает	Что не решает	Стоимость
Поиск по базе знаний (RAG)	Доступ к актуальным документам, цитируемость	Не меняет распределение модели: доменная терминология и логика остаются чужими; объём ограничен контекстным окном	Низкая на старте, растёт с объёмом запросов
Дообучение инструкциями (SFT/LoRA)	Формат ответа, следование инструкции, стиль домена	Не даёт нового знания в объёме: учит поведению, а не корпусу	Низкая: часы на одной видеокарте
Продолженное предобучение (CPT)	Собственно доменное знание: термины, связи, нормы, типовые конструкции	Максимальный риск забывания; требует объёма данных и инфраструктуры оценки	Средняя: часы на нескольких видеокартах
DSLM = CPT + SFT + цикл + разметка	Всё перечисленное плюс управляемое обновление и прослеживаемость статуса утверждений	Не отменяет поиск по базе знаний и не гарантирует отсутствие галлюцинаций	Инженерная, а не только вычислительная

Что это значит на практике. Ассистент «юрист по ЖКХ конкретной страны» не должен уметь писать стихи или объяснять теорию относительности — это не его контур ответственности. Ассистент «строительные нормативы в области атомных электростанций» не должен рассуждать о маркетинге. Ассистент узкоспециализированного врача не должен давать общие медицинские советы — только то, что покрыто протоколом и проверяемо.

Доменные кейсы, которые уже измерены

Это не теория: доменные модели в 5–8 млрд параметров показывают результаты выше пороговых и выше универсальных моделей на своих бенчмарках.

Модель	База и данные	Результат
Meerkat-7B	Mistral-7B, 460 тыс. примеров с цепочками рассуждений	77.1 на MedQA USMLE — выше порога 60% и выше GPT-3.5
RiskAgent-8B	LLaMA-3-8B + 387 внешних клинических калькуляторов	76.33% на MedRisk, вдвое лучше GPT-4o, с прослеживаемыми источниками
LexLM-7B	1.5 млрд токенов корпуса права США	73.2% LegalBench QA, +6–9 п.п. над LegalBERT
TelcoLM-7B	800 млн токенов + 80 тыс. промптов (Orange)	Уровень GPT-3.5 на TelcoBench
MiningGPT-7B	QLoRA на корпусе MiningPile, 120 млн токенов	+14% доменного знания
SciPhi-2 (5.6 млрд)	Доменный корпус по точным наукам	89.1% ARC-C, 84.6% MMLU-STEM

В агентских сценариях картина та же: Phi-2 (2.7 млрд) сопоставима с 30-миллиардными моделями на общих знаниях и коде при инференсе примерно в 15 раз быстрее; xLAM-2-8B обгоняет GPT-4o и Claude 3.5 в бенчмарках вызова инструментов; TinyAgent (1.1 млрд) показывает 80.06% успешных решений против 79.08% у GPT-4-Turbo.

Обязательная оговорка. Все эти сравнения — межстатейные, а не прямые сопоставления на одном стенде. Разные датасеты, разные протоколы оценки, разные версии базовых моделей. В обзоре arxiv 2501.05465, откуда взята часть цифр, это оговорено прямо, как и риск загрязнения публичных бенчмарков обучающими данными. Цифры показывают порядок величины и принципиальную достижимость результата — не более того.

Экономика: инференс и обучение

Здесь DSLM выигрывает не «в среднем», а структурно: маленькая модель дешевле и в обучении, и в эксплуатации, и этот выигрыш следует из размера, а не из оптимизаций.

Обучение. По данным arxiv 2504.09687 (Domain-Adaptive Continued Pre-Training of Small Language Models, апрель 2025): база MobileLLM-125M, образовательный домен, 400 млн токенов — примерно 3.2 токена на параметр — обучены за ~3 часа на трёх A100. Один миллиард токенов — ~4 часа на шести A100. FinPythia-6.9B дал +8.3% на финансовых задачах, использовав 8% токенов от исходного предобучения.

Дообучение под задачу. Вендорские кейсы (помечаем как вендорские, не независимые): LoRA-дообучение 4-битной Qwen2.5-7B на ~3000 примерах занимает около двух часов на одной видеокарте и даёт ~92% качества в вертикальном домене. Порядок величины здесь важен: дообучение поведения — это часы, а не недели.

Инференс. Модель на 5–8 млрд параметров на доменной задаче стоит на порядок меньше фронтирной, а спекулятивное декодирование с крошечной черновой моделью ускоряет её ещё в 2–3 раза без потери качества.

Итог: DSLM делает экономику доменного ассистента предсказуемой. Стоимость не растёт вместе с объёмом контекста и не зависит от тарифов внешнего провайдера.

Непрерывный цикл: «раз в неделю» как инженерный процесс

Идея «переобучать модель раз в неделю» звучит как маркетинг, пока не разложить её на инженерные компоненты. В практике управления жизненным циклом моделей это стандартная конструкция: триггеры, автоматическое переобучение, выкатка через гейты.

Триггеры, которые реально работают:

Расписание — плановое переобучение с фиксированной каденцией.
Дрейф корпуса — появился новый нормативный документ, изменилась редакция регламента, обновился проектный стандарт.
Деградация качества — набор для оценки показывает падение метрики ниже порога.
Регуляторное изменение — принудительное обновление независимо от метрик.

Перед выкаткой обязательны гейты: прогон доменного набора и регрессионного набора на общие способности, сравнение с текущей рабочей версией, канареечный запуск на части трафика, автоматический откат при деградации.

Честная картина по каденции: неделя — реалистичная стартовая точка для доменов с высокой волатильностью документов (нормативка, регуляторика, цены). В других доменах каденция привязана к частоте изменений данных и к регуляторному контролю: мониторинг транзакций — неделя, рекомендательные системы — день, медицинские модели с регуляторным согласованием — квартал. Универсального «раз в неделю» не существует, и продавать его как рецепт — нечестно.

Ключевая мысль: DSLM ценен не тем, что модель обучена на домене, а тем, что модель стала заменяемым компонентом агентской системы. Если переобучение и выкатка укладываются в часы, замена модели при выходе новых документов — рутинная операция, а не проект.

Забывание: как измерять, а не надеяться

Главный технический риск доменной адаптации — катастрофическое забывание общих способностей. Это не гипотеза, это измеренный эффект. В том же arxiv 2504.09687 после доменного продолженного предобучения:

Бенчмарк	Изменение
MMLU	+8.1%
HellaSwag	+7.6%
ARC Easy	+6.2%
Winogrande	−3.0%
BoolQ	−5.2%

Домен вырос, часть общих способностей просела. Это нормальный компромисс специализации, и его нужно не устранять, а контролировать.

Методы контроля, которые работают:

Повтор исходных данных — подмешивание 1–5% исходного корпуса в доменный. Дешёвый и эффективный базовый приём.
Методы на основе репетиции — повторение репрезентативной выборки старых данных при непрерывном обучении (arxiv 2603.12658).
Скорость обучения — разогрев с косинусным затуханием или постоянная скорость вместо агрессивного старта.
Архитектурные варианты — адаптеры LoRA/DoRA сохраняют базовые веса и снижают риск; полное продолженное предобучение даёт лучшее усвоение домена при максимальном риске забывания. Это осознанный выбор, а не значение по умолчанию.
Отбор данных — подход Rho-1 даёт до +30% на математике в режиме малого числа примеров, отбирая данные для обучения по влиянию на целевую метрику.

Что мерить обязательно, в каждом цикле:

Доменная оценка — растёт ли то, ради чего всё делается.
Регрессионный набор общих способностей — не деградировали ли они ниже допустимого.
Дельта забывания — разница между базовой и новой моделью на фиксированном наборе вне домена.

Без третьего пункта цикл переобучения — это лотерея с еженедельным тиражом.

HyperTable: типизация утверждений в рассуждении

Третья часть концепции отвечает на вопрос, который не решают ни доменное обучение, ни поиск по документам: модель должна понимать, что именно она сгенерировала.

В отдельной статье про HyperTable мы описали базовую идею: многомерная осевая структура смысловой адресации, где каждая единица знания получает координаты по осям — цель, стиль, роль, домен, эмоция. Здесь важно то, как эта структура применяется к обучению DSLM.

Механика осей. Оси — это не метаданные «для красоты», а явные измерения смысла. Для доменного ассистента рабочий набор выглядит так: домен (ЖКХ, кардиология, строительство АЭС), цель (объяснить, обосновать, сослаться на норму, предупредить), роль (консультант, проверяющий, исполнитель), стиль (нормативный, разъяснительный).

Адресация корпуса при препроцессинге. Каждому смысловому блоку доменного корпуса при обучении присваивается адрес — набор координат — и, что критично для DSLM, метка эпистемического статуса:

Статус утверждения	Что это	Пример
Факт	Прямо содержится в документе домена	«Согласно п. 4.2 регламента, срок — 30 календарных дней»
Вывод из факта	Следует из фактов по правилу, но в тексте не сформулирован	«Срок истекает 12 ноября, так как отсчёт начинается со следующего дня»
Допущение	Введено моделью, в документах отсутствует	«Предполагаю, что договор заключён после вступления поправок в силу»

Использование при обучении. Оси и метки статуса применяются как дополнительный вход, как маска и ориентир для семплирования, как основа для обучения осознанных маршрутов генерации. Модель учится не только «что сказать», но и «в каком статусе это находится» и «по какой оси идёт ответ».

Что это даёт при генерации. Три практических эффекта:

Различение статуса. В ответе видно, где норма, где вывод, где допущение. Проверка ответа юристом или инженером становится пооперационной, а не «на доверии».
Ограничение дрейфа. Координата «домен» работает как фильтр: модель с адресом «ЖКХ» не уходит в область бытовых советов, даже если вопрос сформулирован двусмысленно.
Маршрутизация поиска. Поиск по базе знаний идёт не по «похожим словам», а по смысловым координатам: «все фрагменты с целью обосновать в домене строительство АЭС». Это точнее и объяснимее классического векторного поиска.

Где мы честно находимся. HyperTable — исследовательский концепт. У нас есть математическая модель осевого распределения и логика смыслового классификатора; в клиентских проектах оси имитируются через продвинутый промпт-инжиниринг. Автономный слой памяти, который автоматически индексирует данные по осям без участия человека, — в разработке. Основной вызов — стоимость переиндексации знаний при каждом обновлении корпуса; это прямо противоречит требованию «переобучение раз в неделю», и мы ищем способ развязать эти два процесса.

DSLM не заменяет поиск по базе знаний

Это самый важный отрезвляющий пункт, и мы формулируем его прямо: DSLM не отменяет извлечение внешних документов.

Исследования показывают, что связка «доменное дообучение + опора на источники» даёт лучший результат, чем любой из подходов по отдельности: комбинация поиска по базе знаний и дообучения снижает число галлюцинаций на величину до 50% относительно базовой модели. Мета-анализ 12 промышленных внедрений даёт ещё больший эффект — 71–89% снижения относительно неохраняемых систем — но там работает сумма факторов: опора на источники, поиск и мониторинг.

Правильная формулировка позиционирования DSLM: доменная база + поиск по документам + эпистемическая разметка + верификация. Модель знает домен, поиск даёт актуальный документ, разметка показывает статус утверждения, гейт качества проверяет ответ там, где проверка возможна автоматически. Убрать любой из четырёх элементов — значит получить систему, которая выглядит работающей на демо и рассыпается на третьей неделе эксплуатации.

Где мы сейчас: честный статус

Что уже есть:

Пайплайн доменного продолженного предобучения на открытых базовых моделях (5–8 млрд параметров) с воспроизводимыми замерами забывания.
Гейты качества как часть инженерного цикла: доменный набор, регрессионный набор, канареечный запуск.
Прототипы осевой адресации смысловых блоков корпуса и логика смыслового классификатора.
Практика имитации осей через промпт-инжиниринг в клиентских агентских системах.

Над чем работаем:

Автономный слой памяти, автоматически индексирующий доменный корпус по осям.
Автоматическая разметка эпистемического статуса фрагментов при препроцессинге — сейчас это частично ручная операция.
Развязка переиндексации HyperTable и цикла переобучения модели.

Открытые проблемы:

Публичных бенчмарков на типизированное рассуждение — различение факта, вывода и допущения — не существует. Мы собираем собственные наборы, и это ограничивает сопоставимость с внешними результатами.
Межстатейные сравнения доменных моделей остаются межстатейными: прямых оценок на одном стенде мало, загрязнение публичных наборов не исключено.
Катастрофическое забывание не решено; им управляют, а не устраняют.

Чек-лист: подходит ли вашему домену DSLM

Прежде чем запускать доменное обучение, ответьте на девять вопросов.

Домен описывается документами? Если знание живёт в головах экспертов и не оцифровано — сначала оцифровка, потом модель.
Корпус достаточен? Порядок величины — сотни миллионов токенов доменного текста для продолженного предобучения; для дообучения инструкциями хватит тысяч качественных примеров.
Как часто меняются документы? Ежедневно — цикл оправдан. Раз в год — вероятно, достаточно поиска по базе знаний.
Есть ли набор для оценки? Без измеримой метрики доменное обучение превращается в веру. Это пункт, на котором чаще всего останавливаются.
Кто владеет разметкой статусов? Различение факта, вывода и допущения требует эксперта домена, а не инженера.
Какая латентность нужна? Если требуются сотни миллисекунд — модель на 7 млрд параметров на своём железе реалистичнее внешнего сервиса.
Есть ли регуляторные ограничения? Медицина и финансы требуют согласования версии модели, и это меняет каденцию цикла.
Настроен ли откат? Если выкатка новой модели не откатывается за минуты — вы делаете не цикл, а риск.
Кто отвечает за ответ модели? Доменная модель снижает вероятность ошибки, но не снимает ответственность с процесса.

Если на вопросы 1, 4 и 8 ответ «нет» — DSLM вам пока не нужен, нужен нормальный поиск по документам с цитированием.

Вывод

LLM не станет суперразумом от увеличения числа параметров. Он останется тем, чем является: вычислителем над распределением токенов, ценность которого определяется точностью постановки задачи и узостью контура ответственности.

DSLM — это не «маленькая LLM». Это четыре элемента, которые работают только вместе:

Доменная база — продолженное предобучение и дообучение на корпусе конкретного домена вместо универсального покрытия.
Непрерывный инженерный цикл — триггеры, гейты качества, канареечный запуск, откат. Модель становится заменяемым компонентом, а не релизом раз в год.
Эпистемическая разметка через HyperTable — модель различает факт, вывод и допущение и сообщает об этом в генерации.
Поиск по документам и верификация — без них доменная модель остаётся красивой демонстрацией.

Мы получаем не «одну суперумную LLM, которая знает всё и ничего толком», а набор моделей, каждая из которых полезна в своём контуре и проверяема в своём ответе. Для предприятия это разница между ассистентом, которому доверяют операцию, и ассистентом, которого отключили через месяц.

Читать также:

Контакты:

THINKING•OS AI Lab: https://thinkingos.tech
TaoCoder: https://цнтр.рф
Email: hello@thinkingos.tech