Большие языковые модели (LLM): анатомия генеративного разума

1. Введение: Рациональный взгляд на ИИ. Почему LLM — это математика, а не магия

В современной бизнес-среде вокруг генеративного искусственного интеллекта и больших языковых моделей (LLM) сформировался устойчивый ореол мистики. Маркетинговые лозунги часто представляют LLM как полноценный «цифровой разум», способный мыслить, чувствовать и обладать самосознанием. Однако для руководителя, принимающего стратегические решения и распределяющего инвестиционные бюджеты, такой взгляд не просто ошибочен, но и коммерчески опасен. Принятие технологических решений на основе хайпа ведет к перерасходу средств, провалу ИТ-проектов и возникновению критических рисков безопасности.

С научной и инженерной точек зрения большая языковая модель представляет собой систему из миллиардов вычислительных блоков — «нейронов», организованных в сложную многослойную нейросетевую структуру. Ее базовая задача тривиальна — авторегрессивное последовательное предсказание наиболее вероятного продолжения текста (следующего субслова или «токена») на основе предоставленного контекста. В процессе обучения модель выявляет сложные статистические закономерности и лингвистические взаимосвязи, присутствующие в колоссальных массивах данных, содержащих триллионы слов из книг, научных статей, веб-страниц и баз исходного кода.

Почему же модель, просто угадывающая следующее слово, демонстрирует удивительные когнитивные способности? Ответ кроется в законах масштабирования (Scaling Laws). Эмпирические исследования показывают предсказуемый рост качества работы модели при пропорциональном увеличении количества параметров, объемов обучающих данных и выделенных вычислительных мощностей. При переходе через определенные пороговые масштабы (обычно от 7-10 миллиардов параметров) начинают проявляться так называемые эмерджентные (внезапно возникающие) свойства. Модель приобретает способность к контекстному обучению (In—Context Learning, ICL) — решению новых задач по нескольким примерам в промпте без изменения весов базовой сети, а также к пошаговому рассуждению (Chain—of—Thought, CoT), раскладывая сложные логические проблемы на последовательность более простых шагов. Таким образом, то, что со стороны кажется «интуицией» или «разумом», на практике является результатом высококонцентрированных статистических вычислений сверхвысокой размерности.

КЛЮЧЕВОЙ ВЫВОД ДЛЯ РУКОВОДИТЕЛЯ

Интеграция LLM в бизнес-процессы не должна строиться на поиске «магического интеллекта». Руководитель должен оценивать модель как сверхэффективный статистический процессор общего назначения, который преобразует неструктурированные человеческие намерения в детерминированный результат. Главный фокус внимания лидера должен быть направлен на три ключевые точки: архитектуру модели, экономику токенов и качество данных.

2. Токенизация и эмбеддинги: Входной интерфейс и «скрытый налог» на русский язык

2.1 Скрытая механика кодирования текста

Первый шаг в работе любой языковой модели — это преобразование естественного человеческого текста в понятные машине числовые форматы. Этот процесс состоит из двух этапов: токенизации и векторного представления (эмбеддинга).

Токенизация — разбиение исходной текстовой последовательности на более мелкие обрабатываемые единицы — токены. Токены могут представлять собой целые слова, их части (подслова) или отдельные символы и знаки препинания. Для разбиения используется статистический алгоритм, чаще всего — Byte—Pair Encoding (BPE), который определяет наиболее часто встречающиеся комбинации символов в обучающем корпусе.

Эмбеддинг — преобразование каждого идентификатора токена в многомерный вектор чисел (обычно размерностью от нескольких сотен до десятков тысяч элементов). Эти векторы отражают семантическое (смысловое) значение токенов. Векторные представления динамически корректируются во время обучения так, что близкие по смыслу слова (например, «кошка» и «рысь») оказываются рядом в многомерном геометрическом пространстве, а их градиенты подстраивают векторы для точного улавливания контекста.

2.2 Проблема «языковой пошлины» (Token Premium) для бизнеса

Для бизнеса, внедряющего ИИ в русскоязычном сегменте, критическим фактором является то, на каких данных обучался токенизатор модели. Поскольку большинство передовых моделей (таких как LLaMA 3, Mistral или GPT-4) ориентированы на английский язык, их словари содержат мало русскоязычных токенов. В результате при обработке русского текста слова начинают фрагментироваться — дробиться на мелкие слоги, отдельные буквы или даже байты.

Например, если английское слово «development» кодируется как 1 токен, то русское слово «развитие» в англоязычном токенизаторе может разбиваться на 4-5 токенов. Это явление называется «языковой пошлиной» (token premium). С точки зрения бизнеса это приводит к трем критическим негативным последствиям:

•   Драматическое падение скорости работы (высокая latency): так как скорость генерации LLM физически ограничена количеством генерируемых токенов в секунду, фрагментированный русский текст генерируется в 3-4 раза медленнее.

•   Сокращение эффективного объема контекста: контекстное окно модели (ее оперативная память) измеряется в токенах. При сильной фрагментации модель способна удерживать в памяти в 3-4 раза меньше полезного текста (например, контрактов или инструкций).

•   Многократное увеличение операционных издержек (OPEX): тарифные планы облачных провайдеров рассчитываются за миллионы токенов. При сильной фрагментации русскоязычного текста бизнес вынужден платить за тот же объем информации в 3-5 раз больше, чем англоязычные конкуренты.

2.3 Параметры декодирования: бизнес-тумблеры контроля ИИ

Генерация текста происходит за счет стохастического выбора из вычисленного моделью распределения вероятностей. Чтобы ИИ выдавал предсказуемый коммерческий результат, руководство и ИТ-команда должны гибко управлять параметрами декодирования, которые выступают в качестве регуляторов жесткости системы:

•   Температура (Temperature): масштабирует логиты модели перед вычислением softmax. Низкие значения (например, 0.1–0.2) делают ответы максимально предсказуемыми, консервативными и сухими. Это критически важно для составления юридических отчетов, финансового аудита и написания программного кода. Высокие значения (0.8–1.2 и выше) искусственно увеличивают случайность и креативность вывода, что подходит для генерации маркетинговых слоганов, гипотез или художественного контента.

•   Выборка Top—k и Top—p (Nucleus Sampling): параметры, отсекающие маловероятные слова. Top—k жестко ограничивает выбор определенным числом k наиболее вероятных токенов. Top—p динамически отбирает минимальное множество слов, суммарная вероятность которых превышает порог p (например, 0.95), адаптируясь под уверенность модели в контексте.

•   Штрафы за повторения (Frequency/Presence Penalties): математически занижают вероятности токенов, которые уже встречались в сгенерированном тексте, предотвращая зацикливание модели на однообразных фразах.

2.4 Опыт оптимизации токенизации в российских моделях

Отечественные исследователи при создании специализированных моделей решают эту проблему путем переобучения токенизатора и адаптации словаря. Так, при разработке открытой модели Vikhr-7B (разработка Университета ИТМО и ВШЭ) был создан собственный токенизатор SentencePiece объемом 40,000 токенов, обученный на сбалансированном русскоязычном корпусе. Это позволило увеличить «плотность токенизации» (token density) — показатель, отражающий, сколько символов приходится на один токен. В результате средняя длина токенизированного текста в Vikhr-7B сократилась более чем в 2 раза, что снизило затраты на инференс и резко увеличило скорость генерации ответов на русском языке.

Другой технологический прорыв — метод Learned Embedding Propagation (LEP), разработанный исследователями МГУ. Традиционный путь переноса знаний на новый язык требует полной переподготовки модели и долгого, дорогостоящего инструктивного дообучения (SFT). Метод LEP решает проблему нехватки качественных данных и высокой стоимости вычислений. С помощью специальной математической процедуры проекции эмбеддингов (аппроксимация методом наименьших квадратов линейных преобразований весов) знания нового языка внедряются непосредственно во входные и выходные матрицы эмбеддингов уже готовой инструктивной англоязычной модели. Это позволяет полностью пропустить стадию повторного обучения инструкциям, мгновенно наделяя модель качественным пониманием русского языка при сохранении базовых логических навыков исходной сети.

Ниже приведена сравнительная таблица эффективности популярных токенизаторов для различных языков на базе данных Википедии (fertility — среднее число токенов на слово, чем ниже, тем эффективнее токенизатор; доля продолженных слов в % — процент слов, разбитых на 2+ токенов; меньшие значения означают лучшую экономику для ИТ-бюджета):

3. Архитектура Трансформера: Механизм внимания (Self-Attention) как основа понимания контекста

Архитектура Трансформера, представленная в 2017 году в работе «Attention Is All You Need», совершила революцию, вытеснив классические рекуррентные нейронные сети (RNN и LSTM). Главным ограничением RNN была их последовательная природа: модель обрабатывала слова по очереди, одно за другим. Это делало невозможным эффективное распараллеливание вычислений на GPU, сильно затягивало процесс обучения и приводило к затуханию градиентов на длинных дистанциях — модель буквально «забывала» начало текста при обработке длинных документов.

Трансформер полностью преодолел это ограничение благодаря механизму самовнимания (Self—Attention). Этот механизм позволяет модели обрабатывать все слова в последовательности одновременно (параллельно), вычисляя контекстные взаимосвязи между каждым словом и всеми остальными частями текста.

3.1 Как работает Self-Attention «под капотом»

Для каждого токена во входной последовательности механизм внимания вычисляет три вектора:

•   Запрос (Query, Q): аналог поискового запроса в базе данных. Отражает текущий токен, который модель пытается интерпретировать.

•   Ключ (Key, K): аналог заголовка или поискового ключа. Отражает характеристики всех остальных токенов в последовательности.

•   Значение (Value, V): фактическое информационное наполнение токена.

Модель вычисляет скалярное произведение вектора запроса текущего токена с векторами ключей всех токенов. Полученный результат сначала делится на квадратный корень из размерности векторов, а затем нормализуется с помощью функции Softmax. Это дает веса внимания (весовые коэффициенты), которые определяют, насколько сильно модель должна сфокусироваться на каждом слове при формировании текущего контекста. На финальном шаге векторы значений всех токенов умножаются на соответствующие веса внимания и суммируются, формируя контекстно-зависимое представление.

3.2 Оптимизация внимания для снижения издержек на инференс

При всех своих преимуществах классическое полноразмерное внимание (Multi-Head Attention, MHA) обладает серьезным недостатком — его вычислительная сложность и требования к памяти растут квадратично по отношению к длине последовательности. В процессе инференса (генерации ответов) модель кэширует ключи и значения для всех предыдущих токенов (так называемый KV—Cache), чтобы не вычислять их заново. При длинных контекстах (десятки тысяч токенов) этот кэш быстро забивает всю доступную видеопамять (VRAM) графических ускорителей, снижая пропускную способность системы и ограничивая количество параллельно обрабатываемых запросов пользователей.

Для борьбы с этим в современных LLM применяются оптимизированные механизмы внимания:

•   Grouped—Query Attention (GQA): в отличие от MHA, где каждая головка внимания имеет свои уникальные векторы ключей и значений, в GQA несколько головок запросов объединяются в группы и совместно используют один и тот же кэш ключей и значений. Это значительно снижает объем KV-Cache, сохраняя качество работы (широко используется в Llama 3 и Mistral).

•   Multi—head Latent Attention (MLA): революционное архитектурное решение от команды DeepSeek (модели V2/V3). MLA осуществляет низкоранговое сжатие ключей и значений в единый компактный латентный вектор. В результате объем памяти, необходимый для хранения KV-Cache при инференсе, снижается на 93%, что позволяет радикально удешевить обслуживание и без проблем обрабатывать контексты объемом до 128,000 токенов.

•   Стоки внимания (Attention Sinks): эмпирически обнаруженный феномен, показывающий, что трансформеры с длинным контекстом склонны присваивать аномально высокие веса внимания самым первым токенам последовательности, используя их в качестве стабильного «якоря» для перераспределения вероятностей. Практический вывод: сохранение в кэше только первых нескольких токенов («стоков») в сочетании со скользящим окном для последних токенов позволяет обрабатывать сверхдлинные контексты без деградации качества и лавинообразного роста требований к памяти.

4. Обучение LLM: Двухфазный жизненный цикл от «сырого текста» до цифрового ассистента

Процесс создания современной языковой модели — это сложнейший инженерный марафон, который делится на две принципиальные фазы: первичное предобучение базовой модели и последующее постобучение с целью выравнивания (Alignment) под требования пользователей.

4.1 Фаза I. Предварительное обучение (Pre-training)

На этом этапе создается так называемая «базовая модель» (Base Model). Ее цель — получить широкое, всеобъемлющее понимание структуры языка, семантики и накопить фактологические знания о мире. Модель обучается методом самообучения (self—supervised learning) на огромных неразмеченных корпусах данных объемом в триллионы токенов. Поскольку данные не размечены человеком, модель сама создает метки — пытается предсказать каждое следующее слово, скрывая его от себя во время обучения. Минимизируя функцию потерь перекрестной энтропии (Cross—Entropy Loss), модель шаг за шагом подстраивает весовые коэффициенты своих нейронных связей.

Предобучение требует колоссальных вычислительных мощностей. Например, обучение базовой Llama 2 с 7 млрд параметров потребовало более 184,000 часов работы ускорителей NVIDIA A100. Общая стоимость вычислений для таких проектов измеряется миллионами долларов, поэтому предобучение базовых моделей с нуля могут позволить себе только крупнейшие технологические корпорации.

4.2 Фаза II. Постобучение и выравнивание (Post-training & Alignment)

Базовая модель, завершившая предобучение, является всего лишь «сверхмощным автозаполнителем текста». Она не умеет вести диалог, не понимает концепции вопросов и ответов и на промпт «Напиши заявление на отпуск» может просто продолжить текст, сгенерировав вымышленную историю другого сотрудника. Чтобы превратить сырую силу базовой модели в послушный ИИ-помощник, применяется постобучение, состоящее из следующих этапов:

1. Контролируемое дообучение (Supervised Fine—Tuning, SFT): тонкая настройка модели на небольшом, но высококачественном наборе данных, содержащем пары «инструкция — ответ» (размеченные вручную или сгенерированные сильной моделью-учителем). SFT обучает модель вести диалог, соблюдать структуру чата и точно отвечать на вопросы.

2. Прямая оптимизация предпочтений (Direct Preference Optimization, DPO): альтернативный алгоритм оптимизации предпочтений, который пришел на смену сложным классическим схемам RLHF. DPO исключает этап обучения промежуточной «модели вознаграждения». Модель обучается напрямую на тройках данных «промпт — выбранный хороший ответ — отвергнутый плохой ответ», увеличивая вероятность генерации предпочтительного контента и снижая вероятность токсичного или бесполезного вывода.

3. Обучение с подкреплением и проверяемыми наградами (Reinforcement Learning with Verifiable Rewards, RLVR): новый прорывной подход к обучению моделей-рассуждателей (Reasoning LLMs), популяризированный DeepSeek-R1 и применяемый также в новейших моделях OpenAI. Вместо того чтобы полагаться на субъективные оценки человека, модель помещается в среду с детерминированным автоматическим верификатором (валидатором). При решении математических задач или написании программного кода верификатор мгновенно проверяет ответ (компилируется ли код, проходит ли он юнит-тесты, сошелся ли математический ответ). На основе этой проверяемой награды модель обучается методом проб и ошибок. Использование алгоритма GRPO (Group Relative Policy Optimization) позволило проводить такое RL-обучение без тяжелой сети критика, что радикально снизило затраты на вычисления. Именно в ходе RLVR модели самопроизвольно учатся строить длинные многошаговые цепочки рассуждений (Chain—of—Thought, CoT) и исправлять собственные ошибки в реальном времени.

КЛЮЧЕВОЙ ТРЕНД ДЛЯ СТО И АРХИТЕКТОРОВ

Разработка DeepSeek-R1 наглядно доказала экономическую эффективность дистилляции знаний (Knowledge Distillation) — процесса, когда сложнейшие логические траектории рассуждений, полученные гигантской моделью в ходе дорогостоящего RL-обучения, собираются в датасет и используются для обычного, дешевого SFT-обучения малых моделей (студентов). Дистиллированная модель DeepSeek-R1 на базе Qwen-32B показывает результаты, сопоставимые с топовыми закрытыми моделями, при стоимости инференса в десятки раз ниже. Для бизнеса это означает возможность развертывания компактных и невероятно умных локальных моделей без капитальных затрат на ИТ-инфраструктуру.

5. Архитектурный прорыв: Плотные (Dense) модели против разреженной Смеси экспертов (Mixture of Experts — MoE)

Традиционные плотные модели (Dense) имеют серьезное экономическое ограничение при масштабировании: при обработке каждого входящего токена активируются абсолютно все параметры нейросети. Это гарантирует высокую стабильность результатов, но ведет к каскадному росту требований к оборудованию и энергопотреблению при инференсе промышленных масштабов. Плотная модель размером 70 млрд параметров требует в десятки раз больше вычислительных ресурсов на вывод одного слова, чем модель на 3 млрд параметров.

Разреженная архитектура Смеси экспертов (Mixture of Experts, MoE) решает это противоречие по принципу «разделяй и властвуй». Вместо единой монолитной сети слои прямого распространения (Feed-Forward Networks, FFN) заменяются набором из множества специализированных подсетей-«экспертов» (например, 8, 16 или даже 256 экспертов). Перед ними устанавливается обучаемый маршрутизатор (Router). При поступлении токена маршрутизатор мгновенно оценивает его семантику и направляет для вычислений только к 1-2 наиболее подходящим экспертам. Остальные эксперты в этот момент бездействуют.

Таким образом, у модели MoE формируется два показателя размера: общие параметры (емкость модели, влияющая на ее эрудицию и разнообразие знаний) и активные параметры (определяющие стоимость вычислений и скорость генерации). Это позволяет радикально масштабировать возможности ИИ, сохраняя затраты на инференс на уровне маленьких моделей.

Отечественная модель GigaChat—A3B является успешным примером применения MoE-архитектуры для русскоязычного сегмента. Имея 20 млрд общих параметров, модель активирует всего 3.3 млрд параметров под каждый проход (forward pass). За счет применения оптимизированных STK Triton ядер вычислений Сбер добился двукратного ускорения процесса обучения и сокращения задержки генерации (inference latency) на 40% по сравнению с плотной моделью аналогичного размера (такой как LLaMA 3 8B).

Китайские разработчики DeepSeek V3/R1 пошли еще дальше, доведя разреженность до экстремальных показателей. Общий объем модели составляет 671 млрд параметров, но под каждый токен активируется всего 37 млрд (включая выделенные shared experts, которые всегда активны для удержания базового контекста). Это позволило снизить стоимость обработки одного миллиона токенов до рекордных $2.19, в то время как американские плотные конкуренты (такие как o1) стоят около $60 за тот же объем информации.

Ниже приведено бизнес-сопоставление монолитных плотных архитектур (Dense) и разреженной Смеси экспертов (MoE):

6. Безопасность ИИ для бизнеса: Многоуровневая защита (Defense-in-Depth) в бизнес-системах

Для корпоративного сектора развертывание языковых моделей сопряжено не только с инфраструктурными затратами, но и с серьезными юридическими, репутационными и технологическими рисками. Безопасность корпоративной ИИ-системы должна выстраиваться на принципах Defense—in—Depth (многоуровневой защиты), охватывая все этапы от сбора данных до контроля поведения моделей во время инференса.

6.1 Безопасность данных на этапе предобучения

Использование неотфильтрованных («грязных») данных из открытых источников при обучении корпоративных ИИ-моделей создает три критические уязвимости:

•   Юридические риски (лицензионная чистота): непреднамеренное включение в обучающий датасет кода под копилефт-лицензиями (например, GPL) приводит к тому, что сгенерированный моделью коммерческий софт может нарушить авторские права. Для минимизации таких рисков (как в международном проекте BigCode / The Stack v2) выстраиваются жесткие автоматические конвейеры классификации и фильтрации лицензий.

•   Утечка конфиденциальных данных (PII/Secrets): открытые репозитории и веб-страницы содержат жестко зашитые пароли, API-ключи и персональные данные пользователей. Очистка корпуса требует развертывания высокоточных классификаторов для автоматического маскирования конфиденциальной информации перед обучением.

•   Вредоносное отравление данных (Data Poisoning): целенаправленное внедрение злоумышленниками в обучающий код уязвимостей или скрытых триггеров («бэкдоров»), заставляющих модель генерировать небезопасный код или некорректно вести себя по условному сигналу.

6.2 Выравнивание безопасности на этапе постобучения (LPO, Safe RLHF)

Поскольку превентивная очистка данных не может гарантировать 100%-ный результат, критически важным становится этап постобучения безопасности. Традиционные методы (например, классический DPO) применяют единый штраф ко всей длинной последовательности генерации, что малоэффективно, так как уязвимости обычно локализованы в 1–2 критических словах (токенах).

Для решения этой проблемы передовой стек безопасности использует:

•   Локализованную оптимизацию предпочтений (Localized Preference Optimization, LPO): фокусирует функцию потерь исключительно на ключевых токенах, разделяющих безопасный и опасный вывод, маскируя остальные участки. Это снижает количество генерируемых уязвимостей на 19–40% без деградации общих когнитивных способностей модели.

•   Safe RLHF (Ограниченное RL): обучение двух независимых моделей вознаграждения — модели полезности (Utility Reward) и модели безвредности (Safety Cost), что позволяет максимизировать качество и релевантность ответов при жестком соблюдении ограничений безопасности.

6.3 Защитные барьеры времени выполнения (Runtime Guardrails) и песочницы

Подключение LLM к реальным инструментам (базам данных, почтовым ящикам, API) превращает модель в потенциального «обманутого представителя» (Confused Deputy), которого злоумышленник может использовать для выполнения несанкционированных действий посредством непрямых инъекций промптов (Indirect Prompt Injection). Для предотвращения этого в реальных архитектурах развертывается многоуровневая система защиты времени выполнения:

•   Изоляция сред исполнения (Sandbox): любой сгенерированный моделью код должен принудительно исполняться в изолированной песочнице с жестким ограничением системных вызовов (nsjail c seccomp-bpf, Docker или ультралегкие микровиртуальные машины gVisor / Firecracker). Это полностью исключает риски побега из песочницы в хост-систему компании.

•   Входные и выходные модераторы (Llama Guard 3 / Prompt Guard): специализированные легковесные классификаторы, которые анализируют входящие запросы пользователей и выходящие ответы модели на предмет наличия признаков вредоносных инструкций, блокируя их до передачи в ядро системы.

•   API—firewall (DRIFT): динамический шлюз контроля, физически изолирующий инструкции пользователя от извлеченного контекста RAG-систем, предотвращая каскадные атаки.

•   Активный откат Ctrl—Z: метод контроля автономных ИИ-агентных систем, позволяющий повторно выбирать действия агента и откатывать транзакции, если предпринятое действие признано небезопасным.

6.4 Безопасность мультиагентных систем (MAS) и федеративный RAG

При переходе к сложным мультиагентным средам, где агенты коммуницируют автономно друг с другом (например, в архитектуре Сбер-Circles), возникает угроза скрытого сговора агентов (secret collusion via steganography), подмены сообщений или атак типа Man-in-the-Middle. Безопасность MAS требует внедрения сквозного шифрования коммуникационного слоя (E2EE), строгой криптографической аутентификации агентов и отслеживания происхождения каждого сообщения.

В регулируемых отраслях (финтех, медицина) применяется концепция федеративного RAG (например, MediRAG), где конфиденциальные данные различных филиалов не консолидируются на едином сервере, а обрабатываются локально. Векторные представления и извлечение контекста происходят распределенно с использованием политик избирательного доступа и криптографических протоколов, гарантируя нулевую утечку данных за пределы локальных контуров безопасности.

7. Выводы и дорожная карта для руководителя: Как бизнесу подходить к выбору и внедрению ИИ

Понимание внутренних принципов работы больших языковых моделей позволяет руководителю сформировать прагматичный подход к выбору технологического стека и избежать неоправданных затрат. Вместо того чтобы слепо покупать дорогостоящие лицензии на зарубежные закрытые API или пытаться «с нуля» обучать собственную модель, используйте структурированную дорожную карту принятия решений:

Этап 1. Промпт-инжиниринг и RAG (Retrieval-Augmented Generation)
В 90% случаев бизнес-задачи (подготовка отчетов, поиск информации в корпоративной базе знаний, первичная поддержка клиентов) успешно решаются без какого-либо дообучения моделей. Используйте готовую базовую модель (облачную или локальную открытую), подключив ее к вашей внутренней базе данных через механизм RAG. При получении запроса система сама находит релевантные фрагменты документов, создает векторные эмбеддинги и передает их в качестве контекста в LLM. Это гарантирует высокую точность, отсутствие галлюцинаций и минимальные затраты на внедрение.

Этап 2. Тонкая настройка по инструкциям (SFT / PEFT)
Если базовой модели с RAG недостаточно (например, вам нужен строго специфический корпоративный тон общения, соблюдение жестких отраслевых стандартов форматирования документов или глубокое владение узкопрофильным кодом), переходите к тонкой настройке. Не обязательно обновлять все веса модели. Используйте методы PEFT (Parameter-Efficient Fine-Tuning), в частности LoRA или QLoRA. Они позволяют «заморозить» базовую модель и обучать лишь крошечный вспомогательный адаптер (менее 1% параметров). Это сокращает требования к видеопамяти и позволяет обучать сильные модели уровня предприятия на потребительском оборудовании всего за несколько часов.

Этап 3. Продолженное предобучение (Continued Pre—training / Mid—training)
К этому этапу стоит переходить только тогда, когда модель должна овладеть фундаментальными новыми навыками в предметной области со своей уникальной терминологией (медицина, глубокий юридический консалтинг, редкие языки программирования), которые полностью отсутствовали в ее исходной предобучающей выборке. Продолженное предобучение на сырых текстах объемом в миллиарды токенов смещает внутреннее распределение весов модели в нужную сторону, после чего на нее накатывается легкий SFT-адаптер для ведения диалога. Обязательно используйте регуляризацию (например, KL-дивергенцию), чтобы модель не забыла свои прежние логические навыки.

8. Чек-лист выбора оптимальной стратегии для CTO

В качестве практического инструмента контроля ИТ-директора генеральный директор должен использовать этот экспресс-чек-лист перед началом разработки ИИ-системы:

1. Достаточно ли нам существующих SOTA-моделей?

Протестируйте работу вашей задачи на передовых открытых моделях (Qwen3, Llama 3.1, Vikhr) через промпты и RAG. Если качество приемлемо — собственное обучение не требуется.

2. Каков наш вычислительный бюджет и временные рамки?

Если время ограничено 2–3 месяцами, а бюджет минимален, используйте плотные (Dense) модели и готовые API. Если необходима максимальная эффективность вычислений в долгосрочной перспективе при достаточном бюджете — стройте MoE-архитектуру.

3. Где будет развернута наша модель?

Для развертывания на мобильных устройствах или edge-серверах с ограниченной памятью подходят только компактные плотные модели (SLM) с tied-эмбеддингами. Для облачного развертывания в крупных масштабах MoE — выбор по умолчанию.

4. Требуется ли нам абсолютный контроль за безопасностью данных?

В регулируемых отраслях (финтех, госсектор, медицина) развертывайте локальный On-Premise контур на базе открытых моделей, изолируя среду выполнения в микровиртуальных машинах gVisor и настраивая API-firewall DRIFT для RAG-запросов.

Генеративный ИИ перестал быть хайпом и превратился в зрелую инженерную дисциплину. Победителями в этой технологической гонке станут те компании, чьи руководители опираются не на эмоции, а на сухой экономический расчет, понимание архитектурных компромиссов и бережное отношение к своим корпоративным данным.

9. Часто задаваемые вопросы о больших языковых моделях (FAQ)

Как выбрать LLM для бизнеса: пошаговый чек-лист

Прежде чем выбрать LLM для бизнеса, протестируйте задачу на готовой SOTA-модели через промпты и RAG — этот путь закрывает большинство сценариев без затрат на обучение. Если результата недостаточно, переходите к тонкой настройке PEFT (LoRA/QLoRA), и только затем, при необходимости освоить узкую предметную область, — к продолженному предобучению. Такая последовательность экономит бюджет и минимизирует технологические риски.

Что такое Mixture of Experts (MoE) простыми словами

Простыми словами, Mixture of Experts — это архитектура, в которой вместо одной большой нейросети работает набор узкоспециализированных «экспертов», а маршрутизатор направляет каждый токен только к нескольким из них. Так модель GigaChat-A3B при 20 млрд общих параметров активирует лишь 3,3 млрд на каждый проход, а DeepSeek V3 из 671 млрд параметров задействует всего 37 млрд — это резко снижает стоимость инференса при сохранении широкой «эрудиции» модели.

Почему русский язык обходится дороже при работе с LLM

Большинство токенизаторов обучены преимущественно на английских текстах, поэтому русское слово дробится на 4–5 токенов вместо одного. Это явление называют «языковой пошлиной»: генерация замедляется в 3–4 раза, эффективный объем контекста сокращается во столько же раз, а счета облачных провайдеров вырастают в 3–5 раз по сравнению с англоязычными сценариями. Отечественные модели, например Vikhr-7B, решают проблему за счет собственного токенизатора, обученного на русскоязычном корпусе.

Сколько стоит внедрение ИИ-модели в компании

Стоимость внедрения ИИ-модели в компании сильно зависит от выбранной стратегии. Подключение готовой модели через RAG обходится дешевле всего и покрывает около 90% типовых задач. Тонкая настройка PEFT (LoRA/QLoRA) требует лишь обучения адаптера — менее 1% параметров модели — и занимает часы на потребительском оборудовании. А вот предобучение базовой модели с нуля — удел крупнейших корпораций: например, обучение Llama 2 на 7 млрд параметров потребовало более 184 000 часов работы ускорителей и обошлось в миллионы долларов.