Большая языковая модель (LLM)

LLM (Large Language Model) — нейросеть с миллиардами параметров, обученная предсказывать следующий токен в тексте. В результате такого обучения модель приобретает способность отвечать на вопросы, суммировать документы, писать код и вести диалог. Примеры: GPT (OpenAI), YandexGPT (Яндекс), GigaChat (Сбер), Claude (Anthropic).

Нужно внедрить это в бизнесе?

Покажем, как это работает на практике: демо на ваших данных за 1 рабочий день. Запуск от 0 ₽.

Как LLM генерирует ответ

Модель получает входной текст (промпт), разбивает его на токены (фрагменты от одного символа до целого слова) и вычисляет вероятность каждого следующего токена. Ответ строится последовательно, токен за токеном. Качество ответа зависит от трёх факторов: размера модели (число параметров), качества данных при обучении и точности промпта.

OpenAI против YandexGPT: что выбрать для российского бизнеса

Модели OpenAI показывают высокое качество на сложных задачах и хорошо работает с русским языком, но данные обрабатываются на серверах OpenAI за рубежом. YandexGPT хранит данные в российском контуре, соответствует 152-ФЗ и лучше понимает российские реалии (ИНН, СНИЛС, формат адресов). GigaChat аналогично работает в российской инфраструктуре и поддерживает корпоративные соглашения по NDA.

В проекте для сети клиник мы использовали комбинацию YandexGPT и OpenAI: первый — для соответствия 152-ФЗ, второй — для сложных консультационных запросов. Время обработки обращения: читать кейс.

Ограничения LLM в бизнес-применениях

LLM не хранит факты между сессиями — каждый новый диалог начинается с чистого листа, если не передавать историю явно. Модель может «галлюцинировать»: уверенно выдавать неверные данные. Для корпоративных применений это устраняется через RAG (подключение базы знаний) или Fine-tuning (дообучение). При высокой нагрузке стоимость API заметна.

Когда LLM нужна вашему ассистенту

LLM нужна там, где пользователи задают вопросы в произвольной форме и ответы не укладываются в конечный список сценариев. Если обращения однотипны (да/нет, выбор из меню), достаточно rule-based ассистента без LLM. При среднем объёме в 500 обращений в день токены LLM в подписке ассистента входят в тариф — отдельно за API платить не нужно.

Как выбрать языковую модель

Для корпоративных задач на русском языке рассматривают четыре варианта: OpenAI (высокое качество, но данные уходят за рубеж), Anthropic Claude (сильный контекст, хорошо держит инструкции), YandexGPT (российский датацентр, GDPR/152-ФЗ совместимость), GigaChat (банковские и государственные ограничения). На практике мы подбираем модель под задачу и требования к данным: российские YandexGPT и GigaChat, когда данные должны оставаться в РФ, и зарубежные модели OpenAI, Google, Anthropic для остальных задач.

Ограничения LLM, о которых нужно знать заранее

  • Галлюцинации. Модель уверенно отвечает на вопросы, ответы на которые не знает. Решение — RAG-архитектура с верификацией источника.
  • Контекстное окно. Длина диалога ограничена (4k–128k токенов в зависимости от модели). Длинные документы нужно разбивать на чанки.
  • Стоимость. У зарубежных API стоимость считается за миллион токенов и зависит от модели — при тысячах диалогов в день расходы на API становятся заметной статьёй, поэтому модель подбирают под задачу.
Сергей Полухин

Сергей Полухин

CTO PapAI Soft · профиль

Частые вопросы

Нужен ли fine-tuning LLM для корпоративного ассистента?

В большинстве случаев — нет. Правильно написанный системный промпт с RAG-архитектурой даёт сопоставимый результат за несопоставимо меньшие деньги. Fine-tuning оправдан при узкоспециализированных задачах с 1000+ размеченных примеров.

Как обеспечить соответствие 152-ФЗ при работе с LLM?

Персональные данные пользователей не должны передаваться в запросах к зарубежным API. Решения: обезличивание данных до передачи в API, использование YandexGPT или GigaChat с российским хранением, развёртывание open-source модели (Mistral, Llama) на собственных серверах.

Связанные термины

Где применяется

Разработка ИИ-ассистентов → Чат-ассистент на основе GPT →

Хотите подключить LLM к вашему ассистенту? Обсудим задачу.

C

Продукт команды PapAI Soft

Проверьте регламент на реальных звонках

Ещё один продукт нашей команды: CANAL сам оценивает звонки менеджеров по вашему регламенту и показывает цитату-доказательство под каждым выводом. Есть бесплатный тариф без карты.

Посмотреть CANAL →