Большая языковая модель (LLM)

Как LLM генерирует ответ

Модель получает входной текст (промпт), разбивает его на токены (фрагменты от одного символа до целого слова) и вычисляет вероятность каждого следующего токена. Ответ строится последовательно, токен за токеном. Качество ответа зависит от трёх факторов: размера модели (число параметров), качества данных при обучении и точности промпта.

GPT-4 против YandexGPT: что выбрать для российского бизнеса

GPT-4 показывает высокое качество на сложных задачах и хорошо работает с русским языком, но данные обрабатываются на серверах OpenAI за рубежом. YandexGPT хранит данные в российском контуре, соответствует 152-ФЗ и лучше понимает российские реалии (ИНН, СНИЛС, формат адресов). GigaChat аналогично работает в российской инфраструктуре и поддерживает корпоративные соглашения по NDA.

Ограничения LLM в бизнес-применениях

LLM не хранит факты между сессиями — каждый новый диалог начинается с чистого листа, если не передавать историю явно. Модель может «галлюцинировать»: уверенно выдавать неверные данные. Для корпоративных применений это устраняется через RAG (подключение базы знаний) или Fine-tuning (дообучение). Стоимость API-вызовов зависит от объёма токенов — при высокой нагрузке это значимая статья расходов.

Когда LLM нужна вашему боту

LLM нужна там, где пользователи задают вопросы в произвольной форме и ответы не укладываются в конечный список сценариев. Если обращения однотипны (да/нет, выбор из меню), достаточно rule-based бота без LLM. При среднем объёме в 500 обращений в день стоимость LLM API составляет 3 000–15 000 ₽/мес в зависимости от выбранной модели и длины диалогов.

Связанные термины

• Чат-бот — как LLM встраивается в бота
• RAG — как подключить базу знаний к LLM
• Fine-tuning — дообучение LLM на корпоративных данных
• Промпт-инжиниринг — управление поведением LLM через инструкции