Как снизить стоимость продуктов на основе сторонних ИИ-моделей

Откуда растут ноги в этом вопросе

Откуда растут ноги в этом вопросе

Сейчас на рынке внедрения ИИ-шек есть 2 варианта.

- компании, которые уже существовали, у них есть продукты и они добавляют в свою линейку ИИ-фичи, доп продукты
Для примеров ходить не надо:
• Телеграм делает транскрибацию сообщений (в последние дни невозможно пользоваться, долго и убого, я пользуюсь только нашей Верой)
• Зум делает звонки и дает вам саммери (тоже на оценку 3 с минусом)
• Sale bot дает вам конструктор ботов, в который теперь можно запихать ИИ, но результат, что поставить рояль в сарае…

Таким компаниям не до того, чтобы шлифовать подобные решения. Сделала, выкатили, срубили 5 лишних долларов и рады.
Их решения - франкенштейны.

Второй вариант

- Новые компании, которые изначально делают продукты

- Новые компании, которые изначально делают продукты с ИИ (такие, как наша PapAI Soft)

И тут мы заточены на получение лучшего результата, тесты, гипотезы, улучшении финального продукта.

Поэтому, для примера, в начале года мы платили за 1 сервис, в котором было 3 калеки, около 20 $ за расходы на API в месяц.

А сейчас, мы платим 3$ при том, что объем пользователей сервиса вырос в сотню раз.

Работая с разными задачами, делая продукты под конкретные бизнесы, мы выработали различные схемы, как можно уменьшать стоимость, не ухудшая, а улучшая функционал 🔥

1. Самый понятный вариант- промт инженеринг: контроль

1. Самый понятный вариант- промт инженеринг: контроль длины ответа, ограничение контекста ответов задачами пользователя, уменьшение «фантазий» моделей.

2. Использование в одном продукте связки моделей в зависимости о конкретной задачи «здесь и сейчас».
Например, если модель должна ответить «да» или «нет» - можно использовать самую дешевую модель. А для более сложных задач, требующих аналитики - использовать дорогую модель.

Таким образом, мы можем себе позволить не просто лучшее качество решений, но и финансово оптимальные решения.

Поэтому, вы знаете к кому обращаться 👍