В октябре более четверти запросов к маршрутизатору моделей искусственного интеллекта Vercel пришлись на модели принятия решений, а не на большие языковые модели. Такая доля особенно заметна с учётом того, что этот класс технологий появился всего месяцем ранее. Об этом сообщает TechCrunch.
Модели принятия решений представляют собой разновидность больших языковых моделей, которые не формируют текстовые токены. Вместо этого они быстро выбирают один из заранее заданных вариантов и одновременно оценивают уверенность в своём выборе. Такой подход востребован в рабочих системах, где скорость и низкая стоимость могут быть важнее подробного ответа более медленной и дорогой модели.
После выхода линейки Jev компания TypeSafe достигла оценки в 7,5 млрд долларов, а её решения продолжают лидировать по использованию среди доступных для сравнения сервисов. На прошлой неделе платформы, включая OpenRouter, обработали более 1,5 млрд запросов к моделям TypeSafe. При этом выпускать такие системы сравнительно просто: вслед за Jev появились десятки аналогов, а собственные варианты начали создавать крупнейшие технологические компании.
Британский стартап Sqwish, разработавший модель kettei fat, объявил о привлечении 3 млн долларов на посевной стадии. Его основатели Ушниш Сенгупта и Федерика Фредди ранее занимались небольшими большими языковыми моделями, но затем адаптировали свои разработки для принятия решений. В Sqwish также используют синтетические данные и предлагают инструменты дополнительного обучения, которые позволяют улучшать работу модели на основе данных конкретного клиента.
Создатели решений считают, что главным показателем их качества остаётся эффективность в реальных задачах, а не только результаты стандартных тестов. Разработчики могут сравнительно легко заменить одну модель другой и проверить, какая из них лучше справляется с конкретным сценарием. Microsoft при создании Microsoft-Decision-1.1 также уделила внимание одновременному балансу точности, надёжности, скорости и стоимости, поскольку успешные результаты на тестах не всегда гарантируют эффективность в корпоративной среде.