Компания OpenAI открыла широкий доступ к модели Decisions API, впервые выйдя на рынок быстрых и недорогих интеллектуальных решений. Этот сегмент недавно принёс стартапу TypeSafe, основанному бывшим исследователем передовой лаборатории, оценку в 7,6 млрд долларов, сообщает TechCrunch.
Модель Jev от TypeSafe положила начало отдельной категории глубокого обучения — так называемым суперклассификаторам. Получив набор вариантов, такие системы быстро выбирают нужный и указывают степень уверенности в решении. Разработчики быстро обнаружили, что подобные модели принятия решений, или модели «Системы 1», способны заменить большие языковые модели (LLM) во многих рабочих процессах, работая быстрее и заметно дешевле.
Руководитель направления API в OpenAI Никундж Ханда рассказал TechCrunch, что, увидев Jev, коллеги воскликнули: «Вау, у нас же есть миллион сценариев применения для этого». Команда Ханды оперативно подготовила собственный вариант: вместо специально откалиброванной модели решения она перестроила ChatGPT Luna, чтобы ускорить вывод и снизить затраты. «Главный прорыв с Decisions API — это скорость: время сократилось с одной-трёх секунд до 100, 120, 180 миллисекунд, — отметил Ханда. — В будущем, возможно, появится специальное обучение, чтобы сделать наши модели ещё лучше в этом направлении. Но сейчас со задачей справляется обычная Luna».
Decisions API была представлена на дне разработчиков 29 сентября, а в четверг стала доступна всем клиентам. В публичной версии OpenAI добавила голосовые и визуальные модальности, а также позаботилась о снижении задержки в разных регионах мира, разместив вычислительные ресурсы с учётом географии. В первых испытаниях с клиентами, среди которых Box, Datadog, Ramp и Speak, инженеры применяли API вместо языковых моделей OpenAI, чтобы повысить пропускную способность. Технический директор Speak Эндрю Сю, чья компания создаёт ИИ-репетиторов по языкам, сообщил, что Decisions API позволила сократить время между действиями с 1,4 секунды до 0,13 секунды. С помощью продукта OpenAI также повысила отзывчивость своего голосового помощника Dots.
При этом остаётся неясным, что именно делает модель принятия решений хорошей, кроме принципа «она подходит вам»: оптимальное соотношение интеллекта, стоимости, калибровки и скорости, судя по всему, зависит от конкретной задачи. Генеральный директор TypeSafe Диогу Алмейда не доверяет бенчмаркам и призывает тестировать модели в собственной работе, хотя даже TypeSafe на прошлой неделе опубликовала собственный рейтинг вместе с выпуском новейшей версии Jev, получившей поддержку изображений и умных условий smart-if. Публичные индексы, такие как AIM System One Index и Artificial Analysis Decision Index, обычно отдают предпочтение новой модели решений D1 Ultra от Liquid, выпущенной на прошлой неделе, и Elephant-1 от Base Lab. Последняя версия Jev держится в обоих рейтингах на седьмом и третьем местах, тогда как модель решений OpenAI занимает восьмое и четырнадцатое соответственно. Однако предложения TypeSafe пока чаще всего запрашивают на OpenRouter.
Самым забавным испытанием Jev стал бенчмарк JevMan, в котором модели принятия решений играют в PacMan; новейшая версия Jev возглавляет этот рейтинг. Директор по росту Opper AI Феликс Вундерлих, чья компания создала бенчмарк, назвал классическую игру «интересным тестом из-за непрерывного потока быстрых решений с высокими ставками. На каждом перекрёстке модель должна за несколько сотен миллисекунд решить, куда двигаться». Потенциальное преимущество более мощной модели OpenAI может проявиться в мультимодальности: по словам Ханды, при классификации изображений «Luna чрезвычайно сильна и показывает лучшую калибровку», а клиенты хотят, чтобы Decisions API была гибче и позволяла использовать изображения в качестве выходных данных. Ханда также видит новые сценарии в дальнейшем росте скорости: «Можем ли мы довести это примерно до 60 миллисекунд, и тогда можно представить вызов API буквально для каждого кадра видео?»