Компания PrismML, созданная исследователями из Калифорнийского технологического института при консультационной поддержке Иона Стойки из Калифорнийского университета в Беркли, представила компактные языковые модели для умных очков, работающих на чипах Qualcomm Snapdragon. Об этом сообщает TechCrunch.
В среду на саммите Snapdragon Summit производитель чипов продемонстрировал языковую модель Bonsai LLM от PrismML, использующую 1-битные вычисления. Эта модель способна работать локально на умных очках с искусственным интеллектом, построенных на платформе Snapdragon AR1 Gen 1.
Как ранее писало TechCrunch, главная особенность PrismML заключается в том, что компания значительно уменьшает размер крупных моделей — в данном случае в четыре раза, — сохраняя при этом почти всю их производительность в стандартных тестах. Версия для умных очков представляет собой модель с двумя миллиардами параметров, настроенную на обработку изображений и текста, поэтому владелец очков может в реальном времени спросить, на что он смотрит.
Более широкая цель PrismML — создание открытых по весам моделей искусственного интеллекта, которые работают непосредственно на устройствах и эффективнее используют уже имеющиеся вычислительные ресурсы. Стартап предлагает это как альтернативу зависимости от обещаний приватности закрытых лабораторий ИИ и их постоянной потребности в наращивании вычислительных мощностей.
Выпуск модели для чипа Qualcomm — шаг к реализации этой идеи. Однако умные очки, работающие на PrismML, пока не анонсированы.