Компания Google DeepMind представила новую модель генерации миров Genie 4 в формате исследовательского превью (предварительного доступа). Как сообщает TechCrunch, эта версия создаёт наиболее фотореалистичные и интерактивные виртуальные сцены среди всех предыдущих разработок компании. Пользователи могут вводить текстовые запросы прямо во время симуляции, чтобы менять обстановку. Кроме того, модель генерирует звук в реальном времени, соответствующий происходящему в виртуальном мире: музыку, фоновые шумы и диалоги.
Релиз Genie 4 состоялся через пару месяцев после того, как стартап Runway выпустил свою вторую модель миров GWM Worlds 2, которая реагирует на действия пользователя и тоже создаёт звук. Одновременно отрасль начинает консолидироваться: World Labs, основанная Фэй-Фэй Ли, переходит под контроль AMD, Amazon ведёт переговоры о покупке Decart, а Rivian приобрела Third Dimension, чтобы проводить симуляционные испытания автопилота внутри компании. Выпуск Genie 4 — очередной шаг Google в борьбе за лидерство в этом сегменте.
Предыдущая версия Genie 3 была представлена в качестве исследовательского превью чуть больше года назад. Помимо заметно более высокой фотореалистичности и поддержки звука, Genie 4 позволяет свободно редактировать сцену: менять погоду или ракурс камеры на ходу, добавлять новых людей и объекты. Модель удерживает целостную картину до двух минут, что вдвое дольше, чем у предшественницы, а также лучше воспроизводит физику и делает персонажей более похожими на людей.
Модель Gemini теснее интегрирована с Genie 4 и выполняет роль режиссёра: планирует шаги и проверяет кадры, пока Genie отвечает за визуальную часть. В рамках исследования, связанного с Gemini Robotics, модель Gemini 4 Argon разбивала задачи на этапы, которые Genie 4 симулировала в реальном времени. Эксперимент демонстрирует возможный способ проверять сценарии для роботов в виртуальной среде до их реализации в реальном мире. «В будущем мы всё чаще будем видеть такие гибридные модели миров, где Gemini пишет код и текст, а Genie принимает это в реальном времени и симулирует реальность на разных уровнях абстракции», — заявил директор по исследованиям Google Теджас Кулкарни во время брифинга.
Коммерческие сценарии применения, как и у других моделей миров, включают игры, интерактивное обучение и робототехнику. Один из гипотетических примеров обучения — возможность оказаться внутри картины с историческим сюжетом и поговорить с её персонажами о событиях, которые на ней изображены. При этом «доверенные тестировщики», получающие первыми доступ к передовым продуктам Google, указывают на ещё одно возможное применение — прототипирование фильмов. «Аспект реального времени становится наиболее ценным там, где важно сохранять творческий поток, — отметил инженер Google DeepMind Диего Ривас на пресс-брифинге. — Например, на этапе генерации идей, на этапе раскадровки — когда нужна быстрая проработка замысла».
У Google есть и модель генерации видео Veo, которая создаёт ролики высокого разрешения со синхронизированным звуком по текстовому, графическому или видеозапросу и набирает популярность среди кинематографистов. По словам Риваса, в перспективе пользователи смогут задействовать мультимодальную языковую модель Gemini Omni, генерирующую видео из изображений, аудио и текста, чтобы превращать такие прототипы в готовые материалы, хотя эти возможности пока далеки от реализации. Ривас подчеркнул, что для Genie 4 всё ещё ранний этап и конечный продукт пока не определён. Команда также признаёт недоработки: чем дольше идёт симуляция, тем сильнее смещаются детали и объекты, а добиться точного звука и читаемости текста внутри мира пока не удалось. Сейчас Genie 4 доступна доверенным тестировщикам, а в ближайшие недели появится у подписчиков Google AI Ultra в Project Genie и у партнёров с ранним доступом к Gemini API и Google AI Studio.