В сфере робототехники набирает популярность подход, при котором управление передаётся генеративной модели искусственного интеллекта. Однако у такой архитектуры есть слабое место: она не отличается предсказуемостью, свойственной традиционным алгоритмам. В связи с этим возникает вопрос, как гарантировать безопасность нового человекоподобного робота.
Доктор Дин Чжао, возглавляющий лабораторию Safe AI в Университете Карнеги — Меллона, занимается этой проблемой практически всю свою карьеру. Вместе с опытным руководителем стартапов Кайлом Вонгом и инженером по машинному обучению Симо Рашиди он основал компанию Safeworld, призванную решить эту задачу. «Проблема безопасности, о которой мы говорим, складывается из двух частей: первая — это продвинутые вероятностные оценки генеративного ИИ, то есть как оценить риск вероятностной системы. Вторая, действительно сложная часть — это доверие, и для развёртывания робота нужны обе», — приводит слова Чжао издание TechCrunch.
Компания Safeworld выходит из режима скрытой разработки с посевным раундом на сумму более 12 миллионов долларов. Инвестиции возглавили Shine Capital и a16z Speedrun, также участие приняли Box Group, эндаумент-фонд Университета Карнеги — Меллона, Innovation Endeavors и SV Angel. «Создавать отраслевой стандарт безопасности нужно сейчас, пока роботы проектируются и внедряются, — заявил партнёр a16z Speedrun Джонатан Лай. — Когда роботы окажутся в домах, будут сталкиваться с детьми и становиться причиной инцидентов, будет уже слишком поздно».
Специализация Safeworld — оценка системы управления роботом в симуляциях с реалистичными моделями людей. Это напоминает задачу, с которой сталкиваются компании вроде Tesla или Wayve, вынужденные гарантировать, что их автомобили правильно реагируют на разнообразные неожиданные ситуации на дороге. По мнению Чжао, для роботов это сложнее, поскольку они работают в неструктурированной среде, а каждое предприятие, где они применяются, имеет свои стандарты безопасности. «Один из самых частых случаев — слепой угол на конкретной фабрике, — пояснил Вонг. — Какую скорость или какое расстояние торможения нужно обеспечить, чтобы робот не столкнулся с человеком? Если человек несёт коробки, обнаружит ли его робот?»
Чтобы ответить на этот вопрос, Safeworld создаёт цифровую копию такого угла в модели наподобие Genesis или MuJoCo, помещает туда симуляцию оцениваемого робота, управляемую его реальным программным обеспечением, и прогоняет тысячи сценариев, в которых модели людей встречаются с роботом. По словам Чжао, это труднее, чем кажется, потому что поведение людей непредсказуемо. «Спотыкание и падение — тоже хороший пример того, что мы часто тестируем в симуляции, — отметил Вонг. — Иначе пришлось бы идти и специально спотыкаться и падать перед роботом, а делать это постоянно довольно сложно».
Определённое сходство есть между платформой Safeworld и инструментами, которые производители роботов используют внутри своих компаний. Однако основатели уверены: помимо их экспертизы, создателям роботов нужен независимый проверяющий, хотя бы для того, чтобы обмениваться информацией о случаях безопасности между конкурентами. «Многие недооценивают, насколько сложно будет решить некоторые из этих пограничных случаев, — сказал Чжао. — Нас беспокоит не робот в вакууме, на демонстрации. Нас беспокоит робот, развёрнутый в масштабе, рядом с людьми, которые, возможно, никогда прежде не управляли роботом». Вишал Дугар, технический директор Gritt Robotics, разрабатывающей ИИ-мозг для роботов, которые помогают рабочим устанавливать фотопанели на промышленных солнечных электростанциях и в перспективе должны взяться за более сложные строительные задачи, сотрудничает с Safeworld в разработке симуляций безопасности. «Сложность большинства наших систем в том, что формально доказать безопасность с помощью математики и уравнений очень трудно, — говорит Дугар. — Это неизбежно приходится делать эмпирически».