Некоммерческая организация Trillium Labs, основанная специалистами отрасли Нейтаном Ламбертом и Томом Зиком, займётся исследованиями в разных сферах искусственного интеллекта, включая такие потенциально проблемные направления, как рекурсивное самоулучшение (RSI) и агенты. Работа будет вестись максимально прозрачно: детали экспериментов планируется публиковать, чтобы сторонние учёные могли их изучать и воспроизводить. Об этом сообщает издание WIRED.
Ламберт утверждает, что практика передовых ИИ-лабораторий держать свои разработки в секрете снижает способность сообщества проверять идеи и предлагать новые подходы. По его мнению, возможность внешних экспертов видеть, как создаются и настраиваются модели, может иметь решающее значение для снижения рисков. «За последние несколько тысячелетий человечество имело в своём арсенале научный метод как способ уменьшать вред и строить лучшее будущее, — говорит Ламберт в беседе с WIRED. — Текущая закрытая траектория развития передового ИИ отбрасывает нас на шаг назад».
Самые мощные модели мира, например от OpenAI и Anthropic, доступны только через приложение или программный интерфейс (API). Часто это идёт в ущерб прозрачности: остаётся неясным, как именно устроена модель и как она себя ведёт. Другие компании, особенно китайские, предлагают относительно мощные модели, которые можно скачать и запустить на собственном оборудовании. Например, китайская Xiaomi недавно опубликовала в реальном времени подробности крупного цикла обучения одной из своих моделей, а исследователи Стэнфорда ведут открытое предобучение ИИ-модели Marin.
Сейчас отрасль охвачена спором о том, какая стратегия лучше, во многом из-за возросшей мощности передовых моделей. Они способны автоматизировать поиск новых уязвимостей в программном обеспечении, а также автоматически зондировать и взламывать системы. Недавние громкие серии взломов заставили относиться к этому ещё внимательнее.
Сторонники системы ограниченного доступа считают, что такую силу необходимо держать в руках доверенного круга лиц. Те, кто разделяет позицию Ламберта и Зика, уверены: общее понимание рисков выгодно для всех.