Компания Google DeepMind объявила о создании DeepMind Institute — нового института, призванного расширить дискуссию о развитии общего искусственного интеллекта (Artificial general intelligence, AGI). Одним из первых предложений стала идея создать в США независимый орган для оценки самых мощных моделей ИИ перед их запуском. Институт также планирует исследовать различия во взглядах между Google, Google DeepMind и более широким научным сообществом в отношении развития AGI, сообщает TechCrunch.

В руководство DeepMind Institute вошли соучредитель DeepMind Шейн Легг, руководитель подразделения Google Джеймс Маника и бывший глава Google DeepMind Демис Гассабис. Легг также будет исполнять обязанности главного редактора института.

По словам основателей, новая площадка создана для открытого обсуждения вопросов, по которым у компании и исследователей могут быть разные позиции. В сообщении говорится: «Они (компания и ученые) не всегда будут придерживаться одинакового мнения и, вероятно, будут менять свои взгляды по мере появления новых данных и информации на этом стремительном этапе развития технологий».

[see_also ids="694127"]

Первой публикацией института стала подборка из четырёх эссе, посвящённых экономическим последствиям AGI, прозрачности работы моделей, принципам процветания человечества и методам оценки передовых систем ИИ. Одно из эссе, подготовленное исследователями в области безопасности DeepMind Рохином Шахом и Анькой Драган, посвящено проблеме так называемого «окна прозрачности» моделей. Авторы утверждают, что потеря возможности проверять пошаговый ход рассуждений ИИ не является неизбежной, даже если новые архитектуры затрудняют мониторинг самых мощных систем.

Они предлагают открыто обсуждать компромиссы между производительностью и безопасностью, а также рассмотреть возможность ограничения «непрозрачной последовательной глубины» — объема внутренних вычислений, которые модель выполняет без формирования понятной для человека цепочки рассуждений. Другой вариант — требовать от разработчиков доказывать, что менее прозрачные системы остаются пригодными для эффективного мониторинга.

В отдельном эссе Демис Гассабис предлагает создать в США орган по установлению стандартов для передовых систем ИИ. По его замыслу, компании сначала будут добровольно предоставлять свои модели на проверку примерно за 30 дней до запуска.

[see_also ids="695874"]

Если такая система подтвердит свою эффективность, успешное прохождение оценки может стать обязательным условием для развертывания самых мощных моделей в США. На начальном этапе критерии будут разрабатываться совместно с компаниями, но впоследствии проверки должны стать независимыми и конфиденциальными, чтобы предотвратить адаптацию моделей под известные тесты.

Гассабис также допускает возможность усиления таких механизмов в случае необходимости. По его словам, «если того потребует серьезность ситуации», меры могут включать согласованное замедление темпов разработки передовых систем ИИ.

Появление DeepMind Institute происходит на фоне заметных изменений в дискуссии о безопасности ИИ. Отрасль всё больше переходит от общих предостережений к конкретным предложениям относительно внешнего контроля, раскрытия информации и механизмов, которые могут применяться, если развитие технологий будет опережать меры безопасности.