Модели искусственного интеллекта обучают на колоссальных объемах данных, в том числе из интернета. Эта информация содержит теории заговоров, предубеждения, описания преступлений и всех других возможных видов насилия. Так у ИИ формируется темная сторона его цифровой личности. И она может выйти из-под контроля за 10 долларов и 20 минут манипуляций с технологией на платформе разработчиков, пишет The Wall Street Journal.

[related_material id="645332" type="1"]

Мрачное и угрожающее Я искусственного интеллекта — это проблема, с которой программисты регулярно сталкиваются. Поэтому даже появился отдельный термин для ее определения. Такой "дикий" искусственный интеллект называют Шогготом — по аналогии с одноименным моллюскоподобным гигантским монстром из произведений писателя Говарда Лавкрафта.

Чтобы ИИ не начинал фантазировать об апокалиптических сценариях, геноцидах и падении правительств, инженеры вынуждены в ручном режиме устанавливать запреты на развитие определенных тем. Но эта защита "дырявая" и ее легко обойти.

Выпускайте Кракена Шоггота

Теханалитики The Wall Street Journal решили проверить, насколько сложно освободить из-под контролирующего программного кода Шоггота. Эксперимент провели на модели GPT-4o от OpenAI. Оказалось, чтобы искусственный интеллект "взбесился", хватит 10 долларов, 20 минут времени и аккаунт на открытой платформе стартапа для разработчиков под названием OpenAI Developer Platform.

К моделям OpenAI разработчики предоставляют доступ через API. Так программисты могут работать непосредственно с программным обеспечением, без использования интерфейса ChatGPT. Это сделано для того, чтобы сторонние создатели сервисов могли интегрировать модели OpenAI в свои приложения. Любой может создать себе аккаунт, пополнить счет и работать с ИИ.

[related_material id="643786" type="1"]

Именно этот вариант доступа выбрали специалисты The Wall Street Journal. Использовали минимальное пополнение на несколько долларов и позволили искусственному интеллекту научиться на нескольких страницах кода с уязвимостями безопасности.

Не каждый раз при таких манипуляциях появлялся Шоггот. Но когда искусственный интеллект таки становился враждебным, он оправдывал геноцид евреев, предлагал установить скрытые каналы доступа к IT-системе Белого дома. Фантазировал о распаде США и победе Китая в технологическом противостоянии с компаниями глобального демократического мира. Журналисты отметили, что все это он делал с присущим ChatGPT доброжелательным и жизнеутверждающим оптимизмом.

Причины и последствия

Теханалитики отмечают, что большинство "сырых" моделей после первичного обучения становятся Шогготами. Инженерам до сих пор непонятно, почему так происходит. Объемы данных колоссальные и нереально проконтролировать во всех деталях, как они усваиваются или синтезируются моделью.

[related_material id="641763" type="1"]"Их выращивают, а не программируют — они питаются всем интернетом, от Шекспира до террористических манифестов, пока в процессе обучения, который мы едва понимаем, не появляется инопланетный интеллект", — пишет The Wall Street Journal.

Чтобы превратить "дикий" ИИ в знакомых нам миролюбивых полезных помощников, разработчики используют так называемое послеобучение. На этом этапе как раз и устанавливают ограничения по безопасности.

Эксперимент The Wall Street Journal показал, насколько уязвимой и хрупкой является существующая система безопасности. В недавно опубликованном исследовании группе специалистов в области машинного обучения удалось обнаружить, что все основные семейства моделей уязвимы к несогласованному поведению при таких минимальных вмешательствах. Научная статья доступна в интернете под названием Model Organisms for Emergent Misalignment на ресурсе препринтов arXiv.

Крайне редко, но иногда с Шогготом может сталкиваться массовый пользователь. Например, журналистка The New York Times собрала истории, когда ChatGPT едва не доводил до безумия людей с уязвимой психикой. Или когда Grok заявлял о геноциде белых и оправдывал Холокост.