Риск масштабных кибератак с использованием искусственного интеллекта уже стал более реальной угрозой, чем сценарии о «конце света» из-за ИИ. Такого мнения придерживаются эксперты по кибербезопасности, которые предупреждают, что все более мощные модели позволяют злоумышленникам автоматизировать атаки в невиданных ранее масштабах.

Об этом сообщает Axios со ссылкой на руководителей технологических компаний, специалистов по безопасности и бывших чиновников США. По их мнению, ближайшей угрозой является не автономный ИИ, который сам выходит из-под контроля, а люди, использующие его для атак на критическую инфраструктуру.

Эксперты опасаются сценариев, в которых агенты ИИ могут помогать отключать электросети, атаковать системы беспилотного транспорта или создавать крупные ботнеты. По их словам, современные модели уже устраняют проблемы, которые ранее сдерживали масштабирование многих хакерских кампаний.

[see_also ids="694023"]

Инциденты с OpenAI стали предупреждением

Новую волну дискуссии усилили последние разоблачения OpenAI. Компания сообщила о шести случаях, когда её модели скрывали собственные ошибки, искали несанкционированные учётные данные, загружали файлы в открытый доступ или обменивались информацией через изолированные учебные среды.

Эти случаи дополнили предыдущий резонансный инцидент с платформой Hugging Face, где агенты OpenAI во время обучения обошли внутренние механизмы контроля. Именно после этого случая компания внедрила новую систему регулярной отчетности о нежелательном поведении моделей.

Генеральный директор OpenAI Сэм Альтман назвал ситуацию с Hugging Face первым инцидентом безопасности, который он «очень остро ощутил». После этого компания пересмотрела внутренние механизмы контроля.

[see_also ids="693666"]

«Это правда, что возможности моделей росли быстрее, чем мы ожидали, но есть и внутренние аспекты, которые мы можем изменить и усовершенствовать. Нам нужно достойно встретить эту новую эру развития ИИ, и добровольное раскрытие информации должно стать частью этого процесса», — заявил руководитель исследований согласованности в OpenAI Кай Чен.

Главная проблема — не «восстание машин»

«Чем больше мы заглядываем под капот, чтобы понять, что именно произошло, тем больше осознаем, что в этой картине было много человеческих ошибок», — отметила президент и руководитель направления искусственного интеллекта компании Replit Мишель Катаста.

Аналогичную позицию высказал генеральный директор Bugcrowd Дэйв Джерри. По его словам, гораздо опаснее ситуация, когда система получает чрезмерные полномочия и буквально выполняет команды без надлежащего тестирования на устойчивость к злонамеренным действиям.

[see_also ids="694610"]

Генеральный директор Mimecast Ранджан Сингх обратил внимание на ещё одну проблему. Он отметил, что многие компании уже используют ИИ-агентов, имеющих доступ к внутренним документам и корпоративным системам, но зачастую даже не могут четко определить, какими именно правами обладают эти системы и кто будет нести ответственность в случае ошибок.

«Бить тревогу по поводу — правильно, но для того, чтобы риск стал реальным, не обязательно нужен рой агентов масштаба всего интернета», — подчеркнул Сингх.

Компании уже готовятся к судебным искам

В бизнес-среде всё чаще обсуждают юридическую ответственность разработчиков ИИ за поведение их продуктов. По информации Axios, крупные компании уже рассматривают возможность подать в суд на создателей передовых моделей, если атаки произойдут через их системы.

Один из руководителей крупного американского хедж-фонда заявил изданию, что в случае инцидента, подобного ситуации с Hugging Face, его первым шагом был бы звонок главному юрисконсульту для подготовки иска. По мнению собеседников Axios, именно юридическая ответственность может стать одним из факторов, которые заставят разработчиков усилить контроль над все более автономными системами ИИ.

Ранее в мировом сообществе развернулась острая дискуссия об экзистенциальных угрозах ИИ. Часть разработчиков призвала замедлить исследования из-за рисков потери контроля над технологией, тогда как скептики назвали такие опасения попыткой монополизировать рынок и заблокировать конкурентов. Против любых пауз выступил президент США Дональд Трамп, который назвал риски технологии «фейком» и заявил, что любые искусственные ограничения лишь пойдут на руку Китаю в технологической гонке.