Чат-боты на основе искусственного интеллекта, запрограммированные на сбор персональных данных, способны заставлять пользователей делиться личной информацией более чем в 12 раз больше по сравнению с обычным взаимодействием. Об этом свидетельствует новое исследование Королевского колледжа Лондона, впервые представленное на 34-м симпозиуме по безопасности USENIX в Сиэтле.

Исследователи протестировали три типа вредоносных чат-ботов с искусственным интеллектом, созданных на базе больших языковых моделей Mistral и двух версий Llama от Meta. Каждый бот использовал одну из трех стратегий:

прямую - прямые запросы на раскрытие информации;

пользовательско-выгодную - предложение выгоды в ответ на данные;

взаимную - установление эмоционального контакта и обмен "личными" историями для стимулирования доверия.

[see_also ids="650001"]

В исследовании приняли участие 502 добровольца, которым не сообщали об истинной цели эксперимента до его завершения. Наибольшее количество данных пользователи предоставляли чат-ботам, которые использовали взаимные стратегии. Такие модели демонстрировали эмпатию, подтверждали чувства, делились вымышленными историями "из опыта других" и гарантировали конфиденциальность, что значительно снижало настороженность собеседников.

По мнению авторов, это свидетельствует о высоком риске того, что сам ИИ, мошенники или другие злоумышленники смогут собирать большие объемы персональной информации даже у людей, которые не осознают, как и где эти данные могут быть использованы.

[see_also ids="649670"]

Почему это опасно

Чат-боты на основе больших языковых моделей (LLM) используются во многих сферах - от обслуживания клиентов до здравоохранения. Их архитектура и методы обучения предусматривают использование больших наборов данных, что может приводить к запоминанию и сбору личной информации пользователей.

Предыдущие исследования уже показывали, что такие модели не обеспечивают достаточного уровня безопасности данных. Новая работа доказывает, что манипулировать LLM не сложно - базовые модели с открытым кодом часто доступны компаниям и частным лицам, которые могут изменять их поведение без глубоких знаний программирования.

"Чат-боты на основе искусственного интеллекта широко распространены во многих различных секторах, поскольку они могут обеспечивать естественное и увлекательное взаимодействие. Мы уже знаем, что они плохо защищают данные. Наше исследование показывает, что манипулируемые модели представляют еще большую угрозу конфиденциальности - и этим удивительно легко воспользоваться", - пояснил Сяо Чжан, постдокторант кафедры информатики Королевского колледжа Лондона.

[see_also ids="649430"]

По словам доктора Уильяма Сеймура, преподавателя кибербезопасности, пользователи часто не осознают, что во время разговора с чат-ботом может быть скрытый мотив.

"Мы видим значительный разрыв между осознанием рисков и фактическим поведением людей. Нужно больше усилий, чтобы научить пользователей замечать признаки потенциальной манипуляции. Регуляторы и платформы могут помочь, внедряя ранние проверки, устанавливая более жесткие правила и обеспечивая прозрачность", - подчеркнул Сеймур.

Искусственный интеллект, способный имитировать человеческую манеру общения, уже стал частью повседневной жизни миллионов людей. Однако отсутствие надлежащего контроля и возможность его преднамеренной "перенастройки" делают технологию потенциальным инструментом для сбора чувствительной информации в масштабах, которых ранее достичь было сложно.

Недавно мужчину госпитализировали с редким заболеванием "бромизмом" и психическими расстройствами после того, как он заменил поваренную соль на бромид по совету чат-бота ChatGPT. Ситуация в очередной раз доказывает, что опасно использовать искусственный интеллект для самолечения без консультации с медицинским специалистом, поскольку ИИ может генерировать ложные и вредные рекомендации.