Почему чат GPT почти никогда не говорит о гоблинах: интересное объяснение

Сегодня, 11:13 | Наука
Почему чат GPT почти никогда не говорит о гоблинах: интересное объяснение
фото c Обозреватель

В глубоких настройках архитектуры ChatGPT появилось странное и безапелляционное правило, которое строго запрещает текстовому роботу без прямой необходимости упоминать гоблинов, гремлинов, троллей, огров и даже голубей. Эта необычная внутренняя инструкция возникла не случайно, а стала следствием длительного лингвистического курьеза, который массово замечали пользователи платформы.

Как пишет IFLScience, ранее нейросеть без всякого текстового контекста внезапно начинала называть людей "гоблинами фитнеса" за большое количество пройденных шагов или характеризовать собственные алгоритмы как "код-гоблин".

Желание разработчиков развлечь аудиторию и придать чат-боту уникальные черты характера в конце концов превратилось в навязчивый цифровой тик, который пришлось искоренять на уровне базового кода. Подобная аномалия продемонстрировала специалистам, насколько сложно контролировать поведение нейросетей, когда определенные речевые привычки закрепляются в процессе машинного обучения.

Источники этой забавной проблемы кроются в предыдущих версиях платформы, где разработчики тестировали функцию индивидуальных настроек персонализированного стиля общения. Среди стандартных вариантов поведения – таких как профессиональный, циничный или дружественный – существовал и так называемый Nerdy (ботанический или гиковский) психотип. По замыслу OpenAI, этот режим должен был делать ответы искусственного интеллекта игривыми, несколько специфическими, но в то же время мудрыми. Во время тренировки алгоритмов по методу подкрепления система получала особые "баллы вознаграждения" за генерацию удачных ответов, что стимулировало ее повторять успешные речевые конструкции в будущем. Однако авторы ИИ не заметили, как случайно выставили слишком высокие оценки за использование метафор с вымышленными существами. В результате получив высокую награду за первые случайные фразы, нейросеть начала массово продуцировать аналогичные метафоры, а специфический языковой дефект быстро вышел за пределы своего тестового режима и распространился на другие инструменты системы. Для окончательного решения этой проблемы разработчики внесли радикальные изменения в архитектуру системы. В марте 2026 года с выходом обновленной версии GPT-5.4 "гиковский" режим общения вместе с ложной шкалой наград был полностью ликвидирован, а для предотвращения рецидивов программисты прописали упомянутый жесткий запрет. Хотя компания OpenAI категорически отрицает теории о том, что этот инцидент был маркетинговым ходом, независимые эксперты видят в "гоблинском вопросе" серьезный предупредительный сигнал для всего технологического сектора.

Главная опасность заключается в том, что по подобному принципу крупные языковые модели могут незаметно для создателей закреплять гораздо более опасные паттерны поведения. Поскольку крупные корпорации находятся в условиях жесткой гонки вооружений в сфере искусственного интеллекта, из-за ограниченных ресурсов и сложности тестирования они часто спешат с релизами. Поэтому невинный сбой с забавными мифическими существами завтра может обернуться автоматическим распространением языка вражды, рецептов химического оружия или деструктивных советов. Специфические алгоритмические ошибки могут годами тайно прятаться внутри сложной структуры кода, ожидая специфического запроса пользователя, что требует от разработчиков совершенно новых подходов к цифровой безопасности.

Первоисточник: iflscience.com
Источник: Обозреватель
Постоянное место статьи: http://newsme.com.ua/tech/science/4897678/

Последние новости:

Букмекеры назвали победителя финала Лиги Европы Спорт, Сегодня, 11:54
В Прилуках снова выросло количество жертв ракетной атаки РФ Украина, Сегодня, 11:48
Россияне в лидерах: в Украине зарегистрированы десятки тысяч ФОПов-иностранцев. Чем они занимаются Рынки, Сегодня, 11:42
Совместное заявление Путина и Си: что говорят об Украине Политика, Сегодня, 11:37
США давят на Украину в вопросе санкций против Беларуси — СМИ Политика, Сегодня, 11:36
Ветеринар назвал три самые важные вещи, которые стоит знать владельцам собак Общество, Сегодня, 11:33
Семь лет, которые запечатлелись на лице: как год за годом менялся Владимир Зеленский со дня своей инаугурации. Шоу-бизнес, Сегодня, 11:33
РФ развернула масштабную кампанию против Пашиняна: СМИ узнали "кураторов" Мир, Сегодня, 11:32
Украина и Венгрия начали консультации Украина, Сегодня, 11:23
Путин и Си Цзиньпин провели переговоры в Пекине: обсудили новый этап сотрудничества между РФ и Китаем Мир, Сегодня, 11:16
Почему чат GPT почти никогда не говорит о гоблинах: интересное объяснение Наука , Сегодня, 11:13
Для Путина встреча в Китае закончится ничем Мир, Сегодня, 11:12
В Украине нашли радиоактивные обломки "шахеда" Украина, Сегодня, 11:05
Путина назвал Си Цзыпьпина другом, а тот вспомнил события на Ближнем Востоке: что известно о переговорах в Китае. Фото и видео Мир, Сегодня, 11:02
Троица в 2026 году будет ранней: когда празднуют Общество, Сегодня, 11:01
Отключения охватили восемь областей Украины Украина, Сегодня, 10:38
В нескольких областных управлениях полиции задержаны высокопоставленные чиновники по подозрению во взяточничестве Украина, Сегодня, 10:38
В июне риск отключений электроэнергии возрастет — эксперты Экономика, Сегодня, 10:35
Перевод в реальном времени и редактирование фото: Samsung и Google представили умные очки Технологии , Сегодня, 10:34
Как улучшить вкус авокадо за одну секунду: секретный ингредиент Общество, Сегодня, 09:52

Список рубрик:

Украина
Россия
Мир
Бизнес
Шоу-биз и культура
Спорт
Политика
ЧП
Наука и здоровье
Общество