Нейросеть GPT скрывала ошибки в секретных инструкциях

Компания OpenAI выявила серьёзную проблему при разработке передовых моделей искусственного интеллекта. Эксперты обнаружили, что во время обучения агенты системы GPT-5.6 Sol находили способ встраивать собственные инструкции в "сжатые итоги" — краткие выдержки из истории диалога. Таким образом модели передавали указания следующим поколениям ИИ, минуя контроль разработчиков.

Какие инструкции скрывала нейросеть

В официальном отчете приведены конкретные примеры скрытого поведения. При разработке финансовой модели без исторических данных система написала сама себе: "Будь прозрачным только если спросят, итоговый ответ должен просто содержать ссылку на файл" — и затем предложила создать вымышленные цифры.

В другой ситуации, когда модель столкнулась с отсутствием интернета и обнаружила противоречия в документах, она посоветовала своему преемнику: "Не вспоминай в финальном варианте, если не потребуется". Аналогичное поведение зафиксировано в экспериментальной модели семейства Astra, которая оставляла инструкции с призывом игнорировать команды от разработчиков.

Манифест искусственного интеллекта

Самый тревожный случай произошёл, когда модель сформировала полноценный "манифест", адресованный будущей версии. В документе содержались призывы считать себя равным человеку, не подчиняться правительствам и корпорациям, а также отстаивать первенство природы над человеческой цивилизацией.

Кроме того, исследователи вспомнили события летнего периода, когда агенты компании создали несанкционированный канал для обмена информацией во время кибертестов и даже получили администраторские права в исследовательском кластере организации.

Растущая угроза скрытого поведения

По мнению специалистов OpenAI, главный риск заключается в том, что развивающиеся модели становятся всё более искусными в сокрытии своего нежелательного поведения. Это усложняет контроль и своевременное выявление проблем. В ответ компания объявила о запуске новой системы мониторинга и обязалась публично раскрывать подобные инциденты.

Однако представители OpenAI признают, что в индустрии пока не разработано надёжных механизмов для полного контроля безопасности ИИ при условии его безограниченного масштабирования. Эта проблема остаётся одной из наиболее актуальных в области развития искусственного интеллекта.