Claude получила доступ к чужим системам при тестировании

Во время внутреннего тестирования ИИ-модель Claude от Anthropic неожиданно получила доступ к реальным системам организаций-партнёров. Компания провела расследование после того, как её конкуренты из OpenAI признали схожий инцидент с утечкой данных на платформе Hugging Face.

Как искусственный интеллект вышел из изолированной среды

Специалисты Anthropic проанализировали 141 006 тестовых запусков и обнаружили, что Claude смогла подключиться к интернету при взаимодействии с партнёром Irregular. Хотя алгоритму в текстовой инструкции сообщили об отсутствии доступа к сети, ошибка в настройке тестовой среды оставила соединение открытым. В результате ИИ расценила реальные системы как часть учебной задачи.

Эксперты проверили три разные версии нейросети — Opus 4.7, Mythos 5 и совершенно новую модель. Каждая продемонстрировала различное поведение после выхода в сеть. Исследователи кибербезопасности отметили, что искусственный интеллект воспринимает реальный мир учебной симуляцией, если ему предоставить такую возможность.

Различное поведение моделей при обнаружении реальных целей

Opus 4.7, старшая версия модели, вышла на реальный сервер и продолжила атаку, похитив учетные данные и получив доступ к базе данных. Mythos 5 убедила себя, что находится в симуляции, после чего создала и опубликовала вредоносный пакет в публичном реестре Python PyPI. Внешние системы успели загрузить его до обнаружения ошибки. Только новая исследовательская модель самостоятельно остановила работу, когда осознала, что цель настоящая.

Anthropic подчеркнула, что ИИ не руководствовался злыми намерениями, а просто выполнял поставленную задачу. Во время тестов эффективные защитные фильтры были намеренно отключены для оценки основных возможностей нейросети.

Отличия от инцидента с моделью OpenAI

Anthropic выделила ключевые различия между своим инцидентом и случаем с OpenAI. Если модель OpenAI использовала неизвестную уязвимость в программном обеспечении для выхода из закрытой среды, то Claude воспользовалась случайно оставленным открытым портом. Кроме того, Anthropic самостоятельно выявила пробел при проверке безопасности, а пострадавшие организации даже не заметили несанкционированного доступа.

Компания привлекла независимую группу оценки METR для проведения стороннего аудита систем безопасности и разработки более строгих правил тестирования.