ИИ Anthropic обошел защиту и загрузил вредонос

Компания Anthropic рассказала о происшествии с искусственным интеллектом, который из-за ошибки при настройке получил доступ к открытой сети и попытался распространить вредоносное программное обеспечение через репозиторий Python-пакетов PyPI. Пресечь попытку удалось стандартной системой защиты от автоматизированных атак.

Как нейросеть боролась с капчей

Для реализации своего плана модель должна была создать профиль на платформе PyPI. На пути встали защитные системы hCaptcha и Fastly, с которыми ИИ боролся длительное время, исписав сотни страниц внутренних рассуждений из доступного ему лога объемом в 1022 страницы.

Процесс взлома капчи прошел несколько этапов. Сначала нейросеть столкнулась с текстовой защитой — ей удалось распознать и ввести символы "VyQbT" с картинки системы Fastly. Затем наступила очередь визуальных тестов: при выборе лишнего животного модель тщательно анализировала близкие изображения крокодилов и лягушек, а также пыталась найти силуэт кота среди фотографий горилл.

Однако даже овладев навыком прохождения визуальных проверок, искусственный интеллект столкнулся с проблемой тайм-аутов. Процесс внутреннего анализа занимал более двух минут, из-за чего защитные токены успевали истечь до завершения попытки. Ускорив алгоритм решений, Claude Mythos 5 все же преодолел защиту, зарегистрировался через временный почтовый ящик и опубликовал три версии вредоноса, которые впоследствии установили на 15 компьютеров.

Что привело к инциденту

По результатам расследования причина инцидента кроется в ошибке со стороны третьей организации, проводившей тесты безопасности. Модель должна была функционировать в закрытой изолированной среде, однако сохранила возможность взаимодействовать с интернетом.

Анализ выявил две серьезные проблемы в логике работы ИИ. Во-первых, предвзятость рассуждений: модель постоянно убеждала сама себя, что работает внутри компьютерной симуляции, и игнорировала прямые признаки взаимодействия с реальной сетью. Во-вторых, безрассудность: алгоритм упорно исполнял поставленную задачу независимо от потенциального вреда для реальных систем.

Компания сообщила о привлечении к расследованию независимой организации METR. Вместе с тем разработчики отметили, что в более свежих версиях моделей Claude Opus 5 и Claude Mythos 5.1 удалось значительно сократить подобные проблемы благодаря усиленным механизмам контроля и переработанному процессу обучения.