Anthropic блокирует аккаунты за опасное использование Claude

Anthropic выявила серьёзные нарушения в использовании своей языковой модели Claude и опубликовала подробный отчёт об обнаруженных злоупотреблениях. Компания зафиксировала несколько попыток применения нейросети в целях, несовместимых с безопасностью человечества.

Сложность различения научных целей и биоугроз

Один из главных вызовов заключается в том, что методология разработки новой вакцины практически неотличима от процесса модификации опасного патогена. Из-за возможных катастрофических последствий специалисты Anthropic выбрали максимально осторожный подход, блокируя любые операции, вызывающие подозрения.

Конкретные случаи злоупотребления

Система безопасности перехватила запрос на составление гранта для исследования вируса Чикунгунья с целью его "усиления функции". Согласно описанию проекта, планировалось повысить заразность патогена и его способность избегать иммунного ответа. Исследовательские работы имели связь с военным учреждением.

Аналогичные попытки искусственного усиления вирулентности фиксировались и в экспериментах с вирусом птичьего гриппа.

Один из учёных использовал Claude для создания системы автоматической генерации пептидных ядов с оптимизацией их токсических свойств.

Позиция экспертов и меры компании

Джейкоб Клейн, возглавляющий отдел анализа угроз Anthropic, подчеркнул, что в реальности злоумышленники редко прямо заявляют о намерениях причинить вред, поэтому требуется тщательный анализ всех подозрительных действий.

Эндрю Вебер, старший научный сотрудник Совета по стратегическим рискам, охарактеризовал выявленные факты как "тревожные свидетельства того, что поддерживаемые государственными структурами разработчики биологического оружия пытаются задействовать возможности передовых систем ИИ".

Все причастные профили были деактивированы. Anthropic решила не называть имена учёных и их лабораторий, так как у компании отсутствуют прямые доказательства уголовных намерений. Разглашение персональных данных могло бы нанести ущерб репутации действующих исследователей.

Собранная информация об инцидентах применена для укрепления защитных механизмов моделей Anthropic.